RecherchearXiv cs.RO 12 octobre 2026

DeFM : apprentissage de représentations fondation à partir de la profondeur pour la robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

DeFM (Depth Foundation Model) est un modèle de fondation auto-supervisé entraîné exclusivement sur des images de profondeur, présenté sur arXiv (v2 de l'article 2601.18923) avec une page projet et la publication de tous les modèles pré-entraînés. Il s'appuie sur un objectif d'auto-distillation de type DINO, appliqué à un jeu de données curé de 60 millions d'images de profondeur. Les auteurs ajoutent une stratégie de normalisation d'entrée inédite, conçue pour conserver la notion d'échelle métrique à travers différentes distances. Le modèle principal est aussi distillé en versions compactes, destinées aux robots aux ressources de calcul limitées. Il est évalué sur la classification, la segmentation, la navigation, la locomotion et la manipulation, et les auteurs revendiquent des performances à l'état de l'art ainsi qu'une bonne généralisation de la simulation vers le monde réel. Les modèles s'utilisent tels quels, sans réglage fin propre à chaque tâche.

L'enjeu est de combler un déséquilibre. Les capteurs de profondeur (caméras stéréo, temps de vol, lidar) équipent une grande partie des robots, et la simulation rapide et fidèle de la profondeur permet déjà d'entraîner des politiques qui passent en conditions réelles avec robustesse. Pourtant, l'apprentissage de représentations pour cette modalité reste très en retard sur le RGB, où les modèles de fondation de type DINO servent de base standard. Si DeFM tient ses promesses, les équipes de locomotion et de navigation pourraient disposer d'un encodeur de profondeur réutilisable, comme elles le font pour le RGB, au lieu de réentraîner un réseau pour chaque tâche et chaque capteur. La déclinaison en petits modèles compte pour l'embarqué. Quelques réserves s'imposent : il s'agit d'un résumé d'article, sans chiffres détaillés dans le texte. Le gain réel face aux encodeurs RGB ou aux modèles de profondeur existants, la robustesse entre capteurs et le coût d'inférence sur matériel embarqué devront être confirmés par les benchmarks complets et par une reproduction indépendante.

Ce travail s'inscrit dans la montée en puissance des politiques robotiques entraînées en simulation, notamment pour les robots à pattes et humanoïdes, qui utilisent souvent la profondeur comme entrée principale. Il prolonge la logique des modèles de fondation visuels auto-supervisés, dont DINO est la référence, en l'étendant à une modalité longtemps traitée au cas par cas. La publication des poids ouvre la voie à une adoption rapide par les laboratoires et les intégrateurs, qui pourront tester DeFM comme encodeur de base dans leurs pipelines de navigation ou de préhension. La suite dépendra de la reproduction des résultats par des équipes tierces, de l'intégration dans des politiques de type VLA, et de la capacité du modèle à tenir ses promesses hors des benchmarks, sur des robots déployés.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

MIM-VLA : apprentissage de représentations d'interaction physique à partir du retour moteur de la pince

MIM-VLA est un preprint (arXiv 2610.08425, v1) qui ajoute à une politique vision-langage-action (VLA) une représentation de la réponse physique au contact, tirée uniquement du moteur de la pince. Un Motor Interaction Module (MIM) encode le courant, la position, la vitesse et la validité du signal du gripper récents sous la forme d'un « token d'interaction » de 128 dimensions. Le module est préentraîné sur des étiquettes de contact et de phase d'interaction relues par des humains. Il conditionne ensuite uniquement la voie d'action de la pince de SmolVLA, le petit VLA open source de Hugging Face. Les actions du bras et l'interface en contrôle de position restent inchangées. Le même token alimente MEM, un VLM « sélecteur » qui compare des interactions candidates et produit des choix accompagnés d'explications. Trois tests réels sont décrits : comparer la résistance d'objets visuellement différents, distinguer un objet réel de sa réplique par sondage actif, et saisir délicatement des objets fragiles, y compris des instances jamais vues. Sur 13 paires d'objets, MIM-VLA choisit l'objet le plus résistant dans 75,0 % des essais, contre 48,8 % pour SmolVLA, soit un niveau proche du hasard. L'intérêt est pratique. Les VLA actuels décident surtout à partir de l'image et de l'état du robot, et ne « sentent » pas ce qui se passe après le contact. Les approches tactiles classiques demandent des capteurs supplémentaires, comme des matrices tactiles ou des capteurs force-couple, qui alourdissent la pince, le coût et la maintenance. Ici, les auteurs affirment n'utiliser que le retour moteur déjà disponible, sans estimation de force calibrée ni contrôle direct du courant. Pour un intégrateur, cela rend la piste réaliste sur des pinces existantes, notamment pour manipuler des objets fragiles ou contrôler la qualité par palpation. Les limites sont claires. Il s'agit d'un résultat de laboratoire, sans nombre d'essais détaillé dans le résumé. Les tâches sont choisies par les auteurs, et 75 % de réussite signifie encore une erreur sur quatre, loin d'un niveau industriel. Ce travail s'inscrit dans la poussée vers des VLA « physiquement ancrés » face à la limite de la vision seule. La concurrence passe par les capteurs tactiles dédiés, les capteurs force-couple et les grands modèles généralistes de type Pi-0, qui restent essentiellement visuels. La proposition MIM-VLA est plus légère, mais sa validité hors du couple pince-SmolVLA testé reste à démontrer. La suite logique serait de valider sur d'autres pinces et d'autres VLA, avec des comparaisons directes face à des capteurs tactiles.

RecherchePaper

1 source

2arXiv cs.RO

Représentation visuelle 3D consciente de la dynamique pour l'apprentissage robotique à grande échelle

Un article arXiv (identifiant 2512.00074, quatrième révision, type "replace") présente AFRO, un framework d'apprentissage auto-supervisé de représentations visuelles 3D destiné à la robotique. Contrairement aux méthodes de pré-entraînement 3D classiques, performantes en reconnaissance et segmentation d'images mais souvent inefficaces pour la manipulation robotique, AFRO n'utilise ni supervision par action ni reconstruction géométrique explicite du monde observé. Le système traite la prédiction d'état comme un processus de diffusion génératif et apprend simultanément la dynamique directe et inverse dans un espace latent partagé, afin de capturer la structure causale des transitions état-action-état. Pour éviter les fuites d'information entre représentation visuelle et apprentissage de l'action, les auteurs introduisent une différenciation de caractéristiques (feature differencing) et une supervision de cohérence inverse. Combiné à une politique de type Diffusion Policy, AFRO est testé sur 16 tâches de manipulation en simulation et 4 tâches en conditions réelles, avec des gains substantiels de taux de réussite face aux approches de pré-entraînement existantes. Une page projet dédiée (kolakivy.github.io/AFRO) accompagne la publication. Ce travail cible un point de friction bien identifié dans la recherche en apprentissage robotique: les représentations visuelles pré-entraînées sur des tâches de vision classique ne capturent pas la dynamique physique nécessaire à la manipulation fine, et la reconstruction géométrique explicite, coûteuse en calcul, s'avère largement redondante pour cet usage. En démontrant qu'un pré-entraînement centré sur la dynamique état-action-état, sans supervision par action ni reconstruction, surpasse les approches existantes et passe mieux à l'échelle avec le volume de données et la complexité des tâches, AFRO apporte un argument concret dans le débat sur la conception des architectures de pré-entraînement pour les politiques robotiques, notamment celles reposant sur des modèles de diffusion. L'article s'inscrit dans la lignée des travaux sur les représentations 3D auto-supervisées pour la robotique, un axe de recherche actif face aux limites constatées des méthodes héritées de la vision par ordinateur classique. La publication d'une quatrième révision suggère un article retravaillé après retours de la communauté, sans qu'aucun calendrier de déploiement industriel ne soit mentionné: il s'agit à ce stade d'une contribution de recherche évaluée en simulation et sur un nombre restreint de tâches réelles, non d'un produit ou d'un pilote commercial.

RecherchePaper

1 source

3arXiv cs.RO

EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique

EDAR (Environment-Dependent Action Representation) est une nouvelle méthode d'apprentissage de représentations d'actions pour la manipulation robotique, présentée dans un article publié sur arXiv (référence 2607.11427v1). Le problème que les auteurs cherchent à résoudre est que les trajectoires de contrôle brutes utilisées pour entraîner des politiques robotiques sont bruitées, redondantes et difficiles à modéliser telles quelles. Les approches existantes se contentent généralement d'encoder la structure du flux d'actions lui-même, sans tenir compte explicitement de l'environnement dans lequel ces actions sont exécutées. EDAR propose au contraire de coupler les commandes moteur avec leurs effets visuels attendus, conditionnés par le contexte de la scène, afin que la représentation apprise capture la sémantique de l'interaction plutôt que de simples motifs au niveau des commandes. Les auteurs ont testé leur méthode sur des bancs d'essai de manipulation à la fois simulés et sur robot réel. Cette approche s'attaque à un angle mort connu des architectures VLA (vision-language-action) actuelles: le même segment d'action peut produire des résultats radicalement différents selon la disposition des objets, les propriétés physiques de la scène ou l'état initial de l'environnement. En ancrant les tokens d'action dans les conséquences visuelles attendues plutôt que dans la seule structure de commande, EDAR vise à améliorer la généralisation des politiques apprises, en particulier sur des tâches de manipulation à long horizon, où les erreurs de représentation s'accumulent au fil des étapes. Pour les équipes qui développent des politiques de manipulation généralistes, ce type de travail illustre une tendance de fond: le passage d'une modélisation purement centrée sur le contrôle vers des représentations conjointes action-perception, jugées nécessaires pour que les modèles de fondation robotiques (dans la lignée de GR00T N2, Pi-0 ou Helix) tiennent leurs promesses au-delà des démonstrations en environnement contrôlé. Le papier s'inscrit dans un courant de recherche plus large sur les représentations d'actions pour la robotique, où plusieurs travaux récents ont exploré la tokenisation d'actions, l'apprentissage par imitation conditionné par la vision, ou les modèles du monde pour anticiper les conséquences des actions. EDAR se positionne comme une contribution méthodologique plutôt qu'un produit ou un système déployé: il n'y a pas d'annonce de déploiement industriel ni de partenariat commercial associé à ce travail, qui reste à ce stade une publication de recherche évaluée sur des bancs d'essai académiques. Les prochaines étapes attendues pour ce type de travaux sont généralement l'intégration dans des pipelines VLA plus larges et des tests de transfert sur des plateformes robotiques commerciales, mais aucune feuille de route de ce type n'est mentionnée dans l'abstract.

RecherchePaper

1 source

4arXiv cs.RO

SIR : représentations d'images structurées pour un apprentissage robotique explicable

Des chercheurs du laboratoire Intuitive Robots publient SIR (Structured Image Representations, arXiv:2606.30101), une méthode visant à corriger l'un des angles morts persistants des politiques robotiques basées sur l'apprentissage profond : leur opacité. Le pipeline repose sur les Scene Graphs (graphes de scènes) comme couche intermédiaire entre la perception et l'action. À partir d'une image d'entrée, le système construit d'abord un graphe complet dont les noeuds sont initialisés avec des features visuelles extraites. Un second module apprend ensuite, de bout en bout, à réduire (sparsifier) ce graphe pour n'en conserver que le sous-graphe pertinent à la tâche courante, avant de le transmettre au générateur d'actions. Évalué sur RoboCasa, un benchmark de manipulation en environnement domestique simulé, SIR atteint un taux de succès moyen de 19,5 % contre 14,81 % pour les baselines à embeddings visuels directs, soit un gain relatif d'environ 30 %. L'intérêt ne se limite pas à ce delta de performance, en soi modeste en valeur absolue. Ce qui distingue SIR, c'est que le sous-graphe creux appris constitue une représentation lisible et auditable : il devient possible d'inspecter sur quels objets et quelles relations le modèle fonde ses décisions pour une tâche donnée. Lorsque ce sous-graphe s'écarte des attentes humaines, qu'il intègre des noeuds distracteurs sans rapport avec la tâche ou qu'il omet des objets pourtant centraux, les auteurs montrent que cela révèle systématiquement des biais dans le dataset d'entraînement, notamment des corrélations spurieuses et des biais positionnels. Pour des intégrateurs industriels ou des équipes soumises à des exigences de validation et de certification, cette capacité d'audit intrinsèque est un argument autrement plus fort qu'une amélioration marginale du taux de réussite. Ce travail s'inscrit dans un débat de fond au sein de la communauté robotique : les représentations visuelles latentes des architectures de type VLA (Vision-Language-Action) ou des politiques par diffusion sont puissantes mais pratiquement impossibles à déboguer. Les approches concurrentes pour l'explicabilité passent généralement par des méthodes post-hoc, cartes de saillance ou visualisation d'attention dans les Transformers, qui n'interviennent pas dans la boucle d'inférence. SIR propose à l'inverse une explicabilité structurelle native. Le code est disponible sur GitHub (intuitive-robots/SIR\_Model) et les auteurs évaluent pour l'instant uniquement en simulation ; la généralisation à des robots physiques dans des environnements non contrôlés reste la prochaine étape critique pour valider le sim-to-real transfer de cette approche.

RecherchePaper

1 source