RecherchearXiv cs.RO 22 octobre 2026

Édition flexible de représentations guidée par le langage pour un comportement robotique adaptatif

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du laboratoire CLEAR du MIT proposent FLEX (Flexible Feature Editing Pipeline), une méthode qui permet de corriger la représentation interne des caractéristiques d'une tâche chez un robot à partir de corrections formulées en langage naturel. Le système s'appuie sur des modèles de langage pour affiner itérativement cette représentation grâce à trois opérations complémentaires: ajouter une caractéristique manquante, généraliser une caractéristique trop spécifique, et masquer une caractéristique non pertinente. L'évaluation couvre trois cadres: des scénarios de navigation 2D, des tâches de manipulation sur table avec un bras Franka à 7 degrés de liberté, et une étude en conditions réelles avec des corrections humaines spontanées et des démonstrations sur robot physique. Les auteurs rapportent une récompense normalisée systématiquement supérieure à celle des autres approches d'édition de caractéristiques, tout en conservant des représentations compactes et transférables. Le travail est publié sur arXiv (v1) avec une page de projet dédiée.

L'enjeu touche à une faiblesse connue de l'apprentissage par démonstration: une trajectoire montre ce que le robot doit faire, mais pas pourquoi. Le robot doit donc deviner quelles caractéristiques de la scène comptent, et une mauvaise hypothèse produit une représentation désalignée, puis un comportement erroné. Les méthodes d'édition par langage existantes n'autorisent que des ajouts, ce qui conduit à des ensembles de caractéristiques surspécifiés ou trop étroits, surtout lorsque les corrections s'enchaînent. Les ablations de FLEX indiquent que les trois opérations sont nécessaires en contexte interactif, ce qui plaide pour une correction par langage plus fine que le simple empilement de règles. Pour un intégrateur, c'est une piste vers des robots reconfigurables sur site par un opérateur non spécialiste, sans collecte massive de nouvelles démonstrations.

Il faut toutefois tempérer: il s'agit d'une preuve de concept académique. Les tâches restent simples (navigation 2D, manipulation sur table), l'étude réelle n'est décrite que de façon qualitative dans le résumé, et aucun chiffre précis, ni taille d'échantillon, ni temps de cycle n'est fourni. La dépendance à un modèle de langage pose aussi des questions de robustesse et de latence que l'article ne tranche pas dans son résumé. FLEX s'inscrit dans le courant de l'alignement des préférences et des représentations robotiques par feedback humain, en concurrence avec les approches de modèles vision-langage-action (VLA) qui internalisent le langage de bout en bout. Ici, le langage sert plutôt à éditer une représentation explicite et interprétable. Les prochaines étapes probables sont des tests sur des tâches plus longues, davantage de participants, et une intégration avec des politiques généralistes.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

MorphIt : approximation sphérique flexible de la morphologie robotique pour l'adaptation guidée par représentation

Une équipe de chercheurs présente MorphIt (arXiv:2507.14061), un cadre d'approximation sphérique conçu pour rendre adaptable la représentation morphologique d'un robot, plutôt que de la traiter comme une contrainte fixe. Le système décompose la géométrie d'un bras ou d'un corps robotique en ensembles de sphères dont la résolution est pilotée par descente de gradient, avec des paramètres ajustables permettant de naviguer entre précision géométrique et coût computationnel. Les auteurs rapportent des temps de génération jusqu'à 100 fois inférieurs aux méthodes existantes, tout en maintenant une fidélité géométrique supérieure avec un nombre de sphères réduit, face aux deux baselines testées : VSSA (Variational Sphere Set Approximation) et AMAA (Adaptive Medial-Axis Approximation). Les gains sont validés sur des tâches de détection de collisions, de simulation d'interactions en contact et de navigation en espace contraint. L'enjeu dépasse la seule accélération de calcul. Actuellement, la quasi-totalité des pipelines robotiques impose une représentation géométrique unique pour toutes les tâches, qu'il s'agisse de planification à haute cadence ou de manipulation fine en contact. Ce compromis dégrade soit la précision, soit le temps de cycle. MorphIt traite cette représentation comme une ressource modulable en temps réel : un même robot pourrait opérer en mode grossier pour l'évitement d'obstacles et en mode haute résolution pour l'assemblage de précision, sans reconfiguration matérielle. Le framework s'intègre avec l'infrastructure robotique existante, ce qui limite les frictions d'adoption pour les intégrateurs. Les méthodes d'approximation sphérique comme VSSA et AMAA existent depuis plusieurs années, mais ont été conçues principalement pour la visualisation, pas pour le calcul embarqué temps réel. MorphIt s'inscrit dans un mouvement plus large vers des représentations géométriques différentiables et optimisables, un principe déjà exploré dans le sim-to-real pour les modèles VLA (Vision-Language-Action). Les résultats présentés restent expérimentaux : le paper est un preprint sans validation en déploiement réel à grande échelle. Les suites naturelles incluent l'intégration avec des planificateurs de mouvement différentiables et des tests sur des plateformes hardware comme des bras collaboratifs ou des humanoïdes.

RecherchePaper

1 source

2arXiv cs.RO

CAPABLE : adaptation de politique selon les capacités par encodage latent comportemental

Des chercheurs proposent CAPABLE (Capability-Aware Policy Adaptation via Behavioral Latent Encoding), un cadre d'adaptation destiné aux politiques vision-langage-action (VLA) gelées confrontées à une panne d'articulation. Une VLA suppose l'embodiment sur lequel elle a été entraînée, et peut échouer quand un défaut modifie la manière dont les commandes sont exécutées physiquement. CAPABLE infère en ligne la « capacité » de chaque joint, c'est-à-dire la part du mouvement commandé réellement réalisée et sa contribution au comportement de l'effecteur. Il s'appuie sur l'historique commande-réponse et la cinématique, avec un encodeur temporel partagé entre les joints, un ancrage par la jacobienne, une attention inter-joints et une prédiction physique auto-supervisée. Cette représentation conditionne une politique résiduelle, entraînée par apprentissage par renforcement, qui ajoute des corrections bornées à l'action du bras produite par la VLA, sans étiquette de panne ni identifiant du joint défaillant. Sur 28 tâches LIBERO, le taux de réussite avec un actionneur exclu de l'entraînement aux pannes passe de 24,8 % à 59,3 %. Le gain est de 17,4 points face à une base de référence à historique global de même nombre de paramètres, sans dégrader les performances à l'état sain. Des expériences « leave-one-actuator-out » sur six joints montrent que le transfert ne dépend pas d'un actionneur particulier. Des évaluations complémentaires portent sur des familles de pannes inédites, ainsi qu'une démonstration de récupération sur un Franka Panda réel. L'intérêt tient à la méthode. La plupart des approches de récupération sur panne exigent un réentraînement par tâche, des étiquettes de défaut, un diagnostic explicite ou des informations privilégiées sur l'embodiment, ce qui les rend peu praticables en exploitation. Ici, la VLA reste figée et seule une couche résiduelle légère s'adapte, ce qui préserve l'investissement dans un modèle de fondation. Pour un intégrateur ou un exploitant de flotte, la dégradation d'un actionneur (usure, jeu, couple réduit) est un cas courant, et une robustesse sans maintenance du modèle serait précieuse. Les résultats appellent toutefois à la prudence. Un taux de 59,3 % reste loin d'une fiabilité industrielle, et le gain est mesuré en simulation sur LIBERO, un banc d'essai de manipulation sur table. La validation physique se limite à une démonstration sur un seul bras, sans statistiques annoncées. Le résultat montre surtout que l'inférence de capacité à partir de l'historique de mouvement généralise entre articulations, pas que le problème est résolu. Ce travail s'inscrit dans le constat que les VLA actuelles sont entraînées sur un embodiment supposé intact. Elles ont progressé en généralisation sémantique et en tâches, mais restent fragiles face à un changement de dynamique du robot lui-même. Les approches voisines relèvent de l'adaptation en ligne, de l'identification de système et de la randomisation de domaine, souvent avec des étiquettes ou un réentraînement. CAPABLE se positionne comme un adaptateur modulaire, compatible avec une VLA gelée. La suite logique serait de tester d'autres plateformes, des pannes combinées et des tâches longues, avec davantage d'essais réels. Le code et les démonstrations sont annoncés sur la page du projet, capable-vla.github.io. Il s'agit d'un preprint arXiv (v1), non encore évalué par les pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Où rejoindre un groupe ? Prédiction d'objectif guidée par le langage pour l'agrégation de robots

Une équipe de recherche publie sur arXiv (2609.28467v1, mis en ligne le 24 septembre 2026) une méthode baptisée "language-grounded robot group joining", qui répond à une question absente de la navigation sociale classique : non pas comment rejoindre un point fixe, mais où et comment s'intégrer à un groupe humain dont l'activité et la formation évoluent en temps réel. Le système part d'une observation visuelle et d'une description en langage naturel du groupe cible pour identifier les bonnes personnes, puis calcule des poses de jonction socialement acceptables. La chaîne technique combine un partitionnement spectral récursif, qui génère des sous-ensembles candidats de personnes dans la scène, avec un modèle language-conditioned combinant image et géométrie pour classer ces sous-ensembles selon la description fournie. Une fois le groupe identifié, un module de prédiction d'objectif s'appuie sur des a priori de formations humaines (conversations, files d'attente, publics) pour produire une carte multimodale energy-orientation couvrant l'ensemble des poses robotiques envisageables. Les auteurs rapportent une inférence en moins d'une seconde, une précision d'identification du groupe comparable aux meilleures approches existantes, et des performances supérieures à toutes les méthodes de référence testées pour la prédiction de pose de jonction, validées à la fois en simulation et sur robot réel, y compris dans des interactions dynamiques. L'intérêt pratique dépasse la simple curiosité académique : les applications visées, chiens-guides robotiques et scooters de mobilité autonomes, ciblent l'assistance aux personnes à mobilité réduite ou malvoyantes dans des environnements sociaux denses, un cas d'usage largement sous-traité par la littérature en navigation robotique, historiquement focalisée sur l'évitement d'obstacles vers un but déjà connu. En prouvant qu'un robot peut interpréter une instruction en langage naturel pour localiser un groupe spécifique parmi plusieurs, puis calculer sa position d'intégration sans base de données pré-cartographiée, les auteurs adressent un maillon manquant pour les intégrateurs travaillant sur des AMR (robots mobiles autonomes) déployés en environnement humain ouvert, plutôt qu'en entrepôt structuré. Le travail s'inscrit dans la lignée des modèles vision-langage appliqués à la robotique mobile, où la formulation de tâches sémantiques complexes via instructions textuelles gagne du terrain face aux approches purement géométriques. Le papier ne mentionne ni partenariat industriel ni déploiement commercial : il s'agit d'un résultat de recherche fondamentale, testé sur trois types de configurations sociales (conversations, files d'attente, audiences) avec tailles de groupe, densités de foule et ambiguïtés visuelles variables. Aucune suite commerciale ni calendrier de transfert vers un produit n'est annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

DROM : un cadre de diffusion guidé par le langage pour la manipulation robotique multi-compétences

DROM, un cadre génératif décrit dans un préprint arXiv (v1), vise un problème classique de la manipulation robotique : apprendre à partir de peu de démonstrations des politiques robustes, capables d'enchaîner plusieurs compétences sur des tâches longues. Les auteurs utilisent des Dynamic Movement Primitives (DMP) pour multiplier un petit nombre de démonstrations expertes en jeux de données multi-compétences. Ils affirment que cela réduit la collecte de données et étend la généralisation spatiale au-delà de la zone démontrée. Le modèle prolonge Motion Planning Diffusion (MPD) avec une attention croisée conditionnée par le langage. Un seul réseau génère alors des trajectoires cohérentes pour plusieurs primitives, y compris des comportements sensibles à l'orientation, difficiles à programmer avec un planificateur classique ou un contrôleur codé en dur. Pour les tâches longues, un grand modèle de langage (LLM) découpe la demande d'un opérateur en séquence de compétences exécutables. La validation a eu lieu sur un Franka Emika Panda, un FANUC CRX25ia et en simulation MuJoCo. Selon les auteurs, DROM dépasse les références MPD et Behavior Cloning. Le résumé ne donne aucun chiffre : ni taux de réussite, ni nombre de démonstrations, ni nombre de compétences, ni temps de cycle. Les jeux de données, les environnements de simulation et le code sont publiés sur GitHub. L'intérêt tient d'abord à la combinaison de trois briques déjà connues, DMP, diffusion et LLM, dans une architecture unique et exploitable en atelier. Pour un intégrateur, la promesse est de réduire le coût de programmation et de téléopération à chaque nouvelle variante de tâche. Un opérateur pourrait piloter une cellule en langage naturel, sans écrire de trajectoires. La présence d'un FANUC CRX25ia, cobot industriel de 25 kg de charge, est un signal plus pertinent que le seul Panda, plateforme de laboratoire. Elle indique une volonté de transfert vers du matériel de production. Il faut toutefois rester prudent. Sans métriques publiées, sans précision sur le sim-to-real, sur la robustesse face aux perturbations ni sur la latence d'inférence de la diffusion, le gain sur les références reste invérifiable à ce stade. L'écart entre une démonstration de laboratoire et une cadence industrielle n'est pas comblé. Ce travail s'inscrit dans une course où dominent les modèles vision-langage-action (VLA) entraînés sur de grands volumes de données, comme Pi-0, GR00T ou Helix. DROM prend le parti inverse : un pipeline modulaire et frugal en données, où le LLM planifie et la diffusion exécute, avec des trajectoires plus interprétables. Ce compromis intéressera les cellules à faible volume et à forte variété. La suite dépendra de la reproduction par des tiers, grâce au dépôt ouvert, et d'essais sur des tâches réelles plus contraintes que celles d'un banc de test académique. Aucun pilote industriel ni calendrier n'est annoncé.

RecherchePaper

1 source