RechercheMIT News Robotics 9 novembre 2026

La plateforme d'apprentissage assistée par IA aide les robots à raisonner au-delà des ordres littéraux

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des ingénieurs du MIT et de l'université de New York ont mis au point FLEX (flexible feature-editing pipeline), une plateforme de planification de mouvement qui permet à un robot de comprendre l'intention derrière une consigne en langage naturel, et non seulement sa lettre. Les travaux seront présentés ce mois-ci à la Conference on Robot Learning. L'étude est dirigée par Andreea Bobu, professeure adjointe en aéronautique et astronautique au MIT, qui anime le CLEAR Lab (Collaborative Learning and Autonomy Research). Elle est cosignée par Nathan Dennler, postdoctorant au CSAIL, Audrey Lee et Ilia Sucholutsky (NYU). La démonstration repose sur des scénarios simulés. Dans l'un d'eux, un bras robotisé transporte une tasse de café au-dessus d'une table encombrée pendant qu'un opérateur tape « Ne renverse rien sur l'ordinateur portable ! ». Un grand modèle de langage (LLM) intégré à FLEX en déduit que le liquide menace les appareils électroniques en général. Le robot recalcule alors sa trajectoire pour éviter à la fois le portable et un téléphone voisin, sans que personne ne l'ait demandé explicitement.

L'intérêt du travail tient à ce qu'il déplace l'usage du langage en robotique. Les approches existantes l'emploient surtout pour préciser un objectif, rediriger une trajectoire ou redéfinir ce qu'est un chemin sûr, c'est-à-dire pour dire au robot comment exécuter une tâche. FLEX vise à extraire une préférence sous-jacente, non dite, à partir d'une consigne brève, ce qui réduit l'effort de spécification pour l'utilisateur. Pour des intégrateurs ou des décideurs qui envisagent des robots d'assistance ou domestiques, c'est un levier concret : moins de paramétrage expert, moins de règles à coder cas par cas. Il faut toutefois rester prudent. Il s'agit d'un résultat académique obtenu en simulation, sans déploiement réel ni mesure de fiabilité en conditions ouvertes. Le « bon sens » d'un LLM peut aussi généraliser à tort, et aucune donnée publiée dans le texte disponible n'évalue ce risque ni la latence de la boucle de dialogue.

Cette recherche s'inscrit dans un effort large de la communauté pour intégrer le langage naturel aux chaînes d'apprentissage des robots. Le CLEAR Lab de Bobu travaille spécifiquement sur des agents autonomes capables d'apprendre avec et autour des humains, avec pour cible des robots d'assistance et ménagers qui raisonnent et s'adaptent en temps réel. Dennler souligne que les consommateurs ne peuvent pas être censés maîtriser les mathématiques de la planification de trajectoire, d'où l'objectif d'une interaction purement conversationnelle. Par rapport aux modèles vision-langage-action (VLA) développés par les acteurs industriels, FLEX se place en amont, sur la couche d'interprétation des préférences pour la planification de mouvement, plutôt que sur la génération directe de commandes moteur. La suite logique serait un passage du simulateur à du matériel physique et des tests avec des utilisateurs non experts, mais aucun calendrier, pilote ou partenaire industriel n'a été annoncé à ce stade.

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

R³ : entraîner des robots à raisonner en langage naturel par apprentissage par renforcement

Des chercheurs présentent R³ (R-cubed), une méthode de post-entraînement qui transforme des modèles vision-langage (VLM) génériques en « raisonneurs robotiques » capables de guider des politiques de manipulation bas niveau. La recette se déroule en deux temps : un VLM est d'abord entraîné (mid-training) sur des traces de raisonnement générées par des experts pour installer un style de raisonnement adapté, puis affiné par apprentissage par renforcement à un pas, fondé sur des grilles d'évaluation (rubric-based RL), à partir de données d'action hors ligne. L'équipe a testé R³ sur deux bancs d'essai contrôlés : Language Table et une tâche simulée d'emballage de courses à deux bras (bimanual grocery packing). Sur ces deux benchmarks, R³ améliore l'exploration et la généralisation vers des tâches non vues à l'entraînement, et surpasse nettement des références d'apprentissage par imitation guidées uniquement par instruction. Le travail est publié en préprint sur arXiv (2608.26053, août 2026) et une page de projet est disponible à robotic-reasoner.github.io. La particularité de R³ tient à la nature du raisonnement produit : contrairement aux méthodes robotiques antérieures, qui utilisent des traces structurées comme simple supervision auxiliaire à l'entraînement, R³ entraîne le modèle à produire un raisonnement en langage libre qui sert directement de guidage au moment de l'exécution, pour piloter des politiques bas niveau souvent bruyantes. L'enjeu dépasse l'exercice académique : les tâches robotiques à long horizon exigent de suivre une progression partielle, de raisonner sur les relations entre objets et de détecter puis corriger des erreurs, des compétences que l'apprentissage par imitation pure peine à capturer. Ces résultats apportent un signal utile au débat en cours dans le secteur des modèles vision-langage-action (VLA), où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à doter bras manipulateurs et robots humanoïdes d'un raisonnement transférable de la simulation au monde réel. R³ suggère que le raisonnement en langage libre, popularisé par les modèles de type o1 sur des problèmes textuels complexes, peut aussi fonctionner comme mécanisme de calcul au moment du test pour la manipulation robotique. Ce travail s'inscrit dans une tendance plus large visant à transférer aux robots les gains obtenus par les modèles de fondation lorsqu'ils « réfléchissent » avant d'agir, capacité qui a déjà transformé les performances des grands modèles de langage sur les problèmes nécessitant décomposition et anticipation des conséquences. Jusqu'ici, les approches de raisonnement robotique se contentaient le plus souvent d'un signal auxiliaire sans que ce raisonnement pilote réellement l'action finale, ce que R³ cherche précisément à corriger. Les résultats publiés restent toutefois circonscrits à des environnements contrôlés et largement simulés, sans démonstration sur un déploiement réel à grande échelle ni comparaison directe avec des systèmes commerciaux déjà en service. Les auteurs ne précisent pas de calendrier de portage vers des robots physiques ou de tests sur des tâches industrielles plus complexes, ce qui situe R³ comme une contribution de recherche amont plutôt qu'un produit prêt à l'intégration.

RecherchePaper

1 source

2arXiv cs.RO

RAM : la portée de l'apprentissage robotique au-delà des morphologies

Une équipe de chercheurs a publié en juin 2026, via arXiv (arXiv:2606.09108), un modèle de réseau de neurones baptisé RAM (Reachability Across Morphologies), conçu pour prédire l'espace de travail atteignable d'un bras robotique en temps quasi nul. Là où les méthodes traditionnelles d'échantillonnage ou de grilles voxels opèrent à l'échelle de la milliseconde ou plus, RAM atteint un score F1 de 86 % avec un temps d'inférence réduit de trois ordres de grandeur par rapport à la baseline, soit une exécution à l'échelle de la nanoseconde. Le modèle a été entraîné sur un jeu de données de 3×10^10 échantillons, générés exclusivement à partir de la cinématique directe. Sa caractéristique centrale : il est conditionné par la morphologie du robot, lui permettant de généraliser à des configurations inédites sans réentraînement, tout en intégrant nativement la détection des auto-collisions. L'enjeu opérationnel est direct. Le calcul du workspace atteignable intervient à chaque étape du cycle de vie d'un robot, conception morphologique, planification de trajectoire, placement en cellule d'intégration. Les méthodes disponibles à ce jour sont soit lentes, soit figées sur une morphologie unique, rendant l'exploration du design-space coûteuse en calcul. RAM étant différentiable, il peut s'insérer dans des boucles d'optimisation par gradient : les auteurs rapportent des accélérations d'un ordre de grandeur pour l'optimisation morphologique et de deux ordres pour la trajectoire. Pour un intégrateur ou un OEM, cela ouvre la voie à un co-design robot-cellule significativement plus rapide. Les représentations neurales implicites (NRI), popularisées par les NeRF pour la reconstruction 3D, s'imposent progressivement en robotique depuis 2023 pour encoder des fonctions géométriques complexes. RAM applique cette logique à la cinématique, en concurrence directe avec les cartes de joignabilité sur grille (précises mais lourdes) et les surrogates appris à morphologie fixe. Aucun acteur commercial n'est cité dans la publication ; la contribution reste académique, accompagnée d'un site de démonstration. Les suites naturelles seraient l'intégration dans des pipelines de CAO robotique ou des plateformes de simulation telles qu'Isaac Lab ou MuJoCo.

RecherchePaper

1 source

3arXiv cs.RO

Jumeaux physiques : accélérer et rendre possible l'apprentissage des robots grâce à des plateformes fantômes

Des chercheurs présentent sur arXiv (2610.06929) un « jumeau physique » : un dispositif fantôme (phantom) amélioré qui reproduit l'épaule humaine pour tester en conditions réelles des algorithmes d'interaction physique homme-robot (pHRI), y compris de type apprentissage par renforcement. L'appareil ne se limite plus au mouvement rotule-cavité (ball-and-socket) de l'articulation gléno-humérale. Il restitue aussi les mouvements de la scapula et de protraction/rétraction. Les expériences montrent qu'il peut rendre plusieurs limites articulaires en 3D. Elles montrent aussi qu'un bras Franka Panda détecte ces limites et interagit avec le dispositif, qui joue le rôle de bras humain pour des tâches de la vie quotidienne (ADL) et des tâches de pHRI. L'abstract ne donne ni chiffres de performance, ni nombre d'essais, ni comparaison avec des sujets humains. L'enjeu est méthodologique. Les progrès en pHRI intéressent la kinésithérapie, le sauvetage et la télémédecine. Mais tester sur des humains est lent et contraint : il faut un comité d'éthique (IRB) et des volontaires, et la répétabilité, le passage à l'échelle et la diversité des participants posent problème. L'apprentissage par renforcement suppose des milliers d'essais, dont certains peuvent être dangereux. Un substitut mécanique qui reproduit les contraintes articulaires permettrait d'itérer sans risque pour une personne. Il comble en partie l'écart entre simulation et monde réel, car le dispositif impose de vraies dynamiques de contact que les simulateurs modélisent mal. Une réserve s'impose : la fidélité biomécanique de l'épaule artificielle reste à prouver, et un algorithme entraîné sur ce fantôme ne se transférera pas forcément à des patients aux morphologies et aux raideurs variées. Il s'agit d'un résultat de laboratoire, sans produit ni déploiement. Ce travail s'inscrit dans la lignée des mannequins instrumentés et des simulateurs de patients utilisés en rééducation robotisée et en robotique d'assistance. Il y ajoute une cinématique d'épaule plus complète, l'une des articulations les plus difficiles à reproduire. Le Franka Panda, bras collaboratif à 7 DOF devenu une plateforme standard de la recherche, sert ici de banc d'essai. Les suites probables sont une validation face à des mesures sur de vrais participants et l'extension à d'autres articulations. Aucun calendrier de pilote ni partenaire industriel n'est annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

APEX : apprentissage adaptatif de la traversée de plateformes hautes pour robots humanoïdes

Un système baptisé APEX permet à des robots humanoïdes de franchir des plateformes plus hautes que leurs jambes en grimpant plutôt qu'en sautant, selon un article publié sur arXiv (2602.11143v3). Testé sur un robot Unitree G1 à 29 degrés de liberté, il réalise en zero-shot, c'est-à-dire sans réentraînement après la simulation, le franchissement de plateformes de 0,8 mètre, soit environ 114 % de la longueur des jambes du robot. Le système combine six comportements, montée et descente sur arêtes verticales, marche ou reptation sur la plateforme, mise debout et allongement, fusionnés en une seule politique qui choisit et enchaîne automatiquement ces compétences selon la géométrie locale perçue par un capteur LiDAR. Son innovation centrale est une "récompense de progression à cliquet", qui suit la meilleure avancée atteinte dans la tâche et pénalise tout recul, offrant un signal d'apprentissage dense sans dépendre de la vitesse. Le résultat comble un angle mort connu de l'apprentissage par renforcement appliqué à la locomotion humanoïde : les politiques entraînées pour franchir des obstacles hauts convergent généralement vers des sauts à fort impact, gourmands en couple et jugés trop dangereux pour un usage réel. En démontrant un franchissement fiable au-delà de la longueur des jambes via une escalade contrôlée, APEX étend le champ d'action des humanoïdes hors de la simple marche sur terrain accidenté, un enjeu concret pour les intégrateurs visant l'entrepôt, le chantier ou l'intervention en environnement non structuré, où quais et plateformes verticales restent des obstacles fréquents. La correction de l'écart simulation-réel, obtenue en modélisant les artefacts de cartographie à l'entraînement puis en filtrant et reconstruisant les cartes d'élévation au déploiement, illustre une approche de plus en plus répandue pour fiabiliser les tâches de contact riche sans multiplier les démonstrations vidéo sélectionnées. Ce travail s'inscrit dans la progression rapide de la locomotion humanoïde par apprentissage par renforcement, déjà capable de marche robuste sur terrain irrégulier mais jusqu'ici limitée par la portée des jambes. Le recours au Unitree G1, plateforme matérielle courante en recherche académique, situe APEX comme une contribution scientifique plutôt qu'un produit commercial : il s'agit d'une publication arXiv en version 3, de type "replace" (mise à jour d'un travail déjà soumis), sans annonce de partenariat industriel, de pilote ni de calendrier de commercialisation. Les suites attendues pour ce type de recherche portent généralement sur l'extension à des terrains plus variés et la validation sur d'autres plateformes matérielles, dans un secteur où la course se joue de plus en plus autour de politiques généralistes de type VLA, vision-language-action, capables de généraliser au-delà d'une tâche unique.

RecherchePaper

1 source