RechercheInteresting Engineering 9 novembre 2026

Le système intelligent du MIT aide les robots à comprendre ce que les humains veulent dire, et pas seulement ce qu'ils disent

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs du MIT ont mis au point FLEX (Flexible Language Guided Representation Editing for Adaptive Robot Behavior), un système qui aide un bras robotique à déduire les intentions implicites d'une consigne en langage naturel. Les travaux, dirigés par la professeure assistante en aéronautique et astronautique Andreea Bobu, sont présentés ce mois-ci à la Conference on Robot Learning. Ils associent Nathan Dennler, chercheur postdoctoral au CSAIL, Audrey Lee, étudiante en master, et Ilia Sucholutsky, de NYU. Dans l'exemple type, le robot doit transporter une tasse de café sur une table encombrée et l'utilisateur lance « Ne renverse pas sur l'ordinateur ! ». FLEX évite alors le portable, mais aussi un téléphone voisin que personne n'avait cité. Le système procède en trois étapes. « Add » ajoute à la liste d'évitement les objets et caractéristiques mentionnés (une tasse, dans « Ne lâche pas la boule de bowling sur ma tasse »). « Generalize » s'appuie sur GPT-4o pour extrapoler : la tasse devient un objet fragile, donc tous les objets fragiles sont à protéger. « Mask » utilise la vision par ordinateur standard du robot pour retirer de la liste les objets absents de la scène et mettre à jour les décisions en temps réel. L'ensemble prend environ cinq secondes, selon les auteurs.

L'intérêt tient à la manière dont le système traite les préférences des utilisateurs. Plutôt que de réentraîner une politique ou de collecter de longues démonstrations, FLEX édite à la volée la représentation de la tâche à partir de quelques phrases, en exploitant les associations de sens commun des grands modèles de langage (liquide et électronique, bougie et matières inflammables). Pour des robots domestiques ou de service, c'est une piste crédible face à l'hétérogénéité des attentes, que Bobu résume ainsi : les préférences des foyers sont extrêmement variées, il faut donc apprendre à partir de peu d'instructions. Il faut toutefois relativiser. Les tests ont eu lieu uniquement en simulation, sur trois scénarios (servir du café, déplacer une bougie, porter une boule de bowling), avec des catégories simples comme les appareils électroniques, les matières inflammables et les objets fragiles. Aucun chiffre de taux de réussite, aucun essai sur matériel réel et aucune comparaison avec des méthodes concurrentes ne sont communiqués. Le délai de cinq secondes, acceptable pour une tâche domestique, serait pénalisant dans un environnement industriel cadencé, et la dépendance à un LLM propriétaire pose des questions de latence, de coût et de fiabilité.

Ces travaux s'inscrivent dans le courant de l'apprentissage de préférences humaines et de l'alignement des robots, domaine où Bobu est active depuis plusieurs années, en parallèle des modèles vision-langage-action (VLA) généralistes, qui visent à encoder ce sens commun directement dans la politique de contrôle. FLEX adopte une approche plus modulaire, où le LLM sert de couche de raisonnement et la perception classique de garde-fou. Le projet est soutenu en partie par le MIT Generative AI Impact Consortium et par le programme Social and Ethical Responsibilities of Computing du MIT Schwarzman College of Computing. Les prochaines étapes naturelles seraient une validation sur robot physique, des tests avec de vrais utilisateurs et une mesure de la robustesse face aux généralisations erronées du LLM. Aucun calendrier de pilote ni partenaire industriel n'a été annoncé : on reste, à ce stade, au stade de la recherche académique.

Dans nos dossiers

IA physique & VLA

À lire aussi

1Robotics Business Review

Nous savons construire des robots plus intelligents, il reste à apprendre à mieux les tester

Un robot humanoïde est aujourd'hui accessible à l'achat pour 14 000 dollars, sans certification de sécurité standardisée ni protocole de validation comportementale obligatoire. L'auteur de cet article, chercheur en robotique, a co-publié deux travaux récents qui convergent vers un même constat : les méthodologies de test n'évoluent pas au même rythme que les architectures de contrôle autonome. Pour cartographier ce décalage, il propose une taxonomie en cinq niveaux, classifiant les robots non pas selon le degré d'attention humaine (comme le fait la norme SAE pour les véhicules), mais selon le mode de traitement de l'information et de génération du comportement par la machine elle-même. Niveau 0 : téléopération pure. Niveau 1 : imitation par behavior cloning, fragile dès que les conditions terrain s'écartent légèrement des données d'entraînement. Niveau 2 : apprentissage supervisé en temps réel, où le robot détecte son incertitude, se met en pause et intègre une correction humaine via inverse reinforcement learning. Niveau 3 : apprentissage auto-supervisé, le robot générant ses propres signaux d'entraînement par essais-erreurs sans intervention humaine. Niveau 4 : reinforcement learning complet, le robot reformulant chaque tâche comme un problème d'optimisation résolu en interaction continue avec son environnement. Ce que cette taxonomie révèle est structurellement important pour les intégrateurs et les décideurs industriels : chaque niveau supplémentaire introduit un type de défaillance fondamentalement différent, qui rend les approches de test existantes insuffisantes. Aux niveaux 0 et 1, les outils sont matures et les comportements testables de façon exhaustive. Dès le niveau 2, il faut valider non seulement le comportement mais aussi le mécanisme de détection d'incertitude et l'intégrité de chaque mise à jour d'apprentissage. Au niveau 3, le robot réécrit continuellement sa propre politique : tester une performance instantanée ne suffit plus, il faut auditer le processus d'apprentissage lui-même. Au niveau 4, l'espace comportemental est trop vaste et trop dynamique pour une énumération exhaustive des cas de test. La thèse centrale est que les garanties formelles de sécurité doivent remplacer l'énumération de cas tests aux niveaux élevés d'autonomie, et que l'évaluation de robustesse adversariale doit devenir aussi systématique que les tests fonctionnels. Cette réflexion s'inscrit dans un moment charnière de l'industrie : les laboratoires et industriels (Figure, Boston Dynamics, Agility, 1X, Unitree côté hardware ; Physical Intelligence, DeepMind, NVIDIA côté fondations VLA) poussent vers une autonomie croissante, mais le cadre réglementaire reste absent pour les systèmes à prise de décision autonome en environnement non contrôlé. L'absence de standards équivalents aux normes ISO 10218 pour les robots industriels fixes crée un vide que comblent actuellement les constructeurs eux-mêmes, avec des métriques internes difficiles à auditer. Les prochaines étapes identifiées par l'auteur pointent vers l'intégration de méthodes de vérification formelle et de red-teaming adversarial comme pratiques standard de validation, avant que des déploiements à grande échelle dans des environnements non structurés ne rendent ces lacunes coûteuses.

UELe vide réglementaire identifié, absence de normes équivalentes aux ISO 10218 pour les robots à décision autonome, concerne directement le marché européen, où l'AI Act devra s'appliquer à des systèmes dont les méthodes de validation restent aujourd'hui définies unilatéralement par les constructeurs.

RechercheOpinion

1 source

2arXiv cs.RO

Plus facile à dire qu'à faire : comprendre l'écart entre intention et comportement dans le jailbreak des robots pilotés par LLM

Des chercheurs de l'université du Zhejiang (projet « ZJU SHINE ») publient la cinquième version d'un article posé sur arXiv (2412.16633) consacré aux attaques de type « jailbreak » contre les robots pilotés par grands modèles de langage (LLM). Dans ces architectures, le LLM sert de planificateur et traduit une instruction en langage naturel en appels de politiques exécutables, comme grasp(), moveto() ou opengripper(). Les auteurs observent que les jailbreaks existants, qui produisent des politiques d'apparence malveillante (« intent jailbreaks »), échouent souvent à provoquer une action physique réellement nuisible (« behavior jailbreaks »). Les causes sont propres à la robotique : erreurs de logique, API de contrôle hallucinées, mauvais ordonnancement des politiques, contraintes matérielles et cinématiques ignorées. Pour combler cet écart, l'équipe présente POEF (POlicy EFfective Jailbreak), un cadre automatisé de red teaming. Il utilise les gradients des couches cachées d'un LLM non aligné pour guider l'optimisation des prompts, puis un évaluateur multi-agents vérifie la faisabilité des politiques générées. Testé sur des robots commerciaux (humanoïde Unitree G1, bras Franka) et en simulation, POEF atteint 80 % de succès en behavior jailbreak et se transfère entre différents LLM. Deux stratégies de défense sont également proposées. Le résultat déplace la question de la sécurité des robots à LLM. Jusqu'ici, beaucoup d'évaluations comptaient un succès dès que le modèle produisait un plan dangereux sur le papier, ce qui surestimait le risque réel. Le « gap » mesuré ici montre que la robustesse physique (API réelles, ordre des actions, limites cinématiques) agit comme une protection involontaire, mais fragile : un attaquant qui en tient compte atteint 80 % de réussite. Pour les intégrateurs et responsables de déploiement, la leçon est qu'un filtrage du texte en entrée ne suffit pas. Il faut aussi valider les politiques au niveau de l'exécution, par exemple avec des vérifications de faisabilité, des limites de force et de vitesse, et des listes blanches d'API. Le transfert entre LLM suggère en outre qu'un changement de fournisseur de modèle ne règle pas le problème. Une réserve s'impose : les tests portent sur un nombre restreint de plateformes et de scénarios, et ne couvrent pas les architectures VLA de bout en bout (type Pi-0 ou Helix), qui n'utilisent pas ce schéma de planification par API. Ces travaux s'inscrivent dans une série de recherches sur les jailbreaks de robots, qui ont montré que des LLM embarqués pouvaient être poussés à générer des plans dangereux, sans toujours démontrer leur exécution. POEF fait passer l'évaluation de l'intention à l'effet physique mesuré. Le calendrier du secteur rend l'enjeu concret : les humanoïdes à planificateur LLM, de Unitree à Figure ou Tesla, avancent vers des pilotes industriels, et les auteurs jugent urgent de renforcer les contre-mesures avant tout déploiement à grande échelle. Aucun acteur européen n'est cité, mais les exigences du règlement européen sur l'IA et des normes de sécurité machine pourraient faire de ce type de red teaming un passage obligé. Les prochaines étapes probables sont des tests sur davantage de plateformes et sur les VLA, ainsi qu'une évaluation indépendante des deux défenses proposées.

UECe type de red teaming pourrait devenir un passage obligé pour la conformité des robots à LLM au règlement européen sur l'IA et aux normes de sécurité machine, mais aucun acteur européen n'est impliqué.

RechercheOpinion

1 source

3Interesting Engineering

Le nouveau système de Galbot aide les robots humanoïdes à bouger naturellement pendant une conversation

Galbot, entreprise chinoise de robotique, a dévoilé RoboGesture, un framework destiné à générer en temps réel des gestes synchronisés avec la parole pour les robots humanoïdes. Développé avec des chercheurs de l'université Tsinghua, de l'université de Pékin, du Beijing Institute of Technology, du Harbin Institute of Technology et du Shanghai Qi Zhi Institute, le système sera présenté à l'European Conference on Computer Vision (ECCV) 2026. Annoncé le 5 septembre 2026 sur le compte X de Galbot, RoboGesture ferme la boucle écoute-réponse-geste en environ deux secondes. Le système convertit la parole entrante en tokens audio via le codec Mimi, puis analyse le signal à plusieurs niveaux : les caractéristiques de bas niveau captent le rythme et les variations de ton, tandis que les couches plus profondes extraient le sens sémantique. La composante sémantique a été entraînée sur 300 catégories de gestes. Les signaux sont ensuite transmis à un modèle de génération de mouvement fondé sur un transformer à diffusion, qui produit des trajectoires dans un espace de mouvement continu plutôt que des commandes fixes, permettant un enchaînement fluide des gestes. Cette annonce vise une limite récurrente des robots humanoïdes commerciaux : des mouvements souvent perçus comme mécaniques, répétitifs ou déconnectés du discours, un défaut qui nuit à l'acceptation des robots dans des rôles d'accueil, de guide ou d'assistance sociale. Les chercheurs affirment s'attaquer à trois obstacles concrets : le manque de données d'entraînement, la difficulté à relier la parole au mouvement approprié, et les risques de sécurité lorsque des gestes générés par IA sont transférés à un robot physique. Ils identifient également un problème baptisé « éclipse de modalité », où le modèle se met à répéter des gestes issus de ses mouvements précédents au lieu de réagir à la nouvelle parole ; une méthode de guidage nommée Anti-Inertia classifier-free guidance masking est présentée comme correctif. Ces travaux restent toutefois au stade de la recherche académique : la démonstration diffusée sur X ne constitue pas une validation indépendante, et aucun chiffre de déploiement, de coût ou de robustesse en conditions réelles n'est fourni, ce qui invite à la prudence sur la portée réelle du système hors laboratoire. Galbot s'inscrit dans la vague des start-up chinoises de robotique généraliste qui, comme leurs homologues américaines telles que Figure avec son modèle Figure 03, Tesla avec Optimus, ou les initiatives fondées sur des modèles VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia, cherchent à doter les humanoïdes de capacités de manipulation et de perception avancées. RoboGesture se distingue en ciblant spécifiquement la communication non verbale plutôt que la manipulation ou la locomotion, un axe encore peu exploré par une concurrence surtout focalisée sur les tâches industrielles ou logistiques. La présentation prévue à l'ECCV 2026, conférence académique de référence en vision par ordinateur, signale une publication scientifique plutôt qu'un lancement commercial : l'article ne mentionne ni pilote annoncé, ni calendrier de déploiement, ni partenaire industriel identifié à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

Distill : comprendre les intentions réelles dans la communication humain-robot

Une équipe de chercheurs présente dans un article déposé sur arXiv en mai 2026 (arXiv:2605.14262) une approche baptisée Distill, conçue pour extraire l'intention réelle d'un utilisateur lorsqu'il formule une tâche à un robot. Le problème de départ est bien documenté : le langage naturel, aussi intuitif soit-il, reste ambigu et imprécis, tandis que la programmation par l'utilisateur final tend à l'inverse à être trop littérale, incapable de capturer la généralité de ce que l'utilisateur souhaite réellement accomplir. Distill opère en trois étapes sur une spécification de tâche fournie par l'utilisateur : il supprime les étapes superflues, généralise le sens derrière chaque étape individuelle, et relâche les contraintes d'ordonnancement entre ces étapes. L'approche a été implémentée sous forme d'interface web et évaluée via une étude crowdsourcée auprès d'utilisateurs réels. L'enjeu pour l'industrie robotique est concret : la distance entre ce qu'un opérateur dit et ce qu'il veut réellement constitue l'un des principaux freins au déploiement de robots autonomes dans des environnements non structurés. Les interfaces à langage naturel prolifèrent, portées par les modèles VLA (Vision-Language-Action) et les LLMs embarqués dans des plateformes comme Figure 02, Spot ou les robots collaboratifs industriels, mais elles buttent systématiquement sur cette ambiguïté sémantique. Une approche capable de distiller l'intention générale derrière une instruction floue ou sur-spécifiée réduirait le besoin de reformulation itérative et abaisserait la barrière d'adoption pour des opérateurs non-experts en programmation. Ce type de raffinement d'intention est également utile pour la génération automatique de programmes comportementaux dans des architectures de type task planning. Ce travail s'inscrit dans une vague de recherches visant à combler le fossé entre langage humain et représentations formelles exploitables par les robots, un champ actif impliquant des laboratoires comme Stanford, MIT CSAIL ou le groupe Human-Robot Interaction de l'Inria en France. Les approches concurrentes incluent la correction de programme par retour utilisateur (LLM Repair), la programmation par démonstration (PbD) et les interfaces de dialogue multi-tours. Distill se distingue par son orientation vers la généralisation automatique plutôt que la simple transcription ou la correction d'erreurs. Les prochaines étapes attendues concernent l'intégration sur des plateformes robotiques physiques et l'évaluation de robustesse face à des tâches à longue séquence ou à contraintes temporelles strictes. Il s'agit pour l'instant d'un preprint non évalué par les pairs, sans déploiement industriel annoncé.

UEL'Inria (groupe Human-Robot Interaction) est cité comme acteur du même champ de recherche, positionnant la France dans les travaux sur l'interprétation d'intention en robotique, sans implication directe dans ce preprint.

RecherchePaper

1 source