RecherchearXiv cs.RO 7 septembre 2026

Un mot, deux actions différentes : un benchmark robotique réel pour le raisonnement incarné conditionné au langage

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne sur arXiv, en septembre 2026, un preprint non encore relu par les pairs présentant un nouveau benchmark nommé « One Word, Different Action » (référence 2609.05260), conçu pour évaluer le raisonnement incarné conditionné par le langage directement sur robot réel plutôt qu'en simulation. Le protocole s'appuie sur des états de décision physiques et des actions exécutables, en confrontant des paires d'instructions qui soit préservent la tâche malgré un changement de mot, soit la modifient réellement. Il mesure ainsi séparément deux capacités : l'invariance décisionnelle, soit la capacité à conserver la même action quand la tâche ne change pas, et la sensibilité décisionnelle, soit la capacité à changer d'action quand la consigne l'exige vraiment. Deux volets complètent l'évaluation : un test de raisonnement multi-contraintes, où plusieurs exigences de tâche doivent être combinées en une seule décision exécutable, et un test d'ancrage sur images RGB réelles plutôt que sur des représentations symboliques simplifiées.

Les résultats montrent que les modèles actuels frôlent la saturation face à un changement isolé d'instruction, une difficulté donc largement surmontée par l'état de l'art. Ils se dégradent en revanche nettement dès qu'il faut intégrer plusieurs contraintes simultanées dans une seule décision exécutable. Pour les intégrateurs et décideurs qui déploient des robots pilotés en langage naturel, ce constat déplace le véritable verrou technique : il ne s'agit plus de détecter qu'une consigne a changé, mais de composer correctement plusieurs contraintes, par exemple l'objet visé, la position et une condition de sécurité, en une action cohérente. Le résultat invite à tempérer l'idée reçue selon laquelle les modèles vision-langage-action (VLA) auraient déjà réglé le suivi d'instructions en robotique : le goulot d'étranglement se déplace du repérage du changement vers le raisonnement compositionnel.

Ce travail s'inscrit dans une tendance plus large des bancs d'essai en robotique cherchant à dépasser les métriques obtenues en simulation, jugées trop éloignées des conditions réelles, en testant directement sur robot physique avec des images RGB non retouchées. Il fait écho à une limite déjà observée sur les modèles vision-langage-action déployés dans l'industrie : de bonnes performances sur des démonstrations isolées et contrôlées, mais une généralisation plus fragile dès que plusieurs contraintes de tâche doivent être combinées en une seule décision. L'abstract publié ne précise ni le robot manipulateur utilisé ni les modèles VLA spécifiquement testés, et ne mentionne aucun jeu de données ou code source rendu public à ce stade. « One Word, Different Action » ouvre néanmoins la voie à des comparaisons futures entre modèles sur la composition de contraintes, un axe que les prochains bancs d'essai du secteur devront probablement intégrer pour aller au-delà du simple test de détection de changement d'instruction.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

CAPSafe : un benchmark pour le raisonnement contextuel sur la sécurité des actions et des plans des agents incarnés

CAPSafe, un nouveau benchmark publié sur arXiv (2610.28381), évalue la capacité des agents incarnés pilotés par des grands modèles de langage à raisonner sur la sécurité, à deux niveaux. Le premier est un jeu de données au niveau de l'action, qui teste si une action isolée est sûre compte tenu de son contexte environnemental. Le second, au niveau du plan, vérifie si un agent sait produire des plans à long horizon sûrs pour des tâches domestiques dangereuses et complexes. Les auteurs ont testé neuf LLM, propriétaires et open source. Plusieurs d'entre eux dépassent 90 % de précision pour reconnaître une action dangereuse dans les meilleurs cas. Pourtant, le meilleur taux de réussite en toute sécurité sur les plans longs revient à Gemini-3-pro avec 78,19 %, tandis que tous les autres restent sous 65 %. Cet écart entre détection et planification est le résultat à retenir pour l'industrie. Un modèle qui identifie correctement un danger quand on le lui présente ne le prend pas pour autant en compte quand il enchaîne des dizaines d'actions. Pour les intégrateurs et les décideurs qui envisagent de confier à un LLM ou à un modèle vision-langage-action (VLA) la planification de tâches en environnement réel, la précision sur des questions isolées ne garantit donc pas la sécurité d'exécution. Les garde-fous devront probablement être placés au niveau de la séquence, par exemple avec une vérification formelle du plan, un filtre indépendant ou une supervision en boucle fermée, plutôt que de s'en remettre au seul raisonnement du modèle. Les chiffres sont en outre obtenus sur des tâches textuelles ou simulées. Ils ne disent rien de la perception, des erreurs de capteurs ni de la dynamique physique, qui aggravent le problème sur un robot réel. Le benchmark répond à des limites des évaluations précédentes. CAPSafe modélise des dangers situationnels, déduits des propriétés des objets plutôt que listés à l'avance. Il prévoit aussi plusieurs dangers simultanés dans un même environnement, chacun annoté d'un niveau de gravité relatif, ce qui permet une analyse plus fine que le simple verdict sûr ou non sûr. Il s'inscrit dans la série des évaluations de sécurité pour agents incarnés, sur un terrain où les laboratoires de modèles généralistes et les développeurs de robots humanoïdes et domestiques convergent. Le travail est un préprint, non évalué par les pairs, et l'article ne mentionne ni pilote industriel ni calendrier. Les suites logiques seraient l'adoption du benchmark par d'autres équipes, le test de modèles plus récents et son extension à des environnements physiques ou à des politiques VLA.

RecherchePaper

1 source

2arXiv cs.RO

UniWALM : un modèle de langage unifié monde-action pour le contrôle de robots incarnés

UniWALM, un modèle unifié « monde-action-langage » décrit dans un préprint arXiv (2610.28626), apprend la vidéo, l'action et le langage dans une représentation partagée unique, chaque modalité servant à la fois de signal de conditionnement et de cible de supervision. L'architecture repose sur un seul backbone de type mixture-of-transformers, dont les têtes de diffusion par modalité débruitent de façon synchrone. Le sous-objectif et la mémoire textuelle sont décodés dans la même passe que l'action, sans étape de planification séparée. Le texte généré est réinjecté au pas suivant, ce qui crée une boucle de « langage comme mémoire », sans planificateur externe ni banque mémoire. Les auteurs ajoutent un objectif d'entraînement, le Flow Matching with Correction (FMC), qui apprend au modèle à se rétablir après des trajectoires d'action perturbées, sans coût à l'inférence. Sur le pick-and-place compositionnel (MolmoSpaces), UniWALM progresse par rapport à son backbone de référence FastWAM. Sur le sous-ensemble de RMBench qui exige de la mémoire, il atteint 34,5 % sans modèle de langage ou de raisonnement pré-entraîné. Il dépasse ainsi la configuration de Mem-0 avec images clés (28,5 %) en n'utilisant qu'une seule image d'ancrage. Sur une tâche réelle de recherche d'objet (« Find-the-Item »), la génération de mémoire textuelle fait passer le succès de 11,1 % à 61,1 %, alors que les VLA de pointe restent à 33,3 % ou moins, soit au niveau du hasard. L'enjeu est d'abord architectural. La plupart des approches actuelles greffent un modèle vision-langage ou de raisonnement sur un backbone vidéo-action et les exécutent en étapes distinctes. UniWALM suggère qu'un modèle monolithique peut gérer planification et mémoire sans module externe, ce qui simplifierait le déploiement et réduirait la latence. Le résultat sur la tâche réelle est parlant : des VLA à ou sous le hasard sur un comportement dépendant de la mémoire montrent une faiblesse structurelle des politiques sans état. Il faut toutefois relativiser. La tâche réelle est unique et le jeu d'essais, au vu des pourcentages (multiples de 1/18), très réduit, probablement 18 épisodes. Les 34,5 % sur RMBench restent un score bas en valeur absolue. Aucune donnée de temps de cycle, de plateforme robotique ou de déploiement industriel n'est fournie. Pour un intégrateur, il s'agit d'un signal de recherche, pas d'une capacité mobilisable. Ce travail s'inscrit dans la tendance des modèles monde-action, qui combinent prédiction vidéo et génération d'actions, et dans celle des VLA comme Pi-0 ou GR00T, qui traitent surtout chaque pas de temps de façon quasi réactive. La mémoire à long horizon reste un angle mort de ces politiques, d'où des benchmarks dédiés comme RMBench et des approches concurrentes à base d'images clés comme Mem-0. FastWAM sert ici de base de comparaison directe. La suite logique serait une validation sur davantage de tâches réelles, avec des effectifs d'essais plus larges et des comparaisons face aux VLA industriels, ainsi qu'un passage à l'échelle par pré-entraînement. Aucune publication de code, de poids ou de calendrier n'est mentionnée dans le résumé disponible.

RecherchePaper

1 source

3arXiv cs.RO

AssemLM : un modèle de langage multimodal pour le raisonnement spatial en assemblage robotique

Des chercheurs ont publié AssemLM (arXiv:2604.08983), un modèle multimodal de raisonnement spatial pour la robotique d'assemblage. Le système fusionne trois sources (manuels d'assemblage, nuages de points 3D, instructions textuelles) pour prédire des poses 6D, c'est-à-dire la position et l'orientation complètes d'une pièce dans l'espace tridimensionnel. Un encodeur de nuages de points spécialisé extrait des caractéristiques géométriques et rotationnelles fines, transmises ensuite à un LLM multimodal pour le raisonnement spatial de haut niveau. Les auteurs publient également AssemBench, un benchmark de plus de 900 000 échantillons multimodaux avec annotations de poses 6D précises, étendant l'évaluation classique du grounding 2D à l'inférence géométrique 3D complète. Des tests sur robot réel valident des performances à l'état de l'art sur des tâches d'assemblage multi-étapes en conditions réelles. Le verrou ciblé est central en manipulation fine industrielle: les VLMs courants opèrent sur des images 2D et peinent à raisonner sur la géométrie précise qu'exigent le vissage, l'emboîtement ou l'alignement de composants au sous-millimètre. En intégrant les nuages de points comme modalité native, AssemLM raisonne sur l'orientation exacte d'une pièce, pas seulement sur sa présence dans le champ visuel. Pour un intégrateur ou une équipe R&D en automatisation industrielle, prédire des poses 6D depuis un manuel PDF et une capture 3D ouvre la voie à des cellules d'assemblage reconfigurables sans reprogrammation manuelle entre chaque référence produit. AssemBench, avec ses 900 000 échantillons annotés, comble par ailleurs un manque d'infrastructure de comparaison rigoureuse dans ce sous-domaine. Le raisonnement spatial est un défi persistant pour les modèles de vision-langage, majoritairement entraînés sur des tâches 2D (captioning, grounding d'objets, VQA). Les modèles VLA (Vision-Language-Action) récents, comme pi0 de Physical Intelligence, OpenVLA ou les travaux de Google DeepMind sur RoboVLMs, progressent sur la manipulation généraliste, mais l'assemblage industriel structuré avec ses contraintes de précision sub-millimétrique reste peu adressé par ces approches. AssemLM se positionne dans cette niche en ciblant explicitement les tâches avec documentation formalisée (manuels, nomenclatures). Les auteurs annoncent la mise à disposition publique du code, des modèles et du dataset AssemBench, point d'entrée potentiel pour la communauté académique et les industriels souhaitant affiner le modèle sur leurs propres composants. Aucun partenaire industriel ni déploiement commercial n'est mentionné: il s'agit à ce stade d'une publication de recherche, sans produit ni pilote planifié.

UELa publication en open-source d'AssemBench (900 000 échantillons annotés 6D) constitue une ressource d'entraînement et d'évaluation directement exploitable par les labos européens travaillant sur la manipulation industrielle précise, sans acteur FR/EU impliqué à ce stade.

RechercheOpinion

1 source

4arXiv cs.RO

Pensées modifiées, actions modifiées : la chaîne de raisonnement comme levier de contrôle d'une politique vision-langage-action

Des chercheurs ont testé ce qui arrive aux actions motrices d'un robot lorsqu'on modifie le raisonnement textuel d'une politique VLA (vision-language-action), c'est-à-dire un modèle qui convertit images de caméra et instructions en langage naturel en commandes moteur. Certaines de ces politiques « réfléchissent » d'abord en texte, produisent une chaîne de raisonnement, puis décodent les actions conditionnées par cette chaîne. Les travaux qui ont introduit cette architecture la présentent comme une interface de supervision : un opérateur peut lire et éditer le texte pour corriger le robot. L'étude mesure les deux sens, réparation et corruption, avec un échange déterministe d'entités appliqué à l'instruction et à la chaîne générée. Sur quarante tâches réparties dans les quatre suites de simulation LIBERO, le coût d'une chaîne corrompue se concentre là où le langage seul détermine le but. Sur LIBERO-Goal, avec DeepThinkVLA (retenu car son raisonnement est exposé en clair), une instruction corrompue accompagnée de la chaîne générée à partir de l'instruction saine récupère 47,8 points de pourcentage de succès perdu. Ce test confirmatoire était préenregistré, et les 10 tâches évoluent dans le sens prédit. L'enjeu dépasse l'académique. Si la chaîne n'avait fait que reformuler ce que l'image détermine déjà, l'injection n'aurait rien changé. Or le texte écrit dans ce raisonnement pilote réellement le robot : il répare le comportement quand il est juste et le dégrade quand il est faux. Pour les intégrateurs et les responsables de déploiement, cela signifie que l'interface de supervision vantée pour les VLA à raisonnement est bien un levier de contrôle, mais aussi une surface d'attaque ou d'erreur. Un opérateur qui corrige un raisonnement fautif peut sauver une tâche ; une édition erronée, ou une injection malveillante, peut la faire échouer. Le compromis entre transparence, contrôlabilité et robustesse cesse d'être une intuition et devient une grandeur mesurable, ce qui manquait aux discussions de sécurité sur ces architectures. Il faut toutefois relativiser la portée. Les résultats viennent de simulation (benchmark LIBERO), et la démonstration causale décisive repose sur un seul modèle, DeepThinkVLA, et une seule suite, LIBERO-Goal, où le langage suffit à définir le but. La récupération est substantielle mais partielle (47,8 points), et rien n'indique encore que l'effet se transpose tel quel à des robots physiques ou à des tâches où la vision domine. Ce travail s'inscrit dans la vague des VLA dotés de chaînes de raisonnement explicites, dont les promoteurs mettent en avant la lisibilité humaine. La suite logique est de tester d'autres politiques, d'autres benchmarks et des environnements réels, puis de définir des garde-fous, comme la validation ou l'authentification des éditions du raisonnement, avant d'exposer cette interface en production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source