RecherchearXiv cs.RO 22 octobre 2026

CausGround : ancrage des interactions causales pour une planification adaptative en IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent CausGround, un cadre « non paramétrique » qui apprend les préconditions et les effets des actions d'un robot à partir de son expérience d'interaction, sans mise à jour des poids du modèle. Le système distille ces interactions en connaissances causales centrées sur l'action. Il les organise dans une représentation factorisée de l'état du monde, qui décrit les attributs des objets et les relations entre objets. Au moment de planifier, les dépendances causales utiles à la tâche sont ancrées dans les observations courantes. Le planificateur raisonne alors en arrière sur les préconditions, puis en avant sur les effets, pour choisir les actions et enchaîner plusieurs étapes. Sur des versions adaptées des benchmarks VirtualHome et RoboCasa, et avec plusieurs MLLM (grands modèles de langage multimodaux) comme base, le taux de réussite moyen passe de 24,9 % à 53,3 % sur VirtualHome. Sur RoboCasa, la réussite en planification en boucle fermée passe de 43,0 % à 57,0 %. Sur SWITCH, un test de raisonnement sur l'interaction, la précision moyenne progresse de 25,8 % à 31,9 %. Des essais sur robot réel montrent aussi que le système remonte depuis un objectif interprété par le MLLM jusqu'à une séquence d'actions de haut niveau exécutable, pour de la manipulation séquentielle.

Pour l'industrie, le résultat s'attaque à un point faible connu des approches VLA et MLLM : le modèle comprend la consigne, mais ignore si l'action est faisable dans l'environnement précis et ce qu'elle va changer. Les méthodes existantes imposent soit un entraînement coûteux par environnement, soit l'exploitation d'expériences brutes et peu réutilisables. Une couche de connaissances causales réutilisables, sans réentraînement, intéresse les intégrateurs qui redéploient un même robot sur des sites différents. Il faut toutefois relativiser. Le gain le plus net vient de simulations adaptées par les auteurs, le gain sur SWITCH est modeste (6 points), et les essais réels sont décrits qualitativement, sans taux de réussite ni nombre d'essais dans le résumé. Ils portent sur de la planification de haut niveau, pas sur le contrôle bas niveau, qui reste le point dur du passage de la démonstration au terrain.

Ces travaux s'inscrivent dans la tendance des planificateurs fondés sur des MLLM, qui visent à relier raisonnement symbolique et perception, face aux politiques entraînées de bout en bout comme Pi-0 ou GR00T. Leur promesse est l'adaptation sans mise à jour des paramètres. Les suites logiques sont des tests sur davantage de tâches réelles, avec des chiffres publiés, et la combinaison avec des politiques d'exécution bas niveau. Il s'agit d'une prépublication arXiv (v1), sans relecture par les pairs ni déploiement industriel annoncé.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

PACE : allocation adaptative de budget pour une planification incarnée efficace en temps

Des chercheurs présentent PACE (Planning with Adaptive Cognitive Effort), un nouveau framework destiné à accélérer la planification des systèmes robotiques pilotés par des grands modèles de langage à raisonnement renforcé. Publié le 5 août 2026 sur arXiv (identifiant 2608.03034v1), le papier s'attaque au principal frein empêchant ces modèles d'équiper des systèmes embarqués: des délais d'inférence qui dépassent parfois la minute par instance de planification, le modèle devant achever tout son raisonnement avant d'exécuter la moindre action. PACE repose sur deux mécanismes. Une architecture "Interleaved Think-Act" entrelace le raisonnement cognitif et l'exécution des actions au lieu de les séquencer strictement. Un "Dynamic Budget Allocator" ajuste ensuite le budget de tokens de raisonnement à la fenêtre de temps d'exécution réellement disponible. Testé sur le benchmark Robotouille avec le modèle Qwen3-8B-AWQ, PACE atteint un taux de réussite de 10%, soit une amélioration relative de 67% par rapport à la référence ReAct+Think, tout en accélérant le temps de réflexion d'un facteur 6,9 comparé à un raisonnement non contraint. Le framework parvient à masquer 66,8% du temps de réflexion dans les fenêtres d'exécution. Cette approche répond à un goulot d'étranglement bien identifié: les modèles de raisonnement type "thinking" améliorent la qualité des plans générés mais restent inutilisables en temps réel, un robot ne pouvant rester immobile plusieurs dizaines de secondes entre chaque décision. En interrompant le raisonnement pour agir puis en le reprenant pendant l'exécution, PACE ouvre une piste concrète pour rendre les architectures LLM-planificateur compatibles avec des domaines sensibles à la latence, du pick-and-place industriel à la navigation d'AMR. Il faut toutefois relativiser l'ampleur du résultat: un taux de réussite absolu de 10% reste faible en tant que tel, même si le gain relatif et l'accélération démontrent la validité du principe. Il s'agit d'une preuve de concept en simulation, pas d'un système prêt pour un déploiement industriel. Classé "Announce Type: new" sur arXiv, ce travail s'inscrit dans la vague de recherches qui tentent d'adapter les modèles de raisonnement récents, conçus pour du texte, à des contextes physiques et temporisés. La comparaison retenue par les auteurs, ReAct+Think, reflète l'approche dominante actuelle où planification et action restent strictement séquentielles. Robotouille, le benchmark utilisé, simule des tâches de cuisine multi-étapes nécessitant coordination et replanification, un terrain de test courant pour évaluer les agents LLM en environnement embarqué. Les auteurs ne donnent ni calendrier de suite ni validation sur robot physique; l'extension à d'autres benchmarks et, à terme, des tests sur plateformes réelles constituent les prochaines étapes attendues pour ce type de travaux académiques.

RecherchePaper

1 source

2arXiv cs.RO

Replanification ancrée dans le corps pour une manipulation physiquement adaptative

Publié sur arXiv le 25 septembre 2026 sous la référence 2609.30024, un article présente le « body-grounded replanning », une méthode qui permet à un bras manipulateur d'ajuster sa stratégie d'exécution selon son propre état physique interne, et non plus seulement selon la géométrie de l'environnement. Le système surveille l'état articulaire du robot, charge sur les joints et mobilité disponible, et déclenche une replanification dès qu'un événement corporel survient, comme une surcharge ou une contrainte de mobilité asymétrique. Un grand modèle de langage interprète alors cet état, les statistiques d'exécution récentes et l'historique des actions pour choisir une stratégie alternative, sans toucher à l'objectif de la tâche ni au contrôleur bas niveau. L'approche est validée sur une tâche d'atteinte sous charge contrôlée et contraintes de mobilité asymétriques, en simulation puis sur un robot réel, avant d'être étendue à des manipulations avec contacts. Cette approche cible un angle mort des architectures de manipulation actuelles : une stratégie peut rester géométriquement valide tout en devenant physiquement inadaptée, par exemple quand un bras accumule de la fatigue articulaire ou perd en amplitude de mouvement, un signal qui ne remonte d'ordinaire jamais au-delà du contrôle bas niveau. En faisant remonter l'état corporel jusqu'à la couche de décision de haut niveau, généralement réservée à la perception externe, les auteurs montrent qu'un robot peut réduire son effort physique et gagner en efficacité d'adaptation tout en gardant un taux de réussite élevé. Pour les intégrateurs qui déploient des modèles vision-langage-action sur des plateformes réelles, ce travail ouvre une piste pour limiter l'usure mécanique et les échecs liés à des contraintes physiques imprévues, sans réentraîner la politique de contrôle bas niveau. Cette proposition s'inscrit dans la tendance consistant à confier à un LLM le rôle d'orchestrateur au-dessus de politiques de contrôle bas niveau spécialisées, une architecture déjà explorée par plusieurs travaux de planification robotique assistée par langage. Sa spécificité tient à l'usage de signaux purement internes au robot, joints, charge, mobilité, plutôt que des seules entrées visuelles habituellement utilisées pour décider d'un changement de stratégie. Classé comme nouvelle soumission sur arXiv, l'article ne mentionne aucun partenariat industriel ni déploiement hors laboratoire : les essais se limitent à une tâche de reaching et à des manipulations avec contacts, en simulation et sur un seul robot réel, sans calendrier de transfert vers un produit commercial.

RecherchePaper

1 source

3arXiv cs.RO

MIGU : ancrage d'instructions multimodales en contexte incertain pour la planification de manipulation

L'équipe de recherche à l'origine de MIGU (Multimodal Instruction Grounding under Uncertainty) a publié sur arXiv, sous la référence 2609.24995, une nouvelle soumission datée du 22 septembre 2026, un framework destiné à interpréter des instructions humaines combinant langage et gestes pour la manipulation robotique. Le système construit une vraisemblance géométrique en 3D en propageant l'incertitude de direction du regard et de profondeur à travers la géométrie œil-doigt, en tenant compte de l'erreur d'estimation de la direction de la main. En parallèle, un modèle vision-langage (VLM) fournit des a priori sémantiques sur les objets et régions candidats. Ces deux sources sont fusionnées par une approche inspirée de l'inférence bayésienne pour produire une croyance unifiée de désignation. Cette croyance alimente un planificateur de comportement qui décide soit de passer directement à la planification d'action, soit de demander une clarification si l'ambiguïté reste trop forte. Les cibles ainsi désignées définissent les objectifs pour la manipulation mobile et pour la planification tâche-et-mouvement sur table. Sur un benchmark réel, MIGU dépasse toutes les méthodes de référence testées, et les études d'ablation confirment l'apport de la modélisation explicite de l'incertitude multimodale. Le projet est documenté sur multimodal-instruction.github.io. L'enjeu dépasse l'exercice académique: dans un entrepôt, un domicile ou un établissement de soin, une instruction vague accompagnée d'un geste imprécis reste une source majeure d'échec pour un bras ou un robot mobile chargé de manipulation. La plupart des systèmes de désignation fondés sur des VLM ou des architectures VLA traitent le langage ou le geste isolément, ou supposent un signal propre et non ambigu. L'apport de MIGU est de quantifier explicitement l'incertitude de chaque canal et de prévoir une option de clarification plutôt que de forcer une décision hasardeuse, ce qui réduit le risque de saisir le mauvais objet, un défaut coûteux en conditions réelles pour les intégrateurs. La validation sur un benchmark physique, et non en simulation seule, distingue ce travail des démonstrations vidéo sélectives fréquentes dans le secteur. Le travail s'inscrit dans une recherche plus large sur la fiabilité des interfaces homme-robot fondées sur des modèles de fondation multimodaux, alors que des architectures VLA comme GR00T N2, Pi-0 ou Helix se généralisent pour piloter manipulateurs et humanoïdes. Contrairement à un produit commercial, MIGU reste à ce stade une contribution de recherche en prépublication, sans acteur industriel ni calendrier de déploiement annoncés dans l'article. Les suites évoquées portent sur l'intégration de cette brique de désignation dans des chaînes complètes de manipulation mobile et de planification tâche-et-mouvement, sans détail chiffré sur un passage à l'échelle.

RecherchePaper

1 source

4arXiv cs.RO

Replanification pour la reprise sur erreur : entraîner des VLM incarnés par interaction vérifiable avec Turn-GSPO groupé par actions

Des chercheurs proposent un cadre complet pour apprendre à des modèles vision-langage (VLM) embarqués à se rétablir après une erreur d'exécution en manipulation robotique. Le travail comprend trois éléments. ERR-Env est un environnement interactif qui fournit un retour vérifiable sur l'avancement de la tâche et sur les erreurs d'exécution. ERR-Bench est un banc d'essai de tâches tenues à l'écart de l'entraînement, couvrant des états nominaux, intermédiaires et d'erreur. AGT-GSPO (Action-Grouped Turn-GSPO) est une méthode d'apprentissage par renforcement en ligne, qui combine des récompenses au niveau de chaque tour (progression, états d'erreur) et une estimation d'avantage groupée par action. Elle sert à entraîner ERR-VLM, un VLM compact de 2 milliards de paramètres. Selon les auteurs, AGT-GSPO gagne 10,25 points de pourcentage de taux de succès strict (achèvement sans aucune erreur) et 22,95 points de taux de rétablissement. Des ablations et un transfert zéro-shot sont présentés à l'appui. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Le résumé ne donne ni valeurs absolues ni robot physique, ni détail sur la nature des environnements. L'intérêt tient à un constat que le secteur connaît bien sans toujours le mesurer : l'écart entre la progression d'une tâche et la fiabilité d'exécution. L'évaluation de plusieurs VLM sur ERR-Bench montre que ces deux dimensions ne vont pas de pair. Un modèle peut avancer vers l'objectif tout en commettant des erreurs qui laissent l'environnement dans un état difficile à rattraper. Pour un intégrateur ou un responsable d'exploitation, c'est la différence entre une démo réussie et un déploiement tenable, où les cas dégradés (objet tombé, prise manquée) dominent le coût réel. Le gain en rétablissement, supérieur à celui du succès strict, suggère aussi que la replanification se prête à un apprentissage dédié. Un modèle de 2 milliards de paramètres reste exécutable sur du matériel embarqué, ce qui compte pour la latence et le coût. En revanche, sans chiffres absolus ni validation sur robot réel, la portée industrielle reste à démontrer. Ce travail s'inscrit dans la montée des modèles vision-langage-action et des VLM embarqués, qui ont surtout été évalués sur la réussite nominale. Les méthodes de récupération existantes s'appuient soit sur des mécanismes à l'inférence avec une politique figée, soit sur des exemples d'échec et des corrections de référence, plutôt que sur des résultats d'actions vérifiés. L'approche présentée applique à ce problème l'apprentissage par renforcement de type GSPO, une variante de GRPO utilisée pour les LLM de raisonnement, et le fait avec des récompenses vérifiables. Les prochaines étapes naturelles sont la validation sur robots physiques, la comparaison avec les grands modèles généralistes et l'adoption d'ERR-Bench par d'autres équipes, ce que le préprint n'annonce pas à ce stade.

RecherchePaper

1 source