Aller au contenu principal
LLMs incarnés : quand une meilleure fidélité d'observation nuit à la résolution de problèmesIllustration générée par IA
RecherchearXiv cs.RO 

LLMs incarnés : quand une meilleure fidélité d'observation nuit à la résolution de problèmes

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs présente sur arXiv (réf. 2605.20072) une étude empirique sur le comportement des LLM incarnés en robotique. Pour sonder l'effet de la fidélité perceptuelle sur les agents cognitifs, ils ont conçu une série d'expériences autour du "Lockbox", un puzzle mécanique séquentiel aux interdépendances cachées, déployé sur un robot physique. Trois modes d'observation ont été testés : RGB brut, RGB-D (avec profondeur), et observations symboliques ground-truth (état parfaitement connu de l'environnement). Le résultat est contre-intuitif : les agents obtiennent leurs meilleures performances avec le RGB brut et leurs pires avec les observations parfaites. En simulation, les chercheurs ont consolidé ce constat en injectant du bruit artificiel, en inversant aléatoirement les résultats des actions perçues par l'agent. La performance culmine à un taux d'inversion de 40%, avec une multiplication du taux de réussite par 2,85 par rapport à la baseline sans bruit.

Ce résultat interroge directement un postulat central de la robotique cognitive : l'idée qu'une perception plus précise améliore mécaniquement la prise de décision. L'analyse des trajectoires d'actions révèle que le gain provient d'une réduction des boucles répétitives : un agent qui perçoit l'état du monde avec précision peut se bloquer dans un raisonnement circulaire, faute de signal lui indiquant de changer de stratégie. Un bruit perceptuel modéré brise ces boucles en forçant l'agent à reconsidérer ses hypothèses. Cette observation soulève une question sérieuse pour les pipelines VLA (Vision-Language-Action) actuels, où la précision des capteurs et la richesse des représentations symboliques sont présentées comme des leviers d'amélioration inconditionnels.

Les auteurs tirent une conclusion méthodologique forte : les taux de réussite seuls sont insuffisants pour évaluer les LLM dans des tâches incarnées, car une performance mesurée peut refléter une interaction fortuite entre erreurs perceptuelles et défauts de raisonnement, plutôt qu'une résolution robuste. Cette mise en garde arrive à un moment où Figure, 1X, Agility Robotics et Boston Dynamics intègrent des LLM comme planificateurs de haut niveau dans leurs humanoïdes, souvent évalués sur des benchmarks de tâches simples en environnement contrôlé. L'approche "empirical AI" adoptée ici, qui consiste à varier systématiquement les entrées et mesurer les effets comportementaux, offre un cadre d'évaluation plus rigoureux que les métriques agrégées habituelles.

À lire aussi

RoboWits : les défis inattendus de la résolution créative de problèmes en robotique
Illustration générée par IA
1arXiv cs.RO 

RoboWits : les défis inattendus de la résolution créative de problèmes en robotique

Des chercheurs de l'Université du Massachusetts Amherst viennent de publier RoboWits, un nouveau benchmark robotique bimanuel centré sur la résolution créative de problèmes en conditions dégradées ou inattendues. Le jeu de données comprend 30 tâches de base et 208 tâches générées par mutation, réparties sur trois axes de difficulté progressive : raisonnement géométrique, propriétés des matériaux, et assemblage d'objets. Pour construire ces scénarios à grande échelle sans supervision manuelle, l'équipe a développé un pipeline de génération automatique structuré comme un framework multi-agents coopératifs, avec des agents distincts chargés de la génération de tâches initiales, de la vérification, de la génération de métriques, de la mise en scène et de la mutation. Les politiques robotiques classiques, les VLA (Vision-Language-Action models) pré-entraînés et des planificateurs oracle à état complet ont été mis en compétition sur ce corpus. Les résultats pointent un écart de performance préoccupant pour l'industrie : les VLA pré-entraînés obtiennent des résultats préliminaires acceptables sur les tâches de base après fine-tuning mono-tâche, mais s'effondrent dès que les conditions changent via mutation. Cela confirme empiriquement une fragilité que beaucoup soupçonnaient sans pouvoir la quantifier : ces modèles généralisent mal à des configurations légèrement différentes de celles vues à l'entraînement, qu'il s'agisse d'obstacles inattendus, de contraintes géométriques modifiées, ou d'environnements conçus pour tromper. Pour un COO industriel ou un intégrateur, c'est un signal clair : les VLA actuels ne sont pas prêts pour des déploiements en production où les conditions varient librement. Le benchmark s'inscrit dans une critique croissante des évaluations robotiques dominantes, qui mesurent principalement l'exécution de skills isolés (manipulation standard, saisie d'objets) sans tester l'adaptation cognitive. Des benchmarks comme LIBERO ou RLBench restent centrés sur la répétabilité dans des environnements contrôlés. RoboWits tente de combler ce fossé en introduisant le concept de "unexpected challenge", proche des conditions réelles en logistique ou en manufacture. L'équipe UMass publie le code et le pipeline de génération, ce qui pourrait permettre à d'autres laboratoires, y compris européens, d'étendre le corpus. La prochaine étape attendue est l'intégration de modèles de raisonnement symbolique hybrides pour tester si l'ajout d'un planificateur explicite corrige la brittleness observée.

UELe pipeline de génération étant publié en open-source, les laboratoires européens (CEA-List, INRIA) peuvent étendre le corpus RoboWits pour évaluer et comparer leurs propres modèles VLA sur des scénarios de manipulation en conditions dégradées.

RechercheOpinion
1 source
VP-EVT : préservation active de la visibilité pour le suivi visuel incarné
Illustration générée par IA
2arXiv cs.RO 

VP-EVT : préservation active de la visibilité pour le suivi visuel incarné

Des chercheurs proposent VP-EVT, un cadre de suivi visuel incarné (Embodied Visual Tracking, EVT) qui traite la visibilité de la cible comme un objectif explicite du contrôle de mouvement, et non comme un simple effet secondaire du suivi. L'EVT consiste à faire suivre à un robot une personne désignée en dynamique, avec pour seule source la perception visuelle égocentrique de sa caméra. Le système utilise une perception guidée par le langage pour extraire séparément les observations de la cible et celles des piétons environnants. Lorsqu'une occlusion rend les observations incomplètes, il combine l'historique visuel et l'ego-motion pour maintenir une estimation des positions et mouvements relatifs. À partir de ces estimations et des waypoints de suivi courants, il prédit si poursuivre le suivi va prolonger l'obstruction. Si le risque est faible, le mouvement initial est conservé. Sinon, un contrôleur récurrent, qui intègre le contexte des manoeuvres précédentes, coordonne un changement de point de vue puis le retour à un suivi stable. Les auteurs introduisent aussi OccEVT-Bench, un banc d'essai en boucle fermée dédié aux occlusions persistantes, et collectent des démonstrations d'experts pour l'entraînement. Sur son split Risk, VP-EVT améliore le taux de succès de 121,4 % face à une base de comparaison jugée compétitive, et réduit le déficit de visibilité de 78,8 % ainsi que la plus longue durée de perte de la cible de 74,4 %. L'intérêt tient à un changement de posture : la plupart des méthodes de suivi sont réactives et ne réagissent qu'une fois la cible perdue, ce qui provoque de longues pertes en présence de foule. Pour la robotique de service, la logistique et la collaboration homme-robot, par exemple des robots suiveurs en entrepôt, en hôpital ou en commerce, la fiabilité en environnement encombré conditionne le passage de la démonstration à l'usage réel. Raisonner sur ce qui masque la cible et sur la façon dont le robot peut modifier cette obstruction rapproche le suivi d'une forme de planification active de la perception. Les chiffres sont toutefois à nuancer : le gain de 121,4 % est relatif, donc dépend fortement d'un taux de base potentiellement bas, il est mesuré sur le split le plus exigeant, et le banc d'essai est introduit par les auteurs eux-mêmes. Aucune validation sur robot physique ni indication de coût de calcul embarqué n'apparaît dans le résumé, ce qui laisse ouverte la question du transfert simulation vers réel. Ce travail s'inscrit dans la lignée des approches de suivi de personne apprises de bout en bout, guidées par le langage ou par des modèles vision-langage-action, qui se sont surtout évaluées dans des scènes où les occlusions restent brèves. En proposant un benchmark dédié, les auteurs cherchent à fixer un terrain d'évaluation commun, et sa diffusion, ainsi que celle des données de démonstration, dira si d'autres équipes l'adoptent. Les suites logiques sont des essais sur plateformes mobiles réelles, une comparaison avec davantage de méthodes concurrentes et une intégration dans des systèmes de navigation plus larges. Il s'agit à ce stade d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial annoncé.

RecherchePaper
1 source
Agents incarnés multimodaux : une perspective unifiée centrée sur les capacités, de l'utilisation d'ordinateur à celle de robot
Illustration générée par IA
3arXiv cs.RO 

Agents incarnés multimodaux : une perspective unifiée centrée sur les capacités, de l'utilisation d'ordinateur à celle de robot

Des chercheurs proposent, dans un article déposé sur arXiv (2610.30108), un cadre unifié pour décrire les agents multimodaux incarnés, qu'ils nomment MMEAs (multimodal embodied agents). Ces systèmes orientés but associent un raisonnement multimodal sur la tâche à une action physique, puis révisent leurs décisions à partir du retour obtenu. Le cadre, baptisé PAPAV, repose sur cinq fonctions récurrentes: percevoir l'état courant, anticiper les effets d'une action, planifier une séquence réalisable, agir via une interface ou un corps, et vérifier le résultat. Ces fonctions sont définies par leur rôle et non par une architecture, ce qui permet de comparer trois familles: les agents multimodaux (MMAs) qui raisonnent avec mémoire, outils et retours, surtout visibles sous forme d'agents d'usage d'ordinateur, les systèmes robotiques (RSs) qui couplent capteurs et actionneurs sous dynamique physique, et les MMEAs. Les auteurs ont examiné 64 benchmarks: l'évaluation explicite se concentre sur la fonction Act, seuls 5 benchmarks mesurent Anticipate et 3 mesurent Verify. Pour les intégrateurs et les équipes qui évaluent des modèles vision-langage-action (VLA), le constat est concret: un taux de réussite de tâche agrège des capacités très différentes et masque justement les deux fonctions dont dépend la fiabilité en conditions réelles. Un robot qui réussit une démonstration peut le faire sans réellement anticiper les conséquences de ses gestes ni vérifier qu'il a atteint son objectif, ce qui aide à comprendre l'écart entre démonstrations et déploiements. Le passage de l'ordinateur au robot est, selon les auteurs, gouverné par cinq contraintes physiques, de l'observabilité partielle aux résultats difficiles à vérifier. Elles laissent moins de choix fixés à l'avance et moins de marge pour annuler une erreur: un clic erroné se défait, une pièce lâchée ou un produit écrasé beaucoup moins. Il s'agit d'une contribution conceptuelle et d'une revue de benchmarks, sans nouveau modèle ni résultat expérimental sur robot, et la grille d'analyse reste à éprouver sur des systèmes concrets. Ce travail s'inscrit dans le mouvement qui rapproche les agents d'usage d'ordinateur, désormais courants, des modèles généralistes pour la robotique, où des VLA comme Pi-0, GR00T ou Helix cherchent à transposer le raisonnement multimodal vers le geste. Les benchmarks actuels sont surtout conçus pour mesurer l'exécution, ce qui oriente la recherche vers l'optimisation du succès final plutôt que vers la prédiction et le contrôle des résultats. Les auteurs listent des défis ouverts découlant de leurs contraintes physiques et proposent PAPAV comme base commune pour concevoir des agents physiques fiables et mesurer le progrès capacité par capacité. La suite dépendra de l'adoption de ce vocabulaire par les concepteurs de benchmarks, avec à la clé des évaluations dédiées à Anticipate et Verify.

RecherchePaper
1 source
Real-IKEA : la fidélité physique est le prérequis d'une manipulation robuste
Illustration générée par IA
4arXiv cs.RO 

Real-IKEA : la fidélité physique est le prérequis d'une manipulation robuste

Une équipe de chercheurs a publié sur arXiv le 9 juin 2026 Real-IKEA, un dataset et un framework de simulation centré sur la précision physique pour l'apprentissage de politiques de manipulation robotique. Le corpus comprend 1 079 configurations d'objets articulés, dérivées de 83 poignées et boutons IKEA authentiques, traités via un pipeline de six étapes visant à reproduire fidèlement leur géométrie de contact et leur comportement mécanique. Pour quantifier la précision des maillages de collision, les auteurs introduisent une métrique originale dite de déviation de surface bidirectionnelle. Sur le plan dynamique, chaque asset est livré avec des configurations résistance-calibrées, où l'amortissement (damping) et le frottement varient selon les mesures relevées sur objets réels. Une politique d'apprentissage par renforcement (RL) entraînée sur ces assets démontre in silico que la fidélité physique permet à l'agent de découvrir des stratégies de "hooking" (crochetage) et de "levering" (effet de levier), par opposition aux approches fragiles par friction-pulling que favorisent les simulateurs appauvris. Ce travail s'attaque directement au "physics gap", l'écart entre simulation simplifiée et résistances du monde réel, qui reste l'un des obstacles structurels au déploiement industriel de la manipulation robotique. Le résultat clé est une preuve de concept que la qualité des assets de simulation conditionne la qualité des stratégies émergentes : un simulateur trop idéalisé oriente l'agent vers des comportements non transférables. Pour un intégrateur ou un responsable production envisageant des bras robotiques sur des tâches d'assemblage ou de service, cela renforce l'argument en faveur d'investissements dans des pipelines de modélisation physique rigoureux avant tout déploiement, plutôt que d'ajustements post-déploiement coûteux. Real-IKEA s'inscrit dans une longue tradition de benchmarks utilisant le mobilier IKEA comme proxy de la complexité du monde réel, notamment les travaux de manipulation non-prehensile des années 2010. Le sim-to-real gap est un sujet de recherche actif, avec des acteurs comme IsaacSim (NVIDIA), MuJoCo (DeepMind) ou PyBullet comme environnements concurrents sur ce terrain. La contribution spécifique de Real-IKEA réside dans la granularité physique de ses assets plutôt que dans un nouvel algorithme. Les auteurs positionnent leur benchmark comme référence pour évaluer des politiques visant la robustesse au niveau humain sur les objets articulés, une ambition dont la validation à l'échelle réelle reste à démontrer.

RecherchePaper
1 source