RecherchearXiv cs.RO 23 octobre 2026

Alpha : injection systématique de fautes et évaluation de la robustesse pour la manipulation incarnée pilotée par LLM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un travail publié sur arXiv (2610.30197) présente Alpha, un cadre d'injection de fautes et d'évaluation de robustesse pour la manipulation robotique pilotée par un grand modèle de langage (LLM), testé en simulation uniquement. Alpha injecte des défauts calibrés à quatre niveaux de la chaîne d'exécution : perception (retard de capteur), actionnement (glissement de la prise), cinématique (cibles hors d'atteinte) et planification (corruption de la sortie du planificateur), seuls ou combinés. La méthode apparie un agent LLM (Llama-3 exécuté via Ollama) à un planificateur déterministe de référence, le « Scripted Oracle ». Les deux passent une matrice équilibrée de 150 épisodes, avec mêmes graines aléatoires, mêmes géométries et mêmes critères de sécurité. L'Oracle réussit 64,0 % des épisodes (48/75) contre 44,0 % (33/75) pour le LLM (test de McNemar apparié, p = 3,01 x 10^-4). Hors corruption de la sortie du planificateur, les deux obtiennent 55,0 % (33/60), sans aucune paire discordante (p = 1,00). Les auteurs auditent aussi 169 tentatives pilotes antérieures par souci de transparence.

L'intérêt tient à la méthode de diagnostic. Les benchmarks usuels mesurent l'achèvement de tâche de bout en bout dans des conditions nominales, ce qui masque l'étage de la pile où la panne naît. Ici, le glissement de prise, les limites d'atteinte et les données de capteur périmées dégradent un contrôleur déterministe et un planificateur LLM de la même façon. L'écart de 20 points vient donc entièrement de la corruption de la sortie : l'Oracle y réussit à 100 %, le LLM à 0 %. Les auteurs l'attribuent à l'interface de sérialisation et de validation prompt-vers-JSON, et non à un déficit de raisonnement. Pour un intégrateur, cela déplace l'effort vers la validation des sorties, les schémas contraints et les mécanismes de reprise, plutôt que vers un modèle plus gros. Les limites sont nettes : simulation seule, un seul modèle de taille modeste, des effectifs réduits (60 épisodes pour la comparaison à zéro écart) et un Oracle dont la robustesse à 100 % face à la corruption est en partie une conséquence de sa conception.

Le travail s'inscrit dans l'essor des planificateurs LLM et des modèles vision-langage-action (VLA) pour la manipulation, dont l'évaluation reste dominée par des taux de réussite agrégés, souvent sur des démonstrations choisies. Alpha rejoint les approches d'ingénierie de la fiabilité, à l'image des tests de fautes en robotique classique, appliquées à la couche de planification. Aucun déploiement industriel ni acteur européen n'est mentionné. Les suites logiques seraient de tester d'autres LLM, des sorties structurées contraintes et des essais sur robot réel, pour vérifier que l'équivalence observée en simulation tient face au bruit physique.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Robustesse de la manipulation robotique : fondations et perspectives

Résumé pour l'article "Robustness of Robotic Manipulation: Foundations and Frontiers" : Une équipe de chercheurs publie sur arXiv une étude systématique consacrée à la robustesse de la manipulation robotique, un chantier resté jusqu'ici fragmenté entre sous-domaines qui n'utilisaient pas les mêmes définitions. Les auteurs proposent d'abord une définition formelle : la robustesse mesure la capacité d'un système de manipulation à atteindre son objectif malgré l'incertitude et la variation des conditions. Ils en dérivent ensuite deux formulations générales, l'une probabiliste, l'autre issue de la théorie du contrôle, avant de cartographier les mécanismes concrets qui produisent de la robustesse à chaque étage de la pile robotique : perception, planification, contrôle, apprentissage de politiques (policy learning) et conception matérielle. Chaque mécanisme est illustré par des travaux de référence, des fondations historiques aux publications récentes. Le papier revient aussi sur les métriques et protocoles d'évaluation existants, souvent hétérogènes, et se conclut par une liste de problèmes ouverts vers une robustesse comparable à celle des humains. L'enjeu dépasse l'exercice académique. Depuis deux ans, une génération de modèles VLA (vision-language-action) comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia, Helix de Figure ou Optimus de Tesla revendique des capacités de manipulation généralistes, mais les annonces s'appuient sur des démonstrations et des métriques propres à chaque acteur, difficiles à comparer entre elles. Pour les intégrateurs et décideurs B2B qui doivent choisir une solution pour de la logistique ou de l'assemblage, disposer d'un cadre commun pour distinguer un modèle réellement robuste d'une démonstration soigneusement sélectionnée devient central, surtout face à l'écart bien documenté entre performance en vidéo et performance en déploiement réel. Cette synthèse s'inscrit dans une lignée qui remonte au contrôle robuste classique des années 1980-1990, avant que l'apprentissage par renforcement puis les politiques end-to-end n'ouvrent de nouvelles pistes dans les années 2010-2020, jusqu'au boom actuel des modèles fondation pour la robotique portés par des laboratoires comme Physical Intelligence, Nvidia, Google DeepMind ou Figure. En posant un vocabulaire et des critères communs, les auteurs cherchent moins à trancher un débat qu'à donner aux chercheurs et industriels un langage partagé pour comparer leurs approches, une étape jugée nécessaire avant toute standardisation sectorielle des tests de robustesse.

RecherchePaper

1 source

2arXiv cs.RO

LIBERO-Agent : évaluation d'agents généralistes pour la manipulation incarnée directe

Des chercheurs publient sur arXiv LIBERO-Agent, un benchmark qui teste si les agents généralistes savent piloter directement un robot manipulateur. Ces agents planifient, utilisent des outils et corrigent leur comportement à partir de retours. Les approches existantes leur demandent soit de soumettre un programme Python de contrôle pour toute la tâche, soit d'appeler des compétences robotiques de haut niveau. Ici, l'agent évolue dans un environnement interactif. Il choisit les observations à consulter, les traite avec ses propres outils et émet des commandes d'action natives. Le benchmark réunit 200 tâches dans un cadre commun. Sa suite principale compte 30 tâches, réparties pour isoler la perception, l'exécution à court horizon et la composition à long horizon. Les agents réussissent bien la perception et les tâches courtes faciles, mais leurs scores chutent nettement sur les tâches courtes difficiles et sur les séquences longues. GPT-6 Astra obtient la meilleure performance globale. Le résultat nuance l'idée que les capacités agentiques acquises dans les environnements numériques se transfèrent mécaniquement au monde physique. Le goulot d'étranglement est la fiabilité, pas la compréhension de la scène. Pour un intégrateur ou un COO industriel, un agent généraliste n'est donc pas, en l'état, un substitut crédible à un modèle VLA (vision-langage-action) entraîné sur des données d'action. Les auteurs notent que des observations plus riches améliorent la manipulation à court horizon, alors que l'effet des démonstrations dépend de l'agent et du format. L'avantage de GPT-6 Astra tient surtout à l'interaction avec des mécanismes, en particulier quand un contact physique prolongé est nécessaire. Ses échecs restants viennent d'interférences entre étapes successives et d'erreurs géométriques. Ce travail s'inscrit dans la course entre deux voies. La première est celle des VLA spécialisés comme Pi-0, GR00T N2 ou Helix, entraînés sur des données de manipulation. La seconde consiste à réutiliser des modèles généralistes comme agents. LIBERO-Agent est un outil d'évaluation, pas un produit ni un déploiement. Le résumé ne précise ni matériel réel, ni temps de cycle, ni coût d'inférence, ni comparaison directe avec les VLA, des données indispensables avant toute lecture industrielle. La suite logique est l'adoption du benchmark par d'autres laboratoires et sa confrontation aux modèles robotiques dédiés.

RecherchePaper

1 source

3arXiv cs.RO

WorldLine : simulation visuelle pilotée par les actions pour la manipulation robotique

WorldLine, un simulateur visuel piloté par l'action, est présenté dans un preprint arXiv (2609.38059) pour la manipulation robotique. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Le système apprend la dynamique de manipulation à partir de plus de 10 000 heures de vidéos de robots sans annotation d'actions. Il l'ancre ensuite dans le contrôle avec plus de 2 000 heures de trajectoires actionnées, réparties sur plus de dix morphologies de robots. Une représentation des actions dans l'espace image sert d'interface de contrôle commune, ce qui évite de traduire entre espaces de commande incompatibles. L'entraînement combine plusieurs points de vue, des trajectoires d'échec et une régularisation relationnelle pour mieux prédire les interactions. Une distillation en quelques étapes centrée sur le robot permet un déroulé causal rapide, en conservant les mouvements utiles à l'action. Sur des trajectoires échouées, le score d'IoU des masques du robot gagne 0,1626 face à la meilleure référence. La réussite d'une trajectoire est prédite avec 74 % de précision moyenne sur RoboTwin et AgiBot, soit un point de plus que la meilleure base de comparaison. Sans entraînement ni adaptation sur RoboTwin, les déroulés du simulateur améliorent le taux de succès de tâche jusqu'à 21,4 points par rapport à l'exécution directe de la politique. L'enjeu est le coût de l'évaluation et de la collecte d'expérience sur robot réel, principal frein à l'apprentissage en conditions réelles. Un simulateur capable de prédire l'issue d'une action avant son exécution permet de trier des politiques ou de planifier sans mobiliser de matériel. Le résultat le plus parlant concerne les échecs : les modèles vidéo génératifs tendent à produire des scènes plausibles mais peu fidèles à l'action commandée, et à «réussir» visuellement des gestes ratés. Or un simulateur inutilisable pour détecter l'échec ne sert pas à l'évaluation. Il faut toutefois relativiser : 74 % de précision sur la réussite reste modeste pour de la validation avant déploiement, et l'avance sur la meilleure référence n'est que d'un point. Le gain de 21,4 points est un maximum, non une moyenne, et les benchmarks (RoboTwin est surtout simulé) ne garantissent pas la robustesse en atelier. L'approche montre néanmoins qu'un jeu de données vidéo massif sans actions peut compenser la rareté des données actionnées. Ces travaux s'inscrivent dans la vague des modèles du monde et des simulateurs vidéo pour la robotique, qui visent à réduire la dépendance aux données téléopérées, coûteuses et propres à chaque robot. Leur point de friction est l'hétérogénéité des espaces d'action entre plateformes, que WorldLine traite par sa représentation image partagée. Il se place face aux modèles vidéo généralistes et aux simulateurs conditionnés par l'action, limités par des données rares. La suite logique passe par la validation sur robots physiques, la mesure de la corrélation entre succès prédit et succès réel, et l'intégration à des boucles de planification ou d'évaluation de politiques. Une page projet publie des résultats supplémentaires, mais aucune date de publication du code ou des modèles n'est mentionnée.

RecherchePaper

1 source

4arXiv cs.RO

LaGEA : des agents incarnés guidés par le langage pour la manipulation robotique

Des chercheurs présentent LaGEA (Language Guided Embodied Agents), une architecture combinant un modèle vision-langage (VLM) et l'apprentissage par renforcement (RL) pour la manipulation robotique, décrite dans une version mise a jour (v3) d'un article arXiv (2509.23155). Apres chaque tentative, le système résume l'épisode en langage naturel, localise les instants décisifs de la trajectoire, aligne ce retour avec l'état visuel dans une représentation partagée, puis transforme la progression vers l'objectif en récompenses bornées appliquées pas a pas. Un coefficient adaptatif, sensible aux échecs, rend ce signal dense en début d'exploration puis l'atténué avec la montée en compétence de l'agent. Sur les bancs d'essai simules Meta-World MT10 (dix taches de manipulation) et Robotic Fetch, LaGEA améliore le taux de réussite moyen de 9,0% sur des objectifs aléatoires, 5,3% sur des objectifs fixes et 17% sur les taches Fetch par rapport aux méthodes de référence, avec une convergence plus rapide. Le travail s'attaque a un problème classique du RL, la conception manuelle des fonctions de récompense, souvent couteuse et peu généralisable a de nouvelles taches. En montrant qu'un retour en langage naturel, structure et ancre temporellement, peut remplacer une partie de cette ingénierie, LaGEA nuance le narratif dominant autour des modèles vision-langage-action (VLA) de type Pi-0, GR00T N2 ou Helix, conçus pour piloter directement une politique de bout en bout : ici, le langage sert de superviseur d'apprentissage plutôt que de commande directe. Les gains rapportes restent obtenus en simulation, non sur du matériel réel, et demandent une confirmation sur des taches de manipulation physique. LaGEA prolonge les travaux exploitant les grands modèles vision-langage comme source de récompense ou de critique pour le RL, un axe de recherche actif depuis l'essor des modèles de fondation capables de décrire des objectifs et d'évaluer des trajectoires. Meta-World MT10 et Robotic Fetch sont des bancs d'essai standards de la communauté robotique, ce qui permet une comparaison directe avec l'état de l'art. S'agissant d'une version corrigée d'un article déjà publie, la contribution reste académique : aucun partenaire industriel, date de déploiement ou intégration produit n'est annonce a ce stade, la prochaine étape logique étant une validation sim-to-real sur robot physique.

RecherchePaper

1 source