RecherchearXiv cs.RO 17 septembre 2026

Mise à l'échelle en temps de test par historique causal pour la récupération après échec dans les modèles autorégressifs monde-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (papier 2609.18016v1, soumis le 17 septembre 2026) un framework de récupération d'échec pour les "world-action models" (WAM), ces systèmes qui modélisent conjointement la dynamique visuelle future et les actions du robot pour la manipulation. Le problème identifié est précis : ces modèles sont entraînés quasi exclusivement sur des trajectoires réussies, si bien qu'ils échouent dès que l'exécution réelle s'écarte de la dynamique apprise, et dans les WAM autorégressifs, chaque erreur d'exécution s'inscrit dans l'historique causal et contamine les prédictions suivantes. La méthode proposée, qualifiée de "training-free" (pas de réentraînement nécessaire), reformule la récupération d'échec comme un scaling au moment de l'inférence sur l'historique causal, en trois étapes couplées : un déclencheur qui détecte la non-progression persistante et n'intervient que si l'état d'exécution le permet, un module qui identifie le suffixe d'historique non fiable, retrouve une ancre historique correspondant à l'état physique courant et reconstruit l'état causal (KV) à partir du préfixe retenu, et enfin une vérification d'hypothèses qui compare les continuations générées à partir de l'historique complet, du préfixe récupéré et d'une réinitialisation totale, avant de retenir la meilleure. Les expériences, menées en simulation et sur banc réel, montrent une amélioration constante du taux de succès des tâches, et les ablations confirment l'apport de chacune des trois étapes.

L'enjeu dépasse le papier lui-même : il touche au point faible connu des modèles vision-langage-action (VLA) et WAM déployés en usine, à savoir l'écart entre démonstrations soignées et robustesse en conditions réelles bruitées. Un mécanisme de récupération générique, applicable sans réentraînement à des modèles existants, intéresse directement les intégrateurs qui cherchent à fiabiliser des pipelines de manipulation basés sur des architectures autorégressives, un défi partagé par l'ensemble des modèles de type Pi-0, GR00T N2 ou Helix.

Ce travail reste à ce stade un preprint arXiv, non encore validé par relecture par les pairs ni testé à grande échelle industrielle ; l'abstract ne précise ni les auteurs ni leur affiliation. Il s'inscrit dans un effort de recherche plus large visant à combler l'absence de mécanismes natifs de correction d'erreur dans les modèles génératifs de robotique, un axe que plusieurs laboratoires explorent en parallèle à mesure que ces modèles passent du stade démonstratif au déploiement réel.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèles monde-action autorégressifs par modalité

Un preprint publié en septembre 2026 sur arXiv (2609.17524) présente ModAR, premier modèle world-action (WAM) à débruiter de manière autorégressive plusieurs modalités visuelles futures avant de prédire les actions d'un robot. Au lieu de se limiter aux images RGB futures comme la plupart des WAM existants, ModAR génère séquentiellement cartes de profondeur, traces de points et caractéristiques visuelles DINO, chaque modalité conditionnant la suivante. Entraîné from scratch, sans pretraining vidéo, il est comparé à Flex-π, un WAM initialisé sur un modèle vidéo puis affiné sur les mêmes données : ModAR atteint 75% de réussite moyenne observée contre 72% pour Flex-π, avec environ 20 fois moins de FLOPs d'entraînement. Sur trois tâches bimanuelles réelles, ModAR surpasse les références et progresse encore lorsqu'il est entraîné avec des vidéos humaines supplémentaires. Ce résultat pèse sur un débat clé du secteur : faut-il continuer à prédire des images RGB complètes, coûteuses à générer, ou miser sur des représentations plus compactes déjà porteuses de sens géométrique et sémantique. Les auteurs montrent que prédire du RGB futur n'apporte pas de gain systématique, alors que profondeur, traces de points et features DINO améliorent les performances de façon constante, à toutes les échelles de données testées. Pour les équipes de recherche en robotique manipulatrice, l'intérêt est double : réduire le coût de calcul nécessaire pour entraîner des modèles VLA et s'affranchir partiellement du pretraining vidéo massif, considéré depuis des architectures comme Pi-0 ou GR00T N2 comme quasi indispensable. Les world-action models s'inscrivent dans la lignée des architectures VLA qui unifient perception, prédiction et contrôle moteur, aux côtés d'approches comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. ModAR se distingue en interrogeant le choix des modalités intermédiaires à prédire plutôt que la seule architecture du modèle langage-action. L'article demeure à ce stade un travail de recherche académique, évalué en simulation et sur un nombre limité de tâches réelles, sans annonce de déploiement industriel. Les prochaines étapes attendues portent sur l'extension à davantage de tâches et de plateformes robotiques, et sur la vérification des gains à plus grande échelle.

UECe travail de recherche ouverte pourrait réduire le coût de calcul des équipes robotiques européennes travaillant sur les modèles VLA, sans impliquer d'acteur français ou européen à ce stade.

RecherchePaper

1 source

2arXiv cs.RO

LIBERO-RECOVER : au-delà de la réussite des tâches, la récupération après échec dans les modèles de manipulation robotique

Des chercheurs ont publié le 5 septembre 2026 sur arXiv (2609.05178) LIBERO-Recover, un benchmark consacré à la récupération après échec des modèles de manipulation robotique Vision-Language-Action (VLA) ou World Action (WAM). Construit à partir de LIBERO, référence de l'apprentissage robotique en simulation, il rassemble plus de 1 000 scénarios d'échecs réels issus de modèles état de l'art, répartis en quatre niveaux : réessai d'action, adaptation d'action, récupération de l'état de l'objet et récupération environnementale. Il évalue quatre compétences : compréhension spatiale, raisonnement sur la structure des objets, compréhension des interactions et raisonnement topologique. Le projet est disponible sur liulin815.github.io/LIBERO-Recovery. L'enjeu est réel pour les intégrateurs et décideurs du secteur robotique : les modèles les plus avancés affichent des taux de succès proches de 100% sur LIBERO, souvent présentés comme preuve de maturité pour un déploiement réel. Les auteurs contestent cette lecture, car ces scores mesurent l'exécution de tâches depuis des états initiaux idéaux, sans jamais tester la réaction à une prise ratée, une collision ou un déplacement involontaire d'objet, situations pourtant inévitables hors laboratoire. LIBERO-Recover déplace ainsi la question de la réussite d'une tâche vers la capacité à s'en remettre après un échec, nuançant l'idée que le sim-to-real et l'apprentissage par imitation à grande échelle seraient déjà résolus. Pour les industriels évaluant des piles VLA, ce travail rappelle que les scores de benchmark actuels ne garantissent pas la robustesse opérationnelle. Ce travail s'inscrit dans une critique méthodologique croissante des benchmarks de manipulation robotique : LIBERO, désormais jugé saturé, ne mesurait que la réussite finale d'une tâche, jamais la résilience face à l'imprévu. Il s'agit d'une contribution académique en preprint, sans lien annoncé avec un produit commercial : aucun robot physique, partenariat industriel ni calendrier de commercialisation n'est mentionné. Les auteurs présentent LIBERO-Recover comme le premier benchmark à grande échelle consacré à la récupération après échec en robotique incarnée, un manque notable face à la multiplication des modèles fondation pour la manipulation. La suite attendue est l'adoption de ce protocole par la communauté pour évaluer les futurs modèles VLA sur cet axe de robustesse, plutôt que sur le seul taux de succès brut.

RecherchePaper

1 source

3arXiv cs.RO

ViTacWorld : passage à l'échelle des modèles du monde visuo-tactiles pour la manipulation robotique riche en contacts

Des chercheurs présentent ViTacWorld, un modèle de monde visuo-tactile conditionné par l'action, conçu pour la manipulation robotique riche en contacts, décrit dans une prépublication arXiv (2607.22530v1). Le système s'appuie sur des jeux de données tactiles réels publics combinés à un environnement de simulation construit spécifiquement pour l'occasion, afin de générer à grande échelle des trajectoires visuo-tactiles-actions. Le modèle est d'abord préentraîné sur de larges volumes de trajectoires réelles et simulées, puis affiné avec des rollouts de politiques collectés en conditions réelles pour mieux coller aux comportements de manipulation visés. À partir d'une séquence d'actions du robot, ViTacWorld prédit conjointement les observations visuelles et le retour tactile correspondants, permettant de générer des rollouts visuo-tactiles-actions complets. Les auteurs présentent cela comme le premier cadre exploitant un modèle de monde pour la génération de trajectoires visuo-tactiles-actions et l'évaluation de politiques robotiques. L'enjeu central est le coût et la rareté des données tactiles réelles, qui freinent l'apprentissage robotique basé sur le toucher : matériel spécifique, collecte coûteuse, diversité de tâches et de scènes limitée. En misant sur le fait que le signal tactile, directement ancré dans le contact physique, souffre d'un écart simulation-vers-réel plus faible que la seule vision, ViTacWorld propose une voie pour combler ce manque de données sans multiplier les campagnes de collecte sur robot réel. Pour les équipes de recherche en manipulation fine (assemblage, insertion, préhension d'objets déformables), cela ouvre deux usages concrets : générer des données synthétiques pour améliorer des politiques tactiles en aval, et évaluer des politiques existantes en prédisant leurs résultats visuo-tactiles sous des séquences d'actions contrôlées, sans passer systématiquement par des essais physiques. C'est un signal de plus que les modèles de monde, déjà répandus en vision, commencent à s'étendre à d'autres modalités sensorielles pour la robotique de contact. Ce travail s'inscrit dans la lignée des modèles de monde appliqués à la robotique, jusqu'ici centrés presque exclusivement sur la modalité visuelle, et dans la continuité des efforts pour réduire la dépendance de l'apprentissage tactile aux capteurs propriétaires et aux collectes sur site. Les expériences menées par les auteurs sur des tâches de manipulation riches en contacts montrent que ViTacWorld génère des rollouts physiquement cohérents, améliore les performances de politiques via une augmentation de données scalable, et permet une évaluation de politiques conditionnée par l'action. Le projet est documenté sur vitacworld.github.io. L'article ne mentionne aucun partenariat industriel ni déploiement commercial à ce stade : il s'agit d'une contribution de recherche dont la portée réelle dépendra de sa reproduction sur des plateformes robotiques variées et de son adoption par des équipes travaillant sur l'assemblage ou la manipulation fine en environnement industriel.

RecherchePaper

1 source

4arXiv cs.RO

ProbeAct : récupération des échecs sans entraînement guidée par sonde dans les modèles vision-langage-action

Une équipe de recherche a publié sur arXiv (arXiv:2606.09740) ProbeAct, un framework d'intervention à l'exécution conçu pour détecter et corriger les échecs de saisie et de placement dans les modèles Vision-Language-Action (VLA) pré-entraînés, sans modifier leurs poids ni nécessiter de démonstrations supplémentaires. Le système repose sur trois composants couplés : une sonde légère sur les états cachés du modèle qui prédit les positions 3D des objets pertinents à partir des features intermédiaires du VLA (avec suivi d'identité par algorithme hongrois pour les scènes multi-objets) ; une machine à états cinématiques agnostique à l'objet qui détecte les défaillances de saisie, de transport et de placement via les signaux internes du préhenseur et la cinématique de l'effecteur terminal ; enfin, un filtre hiérarchique par Control Barrier Function (CBF) qui encode les zones d'échecs répétés comme contraintes soft sur l'ensemble de sécurité, corrigeant minimalement les actions du VLA sans altérer son comportement nominal. Évalué sur le benchmark LIBERO-plus, ProbeAct améliore le taux de succès d'OpenVLA-OFT de 69,6 % à 74,1 %. Un gain de 4,5 points de taux de succès peut sembler modeste, mais il intervient sur un problème structurel bien identifié des VLA : leur fragilité hors distribution. Ces modèles échouent régulièrement face à des variations de luminosité, des changements de point de vue caméra, ou de légères variations d'état initial, autant de conditions triviales dans un déploiement industriel réel. L'intérêt de ProbeAct est précisément d'être plug-and-play, orthogonal aux pipelines d'entraînement existants, et applicable aussi bien aux modèles de base qu'aux versions fine-tunées. Pour un intégrateur, cela signifie un filet de sécurité superposable sur n'importe quel VLA sans coût de ré-entraînement, ce qui réduit concrètement le gap entre performance en benchmark et robustesse terrain. Les VLA ont connu une accélération notable depuis 2023 avec des modèles comme RT-2 (Google DeepMind), OpenVLA (UC Berkeley) ou pi-0 (Physical Intelligence), mais leur fragilité aux perturbations reste un frein reconnu à la commercialisation. Les approches existantes pour y remédier passent généralement par de l'augmentation de données ou du fine-tuning ciblé, coûteux en temps et en annotations. ProbeAct s'inscrit dans une alternative émergente : la correction à l'inférence, sans toucher au modèle. Il s'agit pour l'instant d'un preprint arXiv, sans déploiement annoncé ni partenaire industriel mentionné ; les prochaines étapes naturelles seraient une validation sur hardware réel hors benchmark simulé.

RechercheOpinion

1 source