RoboDuo : tentative, vérification et récupération atomique par le code pour les modèles vision-langage-action (VLA)

RoboDuo, un framework décrit dans une prépublication arXiv (2610.34108), propose de corriger les échecs des modèles Vision-Language-Action (VLA) sur les tâches longues en utilisant du code comme interface. Un agent de code rédige un programme qui laisse d'abord un VLA « full-task » tenter l'ensemble de la tâche, puis vérifie si elle est achevée. En cas d'échec, un second VLA, dit « atomique », exécute les étapes restantes. L'agent n'émet aucune action: il choisit seulement quel VLA exécuter, ce qui permet d'envelopper un VLA existant sans toucher à ses poids. Pour entraîner le VLA atomique et l'agent (qui doit savoir juger l'achèvement d'une tâche), les auteurs ont construit trois jeux de données, LIBERO-Atomic, LIBERO-Code et LIBERO-Judge, tous dérivés d'un unique ensemble de démonstrations LIBERO. Sur les benchmarks LIBERO et LIBERO-PRO, RoboDuo améliore de façon constante X-VLA et π0.5, avec les gains les plus marqués sur les tâches à long horizon. Sur un robot réel, il récupère des exécutions échouées d'un VLA gelé. Le résumé ne fournit ni taux de réussite chiffrés ni détail sur la plateforme physique ou le nombre d'essais.

L'intérêt tient à un constat que beaucoup d'intégrateurs connaissent: un VLA exécute une instruction sans vérifier qu'elle est accomplie, si bien qu'une étape manquée dans une séquence longue ruine toute la tâche, sans que le système s'en aperçoive. RoboDuo traite ce point par une boucle fermée de vérification et de reprise, sans réentraîner le modèle principal, ce qui réduit le coût d'adoption pour qui a déjà investi dans un VLA. L'idée de s'appuyer sur le fait qu'un épisode raté est souvent partiellement réussi, et que les étapes restantes sont des compétences atomiques réutilisables, est pragmatique. En revanche, la validation reste essentiellement en simulation, sur des benchmarks de manipulation sur table, et la démonstration réelle semble limitée. Elle ne dit rien de la fiabilité du juge d'achèvement en conditions industrielles (faux positifs, latence, occlusions), ni du temps de cycle ajouté par la tentative suivie d'un contrôle puis d'une reprise.

Ce travail s'inscrit dans la tendance à superviser les VLA par des couches de planification ou de vérification, à côté des architectures à deux systèmes comme Helix de Figure ou GR00T, et des approches où un modèle de langage génère du code de contrôle. Il se distingue en laissant le VLA principal intact et en limitant l'agent à un rôle d'aiguillage. Les modèles améliorés, X-VLA et π0.5 de Physical Intelligence, sont des références ouvertes, ce qui facilite la reproduction. Les suites logiques seraient des tests sur des tâches plus longues et plus variées, hors LIBERO, avec des mesures de temps de cycle et de taux de reprise sur plusieurs plateformes, ainsi qu'une confrontation à d'autres méthodes de détection d'échec et de récupération.