Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs
RecherchearXiv cs.RO 

Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié le 5 mai 2026 sur arXiv (référence 2605.01772) un modèle de contrôle robotique baptisé Anticipation-VLA, conçu pour résoudre les tâches à long horizon en robotique incarnée. Le système repose sur un composant appelé Anticipation Model, qui génère de manière adaptive et récursive des sous-objectifs intermédiaires au fil de l'exécution d'une tâche. L'architecture est hiérarchique : un Unified Multimodal Model (UMM) affiné gère la planification de haut niveau en produisant ces sous-objectifs, tandis qu'une politique VLA (Vision-Language-Action) conditionnée sur ces cibles pilote l'exécution motrice à bas niveau. Les expériences couvrent des environnements simulés et des tâches robotiques réelles. Les auteurs affirment des gains de robustesse significatifs par rapport aux approches antérieures, sans toutefois publier de métriques quantitatives précises dans l'abstract, ce qui limite la comparaison directe avec l'état de l'art.

Le problème adressé est central dans la robotique d'apprentissage : les modèles VLA accumulent des erreurs sur les tâches longues, chaque décision imparfaite amplifiant les erreurs suivantes. Les approches existantes décomposent les tâches en sous-tâches de granularité fixe, ce qui les rend rigides face aux variations de complexité des états d'exécution. La contribution clé d'Anticipation-VLA est d'ajuster dynamiquement les sous-objectifs en fonction de l'évolution réelle de la situation, une avancée dans le contrôle hiérarchique adaptatif. Pour les intégrateurs et décideurs B2B, ce type de système ouvre la voie à des robots capables d'exécuter des séquences complexes en environnement industriel sans supervision constante, un verrou majeur dans le déploiement à grande échelle des bras manipulateurs.

Le domaine des VLA est en pleine effervescence depuis la publication de RT-2 (Google DeepMind, 2023), puis d'OpenVLA, Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). La recherche sur la planification hiérarchique se heurte systématiquement au "demo-reality gap" : les résultats en simulation ne se transfèrent pas toujours au monde réel. Anticipation-VLA revendique une validation sur tâches réelles, signal positif, bien que l'absence de benchmarks standardisés tels que RLBench ou LIBERO dans la publication rende difficile le positionnement précis face à la concurrence. Les prochaines étapes probables incluent des évaluations comparatives sur ces benchmarks et une extension vers des plateformes mobiles manipulatrices, segment où des acteurs comme Physical Intelligence et Boston Dynamics intensifient leurs travaux.

Dans nos dossiers

Boston DynamicsNVIDIA GR00TPhysical Intelligence — π0OpenVLA / RT-X

À lire aussi

Modélisation monde-ego pour l'évolution à long horizon dans les tâches hybrides incarnées
1arXiv cs.RO 

Modélisation monde-ego pour l'évolution à long horizon dans les tâches hybrides incarnées

Des chercheurs ont publié sur arXiv en mai 2026 (arXiv:2605.19957) un nouveau paradigme appelé World-Ego Modeling, accompagné d'une implémentation concrète, le World-Ego Model (WEM). Le problème ciblé : les world models actuels prédisent l'évolution de la scène et du robot dans un flux unique, confondant deux dynamiques de nature différente, les régularités persistantes de l'environnement d'un côté et la dynamique propre à l'agent conditionnée par ses instructions de l'autre. Ce couplage dégrade les performances sur les tâches hybrides longue horizon, où navigation autonome et manipulation d'objets s'entrelacent. WEM sépare explicitement ces deux composantes via un planificateur implicite dual, couplé à un générateur de diffusion CP-MoE (cascade-parallel mixture-of-experts). Les auteurs publient également HTEWorld, présenté comme le premier benchmark dédié à ce type de tâches, avec 125 000 clips vidéo totalisant plus de 4,5 millions de frames et 300 trajectoires multi-tours représentant plus de 2 000 instructions. WEM atteint l'état de l'art sur HTEWorld et reste compétitif sur les benchmarks de manipulation seule. L'enjeu touche directement les systèmes de manipulation mobile : robots logistiques à bras, humanoïdes polyvalents, AMR avec capacités de saisie. La majorité des world models sont entraînés soit sur de la navigation pure, soit sur de la manipulation fixe, rarement sur des séquences hybrides longues où l'agent doit enchaîner déplacement, identification et manipulation sans intervention humaine. WEM formalise la désambiguation monde-ego et propose trois stratégies de désenchevêtrement (post-, pré- et complet), ouvrant un cadre de comparaison structuré pour les futures architectures VLA ; la création d'HTEWorld comble simultanément un manque concret, l'absence de référence commune pour les tâches hybrides rendant jusqu'ici les comparaisons entre approches difficiles à établir. Ce travail s'inscrit dans l'effervescence autour des world models incarnés, aux côtés de projets comme UniSim (Google DeepMind) ou Genie, et en parallèle des efforts des constructeurs d'humanoïdes comme Figure AI, Agility Robotics et NVIDIA (GR00T N2) sur la planification longue horizon. WEM reste un résultat académique : la validation sur robot réel n'est pas documentée dans l'article, et le code ainsi que les données HTEWorld n'étaient pas encore disponibles à la date de dépôt. Les suites naturelles sont l'évaluation sim-to-real et l'intégration avec des VLA à grande échelle comme pi-0 (Physical Intelligence) ou GR00T N2.

RechercheOpinion
1 source
Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables
2arXiv cs.RO 

Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables

Metro-WM, décrit dans l'article arXiv 2609.31868 (version 2), est un cadre de planification hiérarchique pour les modèles du monde de type JEPA (Joint-Embedding Predictive Architecture). Au lieu de faire prédire par un planificateur macro des sous-objectifs sous forme de vecteurs latents, il construit un graphe dont les sommets sont des images réellement observées, issues de démonstrations expertes hors ligne ou de trajectoires à actions aléatoires. Des images provenant d'épisodes différents peuvent être reliées entre elles, ce qui permet de composer des routes vers l'objectif. Les auteurs annoncent un taux de réussite supérieur de jusqu'à 37,33 points de pourcentage à celui de la meilleure approche hiérarchique concurrente. Ils annoncent aussi une exécution jusqu'à 10,9 fois plus rapide, un calcul hors ligne 13 à 56 fois moindre et moins d'hyperparamètres à régler. Ces résultats viennent d'un travail académique, sans déploiement matériel annoncé. La démarche part d'un constat : la commande prédictive (MPC) avec un JEPA donne un bon planificateur « zero-shot » pour atteindre un objectif, mais seulement sur de courts horizons. Les approches hiérarchiques existantes entraînent un planificateur macro à prédire des sous-objectifs latents pour guider le planificateur micro. Les auteurs montrent que le planificateur macro de référence émet régulièrement des sous-objectifs physiquement irréalisables. En ne proposant que des états déjà vus, Metro-WM garantit des cibles atteignables. La planification sur tout le graphe apporte aussi une tolérance aux erreurs d'exécution : si le planificateur micro dérive, le système recalcule immédiatement le meilleur chemin depuis l'état courant. Pour la robotique, cela concerne les tâches longues et multi-étapes, où les erreurs s'accumulent. Les auteurs affirment que les chemins trouvés sont plus courts que ceux des démonstrations, qu'ils dépassent un oracle utilisant la démonstration propre à la requête, et que la méthode résiste à des jeux de données très épars. Ces chiffres restent à prendre avec prudence : l'abstract ne précise ni les benchmarks ni les environnements, et on ignore si la méthode passe à l'échelle de scènes réelles complexes ou à des observations visuelles bruitées. Ce travail s'inscrit dans la montée des modèles du monde latents, dont les JEPA popularisés par l'équipe de Yann LeCun, comme alternative aux politiques entraînées de bout en bout. Il rejoint l'idée plus ancienne de planifier sur des graphes de souvenirs, qui retrouve ici une pertinence avec les représentations apprises. Les concurrents directs sont les méthodes hiérarchiques à sous-objectifs générés, que l'article critique sans les nommer dans son résumé. Les suites probables sont des tests sur des benchmarks de manipulation et de navigation plus riches, puis des essais sur robot réel. Aucune date, aucun partenaire industriel ni aucun calendrier de transfert n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IA incarnée sûre pour les tâches à long horizon : une analyse multi-couches de la manipulation robotique
3arXiv cs.RO 

IA incarnée sûre pour les tâches à long horizon : une analyse multi-couches de la manipulation robotique

Une équipe de chercheurs publie sur arXiv (identifiant 2606.05660, juin 2026) une revue systématique de la sécurité dans les systèmes d'IA incarnée (embodied AI) appliqués à la manipulation robotique à long horizon. Ce survey structure la littérature selon trois niveaux d'intervention : la sécurité au stade de la planification (planning-time), au niveau de la politique de contrôle (policy-time) et pendant l'exécution (execution-time). Les auteurs identifient quatre vecteurs de risque pouvant s'accumuler dans un même système en boucle fermée : le misgrounding sémantique (l'agent interprète mal l'instruction de haut niveau), la propagation d'erreur entre sous-tâches, la dérive d'exécution (execution drift) et les risques physiques liés aux contacts. Ils distinguent par ailleurs trois catégories de garanties dans la littérature existante : formelles, statistiques et heuristiques empiriques, et concluent que les preuves formelles font défaut à chaque couche. L'enjeu est direct pour les intégrateurs et les décideurs industriels. Un bras robotique déployé en entrepôt ou en ligne de production enchaîne des dizaines d'actions sur des horizons temporels étendus, et chaque sous-tâche peut propager silencieusement une erreur vers les suivantes. Or le survey révèle que la sécurité au niveau de la politique de contrôle, au coeur même des modèles VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, est la couche la moins documentée empiriquement. Les mécanismes d'intervention déclenchés par l'incertitude (uncertainty-triggered intervention) restent immatures, et les benchmarks spécifiques à la sécurité en manipulation longue durée sont quasi-inexistants, ce qui rend toute validation rigoureuse avant déploiement aujourd'hui difficile. Ce travail paraît dans un contexte d'accélération industrielle : Figure AI, Boston Dynamics, Unitree et Physical Intelligence multiplient les démonstrations de manipulation dextère, souvent en conditions semi-contrôlées, alimentant un écart potentiel entre annonces marketing et réalité opérationnelle. Il convient de souligner que ce papier est une analyse critique de l'existant, pas un nouveau système ou algorithme. Ses recommandations prioritaires portent sur trois axes : des assurances cross-couche cohérentes de la planification jusqu'à l'exécution physique, des benchmarks dédiés à la sécurité en manipulation longue durée, et des protocoles de déploiement progressifs pour les agents robotiques en environnements réels. En creux, le constat est que les capacités du secteur progressent plus vite que les outils pour en évaluer la sécurité.

UEL'absence de benchmarks formels de sécurité pour la manipulation longue durée concerne directement les industriels européens déployant des bras robotisés, et pourrait alimenter les exigences de validation dans le cadre de l'AI Act pour les systèmes robotiques à haut risque.

RecherchePaper
1 source
AdaHVLA : harnais adaptatifs pour l'exécution VLA à horizon long
4arXiv cs.RO 

AdaHVLA : harnais adaptatifs pour l'exécution VLA à horizon long

Une équipe de recherche présente AdaHVLA (Adaptive Harnesses for Long-Horizon Vision-Language-Action Execution), publié sur arXiv sous la référence 2609.29204. Le système ajoute une couche de coordination adaptative aux modèles vision-langage-action (VLA), qui gèrent bien le contrôle local et le suivi d'instructions mais peinent sur les tâches longues nécessitant mémoire et planification. La solution repose sur un "harnais" de tâche, une politique de coordination écrite en code qui conserve l'historique d'exécution et suit la progression, révisée automatiquement à partir de l'expérience du robot. Le processus d'adaptation multi-agent sépare trois contextes de travail distincts : analyse des preuves d'exécution, révision du harnais, et évaluation comportementale des résultats après chaque déploiement. Un graphe de révision relie preuves, hypothèses de coordination testables, révisions et effets observés, en conservant les versions alternatives du harnais pour affiner le système d'une tentative à l'autre et le réutiliser d'une tâche ou d'un environnement à l'autre. En simulation, AdaHVLA fait passer le taux de succès moyen sur le benchmark de navigation longue durée NaVILA-LH de 22,5% à 57,5%, et améliore la manipulation jusqu'à 30,8 points de pourcentage par rapport au harnais initial, sur trois architectures VLA différentes. Un test en conditions réelles est mentionné pour illustrer une exécution plus stable entre les étapes de tâche, mais sans chiffres associés. Cette approche cible un goulot d'étranglement bien identifié en robotique par apprentissage: les VLA réussissent des commandes courtes mais s'effondrent sur des séquences longues où il faut se souvenir de ce qui a déjà été accompli. Plutôt que de réentraîner le modèle VLA lui-même, AdaHVLA agit au niveau de la coordination externe, ce qui rend la méthode potentiellement portable d'un backbone à un autre, comme le suggèrent les gains observés sur trois architectures distinctes. Pour des intégrateurs envisageant des VLA sur des tâches multi-étapes en logistique ou en usine, ce résultat trace une piste pour réduire l'écart entre démonstration et exécution fiable, sans attendre une nouvelle génération de modèles fondationnels. Les gains chiffrés restent toutefois majoritairement issus de simulation, le volet réel demeurant qualitatif à ce stade. AdaHVLA s'inscrit dans la lignée des modèles VLA type Pi-0 ou GR00T N2, dont la limite sur les tâches longues est documentée par plusieurs équipes du secteur. La méthode transpose au robotique une idée déjà répandue chez les agents logiciels fondés sur des grands modèles de langage: déléguer mémoire et planification à un harnais externe plutôt qu'au modèle central, via des sous-agents spécialisés qui analysent, révisent et valident les changements. L'article ne précise ni institution ni calendrier de suites, et se présente comme une publication de recherche nouvelle, sans partenaire industriel ni annonce de déploiement commercial à ce jour.

RecherchePaper
1 source