Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

WorldBridge : relier vidéo et action pour la généralisation des tâches dans les modèles d'action du monde

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent sur arXiv WorldBridge, un World Action Model (WAM) qui sépare un expert vidéo et un expert action. Les deux sont reliés par une attention structurée et entraînés conjointement par flow matching. Le modèle ajoute une mémoire visuelle à deux échelles temporelles et un mécanisme d'action forcing. Un pipeline de données unifié standardise et filtre des trajectoires robotiques hétérogènes, ainsi que des supervisions dérivées de vidéos égocentriques de mains humaines. Sur RoboTwin 2.0, WorldBridge atteint 96,23 % de réussite avec l'ensemble des données et 80,9 % en configuration « clean to random », où l'entraînement se fait en scène propre et le test en scène perturbée. Il affiche aussi 82,8 % sur RoboCasa GR1 TableTop et 57,6 % sur DOMINO Level-1. Ces scores sont les meilleurs parmi les méthodes comparées, un panel choisi par les auteurs.

L'apport le plus utile est une ablation sur la généralisation à des tâches hors distribution. Avec seulement des paires vidéo-action issues des tâches d'entraînement, le taux de réussite sur les tâches inédites est de 25,07 %. Il monte à 55,90 % quand on ajoute des vidéos de ces tâches sans étiquettes d'action. Une seule démonstration annotée par tâche le porte à 70,70 %. Selon les auteurs, la couverture visuelle fait l'essentiel du transfert, en s'appuyant sur une dynamique inverse déjà apprise, et une supervision d'action même minimale la renforce. Pour un intégrateur, cela suggère que la vidéo, bien moins chère à collecter que la téléopération, peut servir de levier principal pour étendre un répertoire de tâches. Toutes les évaluations citées sont en simulation. Aucun test sur robot physique, temps de cycle ni déploiement n'est mentionné, et l'écart sim-to-real reste donc entier.

Les WAM prolongent les modèles vision-langage-action (VLA) du type Pi-0 ou GR00T, qui projettent directement observations et consignes vers des actions. Ils prédisent d'abord l'évolution visuelle de la scène, puis en déduisent le geste, ce qui permet d'exploiter la pré-formation vidéo à grande échelle. L'usage de vidéos égocentriques humaines va dans le sens d'une tendance du secteur : réduire la dépendance aux données robot coûteuses. La prochaine étape logique est une validation sur matériel réel et sur des tâches longues. L'extrait disponible ne mentionne ni cette validation ni une publication du code ou des poids.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Comment les a priori de représentation façonnent la généralisation dans les modèles d'action du monde
1arXiv cs.RO 

Comment les a priori de représentation façonnent la généralisation dans les modèles d'action du monde

Une étude publiée sur arXiv (préprint, v1, non évalué par des pairs) s'intéresse aux « world action models » (WAM), des politiques robotiques construites sur un modèle génératif d'images ou de vidéo qui sert de colonne vertébrale, puis entraînées à produire des actions. Les auteurs constatent que, selon le backbone choisi, la capacité de généralisation d'un WAM varie fortement. Pour l'expliquer, ils examinent la géométrie des représentations héritée du backbone et la façon dont l'entraînement de la politique la réorganise. Ils introduisent une mesure, l'« orthogonalité aux nuisances », qui évalue dans quelle mesure les variations visuelles hors de la distribution d'entraînement (fond, éclairage, apparence) sont séparées des features utiles. Sur plusieurs backbones image et vidéo, une orthogonalité élevée avant l'entraînement va de pair avec une meilleure robustesse après entraînement. Les WAM robustes montrent aussi une « suppression des nuisances » : le déplacement de leurs features sous variation visuelle est atténué et la génération d'actions reste stable. Le résumé ne donne ni chiffres de performance, ni liste de modèles, ni tâches robotiques précises, et ne mentionne aucun test sur robot réel. L'intérêt pratique est de pouvoir prédire, avant le coût d'un entraînement complet de politique, quel modèle de monde généralisera le mieux. Pour les équipes qui choisissent un backbone vidéo, c'est un critère de présélection potentiel, à valider sur des benchmarks plus larges. Le travail rappelle aussi que l'écart entre démonstration et déploiement vient souvent de la fragilité face aux changements visuels de l'environnement. Il suggère que cette robustesse dépend en partie du prétraining génératif, et pas seulement de la quantité de données robotiques. La portée reste toutefois limitée tant que l'on ignore les protocoles, les tâches testées et la taille des effets mesurés. Le contexte est celui d'une course entre deux approches : les modèles vision-langage-action (VLA), adaptés de modèles multimodaux, et les WAM, qui s'appuient sur des modèles génératifs de monde, comme ceux développés par Nvidia ou par divers laboratoires académiques. Les comparaisons entre ces familles restent difficiles, faute de protocoles communs. La suite logique serait de confronter cette métrique à des politiques déployées sur matériel physique, y compris dans des environnements industriels variables, ce que ce préprint n'établit pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)
2arXiv cs.RO 

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles. Les résultats chiffrés détaillés figurent sur la page projet, que les auteurs accompagnent de vidéos de démonstration. Quatre conclusions se dégagent. L'efficacité d'une représentation du monde dépend du paradigme, mais les représentations sémantiques 2D apportent des gains robustes dans tous les cas. Aucun paradigme ne domine partout, même si le MoT Future Expert offre de bonnes performances globales, surtout en robustesse OOD. Le modèle du monde profite systématiquement aux politiques bâties sur des VLM standards, tandis que les conceptions découplées s'accordent mieux avec des VLA déjà pré-entraînés. Enfin, par rapport à des références limitées à la prédiction d'actions, le modèle du monde améliore les résultats dans plusieurs configurations, avec des gains notables sur les tâches longues et dynamiques. L'intérêt pour l'industrie tient à la clarification d'un champ où les publications comparaient des méthodes qui différaient à la fois par la représentation, le mode d'intégration et le backbone, ce qui rendait les attributions de gains peu fiables. Pour les équipes qui développent des VLA, le message est pragmatique: prédire des features sémantiques 2D du futur est un choix peu risqué, et une architecture découplée permet de greffer un modèle du monde sur un VLA existant sans tout réentraîner. Les gains sur les tâches longues et dynamiques correspondent précisément aux limites des politiques purement réactives en environnement industriel. Il faut toutefois rester prudent: il s'agit d'un banc d'essai académique, sans chiffres de déploiement ni de cadence, et la validation en conditions réelles reste vraisemblablement limitée en échelle. Ce travail s'inscrit dans la montée des modèles du monde dans la robotique fondationnelle, où des acteurs comme NVIDIA (GR00T), Physical Intelligence (Pi-0) ou Figure (Helix) cherchent à dépasser le simple mappage observation-action. Les choix d'architecture restent encore peu consensuels. La suite logique consiste à tester ces paradigmes à plus grande échelle, avec des VLA pré-entraînés sur de très grands corpus et sur des plateformes variées. Aucun calendrier de pilote n'est annoncé, s'agissant d'une contribution de recherche.

RecherchePaper
1 source
Zero-WAM : modélisation monde-action en contexte à partir de vidéos humaines pour la généralisation de tâches ouvertes
3arXiv cs.RO 

Zero-WAM : modélisation monde-action en contexte à partir de vidéos humaines pour la généralisation de tâches ouvertes

Des chercheurs présentent Zero-WAM, un modèle causal vidéo-action qui exécute des tâches de manipulation robotique inédites en suivant une simple vidéo humaine donnée en contexte, sans réentraînement, sur le principe de l'apprentissage en contexte des grands modèles de langage. Pour pallier le manque de données appariées humain-robot, ils ont construit un pipeline automatique générant HumanGen, 74 200 paires vidéo sur 8 600 tâches, avec un nouvel objectif d'entraînement dit IFP (prédiction de segments futurs en contexte). Sur sept tâches inédites du simulateur RoboTwin 2.0, le modèle atteint 47,0% de réussite, soit +29,5 points face à la meilleure base vidéo-action comparée, et des essais réels montrent une généralisation à des scènes multi-objets et à des insertions fines. L'article, publié sur arXiv (2608.26103), reste une contribution académique sans produit ni partenaire industriel annoncé. L'enjeu dépasse la performance brute : la plupart des modèles vision-langage-action doivent être réentraînés ou finement ajustés pour chaque nouvelle tâche, ce qui alourdit les coûts d'intégration industrielle. En montrant qu'une vidéo de démonstration peut servir de consigne à la volée, Zero-WAM propose une alternative au conditionnement par le langage utilisé par des approches comme Pi-0 ou GR00T N2, et suggère une piste pour réduire la dépendance aux collectes de démonstrations spécifiques par tâche. Le résultat mérite toutefois d'être nuancé : un taux de réussite de 47% reste modeste en absolu, et l'essentiel de la validation chiffrée se fait en simulation, les essais réels n'étant pas quantifiés dans l'abstract. L'apprentissage en contexte, popularisé par les grands modèles de langage généralistes, se heurtait en robotique à la rareté de vidéos humaines et robotiques appariées, problème que ce travail attaque via son pipeline HumanGen. Il se positionne face à l'écosystème des modèles vision-langage-action généralistes tels Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui misent davantage sur le langage que sur la vidéo comme consigne. Aucun acteur français ou européen n'apparaît dans cette publication, et les auteurs ne fournissent ni pilote industriel ni feuille de route de commercialisation.

RecherchePaper
1 source
Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle
4arXiv cs.RO 

Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle

Hydra-0, un nouveau modèle du monde généraliste pour la robotique, a été présenté dans un preprint publié sur arXiv le 19 août 2026 (arXiv:2608.18077). Le système repose sur un concept baptisé "action flow" : les actions du robot y sont représentées comme un flux de mouvement de pixels plutôt que comme des commandes articulaires classiques, ce qui crée une interface visuelle commune permettant d'apprendre les conséquences des actions à travers différents robots, tâches, environnements et architectures de génération vidéo. Dans sa meilleure configuration, Hydra-0 réduit l'erreur de mouvement du robot de 90,4% et l'erreur de mouvement des objets de 60,2% par rapport à une base de référence conditionnée par l'action classique. Sur le benchmark RoboLab, le modèle atteint une corrélation de Pearson de r=0,96 entre les taux de réussite rejoués en simulation et les taux de réussite de référence, un signal de fidélité élevé pour l'évaluation de politiques en boucle ouverte. Les auteurs décrivent aussi un mode inverse émergent : le modèle peut prédire un mouvement robotique compatible à partir d'un flux d'objet désiré transféré depuis une démonstration humaine, une "tête d'action" entraînée convertissant ensuite ces représentations latentes en actions exécutables sans démonstration robotique experte spécifique à la tâche. Pour l'industrie robotique, ce travail s'attaque directement à deux goulots d'étranglement connus des approches vision-language-action (VLA) : la dépendance à des démonstrations robotiques coûteuses par tâche, et la difficulté à faire généraliser un modèle entre embodiments et environnements hétérogènes. En transformant l'action en un signal visuel partagé, l'approche promet une adaptation plus économe en données et une composition zero-shot de comportements, deux propriétés recherchées par les intégrateurs qui veulent déployer un même modèle sur plusieurs plateformes matérielles sans réentraînement lourd. Il faut toutefois noter qu'il s'agit d'un résultat de recherche publié en preprint, évalué sur un benchmark interne (RoboLab) et non d'un système déployé en production ou en usine ; les gains annoncés restent à confirmer par une évaluation indépendante et par des essais sur robots physiques réels au-delà du cadre expérimental décrit. Ce travail s'inscrit dans la vague plus large des modèles du monde et des architectures VLA développés ces dernières années pour unifier perception, prédiction et contrôle robotique, un axe de recherche où plusieurs laboratoires cherchent à résoudre le fossé entre démonstrations en simulation et transfert vers le réel. La piste ouverte par le mode inverse d'Hydra-0, apprendre le contrôle à partir de vidéos humaines sans démonstration robotique dédiée, pourrait, si elle se confirme à plus grande échelle, réduire significativement le coût de collecte de données pour l'entraînement de politiques robotiques généralistes. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial associé.

RecherchePaper
1 source