Aller au contenu principal
Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôleIllustration générée par IA
RecherchearXiv cs.RO 

Hydra-0 : flux d'action pour la modélisation généraliste du monde et le contrôle

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Hydra-0, un nouveau modèle du monde généraliste pour la robotique, a été présenté dans un preprint publié sur arXiv le 19 août 2026 (arXiv:2608.18077). Le système repose sur un concept baptisé "action flow" : les actions du robot y sont représentées comme un flux de mouvement de pixels plutôt que comme des commandes articulaires classiques, ce qui crée une interface visuelle commune permettant d'apprendre les conséquences des actions à travers différents robots, tâches, environnements et architectures de génération vidéo. Dans sa meilleure configuration, Hydra-0 réduit l'erreur de mouvement du robot de 90,4% et l'erreur de mouvement des objets de 60,2% par rapport à une base de référence conditionnée par l'action classique. Sur le benchmark RoboLab, le modèle atteint une corrélation de Pearson de r=0,96 entre les taux de réussite rejoués en simulation et les taux de réussite de référence, un signal de fidélité élevé pour l'évaluation de politiques en boucle ouverte. Les auteurs décrivent aussi un mode inverse émergent : le modèle peut prédire un mouvement robotique compatible à partir d'un flux d'objet désiré transféré depuis une démonstration humaine, une "tête d'action" entraînée convertissant ensuite ces représentations latentes en actions exécutables sans démonstration robotique experte spécifique à la tâche.

Pour l'industrie robotique, ce travail s'attaque directement à deux goulots d'étranglement connus des approches vision-language-action (VLA) : la dépendance à des démonstrations robotiques coûteuses par tâche, et la difficulté à faire généraliser un modèle entre embodiments et environnements hétérogènes. En transformant l'action en un signal visuel partagé, l'approche promet une adaptation plus économe en données et une composition zero-shot de comportements, deux propriétés recherchées par les intégrateurs qui veulent déployer un même modèle sur plusieurs plateformes matérielles sans réentraînement lourd. Il faut toutefois noter qu'il s'agit d'un résultat de recherche publié en preprint, évalué sur un benchmark interne (RoboLab) et non d'un système déployé en production ou en usine ; les gains annoncés restent à confirmer par une évaluation indépendante et par des essais sur robots physiques réels au-delà du cadre expérimental décrit.

Ce travail s'inscrit dans la vague plus large des modèles du monde et des architectures VLA développés ces dernières années pour unifier perception, prédiction et contrôle robotique, un axe de recherche où plusieurs laboratoires cherchent à résoudre le fossé entre démonstrations en simulation et transfert vers le réel. La piste ouverte par le mode inverse d'Hydra-0, apprendre le contrôle à partir de vidéos humaines sans démonstration robotique dédiée, pourrait, si elle se confirme à plus grande échelle, réduire significativement le coût de collecte de données pour l'entraînement de politiques robotiques généralistes. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial associé.

Dans nos dossiers

À lire aussi

Modèles du monde à opérateurs de graphe pour la généralisation morphologie-paramètres en contrôle continu
Illustration générée par IA
1arXiv cs.RO 

Modèles du monde à opérateurs de graphe pour la généralisation morphologie-paramètres en contrôle continu

Une équipe de recherche publie sur arXiv (référence 2608.20936v1, soumission en cross-list) une nouvelle architecture baptisée Graph-Operator World Models, ou GraphOp-WM, destinée au contrôle continu de robots articulés. Le principe consiste à représenter le corps du robot et ses relations cinématiques sous forme de graphe attribué, puis à factoriser chaque transition dynamique en deux parties : une base de dynamique locale indépendante de la morphologie, et un opérateur structuré conditionné par la morphologie. Cet opérateur combine trois mécanismes : une modulation locale au niveau de chaque nœud, un couplage le long de l'arbre cinématique, et une correction globale de rang faible. Le modèle s'appuie aussi sur une séparation architecturale de l'information, une normalisation de la base de dynamique, et une supervision par paires de morphologies différentes, pour forcer la dépendance à la morphologie à transiter uniquement par le canal de l'opérateur. Une lecture au niveau du graphe et des représentations d'action par arête fournissent une interface compatible avec le calcul de récompense, de valeur et la planification de type TD-MPC. Les auteurs définissent des scénarios de test contrôlés sous MuJoCo, couvrant interpolation, extrapolation et compositions inédites de paramètres de géométrie des liaisons, de masse, d'amortissement et d'actionnement, sur trois environnements classiques : Hopper, Walker2d et HalfCheetah. Le problème visé est concret pour l'industrie robotique : les modèles du monde entraînés pour un système physique fixe se dégradent dès que des paramètres de morphologie connus, comme la longueur des liaisons, la masse, l'amortissement ou l'actionnement, changent, même légèrement. Or ces variations sont la norme en production, entre unités d'une même gamme, après usure mécanique, ou lors du passage d'un prototype à une variante commerciale. En séparant explicitement ce qui reste réutilisable de ce qui doit s'adapter à la morphologie, GraphOp-WM propose une piste pour réduire le réentraînement spécifique à chaque robot et généraliser au sein d'une famille de robots articulés apparentés, plutôt que de traiter chaque configuration matérielle comme un cas isolé. C'est un signal utile pour les intégrateurs et les équipes de R&D en apprentissage par renforcement qui gèrent des flottes hétérogènes ou des lignes de produits évolutives, même si l'article ne fournit à ce stade aucune validation sur robot réel. Ce travail reste, à ce stade, une contribution de recherche fondamentale, publiée en preprint sur arXiv sans laboratoire ni entreprise identifié dans le résumé, et validée uniquement en simulation via le moteur physique MuJoCo, un standard académique pour le contrôle continu, et non sur du matériel déployé. Il s'inscrit dans la lignée des modèles du monde couplés à la planification, dans la famille TD-MPC, et dans le courant plus large de recherche sur la généralisation inter-morphologies et le contrôle multi-corps, qui cherche à dépasser l'entraînement d'un modèle par robot spécifique. Aucun pilote industriel, aucune date de déploiement ni aucun partenaire commercial n'est mentionné : les prochaines étapes attendues sont la revue par les pairs et, potentiellement, l'extension des tests au-delà des trois environnements simulés Hopper, Walker2d et HalfCheetah vers des familles de robots plus larges ou vers un transfert sur matériel réel.

RecherchePaper
1 source
Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision
Illustration générée par IA
2arXiv cs.RO 

Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision

Des chercheurs présentent World Action Planner (WAP), un système de planification robotique combinant un modèle vision-langage (VLM) et un modèle du monde conditionné par les poses et les images, capable de gérer plusieurs tâches. Décrit dans un article arXiv publié fin juillet 2026 (arXiv:2607.27599), le système fonctionne en deux temps : le VLM propose un plan d'action initial à partir d'une consigne, puis ce plan est raffiné de manière itérative par optimisation et recherche, en simulant des trajectoires possibles ("rollouts") dans le modèle du monde avant de les exécuter réellement. Selon les auteurs, WAP surpasse significativement les modèles de bout en bout de référence, à la fois les architectures vision-langage-action (VLA) et les modèles du monde purs (WAM), sur des tâches compositionnelles, des agencements de scène inédits et des scénarios de généralisation zéro-shot. Le projet est documenté sur worldactionplanner.github.io, sans précision sur le matériel robotique utilisé ni sur un calendrier de déploiement. L'enjeu dépasse la performance brute : c'est la capacité de généralisation qui est visée, un point faible connu des politiques par apprentissage par imitation, qui excellent dans leur environnement d'entraînement mais échouent souvent face à une scène ou une tâche nouvelle. En couplant raisonnement symbolique du VLM et vérification physique via simulation interne, WAP s'attaque directement à l'écart entre démonstration contrôlée et robustesse réelle, un sujet central pour les intégrateurs qui cherchent des robots capables de sortir du script préprogrammé. À ce stade, il s'agit toutefois d'un résultat de recherche évalué en simulation ou en environnement contrôlé, pas d'un produit commercial ni d'un déploiement industriel. Ce travail s'inscrit dans la course actuelle autour des modèles VLA (à l'image de Pi-0 ou GR00T N2) et des modèles du monde pour la robotique, deux approches concurrentes pour doter les robots humanoïdes et bras manipulateurs d'une autonomie généralisable. En proposant une architecture hybride qui combine planification par recherche et prédiction du monde plutôt qu'une politique end-to-end unique, les auteurs positionnent WAP comme une alternative aux approches purement VLA, dont les limites de généralisation restent un point de friction reconnu dans le secteur.

RecherchePaper
1 source
Zero-WAM : modélisation monde-action en contexte à partir de vidéos humaines pour la généralisation de tâches ouvertes
Illustration générée par IA
3arXiv cs.RO 

Zero-WAM : modélisation monde-action en contexte à partir de vidéos humaines pour la généralisation de tâches ouvertes

Des chercheurs présentent Zero-WAM, un modèle causal vidéo-action qui exécute des tâches de manipulation robotique inédites en suivant une simple vidéo humaine donnée en contexte, sans réentraînement, sur le principe de l'apprentissage en contexte des grands modèles de langage. Pour pallier le manque de données appariées humain-robot, ils ont construit un pipeline automatique générant HumanGen, 74 200 paires vidéo sur 8 600 tâches, avec un nouvel objectif d'entraînement dit IFP (prédiction de segments futurs en contexte). Sur sept tâches inédites du simulateur RoboTwin 2.0, le modèle atteint 47,0% de réussite, soit +29,5 points face à la meilleure base vidéo-action comparée, et des essais réels montrent une généralisation à des scènes multi-objets et à des insertions fines. L'article, publié sur arXiv (2608.26103), reste une contribution académique sans produit ni partenaire industriel annoncé. L'enjeu dépasse la performance brute : la plupart des modèles vision-langage-action doivent être réentraînés ou finement ajustés pour chaque nouvelle tâche, ce qui alourdit les coûts d'intégration industrielle. En montrant qu'une vidéo de démonstration peut servir de consigne à la volée, Zero-WAM propose une alternative au conditionnement par le langage utilisé par des approches comme Pi-0 ou GR00T N2, et suggère une piste pour réduire la dépendance aux collectes de démonstrations spécifiques par tâche. Le résultat mérite toutefois d'être nuancé : un taux de réussite de 47% reste modeste en absolu, et l'essentiel de la validation chiffrée se fait en simulation, les essais réels n'étant pas quantifiés dans l'abstract. L'apprentissage en contexte, popularisé par les grands modèles de langage généralistes, se heurtait en robotique à la rareté de vidéos humaines et robotiques appariées, problème que ce travail attaque via son pipeline HumanGen. Il se positionne face à l'écosystème des modèles vision-langage-action généralistes tels Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui misent davantage sur le langage que sur la vidéo comme consigne. Aucun acteur français ou européen n'apparaît dans cette publication, et les auteurs ne fournissent ni pilote industriel ni feuille de route de commercialisation.

RecherchePaper
1 source
WorldBridge : relier vidéo et action pour la généralisation des tâches dans les modèles d'action du monde
Illustration générée par IA
4arXiv cs.RO 

WorldBridge : relier vidéo et action pour la généralisation des tâches dans les modèles d'action du monde

Des chercheurs présentent sur arXiv WorldBridge, un World Action Model (WAM) qui sépare un expert vidéo et un expert action. Les deux sont reliés par une attention structurée et entraînés conjointement par flow matching. Le modèle ajoute une mémoire visuelle à deux échelles temporelles et un mécanisme d'action forcing. Un pipeline de données unifié standardise et filtre des trajectoires robotiques hétérogènes, ainsi que des supervisions dérivées de vidéos égocentriques de mains humaines. Sur RoboTwin 2.0, WorldBridge atteint 96,23 % de réussite avec l'ensemble des données et 80,9 % en configuration « clean to random », où l'entraînement se fait en scène propre et le test en scène perturbée. Il affiche aussi 82,8 % sur RoboCasa GR1 TableTop et 57,6 % sur DOMINO Level-1. Ces scores sont les meilleurs parmi les méthodes comparées, un panel choisi par les auteurs. L'apport le plus utile est une ablation sur la généralisation à des tâches hors distribution. Avec seulement des paires vidéo-action issues des tâches d'entraînement, le taux de réussite sur les tâches inédites est de 25,07 %. Il monte à 55,90 % quand on ajoute des vidéos de ces tâches sans étiquettes d'action. Une seule démonstration annotée par tâche le porte à 70,70 %. Selon les auteurs, la couverture visuelle fait l'essentiel du transfert, en s'appuyant sur une dynamique inverse déjà apprise, et une supervision d'action même minimale la renforce. Pour un intégrateur, cela suggère que la vidéo, bien moins chère à collecter que la téléopération, peut servir de levier principal pour étendre un répertoire de tâches. Toutes les évaluations citées sont en simulation. Aucun test sur robot physique, temps de cycle ni déploiement n'est mentionné, et l'écart sim-to-real reste donc entier. Les WAM prolongent les modèles vision-langage-action (VLA) du type Pi-0 ou GR00T, qui projettent directement observations et consignes vers des actions. Ils prédisent d'abord l'évolution visuelle de la scène, puis en déduisent le geste, ce qui permet d'exploiter la pré-formation vidéo à grande échelle. L'usage de vidéos égocentriques humaines va dans le sens d'une tendance du secteur : réduire la dépendance aux données robot coûteuses. La prochaine étape logique est une validation sur matériel réel et sur des tâches longues. L'extrait disponible ne mentionne ni cette validation ni une publication du code ou des poids.

RecherchePaper
1 source