Aller au contenu principal
RoboHarness : un simple harnais surpasse les modèles VLA et les modèles d'action du monde
RecherchearXiv cs.RO 

RoboHarness : un simple harnais surpasse les modèles VLA et les modèles d'action du monde

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (identifiant 2610.14018, deuxième version) RoboHarness, un « harnais » robotique qui donne à un agent LLM de codage un panneau de contrôle visuo-géométrique. Grâce à lui, l'agent comprend les tâches d'manipulation embarquée et les déclenche directement, sans entraîner de modèle à produire des actions. Selon les auteurs, Qwen3.8-Flash-Next, piloté via ce harnais, dépasse les modèles VLA (vision-language-action) de l'état de l'art sur les tâches du BEHAVIOR Challenge 2025. Le résumé ne chiffre ni les scores, ni les taux de réussite, ni les temps de cycle, ni la plateforme matérielle. Le code est publié en open source. Il s'agit d'un préprint, sans validation par les pairs à ce stade.

L'approche remet en cause l'orthodoxie dominante, qui consiste à collecter à grande échelle des données d'actions et de démonstrations vidéo, puis à greffer une tête d'action sur un LLM. Si le résultat se confirme, une partie de la valeur se déplacerait de l'entraînement de politiques coûteuses vers l'ingénierie de la couche d'interface entre un LLM généraliste et le robot. Cela réduirait la dépendance aux jeux de données propriétaires, ce qui intéresserait les intégrateurs qui n'ont ni flotte de téléopération ni budget de calcul comparable à ceux des grands laboratoires. Plusieurs réserves s'imposent toutefois. Le titre met aussi en avant les « world action models » mais le résumé ne détaille pas la comparaison. Les benchmarks de type BEHAVIOR reposent sur des tâches domestiques longues évaluées avant tout en simulation, et rien n'indique ici de transfert au monde réel. La latence d'un agent de codage en boucle, sa fiabilité et son coût d'inférence ne sont pas non plus documentés dans le texte disponible.

Cette proposition s'inscrit dans le mouvement qui a fait émerger les VLA : Pi-0 de Physical Intelligence, GR00T de Nvidia ou Helix de Figure ont montré qu'un modèle unique pouvait enchaîner perception et action. En parallèle, les approches « agent plus outils », où le LLM planifie et appelle des primitives de perception et de contrôle, restent moins systématiquement évaluées sur des benchmarks standardisés. Le choix d'un modèle « Flash », plutôt qu'un modèle de pointe, suggère un argument de coût, à vérifier. La suite dépendra de la reproduction indépendante des résultats grâce au code ouvert, d'éventuelles évaluations sur robots physiques et de la capacité du harnais à passer d'un robot à l'autre. Aucun acteur français ou européen n'est cité dans ce travail.

À lire aussi

UniWAM : modèle unifié du monde et de l'action
1arXiv cs.RO 

UniWAM : modèle unifié du monde et de l'action

UniWAM, présenté sur arXiv (2610.02054, première version), est une architecture unifiée qui combine trois blocs : un « raisonneur physique » issu d'un modèle vision-langage préentraîné, un générateur de monde (vidéo) et un prédicteur d'actions. L'ensemble apprend conjointement la compréhension sémantique du monde physique, la génération visuelle et la prédiction d'actions. Les auteurs ont construit un pipeline de nettoyage et d'annotation pour les données égocentriques humaines et les données robot. Les actions bas niveau sont exprimées en langage naturel, afin de préserver les capacités linguistiques du modèle de base. Le préentraînement répartit les supervisions entre composants : VQA (questions-réponses visuelles), vidéos égocentriques humaines et démonstrations robot. Au post-entraînement, une augmentation par bruit visuel sur le futur réduit la dépendance à des prédictions précises, et un flow matching conditionné par l'historique d'actions initialise la génération d'actions. Selon les auteurs, cela réduit nettement le nombre d'étapes de débruitage sans perte de performance. Ils revendiquent l'état de l'art en performance in-distribution, robustesse, généralisation, suivi d'instructions et tâches longues. Le résumé ne donne ni chiffres ni noms de benchmarks. L'intérêt est de s'attaquer à un compromis connu. Les modèles VLA (vision-langage-action) héritent du raisonnement des VLM, mais une supervision limitée aux actions leur donne peu d'ancrage dans la dynamique physique. À l'inverse, les modèles monde-action, bâtis sur la génération vidéo, captent bien les régularités spatio-temporelles mais comprennent et raisonnent moins bien hors distribution. Unifier les deux dans un seul modèle est une réponse directe à ce problème de robustesse, qui compte pour les intégrateurs confrontés au fossé entre démo et déploiement. La réduction des étapes de débruitage compte aussi pour la latence de contrôle, point faible des approches fondées sur la vidéo. Le résultat le plus transposable est la loi d'échelle log-linéaire du co-entraînement humain-robot. Si elle se confirme, elle soutient l'idée que les vidéos humaines, bien moins chères que la téléopération, peuvent servir de levier de données. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, sans test annoncé sur robot en production. Ce travail s'inscrit dans la course entre VLA (Pi-0 de Physical Intelligence, GR00T de NVIDIA, Helix de Figure) et modèles monde-action, qui exploitent la génération vidéo pour la planification. Il prolonge aussi la tendance à exploiter les données égocentriques humaines pour pallier la rareté des démonstrations robot. Le résumé ne cite ni équipe, ni plateforme robotique, ni calendrier de publication du code ou des poids. Il faudra donc attendre le texte complet pour juger du protocole, de la comparaison avec les références et de la validation sur matériel réel.

RecherchePaper
1 source
Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes
2arXiv cs.RO 

Being-M0.7 : un modèle du monde et de l'action latent pour robots humanoïdes

Being-M0.7 est un modèle monde-action latent pour robots humanoïdes, présenté dans un preprint arXiv (2610.11283v1). Il vise la loco-manipulation, c'est-à-dire la coordination de la marche et de la manipulation en anticipant l'évolution de la scène et les mouvements du corps entier. Ses auteurs s'appuient sur un corpus constitué à partir de plus de 10 000 heures de données brutes centrées sur l'humain. Ce corpus mêle trois types de flux: vidéo seule, mouvement seul, et paires vidéo-mouvement. L'entraînement se fait en trois temps. Un pré-entraînement apprend la dynamique visuelle et la structure cinématique du corps entier. Un « mid-training » robot adapte ensuite ce prior aux points de vue et à la dynamique corporelle des robots. Enfin, un post-entraînement d'action greffe un « action expert » qui combine les représentations prédictives du prior figé avec les images courantes et la proprioception, par attention croisée à portes (gated cross-attention), pour produire des commandes corps entier exécutables. Les auteurs annoncent le meilleur taux de succès agrégé parmi les baselines comparées sur le benchmark SIMPLE. Sur des tâches réelles de loco-manipulation avec un Unitree G1, le modèle égale la meilleure baseline sans la dépasser. Le résumé ne donne ni chiffres de succès, ni liste des tâches, ni nombre d'essais. L'intérêt tient à l'attaque d'un goulot d'étranglement connu: les démonstrations robot sont rares et coûteuses, alors que la vidéo et la capture de mouvement humaines abondent. Leur exploitation se heurte à deux obstacles. Beaucoup de jeux de données n'ont qu'une modalité, et le mouvement humain ne se traduit pas directement en actions robot. Prédire conjointement les états visuels latents futurs et le mouvement pousse les représentations visuelles à encoder la cinématique à venir. L'étape intermédiaire robot et l'action expert servent de pont vers l'exécution. Le résultat réel reste nuancé. L'avantage est net en simulation, mais il disparaît sur le matériel: la parité avec la meilleure baseline sur G1 suggère que l'écart simulation-réel n'est pas résolu et que le gain du pré-entraînement sur données humaines reste à démontrer au-delà de benchmarks maîtrisés. Les intégrateurs doivent y voir une piste de recherche prometteuse pour réduire la dépendance à la téléopération, et non une capacité prête pour le déploiement. Il s'agit d'une publication académique, sans produit, sans pilote industriel ni calendrier de commercialisation. Ce travail s'inscrit dans la vague des modèles monde-action et des VLA (vision-langage-action) appliqués aux humanoïdes, où plusieurs acteurs cherchent à exploiter la vidéo humaine à grande échelle. On y trouve des modèles généralistes de type Pi-0, GR00T ou Helix, et des approches qui prédisent le futur visuel pour guider l'action. Le Unitree G1, humanoïde abordable très répandu dans les laboratoires, sert de plateforme de validation commune, ce qui facilite la comparaison entre équipes. La version «0.7» laisse penser à une série de modèles Being, dont les itérations précédentes ne sont pas détaillées ici. Les suites à surveiller sont la publication du code, des poids et des protocoles d'évaluation, ainsi que des tests sur des plateformes plus variées et des tâches plus longues. Une confirmation indépendante sur matériel réel dira si l'avantage observé en simulation se maintient.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
RynnVLA-002 : un modèle unifié vision-langage-action (VLA) et du monde
3arXiv cs.RO 

RynnVLA-002 : un modèle unifié vision-langage-action (VLA) et du monde

Une équipe de recherche a publié RynnVLA-002, un modèle unifié combinant Vision-Language-Action (VLA) et world model, présenté en preprint sur arXiv (2511.17502v3). L'architecture couple deux composantes interdépendantes : le world model prédit des états visuels futurs à partir des actions et observations courantes, apprenant ainsi la physique implicite de l'environnement ; le modèle VLA génère en retour les actions suivantes depuis des observations visuelles brutes. Ce couplage bidirectionnel vise un apprentissage conjoint de la dynamique environnementale et de la planification motrice. Sur le benchmark de simulation LIBERO, RynnVLA-002 atteint 97,4 % de taux de succès sans pré-entraînement. En conditions réelles, dans des expériences conduites avec le framework open-source LeRobot de Hugging Face, l'intégration du world model améliore le taux de succès global de 50 % par rapport au modèle VLA seul. L'intérêt de cette architecture tient dans la mutualisation de deux paradigmes historiquement distincts. Les world models ont longtemps servi d'outils de planification offline ou de data augmentation, tandis que les VLA visent la génération d'actions en temps réel depuis des observations brutes. RynnVLA-002 cherche à démontrer leur renforcement mutuel : le world model corrige la génération d'actions en anticipant leurs conséquences visuelles, ce qui réduit la dépendance aux données d'entraînement dans des zones peu couvertes. Le gain de 50 % en real-world est significatif, mais le preprint reste peu disert sur la diversité des tâches testées et les conditions expérimentales précises, ce qui rend une évaluation indépendante prématurée. Pour les équipes confrontées au sim-to-real gap, l'idée d'ancrer une VLA dans une représentation physique anticipatrice constitue néanmoins une direction crédible. Les VLA sont devenus un terrain de compétition dense depuis Pi-0 de Physical Intelligence, OpenVLA, et les approches RoboVLMs, qui exploitent des backbones vision-langage pré-entraînés pour produire des politiques généralisables. Côté world models, des travaux comme Dreamer (DeepMind) et UniSim ont popularisé la prédiction vidéo comme supervision indirecte pour la robotique. RynnVLA-002 cherche à unifier explicitement ces deux lignes, se différenciant ainsi des architectures à modules séparés. À sa troisième version de preprint, le travail est en itération active, mais aucune affiliation institutionnelle claire ni partenariat industriel n'est mentionné dans l'abstract, ce qui limite l'évaluation de sa maturité réelle. Les prochaines étapes logiques incluront une validation sur des benchmarks plus exigeants comme CALVIN ou RLBench, et idéalement une publication des poids du modèle pour permettre une réplication indépendante.

UEL'utilisation de LeRobot (framework open-source de HuggingFace, entreprise française) comme cadre expérimental de référence valide l'écosystème robotique open-source porté par un acteur français, sans impact direct sur le marché ou la R&D en France/UE.

RechercheOpinion
1 source
NarrativeFlow : un modèle vision-langage-action (VLA) à flux utilisant les champs de vitesse du robot
4arXiv cs.RO 

NarrativeFlow : un modèle vision-langage-action (VLA) à flux utilisant les champs de vitesse du robot

NarrativeFlow, publié sur arXiv (2610.00981v1) et accompagné d'une page projet, est un modèle vision-langage-action (VLA) qui génère des « flux robotiques », c'est-à-dire des champs de vitesse continus décrivant le mouvement du robot, à partir d'une instruction en langage naturel. Les auteurs le formulent par flow matching, conditionné sur le texte. L'objectif est d'obtenir des trajectoires physiquement cohérentes avec la manipulation réelle. Le résumé indique que NarrativeFlow surpasse des méthodes de référence sur des jeux de données standards de manipulation conditionnée par le langage, puis qu'il obtient des taux de réussite supérieurs sur plusieurs tâches en conditions réelles. Aucun chiffre n'est fourni dans le résumé : ni taux de succès, ni nombre de tâches, ni plateforme robotique, ni liste des baselines. Il s'agit d'une prépublication, sans produit, sans déploiement ni calendrier annoncé. L'enjeu porte sur le goulot d'étranglement des modèles de fondation en robotique : la collecte de données propres à chaque morphologie, longue et coûteuse. Un flux de vitesse sert ici de représentation centrée sur le mouvement et indépendante de l'embodiment, ce qui permettrait de mutualiser des données issues de plateformes différentes (bras, mains, voire vidéos). Si l'approche tient ses promesses, un intégrateur pourrait réutiliser des corpus existants au lieu de recollecter des démonstrations pour chaque robot. Les auteurs positionnent leur travail face à deux limites : les méthodes qui approximent grossièrement les flux par des déplacements de points clés épars, et celles qui ne gèrent pas la consigne en langage. Reste à vérifier la généralisation entre morphologies, la robustesse hors laboratoire et le coût de calcul, trois points que le résumé ne documente pas. Les gains « sur les métriques standards » restent à examiner dans l'article complet, notamment la difficulté des tâches réelles et la taille des échantillons d'essais. Ce travail s'inscrit dans la course aux représentations intermédiaires transférables entre robots, alors que des VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) misent surtout sur la diffusion ou le flow matching directement sur les actions, avec des données massives. Les approches par flux ou par points clés cherchent à tirer parti de vidéos humaines et de données hétérogènes pour contourner cette dépendance. NarrativeFlow prolonge cette lignée en remplaçant les points clés épars par un champ continu. La suite dépendra de la publication du code et des résultats détaillés, ainsi que d'une comparaison directe avec les VLA généralistes sur des benchmarks communs. À ce stade, il s'agit d'une contribution de recherche à confirmer, non d'un système prêt pour l'industrie.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source