RecherchearXiv cs.RO 26 octobre 2026

RynnUnify : vers un cerveau incarné unifié

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RynnUnify est un modèle embodied unifié de 16 milliards de paramètres, présenté sur arXiv (2610.32965) par une équipe qui le positionne comme un « cerveau incarné » capable de combiner compréhension du monde physique et planification visuelle à long horizon. Il raisonne en entrelaçant vidéo et langage, avec des compétences couvrant le raisonnement spatial, la prédiction physique et le grounding (ancrage d'objets dans l'image). Deux extensions sont décrites : une version agentique, entraînée par apprentissage par renforcement, qui décide quand recourir à des prédictions vidéo pour raisonner sur des états non observés et des résultats d'interaction, et une version « world-action » qui convertit ces capacités en commandes robot. Les auteurs introduisent aussi deux benchmarks, Rynn-VP (planification visuelle longue) et Rynn-GEU (raisonnement anticipatif). Les chiffres annoncés : meilleur score moyen de compréhension embodied parmi les modèles multimodaux unifiés évalués, +9,75 points sur Rynn-VP face à Cosmos 3 Nano, +6,0 points sur la moyenne Rynn-GEU pour l'extension agentique par rapport au raisonnement direct, 51,5 % de réussite sur 20 tâches composites RoboCasa365 sélectionnées et 46,7 % de réussite moyenne sur trois tâches de robot réel.

L'intérêt tient à la tentative d'unifier dans un seul modèle ce que l'industrie traite encore séparément : un VLM pour comprendre, un world model pour prédire, une politique VLA pour agir. Si cette approche tient, elle simplifie les piles logicielles des intégrateurs et permet de réutiliser la même représentation du monde pour planifier et exécuter. Il faut toutefois lire les résultats avec prudence. Les benchmarks Rynn-VP et Rynn-GEU sont conçus par les auteurs eux-mêmes, ce qui favorise mécaniquement leur modèle. Les 20 tâches RoboCasa365 sont « sélectionnées », sans précision sur le critère de choix, et un taux de 46,7 % sur seulement trois tâches réelles, sans détail sur la plateforme, le nombre d'essais ou les conditions, reste très loin d'une fiabilité de production. On est donc face à un résultat de recherche, pas à un produit ni à un déploiement.

Le travail s'inscrit dans la convergence entre modèles de fondation vidéo et politiques robotiques, où Cosmos de NVIDIA (ici la variante Nano sert de référence) occupe une place centrale, aux côtés de lignées VLA comme Pi-0 de Physical Intelligence, GR00T chez NVIDIA ou Helix chez Figure. La désignation « Rynn » évoque la famille de modèles embodied portée par l'écosystème Alibaba DAMO, sans que l'extrait disponible le confirme. Aucun calendrier, code ouvert ou pilote industriel n'est mentionné dans le résumé. La suite dépendra de la publication des poids, des benchmarks et d'une validation indépendante sur davantage de tâches réelles, avec des taux de réussite détaillés.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vers un cadre pour les agents incarnés

Un article de recherche mis en ligne le 13 aout 2026 sur arXiv (2608.11246) présente Thea, un "harness", c'est a dire une architecture d'orchestration logicielle, destine aux agents robotiques et conçu selon le principe des agents de codage: la performance dépend moins du modèle que de l'infrastructure qui l'entoure. Thea fait tourner une boucle agentique qui invoque les capacités du robot, chacune encapsulée comme un outil appelable. Les auteurs pointent deux fonctions que le monde physique refuse, contrairement au monde logiciel: lire l'état du monde et juger le résultat d'une action. Pour y remédier, le système introduit le Scene Graph as Context, une représentation symbolique persistante de l'environnement servant de contexte au modèle, et l'Evaluation as Exit Codes, un module qui détecte la fin d'une action, évalué sa réussite et diagnostique la cause d'un échec. Cette approche cible directement l'écart, souvent dénonce dans le secteur, entre démonstrations impressionnantes en environnement contrôle et exécution fiable de taches longues en conditions réelles. En fermant la boucle entre perception, action et évaluation, Thea cherche a faire émerger des comportements complexes par simple composition d'outils, sans reentrainement du modèle pour chaque nouvelle tache. L'article ne fournit toutefois aucune métrique chiffrée, ni taux de réussite ni benchmark, dans son résume: il s'agit a ce stade d'une contribution architecturale, pas d'une validation empirique a grande échelle ni d'un produit déployé. Pour les intégrateurs, l'intérêt tient a la proposition méthodologique: traiter l'agent robotique comme un agent logiciel dote d'un accès symbolique au monde plutôt que comme un modèle entraine de bout en bout. Thea prolonge directement la lignée des harnais d'agents de codage, dont le succès récent a impose ce paradigme d'infrastructure au delà du monde logiciel, et rejoint les recherches en cours sur les modèles vision-langage-action cherchant a leur adjoindre une mémoire structurée du monde plutôt qu'une politique entraînée par imitation. Le document ne précise ni l'affiliation institutionnelle des auteurs ni de calendrier de déploiement pilote. Il se presente comme une contribution académique destinée a être discutée et reproduite par la communauté, la prochaine étape logique étant une évaluation quantitative sur des taches longues en environnement réel.

RecherchePaper

1 source

2arXiv cs.RO

UniWALM : un modèle de langage unifié monde-action pour le contrôle de robots incarnés

UniWALM, un modèle unifié « monde-action-langage » décrit dans un préprint arXiv (2610.28626), apprend la vidéo, l'action et le langage dans une représentation partagée unique, chaque modalité servant à la fois de signal de conditionnement et de cible de supervision. L'architecture repose sur un seul backbone de type mixture-of-transformers, dont les têtes de diffusion par modalité débruitent de façon synchrone. Le sous-objectif et la mémoire textuelle sont décodés dans la même passe que l'action, sans étape de planification séparée. Le texte généré est réinjecté au pas suivant, ce qui crée une boucle de « langage comme mémoire », sans planificateur externe ni banque mémoire. Les auteurs ajoutent un objectif d'entraînement, le Flow Matching with Correction (FMC), qui apprend au modèle à se rétablir après des trajectoires d'action perturbées, sans coût à l'inférence. Sur le pick-and-place compositionnel (MolmoSpaces), UniWALM progresse par rapport à son backbone de référence FastWAM. Sur le sous-ensemble de RMBench qui exige de la mémoire, il atteint 34,5 % sans modèle de langage ou de raisonnement pré-entraîné. Il dépasse ainsi la configuration de Mem-0 avec images clés (28,5 %) en n'utilisant qu'une seule image d'ancrage. Sur une tâche réelle de recherche d'objet (« Find-the-Item »), la génération de mémoire textuelle fait passer le succès de 11,1 % à 61,1 %, alors que les VLA de pointe restent à 33,3 % ou moins, soit au niveau du hasard. L'enjeu est d'abord architectural. La plupart des approches actuelles greffent un modèle vision-langage ou de raisonnement sur un backbone vidéo-action et les exécutent en étapes distinctes. UniWALM suggère qu'un modèle monolithique peut gérer planification et mémoire sans module externe, ce qui simplifierait le déploiement et réduirait la latence. Le résultat sur la tâche réelle est parlant : des VLA à ou sous le hasard sur un comportement dépendant de la mémoire montrent une faiblesse structurelle des politiques sans état. Il faut toutefois relativiser. La tâche réelle est unique et le jeu d'essais, au vu des pourcentages (multiples de 1/18), très réduit, probablement 18 épisodes. Les 34,5 % sur RMBench restent un score bas en valeur absolue. Aucune donnée de temps de cycle, de plateforme robotique ou de déploiement industriel n'est fournie. Pour un intégrateur, il s'agit d'un signal de recherche, pas d'une capacité mobilisable. Ce travail s'inscrit dans la tendance des modèles monde-action, qui combinent prédiction vidéo et génération d'actions, et dans celle des VLA comme Pi-0 ou GR00T, qui traitent surtout chaque pas de temps de façon quasi réactive. La mémoire à long horizon reste un angle mort de ces politiques, d'où des benchmarks dédiés comme RMBench et des approches concurrentes à base d'images clés comme Mem-0. FastWAM sert ici de base de comparaison directe. La suite logique serait une validation sur davantage de tâches réelles, avec des effectifs d'essais plus larges et des comparaisons face aux VLA industriels, ainsi qu'un passage à l'échelle par pré-entraînement. Aucune publication de code, de poids ou de calendrier n'est mentionnée dans le résumé disponible.

RecherchePaper

1 source

3arXiv cs.RO

P³ : vers des agents incarnés polyvalents

Des chercheurs ont publié la seconde version d'un article arXiv (2508.07033v2) présentant P³, un framework unifié pour agents incarnés (embodied agents) polyvalents. Le code et les données sont disponibles sur GitHub (fz-zsl/P3). Le framework s'attaque à trois limitations identifiées dans les approches existantes: la perception dynamique de l'environnement, l'usage flexible d'outils, et la planification multi-tâches complexe. Contrairement aux méthodes précédentes qui dépendent uniquement du retour d'agents-outils pour détecter les changements d'environnement et le statut des tâches, ce qui limite l'adaptabilité en temps réel et provoque une accumulation d'erreurs, P³ permet à l'agent de percevoir activement les informations pertinentes directement depuis l'environnement. Il autorise aussi l'utilisation d'outils sans nécessiter de retour systématique, et priorise dynamiquement les tâches urgentes en ajustant leur ordre d'exécution selon leurs dépendances. Les auteurs rapportent des expérimentations en conditions réelles, sans toutefois préciser dans le résumé les métriques chiffrées, le nombre de tâches testées ou les plateformes robotiques utilisées, ce qui invite à la prudence sur la portée exacte des gains démontrés. Cette contribution touche un point sensible du secteur des agents incarnés: l'écart persistant entre les benchmarks académiques et le déploiement pratique. La plupart des architectures actuelles pour robots ou agents autonomes traitent la perception, l'usage d'outils et la planification comme des modules largement indépendants, ce qui les rend fragiles dès que l'environnement change ou que plusieurs tâches concurrentes doivent être arbitrées en temps réel. En proposant un mécanisme de planification dynamique capable de réordonner les priorités selon les dépendances, P³ répond à un problème très concret pour les intégrateurs qui cherchent à déployer des agents capables de gérer plusieurs objectifs simultanément sans supervision humaine constante, un prérequis pour toute application industrielle ou domestique à grande échelle. Le travail s'inscrit dans la lignée des recherches sur les architectures agentiques pour l'IA incarnée, qui combinent perception, raisonnement et action physique ou logicielle, un domaine où rivalisent notamment les approches fondées sur de grands modèles multimodaux couplés à des outils externes. La publication d'une seconde version de l'article, après un premier dépôt, suggère une itération liée à des retours de relecture, signe habituel d'une maturation vers une publication en conférence. La mise à disposition du code sur GitHub permettra à la communauté de reproduire et d'étendre les résultats, étape nécessaire avant toute adoption au-delà du cadre académique.

RecherchePaper

1 source

4arXiv cs.RO

Unifier les modèles fondation incarnés grâce à une formulation modèle-vers-politique

Un nouvel article déposé sur arXiv (2610.23053, première version) propose un cadre probabiliste unique pour décrire les modèles de fondation incarnés, c'est-à-dire les modèles VLA (vision-langage-action) et les modèles monde-action (WAM, world-action models). Les auteurs s'appuient sur des noyaux stochastiques et décrivent chaque modèle par deux éléments: une distribution conditionnelle de sortie, et un noyau de réalisation d'action qui traduit cette sortie en commande exécutable. Ensemble, ils définissent une politique robotique conditionnée par la tâche. Le cadre relie aussi le pré-entraînement et le post-entraînement (hors ligne ou en ligne) au déploiement de la politique, quel que soit l'objectif d'apprentissage propre à chaque modèle. Il est illustré sur deux cas: OpenVLA, qui prédit des tokens d'action de manière autorégressive, et DreamZero, qui génère conjointement vidéo et actions. L'abstract ne donne ni benchmark, ni taux de réussite, ni résultat sur robot réel: il s'agit d'une contribution formelle, pas d'une démonstration de performance. L'intérêt est surtout méthodologique, mais il touche un vrai problème. Les VLA et les WAM diffèrent par leur architecture, leur représentation de sortie et leur fonction de perte, ce qui rend les comparaisons difficiles et brouille la lecture des gains annoncés. Un formalisme indépendant de l'architecture offre un vocabulaire commun pour analyser ce qui se passe entre le pré-entraînement et la politique effectivement exécutée, y compris lors d'un affinage sur données de terrain. Pour un intégrateur ou un décideur, cela n'apporte aucun gain immédiat. À terme, cela peut aider à comparer des modèles sur des bases homogènes et à raisonner sur les stratégies d'adaptation. Il faudra voir si ce cadre produit des prédictions testables ou de nouvelles méthodes, ce que l'abstract ne démontre pas. Le travail s'inscrit dans la prolifération de modèles de fondation pour la robotique depuis OpenVLA, référence open source des VLA autorégressifs, aux côtés de familles propriétaires ou ouvertes comme Pi-0, GR00T ou Helix. En parallèle, les approches qui prédisent la vidéo future en même temps que l'action, dont DreamZero est ici l'exemple, gagnent du terrain. Cette diversité d'architectures explique le besoin d'une théorie unificatrice. La suite logique serait d'instancier le formalisme sur d'autres modèles et de vérifier qu'il guide concrètement la conception du post-entraînement. Aucun calendrier ni code associé n'est mentionné dans l'abstract.

RecherchePaper

1 source