IA physiquearXiv cs.RO 4 août 2026

DreamTrajectory : génération d'action guidée par trajectoire avec alignement sur un modèle du monde pour la manipulation mobile

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent DreamTrajectory, un nouveau framework de manipulation mobile guidée par le langage, décrit dans un article publié sur arXiv (référence 2608.01381v1). Le système s'attaque à deux limites des politiques Vision-Language-Action (VLA) actuelles : celles-ci associent directement les observations à des blocs d'actions pour l'ensemble du corps du robot, sans plan de mouvement explicite dans l'espace de la tâche, ce qui rend imprécise la coordination entre base mobile et bras ; de plus, elles exécutent ces blocs en boucle ouverte, sans vérifier si les actions réalisent effectivement le mouvement prévu, laissant s'accumuler erreurs de contrôle et contacts non modélisés. DreamTrajectory répond à ces deux limites avec deux composants : un expert d'action unique qui prédit conjointement une trajectoire de l'effecteur terminal au niveau de l'intention et un bloc d'actions pour tout le corps, et un modèle du monde léger dédié à la trajectoire, qui prédit la trajectoire qu'induirait un bloc d'actions candidat, couplé à une procédure de recherche-prédiction-notation exécutée au moment du test pour sélectionner le candidat le plus fidèle à la trajectoire planifiée. Sur le benchmark MS-HAB, le guidage par trajectoire fait grimper le taux de réussite moyen de 32,3% à 47,5%, et le raffinement au moment du test le porte à 54,8%, avec les gains les plus marqués sur les tâches à contact riche impliquant des objets articulés. Sur trois tâches de manipulation mobile en conditions réelles, les taux de réussite atteignent respectivement 63,3%, 81,7% et 90,0%.

Ces résultats visent un point de friction concret pour les intégrateurs de robots mobiles à bras articulé : la manipulation mobile combine un espace d'action bien plus vaste que la manipulation à base fixe, et les politiques VLA actuelles peinent justement sur les tâches où le contact avec des objets articulés (portes, tiroirs, poignées) exige une coordination fine entre déplacement et geste. Un gain de plus de 15 points de réussite grâce au seul ajout d'un plan de trajectoire explicite, puis de 7 points supplémentaires via une vérification au moment de l'exécution, suggère que l'écart entre mouvement planifié et mouvement réalisé, souvent invoqué comme frein au passage du prototype au déploiement réel, peut être réduit sans réentraîner le modèle de base. Reste que ces chiffres proviennent d'un benchmark simulé et de trois tâches réelles seulement, un périmètre restreint qui appelle prudence avant d'en tirer des conclusions sur la généralisation à d'autres morphologies ou environnements.

Le travail s'inscrit dans la lignée des architectures VLA récentes (Pi-0, GR00T N2, Helix) qui cherchent à combler l'écart entre perception, langage et action pour des robots généralistes, mais cible spécifiquement la manipulation mobile, moins mature que la manipulation à bras fixe sur table. L'approche par modèle du monde pour vérifier une action avant exécution rejoint une tendance plus large du secteur à ajouter une boucle de correction au moment du test plutôt que de tout miser sur l'apprentissage en amont. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un résultat de recherche, dont la prochaine étape logique serait une validation sur davantage de plateformes robotiques et de tâches réelles.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

MIND-V : modèle du monde hiérarchique pour la manipulation robotique à long horizon avec alignement physique par RL

Des chercheurs ont publié MIND-V, un modèle de monde hiérarchique conçu pour générer automatiquement des vidéos d'entraînement de manipulation robotique à long horizon, problème resté en grande partie non résolu jusqu'ici. L'architecture s'articule autour de trois modules : un Semantic Reasoning Hub (SRH) qui s'appuie sur un vision-language model pré-entraîné pour la planification de tâches, un Behavioral Semantic Bridge (BSB) qui traduit ces instructions abstraites en représentations invariantes au domaine, et un Motor Video Generator (MVG) chargé du rendu vidéo conditionnel. Pour garantir la cohérence physique des séquences générées, les auteurs ont introduit une phase de post-entraînement par reinforcement learning GRPO pilotée par une récompense inédite, la Physical Foresight Coherence (PFC), qui mobilise V-JEPA2 (le modèle de monde de Meta) comme arbitre de physique dans l'espace latent. Les expériences en simulation montrent des résultats état de l'art sur les benchmarks long-horizon, selon les auteurs. Le problème central que MIND-V adresse est la pénurie de données diversifiées pour l'intelligence incarnée : entraîner des politiques de manipulation requiert des milliers d'épisodes réussis sur des tâches enchaînées, données coûteuses à collecter en réel et difficiles à simuler de façon convaincante. L'approche est entièrement autonome, sans trajectoires définies manuellement, ce qui la distingue des générateurs de vidéos robotiques antérieurs limités à des clips courts et des gestes simples. La valeur opérationnelle est directe pour les équipes qui développent des VLA (Vision-Language-Action models) : des pipelines de synthèse de données à grande échelle pourraient réduire significativement la dépendance aux démonstrations téléopérées, principal goulot d'étranglement des robots comme Figure 03, Optimus ou 1X NEO. Ce travail s'inscrit dans une vague de recherche sur les world models pour la robotique, aux côtés de Dreamer, GAIA-1 adapté au robot, et du propre V-JEPA2 de Meta qu'il intègre comme brique de validation physique. L'article, initialement soumis en décembre 2024 (arXiv:2512.06628) et mis à jour en juin 2026, reste à ce stade un résultat en simulation uniquement : aucun déploiement physique ni intégration industrielle n'est mentionné, et le franchissement du sim-to-real gap reste à démontrer sur hardware réel.

IA physiqueOpinion

1 source

2arXiv cs.RO

Motus2 : un modèle du monde général auto-évolutif pour la manipulation dextérique

Un article déposé sur arXiv fin août 2026 (arXiv:2608.30237) présente Motus2, un modèle du monde pour la manipulation dextre. Plutôt que d'ajouter une simple tête d'action à un simulateur, il repose sur un seul réseau à poids partagés exposant trois interfaces : une politique qui propose des séquences d'actions, un simulateur qui en prédit les conséquences visuelles, et un évaluateur qui juge ces prédictions, le tout formant une boucle fermée de décision et d'apprentissage. L'entraînement combine démonstrations expertes triées et interactions ratées, réutilisées comme signal pour la dynamique et la valeur. Les données montent en échelle, de vidéos égocentriques monoculaires vers des données stéréo puis des trajectoires robotiques réelles, avec retour tactile et instanciation sur une plateforme biomimétique à deux bras et deux mains dextres. Aucun chiffre de charge utile, de temps de cycle ou de taux de réussite n'est fourni. L'enjeu est de dépasser un défaut classique des modèles du monde robotiques, la déconnexion entre prédiction et apprentissage utile. En unifiant politique, simulateur et évaluateur, Motus2 vise une boucle d'auto-amélioration où le robot apprend aussi de ses échecs, non plus seulement de démonstrations humaines coûteuses à collecter à grande échelle, un frein connu pour les modèles vision-langage-action comme Pi-0 ou GR00T N2. Si l'approche se confirme au-delà du papier, elle réduirait la dépendance à la téléopération massive. L'absence de métriques chiffrées dans le résumé invite toutefois à la prudence, il s'agit d'une proposition architecturale, non d'un résultat comparé publiquement à l'état de l'art. Ce travail s'inscrit dans la vague des modèles du monde appliqués à la robotique généraliste, où les laboratoires opposent depuis 2025 approches génératives pures et architectures hybrides combinant simulation et politique. Motus2 se distingue par le partage total des poids entre ses trois fonctions et l'usage explicite des échecs comme signal d'apprentissage. Le choix d'une plateforme bimanuelle à mains dextres et retour tactile vise la manipulation fine plutôt que la seule locomotion humanoïde. L'article ne précise ni laboratoire d'origine ni calendrier de déploiement pilote, à ce stade Motus2 reste un jalon de recherche en préprint, dont la validation empirique reste à documenter.

IA physiquePaper

1 source

3arXiv cs.RO

NavWAM : modèle du monde et d'action pour la navigation visuelle guidée par objectif

Des chercheurs présentent NavWAM (Navigation World Action Model), une architecture diffusion-transformer publiée en préprint sur arXiv (identifiant 2606.13494, juin 2026), conçue pour la navigation visuelle conditionnée par un objectif. Le problème posé est classique en robotique mobile : un robot doit naviguer vers une cible image sous observabilité partielle, en anticipant uniquement depuis sa caméra embarquée comment ses déplacements vont modifier son champ de vision. NavWAM fusionne dans une séquence latente partagée trois composantes distinctes : les observations visuelles futures prédites, les valeurs de progression vers l'objectif, et les blocs d'actions (action chunks). L'entraînement combine un préentraînement en simulation suivi d'une adaptation sur robot réel, avec une évaluation en boucle fermée sur des tâches de navigation image-à-image. Ce travail répond à une limitation bien identifiée des modèles de monde pour la navigation : ces modèles prédisent correctement l'évolution visuelle future, mais restent des modules passifs qui exigent un planificateur externe pour convertir leurs prédictions en commandes effectives. NavWAM élimine ce découplage en apprenant conjointement la prédiction visuelle, les valeurs d'objectif et la politique d'action. Concrètement, la clairvoyance visuelle du modèle de monde devient directement exploitable pour le contrôle moteur, sans recourir à une recherche d'actions de type CEM (Cross-Entropy Method). Sur les benchmarks offline et en déploiement réel en boucle fermée, NavWAM surpasse les baselines world-model à planification externe reportées par les auteurs. Comme pour tout préprint non encore revu par les pairs, ces résultats restent à valider sur une diversité d'environnements plus large. L'approche s'inscrit dans une tendance qui cherche à unifier modèles génératifs et politiques de contrôle, direction explorée notamment par les modèles VLA (Vision-Language-Action) tels que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui opèrent eux aussi sur des espaces latents partagés multi-modalités. La différence ici est la focalisation stricte sur la navigation monoculaire, sans instruction sémantique en langage naturel. Le passage sim-to-real est traité par fine-tuning sur données réelles, méthode désormais standard mais dont la robustesse dépend fortement de la diversité des scènes d'entraînement, non précisée dans l'abstract. Aucun code ni dataset n'est encore annoncé ; une page projet avec démonstrations vidéo est disponible à l'adresse fournie par les auteurs.

IA physiqueOpinion

1 source

4arXiv cs.RO

NebulaVLA : un modèle vision-langage-action à double fréquence avec action guidée pour la manipulation robotique

Une équipe de recherche présente NebulaVLA, un nouveau modèle vision-langage-action (VLA) détaillé dans un preprint publié le 18 août 2026 sur arXiv sous la référence 2608.16503v1. Son architecture repose sur un découplage asynchrone à deux fréquences : un module de raisonnement sémantique de haut niveau tourne indépendamment du contrôle moteur bas niveau, ce qui réduit la charge de calcul. Pour transférer les commandes d'un robot à l'autre, les auteurs introduisent GESTURE-7, une représentation d'action unifiée ancrée dans le langage, destinée à combler les écarts sémantiques entre morphologies hétérogènes, ainsi qu'un mécanisme baptisé Guide Action, qui impose une continuité cinématique via des contraintes de lissage fondées sur des masques pour éviter les mouvements saccadés. Sur le benchmark de simulation LIBERO-Plus, NebulaVLA affiche un taux de réussite moyen de 85,5 %, avec une génération d'actions environ 2,7 fois plus rapide que les architectures synchrones de référence. Ce résultat cible directement les trois goulots d'étranglement qui freinent le déploiement réel des VLA : l'arbitrage entre efficacité et performance, la généralisation entre morphologies de robots, et la fluidité d'exécution des gestes. Plutôt que de miser sur davantage de données d'entraînement, NebulaVLA tente de résoudre ces contraintes par un choix architectural, une piste que suivent plusieurs laboratoires pour rendre le contrôle robotique à la fois réactif et sémantiquement cohérent. Le chiffre de 85,5 % reste à relativiser : il provient d'un environnement simulé et non d'essais sur robot physique, une nuance que les intégrateurs devront garder en tête avant d'extrapoler ces gains à des déploiements industriels. Séparer un raisonnement lent de haut niveau d'un contrôle moteur rapide n'est pas une idée inédite : elle rappelle l'architecture à deux systèmes d'Helix, développée par Figure AI, ainsi que les designs hiérarchiques de GR00T N2 chez Nvidia ou de Pi-0 chez Physical Intelligence. La contribution revendiquée par NebulaVLA tient dans l'ajout d'une représentation cross-embodiment, GESTURE-7, et d'une garantie de lissage cinématique, Guide Action, que ces approches antérieures ne formalisaient pas explicitement. Le papier ne mentionne ni affiliation industrielle nommée, ni pilote annoncé avec un intégrateur, ni calendrier de commercialisation : il s'agit pour l'instant d'une contribution de recherche publiée en preprint.

IA physiqueOpinion

1 source