Aller au contenu principal
VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobileIllustration générée par IA
RecherchearXiv cs.RO 

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent VOMMI (Visual-Odometry-Conditioned Mobile Manipulation Interface), un cadre de collecte de démonstrations portables et d'apprentissage pour la manipulation mobile, publié sur arXiv. Le système synchronise une vue « corps » et une vue « main » en RGB pour capturer à la fois le contexte de navigation et les interactions locales avec les objets, sans calibration de correspondance cinématique entre humain et robot. Deux briques techniques le composent. R2-VO affine hors ligne les trajectoires de démonstration à partir d'ancres géométriques parcimonieuses, puis produit des tokens de mouvement local causaux sur plusieurs horizons de prédiction. Un adaptateur résiduel par groupes d'actions injecte ces tokens uniquement dans la branche de base mobile du modèle vision-langage-action (VLA). Les expériences reposent sur 500 trajectoires portables par tâche, dont 75 réservées à l'évaluation RGB-VO, et sur 200 démonstrations robot servant de référence. La politique post-entraînée uniquement sur données portables affiche une erreur de vitesse de base inférieure de 18,2 % à celle d'une politique entraînée sur démonstrations robot, avec une précision de translation de l'effecteur comparable. La reconstruction hors ligne réduit l'erreur de trajectoire absolue de 24,6 % en moyenne pour les flux corps et main, par rapport au meilleur point de comparaison évalué pour chaque flux. Sur trois tâches réelles, le système complet gagne 8,3 points de succès moyen face à OpenPI 0.5.

Pour les intégrateurs et les équipes data, l'enjeu est le coût de collecte. La téléopération et les dispositifs spécialisés bardés de capteurs restent le goulot d'étranglement des politiques de manipulation mobile, et une capture portable, sans robot et avec une simple caméra RGB, élargirait fortement le volume de démonstrations accessible. Le résultat le plus parlant est l'erreur de vitesse de base : la navigation est précisément la dimension où l'odométrie visuelle brute dérive et où l'on pouvait craindre que des données humaines transfèrent mal. Ici, elles font mieux que les données robot sur cette métrique, ce qui suggère que le conditionnement par mouvement visuel compense le défaut de supervision. Il faut toutefois rester prudent : le gain de 8,3 points sur OpenPI 0.5 est modeste, mesuré sur seulement trois tâches, et les travaux ne précisent pas la nature des tâches ni les intervalles de confiance dans ce résumé. Il s'agit d'un résultat de laboratoire, sans déploiement industriel.

Le contexte est celui de la pénurie de données pour l'intelligence incarnée. Des interfaces portables comme UMI ont montré qu'on pouvait collecter des démonstrations de manipulation sans robot, mais elles se limitent surtout à la manipulation de table, sans la composante de déplacement de la base. VOMMI étend cette logique à la manipulation mobile, en s'appuyant sur la famille de politiques OpenPI (basée sur Pi-0) comme référence. Les acteurs concurrents du côté des VLA, dont Physical Intelligence, Figure avec Helix ou Nvidia avec GR00T, misent eux aussi sur des corpus massifs mêlant vidéo humaine et données robot. Les suites logiques seraient une validation sur davantage de tâches et de morphologies de robots, ainsi qu'une mesure du compromis entre volume de données portables et qualité de reconstruction hors ligne.

À lire aussi

CORE : régularités communes issues de démonstrations visuelles sans actions pour la manipulation robotique
Illustration générée par IA
1arXiv cs.RO 

CORE : régularités communes issues de démonstrations visuelles sans actions pour la manipulation robotique

Des chercheurs ont publié fin juin 2026 CORE (Common Outcome Regularities from Action-Free Visual Demonstrations), un cadre d'apprentissage de politique robotique conçu pour exploiter des vidéos humaines sans annotations de mouvements, afin d'entraîner des robots manipulateurs. La méthode s'appuie sur une observation clé : bien que les trajectoires menant à une même tâche varient, leurs états terminaux partagent des configurations d'objets stables, des relations spatiales et des contraintes de contact reproductibles. CORE entraîne d'abord un encodeur d'état terminal par apprentissage contrastif et objectifs temporels auxiliaires, agrège ensuite les embeddings terminaux réussis en prototypes visuels de but (visual goal prototypes), puis injecte ces prototypes comme conditions globales dans la politique de contrôle du robot.

RechercheOpinion
1 source
Explorateurs, communicatifs et déployables : des agents incarnés guidés par la vision pour la manipulation mobile en monde ouvert
Illustration générée par IA
2arXiv cs.RO 

Explorateurs, communicatifs et déployables : des agents incarnés guidés par la vision pour la manipulation mobile en monde ouvert

Des chercheurs du laboratoire InternRobotics ont publié REAL, un framework agentique pour la manipulation mobile en environnement ouvert, accompagné du benchmark REAL-Bench couvrant 241 tâches réparties entre exploration active, distraction visuelle, manipulation d'objets articulés et désambiguïsation interactive de l'intention utilisateur. Le système combine des API d'environnement cohérentes entre simulation et réel, sans recourir à une perception oracle, et un simulateur d'utilisateur permettant une boucle homme-machine pour clarifier des instructions incomplètes. L'agent, entraîné via un pipeline hiérarchique associant apprentissage supervisé et renforcement en ligne, atteint un taux de réussite de 56,9% sur les tâches interactives, devançant des VLM commerciaux à code fermé sur ce même exercice.

RechercheActu
1 source
Au-delà de la généralisation du point de vue : ce qu'apportent les démonstrations multi-vues et comment les synthétiser pour la manipulation robotique
Illustration générée par IA
3arXiv cs.RO 

Au-delà de la généralisation du point de vue : ce qu'apportent les démonstrations multi-vues et comment les synthétiser pour la manipulation robotique

Une étude publiée sur arXiv (2603.26757v2, version révisée) montre par l'expérimentation que les démonstrations multi-vues améliorent réellement les politiques de manipulation robotique, et pas seulement leur robustesse aux changements de caméra. Des essais contrôlés, à arrière-plan fixe puis aléatoire, montrent un gain constant du taux de succès et de la généralisation, mais qui varie de façon non monotone selon le nombre de points de vue : plus de caméras n'est pas toujours mieux. Les données multi-vues repoussent en revanche la limite de mise à l'échelle des jeux mono-vue, en continuant d'élever le plafond de performance après sa saturation, car elles améliorent les représentations visuelles apprises, l'alignement de la tête d'action et réduisent le surapprentissage.

RecherchePaper
1 source
Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert
Illustration générée par IA
4arXiv cs.RO 

Mondes en une seule démo : un moteur de données synthétiques pour la manipulation mobile en monde ouvert

Des chercheurs présentent WANDA (learning open-World mobile mANipulation from one Demonstration via a synthetic DAta engine), un moteur de génération de données synthétiques permettant d'entraîner des politiques de manipulation mobile à partir d'une seule démonstration humaine. Décrit dans un preprint arXiv publié mi-juillet 2026 (arXiv:2607.13154), le système reconstruit d'abord une scène sous forme de Gaussian splats et extrait les trajectoires d'interaction robot-objet à partir d'observations RGBD. Ces segments d'interaction riches en contacts sont ensuite réagencés dans de multiples configurations spatiales grâce à une planification de mouvement corps entier, qui les enchaîne en nouvelles trajectoires. Une méthode nommée Corrective State Expansion augmente la diversité des états du robot et des objets à chaque étape de la tâche.

RecherchePaper
1 source