RecherchearXiv cs.RO 18 septembre 2026

V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (référence 2609.20582v1, mis en ligne le 18 septembre 2026) présente V2-STRep, un framework de recherche "zero-shot" qui transforme des vidéos de manipulation générées par IA en compétences robotiques réutilisables. Le principe consiste à remplacer l'enregistrement de démonstrations physiques par un robot pour chaque tâche par une vidéo synthétique, produite par un modèle de génération vidéo à partir d'une image de scène initiale et d'une instruction textuelle. Les auteurs relèvent que cette vidéo générée ne capture qu'une seule réalisation, propre à une scène donnée, sans expliciter la structure de la tâche ni ses contraintes géométriques. V2-STRep corrige ce manque en s'appuyant sur un modèle vision-langage (VLM) pour bâtir une représentation structurée : phases de mouvement, références et contraintes, décrites via des structures géométriques minimales (points, points-normales, axes, plans, poses 6D complètes). Les indices 2D fournis par le VLM sont ensuite reprojetés en 3D à partir d'observations RGB-D, pour reconstruire la géométrie de la tâche et les poses de prise candidates. Des règles propres à chaque type de géométrie transfèrent ensuite le mouvement vers de nouvelles scènes, tandis qu'une optimisation de trajectoire sous contraintes couple sélection de prise et planification complète du mouvement, en exploitant la liberté de rotation restante pour respecter les limites articulaires. Sur six tâches de manipulation réelles, la méthode affiche un taux de réussite supérieur aux méthodes de référence testées, un transfert fiable entre scènes différentes, et une capacité d'adaptation à de nouvelles instructions compatibles sans régénérer de vidéo.

Pour les intégrateurs et laboratoires de robotique, l'intérêt tient moins à un produit qu'à une piste méthodologique : contourner le goulot d'étranglement de la collecte de démonstrations téléopérées, coûteuse et lente à faire passer à l'échelle, en s'appuyant sur des modèles de génération vidéo déjà entraînés sur des vidéos humaines. Le travail répond directement à une limite connue de cette approche, à savoir qu'une vidéo générée reste ancrée dans la scène où elle a été produite et ne se généralise pas telle quelle. En démontrant un transfert entre scènes et une adaptation à de nouvelles instructions sans nouvelle génération vidéo, l'étude nuance l'idée reçue que les modèles vidéo-vers-action ne fonctionnent qu'en circuit fermé, scène par scène.

Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter des vidéos humaines ou générées comme substitut aux démonstrations robotiques réelles, en complément des approches VLA entraînées sur des données massives de téléopération comme Pi-0, GR00T N2 ou Helix. Il ne s'agit ici que d'un article de recherche à l'état de preprint, validé sur six tâches en laboratoire, sans annonce de produit, de partenariat industriel ni de déploiement chez un intégrateur. Aucun acteur français ou européen n'est cité dans ces travaux. Les prochaines étapes attendues, classiques pour ce type de publication, sont l'élargissement du nombre de tâches testées, la comparaison avec davantage de baselines, puis une éventuelle reprise par des équipes industrielles cherchant à réduire leurs coûts de collecte de données.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

GTA-2 : un cadre multi-VLM pour synthétiser des compétences de manipulation robotique via des axes de tâches ancrés

Des chercheurs ont publié le 10 septembre 2026 sur arXiv un article décrivant GTA-2 (Grounded Task Axes v2), une architecture multi-VLM destinée à générer des compétences de manipulation robotique sans démonstration ni entraînement spécifique à la tâche. Le système repose sur quatre agents VLM (modèles vision-langage) spécialisés qui décomposent successivement une tâche, construisent une représentation abstraite en axes et points clés, assignent les paramètres de contrôleur puis ancrent ces éléments dans des observations RGB-D réelles. Les auteurs ont testé GTA-2 sur 14 tâches de manipulation avec un robot réel, en le comparant à la politique VLA pi0.5 et à deux systèmes Code-as-Policies, l'un utilisant des contrôleurs à axes de tâche, l'autre des primitives robotiques classiques. En zero-shot, GTA-2 atteint un taux de réussite moyen de 73,9%, soit 31,4 points de plus que la meilleure référence testée. Avec un retour humain ciblé sur une étape défaillante, sans retoucher les étapes correctes, ce taux grimpe à 90,7%. Le projet est documenté sur gta2-project.github.io. L'intérêt pour l'industrie tient moins à la performance brute qu'à la structure explicite du pipeline. Plutôt que de prédire des actions de bout en bout comme une politique VLA entraînée, ou de composer des primitives fixes prédéfinies par tâche, GTA-2 fige des sous-tâches sémantiques intermédiaires, points clés, axes, paramètres liés à la scène, que l'humain peut corriger étape par étape. Pour les intégrateurs, cela répond à un problème concret: les compétences génériques restent trop grossières pour capturer les décisions géométriques et de contrôle propres à chaque scène, tandis que prédéfinir un comportement par tâche ne passe pas à l'échelle. En évitant tout fine-tuning ou collecte de démonstrations propres à la tâche, l'approche promet un déploiement plus rapide sur de nouvelles tâches, au prix d'une dépendance à la qualité des VLM sous-jacents et, comme le montre l'écart entre 73,9% et 90,7%, d'une supervision humaine encore nécessaire pour fiabiliser l'exécution. GTA-2 est la seconde itération du concept Grounded Task Axes, positionné explicitement contre deux familles d'approches dominantes du secteur: les politiques VLA de bout en bout, illustrées ici par pi0.5, et les frameworks Code-as-Policies qui font générer du code de contrôle robotique par un modèle de langage. Il s'agit à ce stade d'un travail de recherche académique publié sur arXiv, testé en laboratoire sur des tâches réelles mais sans annonce de déploiement industriel, de partenariat ou de calendrier de commercialisation. Le code et des démonstrations vidéo sont annoncés sur la page projet dédiée, sans précision sur une éventuelle mise à disposition open source du framework complet.

RecherchePaper

1 source

2arXiv cs.RO

SIR : représentations d'images structurées pour un apprentissage robotique explicable

Des chercheurs du laboratoire Intuitive Robots publient SIR (Structured Image Representations, arXiv:2606.30101), une méthode visant à corriger l'un des angles morts persistants des politiques robotiques basées sur l'apprentissage profond : leur opacité. Le pipeline repose sur les Scene Graphs (graphes de scènes) comme couche intermédiaire entre la perception et l'action. À partir d'une image d'entrée, le système construit d'abord un graphe complet dont les noeuds sont initialisés avec des features visuelles extraites. Un second module apprend ensuite, de bout en bout, à réduire (sparsifier) ce graphe pour n'en conserver que le sous-graphe pertinent à la tâche courante, avant de le transmettre au générateur d'actions. Évalué sur RoboCasa, un benchmark de manipulation en environnement domestique simulé, SIR atteint un taux de succès moyen de 19,5 % contre 14,81 % pour les baselines à embeddings visuels directs, soit un gain relatif d'environ 30 %. L'intérêt ne se limite pas à ce delta de performance, en soi modeste en valeur absolue. Ce qui distingue SIR, c'est que le sous-graphe creux appris constitue une représentation lisible et auditable : il devient possible d'inspecter sur quels objets et quelles relations le modèle fonde ses décisions pour une tâche donnée. Lorsque ce sous-graphe s'écarte des attentes humaines, qu'il intègre des noeuds distracteurs sans rapport avec la tâche ou qu'il omet des objets pourtant centraux, les auteurs montrent que cela révèle systématiquement des biais dans le dataset d'entraînement, notamment des corrélations spurieuses et des biais positionnels. Pour des intégrateurs industriels ou des équipes soumises à des exigences de validation et de certification, cette capacité d'audit intrinsèque est un argument autrement plus fort qu'une amélioration marginale du taux de réussite. Ce travail s'inscrit dans un débat de fond au sein de la communauté robotique : les représentations visuelles latentes des architectures de type VLA (Vision-Language-Action) ou des politiques par diffusion sont puissantes mais pratiquement impossibles à déboguer. Les approches concurrentes pour l'explicabilité passent généralement par des méthodes post-hoc, cartes de saillance ou visualisation d'attention dans les Transformers, qui n'interviennent pas dans la boucle d'inférence. SIR propose à l'inverse une explicabilité structurelle native. Le code est disponible sur GitHub (intuitive-robots/SIR\_Model) et les auteurs évaluent pour l'instant uniquement en simulation ; la généralisation à des robots physiques dans des environnements non contrôlés reste la prochaine étape critique pour valider le sim-to-real transfer de cette approche.

RecherchePaper

1 source

3arXiv cs.RO

RoboReact : distillation de compétences à base d'agents à partir de vidéos égocentriques générées pour une manipulation généralisable du corps entier

RoboReact est une méthode qui génère automatiquement des compétences de manipulation pour robots humanoïdes à partir d'une seule observation égocentrique RGB-D, sans télé-opération ni démonstration humaine. Un modèle génératif vidéo synthétise des séquences de manipulation, dont le système extrait des images clés d'interaction par reconstruction 3D préservant la géométrie du contact main-objet, avant de les retargeter vers des plateformes humanoïdes à haut nombre de degrés de liberté (DoF). Pour combler l'écart entre le geste imaginé et l'exécution physique, RoboReact recale en ligne la position de l'objet et s'appuie sur une boucle de raffinement guidée par un modèle vision-langage, qui corrige le geste en cas d'écart géométrique. Les compétences affinées sont exécutées par un contrôleur corps-entier. Sur des robots réels, les auteurs rapportent une généralisation à des configurations d'objets variées et une récupération après perturbation, sans télé-opération. L'enjeu dépasse la simple prouesse technique : collecter des démonstrations diverses pour entraîner des robots humanoïdes coûte cher, entre matériel, télé-opération et annotation, ce qui freine les modèles vision-langage-action (VLA) génériques du type Pi-0, GR00T N2 ou Helix. En transformant une vidéo générée par IA en compétence exécutable sur un robot réel sans capture de mouvement humain, RoboReact propose une voie pour multiplier les données d'entraînement à moindre coût, un enjeu central pour combler l'écart entre simulation et réel. Il s'agit toutefois d'une publication de recherche (arXiv, catégorie "new"), pas d'un produit commercial ni d'un déploiement industriel : le papier ne chiffre pas précisément le nombre de tâches ou d'objets testés, ce qui invite à la prudence sur la portée réelle de la généralisation annoncée. Cette approche s'inscrit dans une tendance large : utiliser des modèles génératifs vidéo comme source de données d'entraînement pour la robotique, en alternative aux pipelines de collecte par télé-opération ou capture de mouvement, coûteux à faire passer à l'échelle. Elle rejoint les efforts des laboratoires développant des modèles VLA généralistes, tous en quête d'un moyen de réduire la dépendance aux démonstrations humaines directes. Le papier ne cite aucun partenaire industriel ni site de déploiement ; les suites attendues sont l'extension à davantage de tâches et une validation indépendante avant tout usage en conditions réelles.

RechercheActu

1 source

4arXiv cs.RO

RGraph-Eval : des graphes de scène ancrés dans la tâche pour évaluer la génération de vidéos de robots

RGraph-Eval, publié sur arXiv (2610.31121v1), est un cadre d'évaluation de vidéos de robots générées par IA, fondé sur des graphes de scène temporels liés à la tâche. Le problème visé est connu : une vidéo générée peut paraître convaincante tout en montrant la mauvaise interaction. Un autre objet est déplacé, une saisie disparaît, ou le placement finit hors de la zone de destination. Une chaîne de modèles de fondation identifie les rôles de manipulation, produit des masques d'objets persistants, infère et vérifie les transitions d'état et les intervalles d'action, puis reconstruit en 3D le mouvement de l'objet manipulé. Le même traitement est appliqué à la vidéo générée et à une démonstration de référence. Le score final se décompose en trois volets : objets visibles, changements de relations et forme de la trajectoire 3D. Les auteurs publient aussi ShareRobot-SG, un jeu de 1 000 scènes de manipulation issues de dix sources ShareRobot, annotées avec cette représentation. Ils comparent leur approche à des variantes adaptées de SVG2 et SG-Ego, et évaluent trois générateurs vidéo. Le code sera publié sur GitHub. L'intérêt tient à ce que la plupart des métriques courantes de génération vidéo mesurent le réalisme visuel ou la cohérence temporelle, pas la fidélité à la tâche. Or les modèles du monde et les générateurs vidéo servent de plus en plus à produire des données d'entraînement synthétiques, à évaluer des politiques en simulation ou à planifier. Pour ces usages, une saisie fantôme ou un objet substitué est un défaut critique, que le rendu soit net ou non. Un score décomposé en composantes lisibles permet de voir où un générateur échoue, ce que ne permet pas une note unique. Les auteurs séparent aussi la qualité de génération du graphe de son accord avec les jugements humains, ce qui limite le risque de valider une métrique par une simple corrélation. Les annotations restent réutilisables au-delà de l'évaluation. Des réserves s'imposent toutefois : c'est un preprint sans relecture par les pairs. Le benchmark ne couvre que trois générateurs, ce qui est modeste. Le score dépend aussi d'une démonstration de référence et de la fiabilité d'une chaîne de modèles de fondation, dont les erreurs peuvent se propager. Ce travail s'inscrit dans la montée des modèles de fondation vidéo pour la robotique, où l'évaluation a pris du retard sur la génération. Il s'appuie sur ShareRobot, ensemble de données de manipulation multi-sources, et sur les travaux de graphes de scène vidéo comme SVG2 et SG-Ego, adaptés ici à la manipulation robotique. Aucune application industrielle ni calendrier n'est annoncé : le code n'est pas encore publié, et la valeur pratique dépendra de l'adoption de la métrique par d'autres laboratoires. Si elle est adoptée, elle pourrait servir de référence pour comparer des modèles du monde avant de les brancher sur des pipelines de données d'entraînement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source