RecherchearXiv cs.RO 23 octobre 2026

RGraph-Eval : des graphes de scène ancrés dans la tâche pour évaluer la génération de vidéos de robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RGraph-Eval, publié sur arXiv (2610.31121v1), est un cadre d'évaluation de vidéos de robots générées par IA, fondé sur des graphes de scène temporels liés à la tâche. Le problème visé est connu : une vidéo générée peut paraître convaincante tout en montrant la mauvaise interaction. Un autre objet est déplacé, une saisie disparaît, ou le placement finit hors de la zone de destination. Une chaîne de modèles de fondation identifie les rôles de manipulation, produit des masques d'objets persistants, infère et vérifie les transitions d'état et les intervalles d'action, puis reconstruit en 3D le mouvement de l'objet manipulé. Le même traitement est appliqué à la vidéo générée et à une démonstration de référence. Le score final se décompose en trois volets : objets visibles, changements de relations et forme de la trajectoire 3D. Les auteurs publient aussi ShareRobot-SG, un jeu de 1 000 scènes de manipulation issues de dix sources ShareRobot, annotées avec cette représentation. Ils comparent leur approche à des variantes adaptées de SVG2 et SG-Ego, et évaluent trois générateurs vidéo. Le code sera publié sur GitHub.

L'intérêt tient à ce que la plupart des métriques courantes de génération vidéo mesurent le réalisme visuel ou la cohérence temporelle, pas la fidélité à la tâche. Or les modèles du monde et les générateurs vidéo servent de plus en plus à produire des données d'entraînement synthétiques, à évaluer des politiques en simulation ou à planifier. Pour ces usages, une saisie fantôme ou un objet substitué est un défaut critique, que le rendu soit net ou non. Un score décomposé en composantes lisibles permet de voir où un générateur échoue, ce que ne permet pas une note unique. Les auteurs séparent aussi la qualité de génération du graphe de son accord avec les jugements humains, ce qui limite le risque de valider une métrique par une simple corrélation. Les annotations restent réutilisables au-delà de l'évaluation. Des réserves s'imposent toutefois : c'est un preprint sans relecture par les pairs. Le benchmark ne couvre que trois générateurs, ce qui est modeste. Le score dépend aussi d'une démonstration de référence et de la fiabilité d'une chaîne de modèles de fondation, dont les erreurs peuvent se propager.

Ce travail s'inscrit dans la montée des modèles de fondation vidéo pour la robotique, où l'évaluation a pris du retard sur la génération. Il s'appuie sur ShareRobot, ensemble de données de manipulation multi-sources, et sur les travaux de graphes de scène vidéo comme SVG2 et SG-Ego, adaptés ici à la manipulation robotique. Aucune application industrielle ni calendrier n'est annoncé : le code n'est pas encore publié, et la valeur pratique dépendra de l'adoption de la métrique par d'autres laboratoires. Si elle est adoptée, elle pourrait servir de référence pour comparer des modèles du monde avant de les brancher sur des pipelines de données d'entraînement.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

SC3-Eval : évaluer les modèles fondation pour la robotique via la génération vidéo auto-cohérente

Une équipe de chercheurs a publié fin juin 2026 SC3-Eval (arXiv:2606.18610), un cadre d'évaluation des politiques de manipulation robotique basé sur la génération vidéo cohérente. Le principe : plutôt que de rouler une politique en conditions réelles, un modèle fondamental vidéo pré-entraîné simule les trajectoires du robot et prédit si la tâche aboutit. SC3-Eval repose sur trois mécanismes de cohérence complémentaires. La cohérence dynamique avant-inverse entraîne simultanément le modèle à prédire les images à partir des actions et à récupérer les actions à partir des images, ancrant les rollouts à un espace d'action physiquement plausible. La cohérence multi-vue oblige le modèle à reconstruire chaque caméra depuis les autres, maintenant la cohérence spatiale sur de longs épisodes. Enfin, à l'inférence, un signal d'incertitude par chunk d'actions interrompt les rollouts dont les images générées divergent des actions demandées. Évalué sur sept politiques vision-langage-action (VLA) réelles, SC3-Eval atteint une corrélation de Pearson de 0,929 avec les résultats terrain et un MMRV de 0,119, surpassant trois baselines vidéo existantes. Ce résultat a une portée pratique immédiate : évaluer une politique de manipulation en conditions réelles est coûteux, lent et difficile à paralléliser. Un corrélat simulé à 0,929 constitue un substitut crédible pour filtrer les candidats politiques avant déploiement physique, réduisant potentiellement les cycles d'itération de plusieurs semaines à quelques heures. Fait notable, SC3-Eval reproduit fidèlement les modes d'échec observés en réel, permettant un diagnostic fin au niveau tâche plutôt qu'un classement agrégé, ce qui est plus actionnable pour un intégrateur. Le cadre se généralise par ailleurs à des tâches hors distribution d'entraînement, un point critique pour les équipes qui développent des politiques généralistes. Ce travail s'inscrit dans la vague d'adoption des modèles VLA commerciaux et de recherche, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix, OpenVLA, dont l'évaluation standardisée reste un goulot d'étranglement reconnu. Les approches alternatives passent par des simulateurs physiques classiques (MuJoCo, Isaac Sim) ou des rollouts réels coûteux ; les world models vidéo comme UniSim ou IRASim avaient amorcé cette direction mais se heurtaient à la dérive autorégressiveet à l'incohérence multi-caméras que SC3-Eval adresse directement. Le code et les données ne sont pas encore publiés au moment de la préprint, ce qui limite l'adoption immédiate. La prochaine étape logique sera de valider la méthode sur des plateformes humanoïdes à plus haute dimensionnalité, où le coût d'évaluation réelle est encore plus prohibitif.

RechercheOpinion

1 source

2arXiv cs.RO

V2-STRep : représentations structurées de tâches ancrées dans un VLM pour des compétences robotiques réutilisables issues de vidéos générées

Un article publié sur arXiv (référence 2609.20582v1, mis en ligne le 18 septembre 2026) présente V2-STRep, un framework de recherche "zero-shot" qui transforme des vidéos de manipulation générées par IA en compétences robotiques réutilisables. Le principe consiste à remplacer l'enregistrement de démonstrations physiques par un robot pour chaque tâche par une vidéo synthétique, produite par un modèle de génération vidéo à partir d'une image de scène initiale et d'une instruction textuelle. Les auteurs relèvent que cette vidéo générée ne capture qu'une seule réalisation, propre à une scène donnée, sans expliciter la structure de la tâche ni ses contraintes géométriques. V2-STRep corrige ce manque en s'appuyant sur un modèle vision-langage (VLM) pour bâtir une représentation structurée : phases de mouvement, références et contraintes, décrites via des structures géométriques minimales (points, points-normales, axes, plans, poses 6D complètes). Les indices 2D fournis par le VLM sont ensuite reprojetés en 3D à partir d'observations RGB-D, pour reconstruire la géométrie de la tâche et les poses de prise candidates. Des règles propres à chaque type de géométrie transfèrent ensuite le mouvement vers de nouvelles scènes, tandis qu'une optimisation de trajectoire sous contraintes couple sélection de prise et planification complète du mouvement, en exploitant la liberté de rotation restante pour respecter les limites articulaires. Sur six tâches de manipulation réelles, la méthode affiche un taux de réussite supérieur aux méthodes de référence testées, un transfert fiable entre scènes différentes, et une capacité d'adaptation à de nouvelles instructions compatibles sans régénérer de vidéo. Pour les intégrateurs et laboratoires de robotique, l'intérêt tient moins à un produit qu'à une piste méthodologique : contourner le goulot d'étranglement de la collecte de démonstrations téléopérées, coûteuse et lente à faire passer à l'échelle, en s'appuyant sur des modèles de génération vidéo déjà entraînés sur des vidéos humaines. Le travail répond directement à une limite connue de cette approche, à savoir qu'une vidéo générée reste ancrée dans la scène où elle a été produite et ne se généralise pas telle quelle. En démontrant un transfert entre scènes et une adaptation à de nouvelles instructions sans nouvelle génération vidéo, l'étude nuance l'idée reçue que les modèles vidéo-vers-action ne fonctionnent qu'en circuit fermé, scène par scène. Ce travail s'inscrit dans une tendance de recherche plus large visant à exploiter des vidéos humaines ou générées comme substitut aux démonstrations robotiques réelles, en complément des approches VLA entraînées sur des données massives de téléopération comme Pi-0, GR00T N2 ou Helix. Il ne s'agit ici que d'un article de recherche à l'état de preprint, validé sur six tâches en laboratoire, sans annonce de produit, de partenariat industriel ni de déploiement chez un intégrateur. Aucun acteur français ou européen n'est cité dans ces travaux. Les prochaines étapes attendues, classiques pour ce type de publication, sont l'élargissement du nombre de tâches testées, la comparaison avec davantage de baselines, puis une éventuelle reprise par des équipes industrielles cherchant à réduire leurs coûts de collecte de données.

RecherchePaper

1 source

3arXiv cs.RO

H2R-Bench : évaluation de la génération vidéo de manipulation humain-robot dans les modèles du monde

Des chercheurs ont publié le 14 août 2026 sur arXiv (2608.13049) un nouveau benchmark baptisé H2R-Bench, conçu pour évaluer la capacité des modèles de génération vidéo à transformer des démonstrations de manipulation humaines filmées à la première personne en vidéos de manipulation robotique correspondant à un embodiment cible. Chaque instance du benchmark associe une vidéo de démonstration humaine, des contraintes d'embodiment robotique, et des annotations ancrées dans la source couvrant les objectifs de tâche, les événements d'action, les contacts fonctionnels et les réactions des objets manipulés. L'évaluation repose sur cinq dimensions : l'atteinte de l'état final visé, la complétude des événements d'action, le transfert des contacts fonctionnels, la cohérence de l'embodiment et la qualité vidéo générale. Les auteurs ont testé onze modèles de génération vidéo de pointe sur six familles de tâches de manipulation et deux embodiments robotiques distincts. Résultat principal : même les modèles les plus performants échouent souvent sur la cohérence d'embodiment, l'interaction fonctionnelle avec les objets et l'exécution correcte de la tâche. Ce constat touche un point sensible de l'apprentissage robotique : la collecte de démonstrations réelles sur robot reste coûteuse et difficile à faire monter en échelle, alors que les vidéos humaines égocentriques sont abondantes et bon marché. Convertir ces vidéos humaines en données d'entraînement robot-centriques via des modèles de monde vidéo est envisagé depuis plusieurs mois comme une voie pour contourner ce goulot d'étranglement, notamment pour entraîner des politiques VLA. H2R-Bench montre que cette promesse reste largement non tenue en pratique : la différence morphologique entre mains humaines et effecteurs robotiques continue de casser la cohérence physique des vidéos générées. Pour les intégrateurs et laboratoires qui envisagent la génération vidéo synthétique comme substitut à la téléopération, ce résultat invite à la prudence sur la maturité réelle de cette approche. Le travail s'inscrit dans la vague plus large des modèles de monde vidéo appliqués à la robotique, où la génération vidéo sert de plus en plus de brique de simulation ou de source de données synthétiques. Jusqu'ici, l'évaluation de ces modèles se limitait souvent à la qualité visuelle brute, sans mesurer si la vidéo générée respecte les contraintes physiques et fonctionnelles d'un robot donné. H2R-Bench comble ce vide avec un cadre diagnostique systématique et réutilisable pour les futurs modèles. Il ne s'agit pas d'une annonce produit ni d'un partenariat industriel, mais d'un travail de recherche évaluative destiné à orienter la prochaine génération de modèles capables de combler l'écart d'embodiment entre humains et robots.

RecherchePaper

1 source

4arXiv cs.RO

RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots

RoboSnap transforme une simple image RGB en environnement de simulation prêt pour l'entraînement robotique, selon un article publié sur arXiv (2607.06699v1). L'équipe de recherche propose une architecture en couches qui sépare la zone d'interaction physique de l'arrière-plan visuel : les objets au premier plan, ceux avec lesquels le robot interagit, sont reconstruits avec une attention particulière à la stabilité de collision, tandis que le fond est restitué par Gaussian splatting 3D pour préserver un rendu fidèle sous des angles de vue inédits. Les tests ont porté sur des scènes issues du jeu de données DROID ainsi que sur des tâches robotiques réelles, montrant une reproduction fiable des trajectoires dans les scènes recréées. Pour accompagner ces travaux, les auteurs publient DROID-Sim, un jeu de données compagnon construit à partir de 564 scènes réelles extraites de DROID. L'enjeu dépasse la simple reconstruction visuelle. Le passage du réel à la simulation ("real-to-sim") est un goulot d'étranglement connu pour l'entraînement des politiques robotiques par apprentissage : générer des environnements à la fois physiquement stables et visuellement réalistes reste coûteux en temps et en ingénierie. RoboSnap promet de générer une scène simulable à partir d'une seule photo, ce qui pourrait accélérer la production de données synthétiques d'entraînement et faciliter l'évaluation reproductible de politiques, un point sensible dans un secteur où les benchmarks physiques réels sont difficiles à standardiser. Les auteurs revendiquent une corrélation significative entre performances en simulation et en conditions réelles, un indicateur clé pour juger si un tel pipeline peut réellement remplacer des tests physiques répétés. Ce travail s'inscrit dans une vague plus large de recherches sur le "real-to-sim" et les architectures vision-langage-action (VLA), où des approches comme Gaussian splatting gagnent du terrain face aux méthodes de reconstruction 3D classiques, jugées plus lentes ou moins fidèles visuellement. L'article, encore au stade de prépublication non revue par les pairs, ne précise pas de calendrier de mise à disposition du code ou du jeu de données DROID-Sim, ni de partenariat industriel. Les prochaines étapes attendues concernent l'extension à des scènes plus complexes et la validation sur davantage de plateformes robotiques.

RecherchePaper

1 source