RecherchearXiv cs.RO 11 mai 2026

AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a présenté AGILE (arXiv:2602.04672v3), un framework de reconstruction d'interactions dynamiques main-objet à partir de vidéos monoculaires, ciblant deux applications majeures : la collecte de données pour la manipulation dextère en robotique et la création de jumeaux numériques pour la simulation et la réalité virtuelle. La méthode s'attaque à deux verrous techniques qui paralysent les approches existantes : d'une part, le rendu neuronal classique produit sous forte occultation des géométries fragmentées, inutilisables directement en simulation physique ; d'autre part, l'initialisation par Structure-from-Motion (SfM) est notoriellement fragile sur des vidéos captées en conditions réelles. AGILE bascule du paradigme de reconstruction vers ce que les auteurs appellent une "génération agentique" : un Vision-Language Model (VLM) pilote un modèle génératif pour synthétiser un mesh objet complet, fermé (watertight) et texturé haute fidélité, sans dépendre du contenu vidéo occulté. Une stratégie dite "anchor-and-track" initialise la pose de l'objet sur une unique frame d'interaction via un modèle fondation, puis propage cette pose temporellement en exploitant la similarité visuelle entre l'asset généré et les frames vidéo. Une optimisation finale dite contact-aware intègre des contraintes sémantiques, géométriques et de stabilité d'interaction pour garantir la plausibilité physique. Sur les benchmarks HO3D, DexYCB et ARCTIC, AGILE surpasse les baselines en précision géométrique globale.

L'intérêt industriel de cette approche réside dans la production d'assets directement exploitables en simulation, une propriété validée par les auteurs via du retargeting real-to-sim pour des applications robotiques. C'est précisément le point de friction qui freinait l'adoption des pipelines de reconstruction vidéo dans les boucles d'entraînement de politiques de manipulation : les meshes obtenus par NeRF ou reconstruction multi-vues classique nécessitaient un travail de remaillage manuel avant d'être injectables dans un moteur physique comme MuJoCo ou Isaac Sim. En contournant le SfM, AGILE devient également utilisable sur des données de terrain non contrôlées, ce qui ouvre la voie à la collecte passive de démos humaines à grande échelle, un prérequis pour les approches VLA (Vision-Language-Action) qui peinent encore à obtenir suffisamment de trajectoires dextères annotées.

Le problème de la reconstruction main-objet est étudié depuis plusieurs années, avec des datasets de référence comme HO-3D (2020) et DexYCB (2021), et des méthodes basées sur les modèles paramétriques MANO pour la main. L'originalité d'AGILE est de déporter la reconstruction de l'objet vers une génération guidée, plutôt que de l'estimer directement depuis le signal vidéo dégradé. Les concurrents directs sont les méthodes NeRF-based adaptées aux scènes dynamiques (D-NeRF, HO-NeRF) et les pipelines SfM+MVS classiques, tous sensibles aux occultations. Du côté des acteurs industriels, cette direction intéresse directement les équipes travaillant sur la télé-opération et l'imitation learning pour bras robotiques dextères, notamment chez Dexterous Robotics, Physical Intelligence (Pi) ou les labos académiques proches de Figure et Apptronik. Le projet dispose d'une page dédiée (agile-hoi.github.io) ; aucun code ni dataset supplémentaire n'est annoncé à ce stade.

Dans nos dossiers

Apptronik Apollo NVIDIA Isaac & Cosmos Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

GATOR : reconstruction d'objets 3D générative et à base d'agents à partir de photos du quotidien

Des chercheurs de NVIDIA (laboratoire LPR) publient GATOR, un cadre de reconstruction 3D d'objets à partir d'images ordinaires, présenté sur arXiv en octobre 2026. À partir d'une ou plusieurs photos prises sans protocole particulier, le système produit un objet texturé complet et sa pose relative à la scène, y compris pour les surfaces masquées par des occultations. Un « mélangeur de modalités local » associe, avant le raisonnement multi-vues, les caractéristiques RGB, le masque de l'objet cible et les cartes de points (pointmaps), alignées au niveau des patchs. Cela permet de conserver le contexte de la scène tout en distinguant la cible de son environnement. Des adaptateurs spécifiques à chaque étape (structure, géométrie, apparence) injectent en plus des noms de catégories et des légendes textuelles. L'actif généré initialise ensuite un agent multimodal, qui affine la structure et la texture par une boucle « édition, rendu, revue » guidée par les observations. Les auteurs annoncent une bonne fidélité géométrique et visuelle sur des objets synthétiques, des tables encombrées et des scènes d'intérieur, ainsi qu'une récupération de la pose avec peu d'observations. L'intérêt pour la robotique tient surtout à ce que le résumé appelle la « préparation à la simulation ». Construire des jumeaux numériques d'une scène réelle reste un goulot d'étranglement pour l'apprentissage sim-to-real. Les environnements sont souvent modélisés à la main ou scannés avec du matériel dédié, ce qui limite le volume de données d'entraînement pour les politiques VLA et les modèles de fondation robotiques. Si une poignée de photos de smartphone suffit à produire des actifs alignés sur la scène et exploitables dans un simulateur, le coût de création d'environnements variés baisse nettement. Pour les intégrateurs, cela pourrait aider à valider des cellules de travail ou à générer des scènes de test à partir de simples captures sur site. Les auteurs évoquent aussi des comparaisons à budget de temps égal, qui visent l'efficacité plutôt que la seule qualité maximale. Le résumé ne donne cependant aucun chiffre sur les métriques, les temps de calcul ni les jeux de données. L'ampleur réelle du gain, la robustesse hors des benchmarks et la précision physique (masses, collisions, articulations) restent donc à vérifier dans l'article complet. GATOR s'inscrit dans la course aux modèles génératifs 3D, qui ont progressé rapidement avec les approches image vers 3D et les reconstructions par cartes de points à la DUSt3R. Beaucoup de ces méthodes produisent un objet isolé, sans pose fiable dans la scène, ou peinent avec les occultations. L'ajout d'une boucle agentique de relecture et de correction reflète une tendance plus large : utiliser des modèles de langage et de vision comme relecteurs pour corriger les sorties génératives. NVIDIA, déjà très présent en simulation avec Isaac Sim, Omniverse et la famille GR00T, a un intérêt évident à alimenter ses pipelines en actifs 3D produits automatiquement. Il s'agit pour l'instant d'une publication de recherche. Aucun code, calendrier d'intégration ni produit n'est annoncé dans le résumé, qui renvoie seulement à une page de projet sur le site de NVIDIA Research.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

WorldMirror : génération réel-vers-simulation à base d'agents de mondes interactifs à partir de démonstrations de robots en conditions réelles

WorldMirror, un framework décrit dans l'article arXiv 2610.31834, vise à transformer des démonstrations robotiques « in the wild » en jumeaux numériques interactifs, sans construction manuelle de scènes. Le principe consiste à formuler la reconstruction real-to-sim comme le raffinement itératif d'un « programme de monde » exécutable. Un agent de code décompose la scène observée, planifie les étapes de reconstruction et orchestre des outils spécialisés de génération d'images et de 3D, puis corrige son programme à partir de retours de vérification. La scène est organisée par une représentation ancrée sur la pose de caméra, qui sépare le contexte visuel statique, la géométrie de support et les assets interactifs éditables, tout en conservant les relations spatiales entre scène, objets et robot. Les expériences portent sur le jeu de données DROID, et les auteurs affirment obtenir des mondes visuellement fidèles et géométriquement cohérents, qui préservent la validité physique des trajectoires enregistrées et permettent leur rejeu. L'enjeu est le goulot d'étranglement de la simulation pour l'apprentissage robotique. Construire les scènes et spécifier les tâches à la main limite la diversité des données et le passage à l'échelle de l'entraînement. Si l'approche tient ses promesses, les démonstrations déjà collectées, souvent réalisées dans des environnements variés et non contrôlés, deviendraient une source d'environnements de simulation exploitables pour l'entraînement et l'évaluation de politiques, notamment de modèles vision-langage-action (VLA). Elle illustre aussi une tendance : combiner la capacité de raisonnement spatial d'agents généralistes avec la fidélité de modèles génératifs spécialisés, plutôt que de s'en remettre à une seule méthode de reconstruction. Des réserves s'imposent toutefois. Il s'agit d'un préprint, évalué sur un seul jeu de données, et le résumé ne chiffre ni taux de succès, ni coût de calcul, ni temps de reconstruction par scène. Le rejeu de trajectoires valides ne prouve pas non plus que des politiques entraînées dans ces mondes se transfèrent mieux au réel. Ces travaux s'inscrivent dans un courant plus large de real-to-sim, où la reconstruction de scènes (par exemple par Gaussian splatting) sert à bâtir des bancs d'essai et des environnements d'entraînement, face à des alternatives comme les modèles de monde génératifs ou les scènes simulées créées à la main. DROID, grand jeu de données de manipulation collecté dans de nombreux environnements réels, constitue ici un terrain d'essai naturel. Le résumé n'annonce ni code, ni pilote industriel, ni calendrier. Les prochaines étapes à surveiller sont donc la publication éventuelle du code, des évaluations sur d'autres jeux de données, et surtout des résultats montrant un gain mesuré de performance de politiques entraînées ou évaluées dans ces jumeaux numériques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

HumanX : des compétences d'interaction humanoïdes agiles et généralisables, apprises à partir de vidéos humaines

Des chercheurs présentent HumanX, un cadre unifié qui convertit de simples vidéos monoculaires de humains en compétences d'interaction pour robots humanoïdes, sans conception spécifique à chaque tâche. Le système repose sur deux briques co-conçues. XGen, un pipeline de génération de données centré sur des « ancres », produit à partir d'une vidéo des données d'interaction physiquement plausibles pour le robot, puis les augmente pour constituer un jeu d'entraînement varié. XMimic, un cadre d'apprentissage qui donne la priorité à l'interaction avec l'objet ou le partenaire, en tire des compétences généralisables à partir de quelques secondes de démonstration. L'évaluation couvre cinq domaines (basket, football, badminton, ramassage de colis et combat réactif), soit 9 compétences distinctes, transférées en zero-shot sur un Unitree G1 réel. Parmi les résultats cités figurent un tir en fadeaway après feinte et demi-tour, réalisé sans aucune perception externe, ainsi que des échanges de passes soutenus avec un humain sur plus de 10 cycles consécutifs, appris à partir d'une seule vidéo. L'intérêt tient à la contrainte que ce travail cherche à lever. L'apprentissage de l'interaction pour humanoïdes bute d'ordinaire sur deux obstacles : la rareté de données d'interaction réalistes, et la nécessité d'ingénierie de récompense minutieuse, tâche par tâche, qui empêche le passage à l'échelle. Si les résultats se confirment, une vidéo unique suffirait à produire une politique transférable en simulation vers le réel, ce qui réduit fortement le coût d'ajout d'une compétence. Les auteurs affirment une meilleure généralisation que les méthodes antérieures, mais le texte ne détaille pas ici les références comparées ni les taux de réussite. Il faut aussi relativiser la portée : la méthode vaut pour une classe d'interactions « ancrables », donc pas pour toute manipulation. Les démonstrations portent sur un seul robot, le G1, et le tir sans perception externe montre davantage la qualité du contrôle que de l'adaptation à un environnement imprévu. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Ce travail s'inscrit dans la vague de l'apprentissage de mouvements humanoïdes à partir de vidéos humaines et de capture de mouvement, où le Unitree G1, peu coûteux et très répandu dans les laboratoires, sert de plateforme de référence. Les approches concurrentes se divisent entre imitation avec récompenses conçues à la main, pipelines de retargeting de mouvement et modèles vision-langage-action généralistes (VLA) comme Pi-0, GR00T N2 ou Helix, plus orientés manipulation et instruction en langage naturel que dynamique agile. HumanX se positionne à l'inverse sur l'agilité et la réactivité physique. Cette version v2 de l'article sur arXiv (2602.02473) indique une révision du manuscrit. Parmi les suites à surveiller figurent une validation sur d'autres morphologies, un élargissement au-delà des interactions ancrables et une mesure plus systématique de la robustesse face à des conditions non contrôlées.

RecherchePaper

1 source

4arXiv cs.RO

OmniHOI : interaction main-objet dextérique à partir d'une vidéo humaine monoculaire

OmniHOI, un pipeline présenté sur arXiv (2610.10855), transforme une simple vidéo RGB monoculaire d'interaction main-objet en trajectoire exécutable par des mains robotiques dextres. Il enchaîne trois étapes, chacune contrainte par la preuve disponible à son niveau: l'image pendant la reconstruction, la géométrie de contact pendant le retargeting, puis la dynamique lors d'un raffinement avec simulation physique dans la boucle. Les auteurs testent d'abord 150 trajectoires de motion capture transférées vers cinq mains dextres de 6 à 22 DoF, avec 39 à 89 % de succès contre 31 % au mieux pour les méthodes de transfert antérieures. Sur 60 clips vidéo monoculaires, le taux de réussite atteint 53 %, contre 28 % pour le meilleur pipeline vidéo-vers-robot existant. Les trajectoires produites sont aussi exécutées sur un robot bimanuel réel, sur plusieurs tâches. L'enjeu est l'accès aux données. Les vidéos de manipulation humaine abondent, mais les exploiter pour entraîner ou piloter des mains robotiques butte sur deux écueils: les approches reposant sur l'apprentissage par renforcement propre à chaque tâche passent mal à l'échelle, tandis que celles qui supposent des trajectoires de motion capture propres ne fonctionnent pas sur de la vidéo ordinaire. En corrigeant les erreurs à chaque étape plutôt que de les laisser se propager jusqu'à une politique apprise, OmniHOI vise à rendre la vidéo humaine directement exploitable comme source de démonstrations dextres. Les chiffres appellent toutefois à la prudence. Un succès de 53 % sur 60 clips reste modeste pour un usage industriel, la fourchette de 39 à 89 % selon la main montre une forte dépendance à la morphologie, et l'article ne précise ni la diversité des tâches ni la nature de la validation sur robot réel, qui semble qualitative. Il s'agit d'un résultat de recherche, sans produit ni déploiement. Ce travail s'inscrit dans la course à la donnée pour la manipulation dextre. Plusieurs acteurs misent sur la téléopération, les gants ou les exosquelettes, qui donnent des données propres mais coûteuses. D'autres cherchent à exploiter les vidéos humaines à grande échelle, ce qui suppose de résoudre l'écart de morphologie entre la main humaine et des mains robotiques très variées. OmniHOI se positionne comme une couche intermédiaire indépendante de la main cible, face à des méthodes soit spécialisées par tâche, soit limitées aux données de capture de mouvement. La suite logique serait de tester ces trajectoires comme données d'entraînement pour des politiques de type VLA, et de mesurer le taux de succès sur des tâches plus longues et plus variées. Le papier est une prépublication v1, non évaluée par des pairs, et aucun calendrier de code ou de déploiement n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source