RecherchearXiv cs.RO 18 septembre 2026

FunArt : décoder la structure fonctionnelle et l'articulation à partir de latents 3D génératifs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont publié en septembre 2026 sur arXiv (2609.20673v1) un framework baptisé FunArt, conçu pour permettre à des robots d'identifier des objets articulés (portes, tiroirs, couvercles) à partir d'une seule prise de vue RGB-D statique, sans interaction physique préalable. Le système reconstruit la géométrie des objets observés, la convertit dans la représentation O-Voxel du modèle génératif 3D TRELLIS.2, et exploite le VAE figé à compression parcimonieuse de ce dernier comme a priori structurel. Un décodeur léger à base de requêtes combine ensuite des latents compacts au niveau de l'objet avec des caractéristiques denses alignées sur la surface, pour segmenter conjointement les parties mobiles et les éléments fonctionnels interactifs (poignées, boutons) tout en estimant le type de mouvement, l'axe, l'origine et l'amplitude de rotation ou translation. Évalué sur le jeu de données Articulate3D, FunArt établit un nouvel état de l'art sur trois tâches (segmentation des parties mobiles, estimation de l'articulation, segmentation des éléments fonctionnels), avec ou sans connaissance préalable de l'objet. En configuration de bout en bout, les gains rapportés atteignent 1,5 point d'AP50 sur les parties mobiles, 2,8 points sous contrainte conjointe d'origine et d'axe, et 6,7 points sur les éléments fonctionnels par rapport aux meilleures méthodes concurrentes.

Cette approche cible une limite persistante de la perception robotique: la plupart des représentations de scènes articulées actuelles infèrent la cinématique à partir d'interactions observées, le robot devant pousser, tirer ou ouvrir un objet pour en apprendre le fonctionnement, tandis que les méthodes travaillant sur des scans statiques dissocient généralement l'articulation des éléments fonctionnels qui permettent de la déclencher. FunArt montre qu'un modèle génératif 3D pré-entraîné pour la synthèse d'objets encode déjà des indices structurels exploitables pour déduire, à partir d'un seul scan, comment un objet peut être manipulé et par où le saisir. Pour les équipes de perception et de planification robotique, cela ouvre la voie à une initialisation de la compréhension de la scène avant tout contact physique, réduisant potentiellement les essais-erreurs lors de la manipulation d'objets inconnus dans des environnements humains, et alimente le débat sur la réutilisation de latents génératifs 3D comme briques de perception plutôt que sur l'entraînement d'encodeurs dédiés pour chaque tâche.

FunArt s'appuie sur TRELLIS.2, modèle génératif 3D existant dont le VAE sert ici de squelette structurel figé, une stratégie qui s'inscrit dans une tendance plus large à recycler des modèles génératifs entraînés sur de vastes corpus 3D comme briques de perception plutôt qu'à concevoir des architectures dédiées from scratch. Le benchmark Articulate3D, utilisé pour l'évaluation, sert de référence standard dans la communauté vision 3D et robotique pour comparer segmentation et estimation d'articulation via la métrique AP50. L'article ne mentionne ni partenariat industriel, ni déploiement sur robot physique, ni acteur européen comme Wandercraft, Exotec, Pollen Robotics ou Enchanted Tools: il s'agit à ce stade d'une contribution de recherche en vision par ordinateur publiée en preprint, dont l'intégration dans une pile de perception robotique complète, avec planification de mouvement et exécution, reste une étape à venir.

Dans nos dossiers

Wandercraft Enchanted Tools — Mirokaï Pollen Robotics — Reachy Exotec

À lire aussi

1arXiv cs.RO

GATOR : reconstruction d'objets 3D générative et à base d'agents à partir de photos du quotidien

Des chercheurs de NVIDIA (laboratoire LPR) publient GATOR, un cadre de reconstruction 3D d'objets à partir d'images ordinaires, présenté sur arXiv en octobre 2026. À partir d'une ou plusieurs photos prises sans protocole particulier, le système produit un objet texturé complet et sa pose relative à la scène, y compris pour les surfaces masquées par des occultations. Un « mélangeur de modalités local » associe, avant le raisonnement multi-vues, les caractéristiques RGB, le masque de l'objet cible et les cartes de points (pointmaps), alignées au niveau des patchs. Cela permet de conserver le contexte de la scène tout en distinguant la cible de son environnement. Des adaptateurs spécifiques à chaque étape (structure, géométrie, apparence) injectent en plus des noms de catégories et des légendes textuelles. L'actif généré initialise ensuite un agent multimodal, qui affine la structure et la texture par une boucle « édition, rendu, revue » guidée par les observations. Les auteurs annoncent une bonne fidélité géométrique et visuelle sur des objets synthétiques, des tables encombrées et des scènes d'intérieur, ainsi qu'une récupération de la pose avec peu d'observations. L'intérêt pour la robotique tient surtout à ce que le résumé appelle la « préparation à la simulation ». Construire des jumeaux numériques d'une scène réelle reste un goulot d'étranglement pour l'apprentissage sim-to-real. Les environnements sont souvent modélisés à la main ou scannés avec du matériel dédié, ce qui limite le volume de données d'entraînement pour les politiques VLA et les modèles de fondation robotiques. Si une poignée de photos de smartphone suffit à produire des actifs alignés sur la scène et exploitables dans un simulateur, le coût de création d'environnements variés baisse nettement. Pour les intégrateurs, cela pourrait aider à valider des cellules de travail ou à générer des scènes de test à partir de simples captures sur site. Les auteurs évoquent aussi des comparaisons à budget de temps égal, qui visent l'efficacité plutôt que la seule qualité maximale. Le résumé ne donne cependant aucun chiffre sur les métriques, les temps de calcul ni les jeux de données. L'ampleur réelle du gain, la robustesse hors des benchmarks et la précision physique (masses, collisions, articulations) restent donc à vérifier dans l'article complet. GATOR s'inscrit dans la course aux modèles génératifs 3D, qui ont progressé rapidement avec les approches image vers 3D et les reconstructions par cartes de points à la DUSt3R. Beaucoup de ces méthodes produisent un objet isolé, sans pose fiable dans la scène, ou peinent avec les occultations. L'ajout d'une boucle agentique de relecture et de correction reflète une tendance plus large : utiliser des modèles de langage et de vision comme relecteurs pour corriger les sorties génératives. NVIDIA, déjà très présent en simulation avec Isaac Sim, Omniverse et la famille GR00T, a un intérêt évident à alimenter ses pipelines en actifs 3D produits automatiquement. Il s'agit pour l'instant d'une publication de recherche. Aucun code, calendrier d'intégration ni produit n'est annoncé dans le résumé, qui renvoie seulement à une page de projet sur le site de NVIDIA Research.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

GRAIL : génération de loco-manipulation pour humanoïdes à partir d'actifs 3D et de vidéos

Une équipe de chercheurs publie GRAIL (Generating Humanoid Loco-Manipulation from 3D Assets and Video Priors, arXiv:2606.05160), un pipeline entièrement virtuel qui génère des données d'entraînement en loco-manipulation humanoïde sans télé-opération ni capture de mouvement physique. La méthode compose des actifs 3D paramétrés, des scènes simulées et des modèles fondamentaux vidéo (VFM) pour reconstruire des trajectoires d'interaction humain-objet (HOI) en 4D à l'échelle métrique, en conditionnant la génération vidéo sur des configurations entièrement spécifiées : géométrie, paramètres caméra, profondeur de scène et personnage aux proportions humanoïdes, ce qui réduit l'ambiguïté de profondeur et le mismatch morphologique habituels. Le pipeline produit plus de 20 000 séquences couvrant ramassage d'objets, manipulation, assise et traversée de terrains variés. Entraîné uniquement sur ces données synthétiques via un pipeline sim-to-real, le système atteint 84 % de succès en préhension d'objets divers et 90 % en montée d'escaliers sur un Unitree G1 en conditions réelles ; l'article, soumis sur arXiv en juin 2026, est une prépublication non encore évaluée par les pairs. Ce travail s'attaque au principal goulot d'étranglement de la robotique humanoïde : générer des données de démonstration diversifiées à grande échelle sans mobiliser de temps-robot ni d'opérateurs spécialisés. La télé-opération et la mocap exigent des configurations physiques dédiées et un robot disponible à chaque session, ce qui plafonne le débit de production de données ; GRAIL déplace intégralement ce coût vers la simulation, rendant possible la composition de données pour des objets, scènes et mouvements corporels inédits. Les résultats de 84 % et 90 % en conditions réelles constituent un signal positif sur la réduction du gap sim-to-real, du moins pour ces classes de tâches. Une réserve s'impose cependant : le résumé ne détaille ni les objets testés ni le protocole de sélection des séquences d'évaluation, ce qui rend toute comparaison indépendante prématurée avant la publication complète. GRAIL s'inscrit dans une course à la donnée synthétique que se livrent les principaux laboratoires de robotique humanoïde, aux côtés des pipelines World Model de Figure AI et 1X Technologies, de RoboVerse (Microsoft Research) et des environnements Genesis pour la simulation physique générative. La distinction de GRAIL réside dans le conditionnement fort sur des actifs 3D préalables, un choix qui améliore la précision de la reconstruction 4D mais suppose la disponibilité d'assets de qualité pour chaque objet cible. Le robot retenu, l'Unitree G1, est commercialisé autour de 16 000 dollars, rendant la reproduction des résultats accessible à de nombreuses équipes académiques, contrairement aux plateformes propriétaires des acteurs industriels. Les affiliations des auteurs ne figurant pas dans le résumé arXiv disponible, les suites naturelles annoncées comprennent les tâches bimanuelles, les environnements dynamiques et l'intégration dans des pipelines VLA (Vision-Language-Action) pour la généralisation à des objets et contextes non vus lors de l'entraînement.

UELes laboratoires académiques européens spécialisés en robotique humanoïde (INRIA, CEA-List) pourraient adopter ce pipeline de génération de données synthétiques pour réduire leur dépendance à la télé-opération et à la mocap, mais aucun acteur FR/UE n'est directement impliqué dans ces travaux.

RecherchePaper

1 source

3arXiv cs.RO

URDF-Anything+ : génération bout-en-bout d'actifs articulés prêts pour la simulation

Une équipe de chercheurs a publié sur arXiv en mars 2026 URDF-Anything+, un modèle de diffusion autorégressive générant des fichiers URDF (Unified Robot Description Format) à partir d'une seule image RGB. Le URDF est le format standard dans l'écosystème ROS et les simulateurs physiques (MuJoCo, Isaac Sim, Gazebo) pour décrire la géométrie et la cinématique des objets articulés. Le système opère dans un espace latent structuré et prédit séquentiellement chaque partie de l'objet avec ses paramètres de joint (type, axe, limites de mouvement), un token de terminaison déterminant dynamiquement le nombre de segments à générer. Évalué sur des benchmarks à grande échelle d'objets articulés, il surpasse les méthodes existantes en reconstruction géométrique, en précision des paramètres de joints et en "physical executability", soit la capacité des URDF produits à s'exécuter directement dans un simulateur sans post-traitement manuel. L'enjeu pour les roboticiens et ingénieurs de simulation est direct : produire des digital twins d'objets articulés réels (tiroirs, portes, vannes, équipements industriels) reste un goulot d'étranglement dans les pipelines de sim-to-real. Les approches classiques imposent segmentation manuelle, retrieval depuis des bibliothèques 3D (PartNet, ShapeNet) ou des pipelines multi-étapes coûteux à maintenir. URDF-Anything+ compresse ce processus en une passe unique, sans retrieval ni post-traitement externe. Le résultat le plus significatif est le transfert zero-shot : des politiques de manipulation entraînées exclusivement en simulation sur des URDF générés ont été transférées dans des environnements réels sans fine-tuning supplémentaire, ce qui constitue une validation directe que le sim-to-real gap sur les objets articulés peut être partiellement absorbé par la fidélité du jumeau numérique. La reconstruction d'objets articulés depuis des observations visuelles est un problème ouvert depuis plus d'une décennie. Des travaux antérieurs comme PARIS, ArticulatedFormer et NSM avaient progressé sur la segmentation et l'estimation cinématique, mais butaient sur la généralisation et l'utilisabilité directe en simulateur. URDF-Anything+ s'inscrit dans la tendance des modèles génératifs 3D orientés simulation, aux côtés des Gaussian Splattings dynamiques et des NeRF articulés. La recherche (arXiv:2603.14010) ne mentionne pas d'affiliation industrielle ni de plan de commercialisation : il s'agit d'un résultat purement académique. L'intégration naturelle serait dans les pipelines de génération de données synthétiques pour la manipulation robotique, domaine où Physical Intelligence, le Boston Dynamics AI Institute et les équipes Nvidia Isaac Lab investissent massivement en ce moment.

UELes équipes académiques européennes en manipulation robotique (INRIA, DLR, TU Munich) pourraient intégrer cet outil dans leurs pipelines de données synthétiques, mais aucun acteur français ou européen n'est directement impliqué.

RecherchePaper

1 source

4arXiv cs.RO

WorldMirror : génération réel-vers-simulation à base d'agents de mondes interactifs à partir de démonstrations de robots en conditions réelles

WorldMirror, un framework décrit dans l'article arXiv 2610.31834, vise à transformer des démonstrations robotiques « in the wild » en jumeaux numériques interactifs, sans construction manuelle de scènes. Le principe consiste à formuler la reconstruction real-to-sim comme le raffinement itératif d'un « programme de monde » exécutable. Un agent de code décompose la scène observée, planifie les étapes de reconstruction et orchestre des outils spécialisés de génération d'images et de 3D, puis corrige son programme à partir de retours de vérification. La scène est organisée par une représentation ancrée sur la pose de caméra, qui sépare le contexte visuel statique, la géométrie de support et les assets interactifs éditables, tout en conservant les relations spatiales entre scène, objets et robot. Les expériences portent sur le jeu de données DROID, et les auteurs affirment obtenir des mondes visuellement fidèles et géométriquement cohérents, qui préservent la validité physique des trajectoires enregistrées et permettent leur rejeu. L'enjeu est le goulot d'étranglement de la simulation pour l'apprentissage robotique. Construire les scènes et spécifier les tâches à la main limite la diversité des données et le passage à l'échelle de l'entraînement. Si l'approche tient ses promesses, les démonstrations déjà collectées, souvent réalisées dans des environnements variés et non contrôlés, deviendraient une source d'environnements de simulation exploitables pour l'entraînement et l'évaluation de politiques, notamment de modèles vision-langage-action (VLA). Elle illustre aussi une tendance : combiner la capacité de raisonnement spatial d'agents généralistes avec la fidélité de modèles génératifs spécialisés, plutôt que de s'en remettre à une seule méthode de reconstruction. Des réserves s'imposent toutefois. Il s'agit d'un préprint, évalué sur un seul jeu de données, et le résumé ne chiffre ni taux de succès, ni coût de calcul, ni temps de reconstruction par scène. Le rejeu de trajectoires valides ne prouve pas non plus que des politiques entraînées dans ces mondes se transfèrent mieux au réel. Ces travaux s'inscrivent dans un courant plus large de real-to-sim, où la reconstruction de scènes (par exemple par Gaussian splatting) sert à bâtir des bancs d'essai et des environnements d'entraînement, face à des alternatives comme les modèles de monde génératifs ou les scènes simulées créées à la main. DROID, grand jeu de données de manipulation collecté dans de nombreux environnements réels, constitue ici un terrain d'essai naturel. Le résumé n'annonce ni code, ni pilote industriel, ni calendrier. Les prochaines étapes à surveiller sont donc la publication éventuelle du code, des évaluations sur d'autres jeux de données, et surtout des résultats montrant un gain mesuré de performance de politiques entraînées ou évaluées dans ces jumeaux numériques.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source