RecherchearXiv cs.RO 27 août 2026

Scene2Demo : génération autonome de données incarnées via un graphe objet-action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Scene2Demo, un framework de génération offline de données d'apprentissage robotique, décrit dans une version révisée (v2) d'un preprint arXiv (2602.12065), avec une page projet hébergée de manière anonyme (scene2demo-anon.github.io), signe d'une soumission en cours de relecture en double-aveugle. A partir d'une seule image RGB réelle et d'une requête utilisateur en langage naturel, le système construit une scene simulée interactive et génère des configurations de taches exécutables, des vidéos d'exécution multi-vues ainsi que des jeux de données exploitables pour l'apprentissage de politiques robotiques. L'architecture s'appuie sur un graphe objet-action, orchestre par un flux de travail multi-modules, complète par des agents de feedback qui inspectent les exécutions filmées et corrigent séquences ou paramètres en cas d'échec. Sur 102 paires scene-tache primitives générées automatiquement, le taux de réussite d'exécution atteint 71,6%. Sur quatre taches longues et complexes, le mécanisme d'auto-évolution améliore a la fois la réussite globale et la qualité d'exécution des sous-taches par rapport a une exécution purement primitive; face aux frameworks RoboGen et GenSim2, Scene2Demo obtient de meilleurs résultats de planification et d'exécution. Des politiques entraînées par clonage comportemental sur ces données atteignent 96,0% et 92,0% de réussite sur deux taches représentatives.

Ce travail s'attaque au goulot d'étranglement central de l'IA robotique embarquée: la rareté des démonstrations réelles nécessaires pour entrainer des politiques de type VLA ou de clonage comportemental, dont la collecte manuelle reste couteuse et lente. En générant scènes, taches et trajectoires directement depuis une image unique, Scene2Demo vise a réduire la dépendance a la téléopération humaine pour constituer des jeux de données d'entrainement. Les scores de clonage comportemental apportent un indice, encore limite a deux taches, que des données synthétiques générées automatiquement peuvent produire des politiques exploitables, un point clé du débat sur l'écart entre démonstrations simulées et performance réelle. La comparaison avec RoboGen et GenSim2 reste toutefois interne a l'étude et porte sur un périmètre restreint (102 paires primitives, quatre taches longues), ce qui invite a la prudence avant toute généralisation a l'échelle industrielle.

Scene2Demo s'inscrit dans une lignée de frameworks de génération automatique de taches pour la robotique, aux cotes de RoboGen et GenSim2, qui exploitent déjà des modèles de langage ou de génération pour construire des environnements simules a partir de descriptions textuelles. L'absence de nom d'entreprise et l'hébergement anonyme du projet confirment une contribution académique, vraisemblablement destinée a une conférence majeure de robotique, sans annonce de déploiement pilote ni de calendrier commercial. La suite logique, une fois la relecture achevée, serait une publication ouverte du code et une extension a des taches et des embodiments robotiques plus varies.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

VQ-Touch : un cadre de génération tactile économe en données, adaptable aux capteurs et scénarios

Des chercheurs ont publié sur arXiv (référence 2607.14728v1) un nouveau framework de génération tactile baptisé VQ-Touch, conçu pour synthétiser des images tactiles haute fidélité sans dépendre des capteurs physiques coûteux et sujets à l'usure. Le système repose sur deux composants principaux : DM-VQGAN, un module d'apprentissage de représentation capable d'extraire les déformations complexes et les textures à partir des données tactiles, et un décodeur de diffusion discrète doté d'une interface de conditionnement unifiée. Cette interface permet de générer plusieurs types de sorties, notamment des images et des labels, à partir d'une même architecture. Le framework a été testé en configuration cross-sensor et multi-scénarios, avec un entraînement mixte en few-shot destiné à améliorer sa capacité de généralisation face aux capteurs tactiles courants et à leurs variantes. Selon les auteurs, VQ-Touch dépasse les méthodes de l'état de l'art sur plusieurs tâches, sans toutefois préciser les métriques exactes ni les jeux de données de comparaison dans le résumé disponible. Pour la perception robotique et les systèmes d'interaction homme-machine, la promesse est avant tout économique et pratique : réduire la dépendance à de larges jeux de données spécifiques à un capteur, un frein connu au déploiement du toucher artificiel à grande échelle. Un modèle capable de généraliser entre capteurs et de fonctionner en environnement à vision limitée intéresse directement les intégrateurs qui équipent des mains robotiques ou des interfaces haptiques sans vouloir recollecter des données à chaque changement de matériel. Cela dit, il s'agit ici d'un travail de recherche publié sous forme de preprint, pas d'un produit commercialisé ni d'un déploiement industriel : la validation reste circonscrite aux expériences décrites par les auteurs. Le problème adressé, la faible efficacité des données et la généralisation limitée des générateurs tactiles existants, est documenté depuis plusieurs années dans la littérature sur la perception haptique, où la plupart des approches restent liées à un capteur unique, comme GelSight ou ses dérivés. VQ-Touch se positionne comme une réponse à cette fragmentation en misant sur la compatibilité multi-capteurs plutôt que sur la performance dédiée à un seul dispositif. La suite logique, non détaillée dans l'abstract, serait une validation sur du matériel tactile commercial et une comparaison chiffrée avec les frameworks concurrents de génération tactile par diffusion ou GAN.

RecherchePaper

1 source

2arXiv cs.RO

Entraînement de robots par LLM : génération automatisée de données via l'augmentation de démonstrations

Des chercheurs de Carnegie Mellon University ont publié LLM Trainer (arXiv:2509.20070v2), un pipeline entièrement automatisé capable de transformer une poignée de démonstrations humaines, aussi peu qu'une seule, en un large jeu de données pour l'apprentissage par imitation robotique. Le système décompose la génération de nouvelles démonstrations en deux étapes : une annotation hors-ligne qui extrait des keyframes, des objets saillants et des relations pose-objet à partir des trajectoires originales, puis un retargeting de keyposes en ligne qui adapte ces keyframes à un nouvel environnement à partir d'une simple observation initiale. Le pipeline déforme ensuite géométriquement la trajectoire originale pour en produire une nouvelle, l'exécute sur le robot, et ne conserve les données que si l'exécution est concluante. Pour optimiser la qualité des annotations, réutilisables d'une scène à l'autre, l'équipe intègre un mécanisme de Thompson sampling qui améliore significativement le taux de succès. Les validations ont été conduites sur un bras Franka Emika Panda. L'enjeu est structurant pour l'imitation learning en robotique industrielle : le goulot d'étranglement reste la collecte coûteuse de démonstrations humaines. LLM Trainer propose de contourner ce problème en mobilisant la connaissance du monde embarquée dans les LLMs pour générer des variantes de scènes plausibles sans intervention humaine supplémentaire. Les résultats montrent que la méthode d'annotation LLM surpasse systématiquement des baselines conçues par des experts humains. L'approche d'ensemble, combinant un plan feed-forward LLM optimisé et un contrôleur par imitation en feedback, ouvre une piste vers des politiques plus robustes à la variabilité des environnements réels, ce qui intéresse directement les intégrateurs confrontés à des lignes de production hétérogènes. Ce travail s'inscrit dans une tendance forte en manipulation robotique : réduire la dépendance aux données humaines via l'augmentation synthétique, après des approches comme RoboAgent, DemoAugment ou les pipelines sim-to-real de Google DeepMind. Carnegie Mellon reste un acteur central de cet espace, aux côtés de Stanford (Mobile ALOHA), Berkeley (RoboVerse) et du MIT. Pour l'heure, LLM Trainer est uniquement validé sur un seul modèle de bras dans des conditions de laboratoire, ce qui laisse ouverte la question du passage à l'échelle vers des robots humanoïdes ou des environnements moins structurés. La version v2 publiée sur arXiv suggère des révisions post-soumission, probablement en vue d'une conférence comme CoRL 2025 ou ICRA 2026.

RecherchePaper

1 source

3arXiv cs.RO

Anticipation-VLA : résolution de tâches incarnées à long horizon par génération de sous-objectifs

Une équipe de chercheurs a publié le 5 mai 2026 sur arXiv (référence 2605.01772) un modèle de contrôle robotique baptisé Anticipation-VLA, conçu pour résoudre les tâches à long horizon en robotique incarnée. Le système repose sur un composant appelé Anticipation Model, qui génère de manière adaptive et récursive des sous-objectifs intermédiaires au fil de l'exécution d'une tâche. L'architecture est hiérarchique : un Unified Multimodal Model (UMM) affiné gère la planification de haut niveau en produisant ces sous-objectifs, tandis qu'une politique VLA (Vision-Language-Action) conditionnée sur ces cibles pilote l'exécution motrice à bas niveau. Les expériences couvrent des environnements simulés et des tâches robotiques réelles. Les auteurs affirment des gains de robustesse significatifs par rapport aux approches antérieures, sans toutefois publier de métriques quantitatives précises dans l'abstract, ce qui limite la comparaison directe avec l'état de l'art. Le problème adressé est central dans la robotique d'apprentissage : les modèles VLA accumulent des erreurs sur les tâches longues, chaque décision imparfaite amplifiant les erreurs suivantes. Les approches existantes décomposent les tâches en sous-tâches de granularité fixe, ce qui les rend rigides face aux variations de complexité des états d'exécution. La contribution clé d'Anticipation-VLA est d'ajuster dynamiquement les sous-objectifs en fonction de l'évolution réelle de la situation, une avancée dans le contrôle hiérarchique adaptatif. Pour les intégrateurs et décideurs B2B, ce type de système ouvre la voie à des robots capables d'exécuter des séquences complexes en environnement industriel sans supervision constante, un verrou majeur dans le déploiement à grande échelle des bras manipulateurs. Le domaine des VLA est en pleine effervescence depuis la publication de RT-2 (Google DeepMind, 2023), puis d'OpenVLA, Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA). La recherche sur la planification hiérarchique se heurte systématiquement au "demo-reality gap" : les résultats en simulation ne se transfèrent pas toujours au monde réel. Anticipation-VLA revendique une validation sur tâches réelles, signal positif, bien que l'absence de benchmarks standardisés tels que RLBench ou LIBERO dans la publication rende difficile le positionnement précis face à la concurrence. Les prochaines étapes probables incluent des évaluations comparatives sur ces benchmarks et une extension vers des plateformes mobiles manipulatrices, segment où des acteurs comme Physical Intelligence et Boston Dynamics intensifient leurs travaux.

RechercheOpinion

1 source

4arXiv cs.RO

LDA-1B : mise à l'échelle d'un modèle d'action à dynamique latente via ingestion universelle de données incarnées

LDA-1B est un modèle fondation pour la robotique à 1 milliard de paramètres, présenté dans un preprint arXiv (2602.12215v2, "replace", donc une version révisée). Ses auteurs introduisent ce qu'ils appellent une "ingestion universelle de données incarnées" : plutôt que le clonage comportemental classique, qui se borne à imiter des actions expertes en ignorant la connaissance des dynamiques physiques, LDA-1B entraîne simultanément un modèle de dynamiques, une politique d'action et un module de prévision visuelle. Pour opérer à cette échelle, les chercheurs ont constitué EI-30k, un jeu de données standardisé regroupant plus de 30 000 heures de trajectoires humaines et robotiques dans un format unifié. La prédiction s'effectue dans l'espace latent structuré de DINO (modèle de vision auto-supervisé de Meta), évitant la modélisation redondante au niveau pixel. L'architecture repose sur un transformeur de diffusion multimodal gérant des flux vidéo et d'action asynchrones. En simulation et en conditions réelles, LDA-1B dépasse π0.5 de Physical Intelligence de 21 % sur les tâches à contacts intenses, 48 % sur les tâches de dextérité, et 23 % sur les tâches à long horizon. Résultat contre-intuitif : en réintégrant 30 % de trajectoires de faible qualité habituellement écartées, le modèle gagne 10 % de performance supplémentaire. Ce travail s'attaque à une limite structurelle des modèles robotiques actuels : le clonage comportemental traite comme déchets toutes les données sans annotation action-état précise, vidéos téléopérées approximatives, démonstrations ratées, captations partielles. En assignant des rôles distincts selon la qualité des données, LDA-1B récupère de la valeur dans ces corpus dégradés. Pour les intégrateurs et décideurs industriels, l'implication est concrète : si des trajectoires sous-optimales contribuent positivement à l'entraînement, le coût de constitution des jeux de données de référence diminue sensiblement. Les gains de 48 % sur la dextérité, talon d'Achille historique des robots manipulateurs, sont particulièrement significatifs, même si ces chiffres proviennent d'un preprint non encore évalué par les pairs, et que les conditions exactes des benchmarks méritent une lecture critique avant généralisation. LDA-1B s'inscrit dans une course aux modèles fondation robotiques qui s'intensifie depuis 2024. Physical Intelligence (Pi), dont π0 puis π0.5 font référence sur les benchmarks manipulation, est le principal étalon ici. Google DeepMind pousse RT-2 et ses successeurs, tandis que des modèles open-source comme OpenVLA et Octo peinent à franchir le cap du milliard de paramètres avec des données hétérogènes. La formulation UWM (Unified World Model), que LDA-1B exploite et étend, tentait déjà de valoriser des données non-action (vidéos, interactions humaines), mais les tentatives précédentes manquaient d'échelle et de standardisation. EI-30k, avec ses 30 000 heures normalisées, est l'une des bases d'interaction incarnée les plus vastes publiées à ce jour. Ce preprint n'annonce ni produit commercial ni déploiement terrain, c'est de la recherche académique avec expériences en simulation et quelques validations réelles. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks standardisés comme LIBERO ou RoboSuite, et une intégration sur des plateformes humanoïdes comme Unitree H1 ou G1.

RechercheOpinion

1 source