Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

DREAM : génération de démonstrations au déploiement via transfert réel-vers-simulation pour une adaptation évolutive des politiques

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié fin août 2026 sur arXiv (2608.29078), l'article présente DREAM (Deployment-Time Demonstration Generation via Real-to-Sim), qui génère automatiquement des données d'entraînement pour un modèle vision-langage-action (VLA) déjà pré-entraîné, sans démonstration humaine spécifique au poste de travail. À partir d'une capture de la scène et d'une instruction en langage naturel, le système reconstruit l'environnement, traduit l'instruction en objectifs symboliques et critères de réussite via un grand modèle de langage, puis planifie des trajectoires par planification tâche-et-mouvement (TAMP). Ces trajectoires sont dupliquées sur des configurations d'objets aléatoires, validées par les critères générés, puis converties en paires image-action pour affiner le VLA. Sur robot réel, les auteurs mesurent le gain de réussite apporté par cet affinage face à un déploiement direct, et comparent le coût de collecte à la téléopération humaine.

L'enjeu concerne directement les intégrateurs en robotique de manipulation : déployer un VLA généraliste dans un nouvel entrepôt, une nouvelle cellule ou un nouvel arrangement d'objets exige aujourd'hui de nouvelles démonstrations téléopérées, une opération coûteuse qui freine le passage à l'échelle des politiques généralistes du secteur. En remplaçant cette collecte par de la simulation, de la planification symbolique et du rendu synthétique, DREAM teste l'hypothèse selon laquelle l'écart entre démonstration et déploiement réel peut être comblé sans intervention humaine répétée à chaque site. Si l'approche se confirme, elle intéresse les acteurs qui envisagent de déployer des VLA de type Pi-0 ou GR00T chez plusieurs clients sans constituer une équipe de téléopérateurs pour chaque nouvelle configuration, un frein réel à la commercialisation des politiques généralistes.

DREAM s'inscrit dans une lignée de travaux combinant reconstruction real-to-sim, grands modèles de langage et planification robotique pour réduire la dépendance à la téléopération, en parallèle des efforts de plusieurs laboratoires de manipulation depuis l'essor des VLA. Le résumé ne précise ni la plateforme robotique, ni le nombre de degrés de liberté, ni de taux de réussite ou de ratio de coût, des éléments à vérifier dans le texte complet avant toute extrapolation industrielle. Il s'agit pour l'instant d'un résultat de recherche à l'état de prépublication, non d'un produit déployé commercialement, dont la portée dépendra de sa capacité à généraliser au-delà des tâches testées sur robot réel.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

Génération automatique d'arbres de comportement par VLM pour le transfert réel-vers-simulation via perception active
1arXiv cs.RO 

Génération automatique d'arbres de comportement par VLM pour le transfert réel-vers-simulation via perception active

Une équipe de chercheurs propose dans un article arXiv (2601.08454) un pipeline Real2Sim piloté par l'intention, qui automatise la construction d'environnements de simulation physiquement précis à partir d'une instruction en langage naturel. Un modèle vision-langage (VLM) analyse une observation visuelle et une description de simulation incomplète pour identifier le sous-ensemble minimal de paramètres physiques manquants (masse des objets, géométrie de surface, friction), puis génère automatiquement un arbre de comportement (Behavior Tree, BT) composé de primitives motrices et sensorielles atomiques pour les acquérir par interaction physique avec l'environnement. Les expériences ont été conduites sur un bras Franka Emika Panda à contrôle en couple (7 DOF), manipulateur standard en recherche robotique. Les résultats indiquent des gains d'efficacité opérationnelle significatifs par rapport aux méthodes d'exploration exhaustive, validés par des études d'ablation sur plusieurs VLMs de référence, mais les chiffres précis de performance ne sont pas fournis dans l'abstract, ce qui limite la comparabilité externe. L'apport principal est le remplacement de pipelines d'identification système manuels par une stratégie sémantique : au lieu d'explorer exhaustivement l'environnement, le système ne collecte que les données pertinentes pour la tâche demandée, réduisant les interactions redondantes. Pour les équipes travaillant sur des jumeaux numériques industriels, cela représente un gain potentiel en temps de calibration avant déploiement. Le BT joue également un rôle de filtre de sécurité déterministe : sa hiérarchie réactive intercepte les hallucinations du VLM et prévient les anomalies physiques dangereuses, ce qui est non-négligeable pour une application en conditions réelles. Cette combinaison, intelligence sémantique du VLM associée à la robustesse déterministe du BT, constitue l'aspect architectural le plus notable du travail. La construction de simulations fidèles au réel est un verrou classique du déploiement robotique : un jumeau numérique mal calibré amplifie le sim-to-real gap qui dégrade les politiques apprises en simulation, problème central pour les VLA (Vision-Language-Action) actuels. Côté concurrence, Physical Intelligence (pi0), Google DeepMind (successeurs de RT-2) et des projets open-source comme LeRobot de Hugging Face investissent tous dans des pipelines sim-to-real plus robustes. L'utilisation des BT comme couche d'interprétabilité face aux modèles génératifs s'inscrit dans une tendance plus large visant à rendre les LLM/VLM compatibles avec des contraintes de sécurité industrielle. Les prochaines étapes logiques seraient d'étendre le pipeline à des robots mobiles ou des plateformes humanoïdes, et de publier des benchmarks complets permettant une comparaison rigoureuse avec les méthodes d'identification système existantes.

RecherchePaper
1 source
Comment évaluer les politiques de robots généralistes pour un déploiement en conditions réelles
2NVIDIA Developer Blog 

Comment évaluer les politiques de robots généralistes pour un déploiement en conditions réelles

Une équipe de recherche en robotique publie un article de blog consacré à l'évaluation rigoureuse des politiques robotiques généralistes destinées au déploiement réel. Le texte part d'un constat : les meilleurs systèmes actuels, capables de suivre des instructions en langage naturel pour saisir, déplacer, trier et manipuler une grande variété d'objets, ont progressé rapidement ces derniers mois. Mais à mesure que ces modèles gagnent en capacité, les évaluer de façon fiable est devenu, selon les auteurs, l'un des problèmes non résolus les plus difficiles du secteur. Le billet ne détaille pas encore la méthode complète, mais annonce vouloir poser les problèmes clés de l'évaluation et présenter une approche pour les traiter, sans livrer dans cet extrait de chiffres de benchmark, de taux de réussite ou de comparaison entre modèles nommés. Pour l'industrie robotique, la question de l'évaluation n'est pas secondaire : elle conditionne la confiance que les intégrateurs et décideurs B2B peuvent accorder à des politiques génériques de type VLA avant de les déployer sur une ligne de production ou un site logistique. De nombreuses démonstrations de robots manipulateurs ou humanoïdes sont aujourd'hui présentées avec des vidéos sélectionnées et des conditions de test non standardisées, ce qui rend difficile toute comparaison objective entre acteurs. En pointant ce manque de rigueur méthodologique, la démarche s'inscrit dans une remise en question plus large de l'écart entre démonstration et réalité opérationnelle, un sujet central alors que plusieurs laboratoires affirment avoir résolu le passage de la simulation au réel à grande échelle. Cette initiative s'inscrit dans un mouvement plus large où plusieurs laboratoires de robotique généraliste développent des politiques capables d'exécuter des instructions en langage naturel sur des tâches variées, sans qu'il existe pour l'instant de standard d'évaluation partagé par le secteur. L'absence de protocole commun complique la comparaison entre approches concurrentes et freine l'adoption industrielle, les entreprises utilisatrices devant se fier aux métriques propres à chaque fournisseur. Le billet annonce vouloir combler ce vide méthodologique, sans préciser à ce stade de calendrier de publication détaillée ni de partenaires industriels associés à la démarche.

RecherchePaper
1 source
Vers un pont entre simulation et réalité : transfert simulation-réel systématique pour divers robots à pattes
3arXiv cs.RO 

Vers un pont entre simulation et réalité : transfert simulation-réel systématique pour divers robots à pattes

Des chercheurs publient sur arXiv (2509.06342v2, version révisée) un nouveau cadre combinant apprentissage par renforcement sim-to-real et modèle énergétique physique pour moteurs synchrones à aimants permanents, les actionneurs les plus courants sur les robots à pattes. La méthode ne nécessite qu'un jeu minimal de paramètres pour capturer l'écart entre simulation et réalité, et repose sur une fonction de récompense compacte à quatre termes intégrant une formulation de pertes énergétiques fondée sur les premiers principes, équilibrant dissipation électrique et mécanique. L'équipe valide son approche par une identification dynamique ascendante, des actionneurs individuels aux trajectoires complètes en l'air puis à la locomotion au sol. Le cadre est testé sur trois plateformes principales et déployé sur dix robots supplémentaires, soit treize systèmes au total, avec un transfert de politique fiable obtenu sans randomisation des paramètres dynamiques. Résultat clé : une réduction de 32% du coût de transport (Cost of Transport) du quadrupède ANYmal, ramené à une valeur de 1,27. Code, modèles et jeux de données sont publiés en accès libre. Ce travail s'attaque à deux limites récurrentes de la robotique à pattes entraînée en simulation : le transfert peu fiable vers le matériel réel, et la négligence quasi systématique des pertes énergétiques spécifiques aux actionneurs dans les fonctions de récompense, souvent bricolées à la main. En montrant qu'une modélisation physique du moteur peut remplacer une partie de la randomisation de domaine habituellement jugée indispensable pour généraliser, l'étude questionne une hypothèse répandue du secteur : que la robustesse sim-to-real passe nécessairement par une randomisation massive des paramètres. Pour les intégrateurs et équipes R&D travaillant sur des robots mobiles à pattes, l'efficacité énergétique conditionne directement l'autonomie en batterie et la charge utile disponible, ce qui rend ce gain de 32% concrètement exploitable au-delà du seul intérêt académique. Le problème du fossé sim-to-real occupe la recherche en locomotion par apprentissage depuis l'essor des quadrupèdes comme l'ANYmal d'ANYbotics, plateforme de référence académique pour ce type de benchmark. La plupart des approches existantes traitent les pertes énergétiques comme un ajout secondaire plutôt qu'une contrainte physique de premier ordre dès l'entraînement. En publiant intégralement code, modèles et données avec cette version révisée, les auteurs positionnent leur contribution comme reproductible pour les laboratoires et industriels développant des plateformes à actionneurs PMSM, sans qu'aucun déploiement commercial ne soit annoncé à ce stade : il s'agit d'une avancée de recherche, dont l'adoption dépendra désormais de son intégration dans les pipelines d'entraînement d'autres équipes robotique.

UELe code, les modèles et les jeux de données étant publiés en accès libre, les laboratoires et industriels européens travaillant sur des robots à pattes à actionneurs PMSM (dont ANYbotics, dont le quadrupède ANYmal sert de plateforme de référence) peuvent directement reproduire et intégrer cette méthode.

RecherchePaper
1 source
Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique
4arXiv cs.RO 

Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique

Cette annonce arrive du côté recherche académique plutôt que de l'industrie commerciale : une équipe présente RE³SIM, un système de simulation photoréaliste en 3D destiné à combler l'écart entre entraînement simulé et déploiement réel en robotique manipulatrice. Publié sur arXiv (version 4, remplaçant une précédente), le papier décrit un pipeline qui reconstruit fidèlement des scènes réelles grâce à des techniques avancées de reconstruction 3D et de rendu neuronal, permettant un rendu en temps réel de caméras virtuelles multi-angles au sein d'un simulateur physique. En s'appuyant sur des informations privilégiées pour générer efficacement des démonstrations expertes en simulation, puis en entraînant des politiques robotiques par apprentissage par imitation, les chercheurs rapportent un taux de réussite moyen supérieur à 58% en transfert "zero-shot" vers le réel, c'est-à-dire sans aucune donnée réelle utilisée pour l'entraînement, uniquement des données simulées. Ils ont aussi constitué un jeu de données de simulation à grande échelle pour tester la généralisation des politiques apprises sur des objets variés. Le résultat compte parce qu'il s'attaque directement à l'un des goulots d'étranglement les plus coûteux du secteur : la collecte de données réelles pour entraîner des robots manipulateurs, qui exige des opérateurs qualifiés et du matériel onéreux. Si le fossé sim-to-real (géométrique et visuel) peut être réduit de manière fiable grâce à des reconstructions photoréalistes plutôt qu'à des environnements simulés génériques, cela change la donne pour les intégrateurs et les équipes de R&D qui cherchent à multiplier les scénarios d'entraînement sans multiplier les essais physiques. Un taux de 58% en zero-shot reste toutefois modeste comparé aux standards de fiabilité industrielle, et mérite d'être lu comme une preuve de concept académique plutôt qu'une solution prête à l'emploi pour la production. RE³SIM s'inscrit dans la lignée des travaux récents sur les politiques vision-langage-action (VLA) et les pipelines d'apprentissage par imitation, un axe de recherche également poursuivi par des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La démarche real-to-sim-to-real, où l'on capture d'abord le monde réel avant de simuler dessus, distingue cette approche des simulateurs purement synthétiques et pourrait influencer les futurs outils de génération de données pour l'entraînement de robots. Le code et des démonstrations sont disponibles sur le site du projet (re3sim.github.io), signe que l'équipe cherche une adoption élargie par la communauté robotique plutôt qu'une simple publication isolée.

RecherchePaper
1 source