H2RBench : un benchmark réel-vers-simulation pour…

1arXiv cs.RO

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

Une équipe de chercheurs présente RoboDojo, un banc d'essai unifié combinant simulation et monde réel pour évaluer les politiques génératives de manipulation robotique, celles capables d'exécuter des tâches variées à partir d'instructions en langage naturel. Le système comprend 42 tâches en simulation et 18 tâches en conditions réelles, couvrant des capacités complémentaires. Le volet simulation mesure cinq dimensions : la généralisation, la mémoire, la précision, l'exécution de tâches longues, et la compréhension d'instructions en vocabulaire ouvert. Le volet réel expose les politiques aux difficultés concrètes du déploiement physique. La plateforme s'appuie sur Isaac Sim pour la simulation parallèle à grande échelle, et sur RoboDojo-RealEval, un système d'évaluation réelle accessible à distance via le cloud, avec matériel standardisé, réinitialisation automatisée des scènes et protocole reproductible. Trente politiques ont été intégrées via XPolicyLab et testées sur ce banc d'essai, donnant lieu à un classement public consultable sur robodojo-benchmark.com. L'initiative répond à un problème structurel du secteur : la prolifération de politiques génératives de manipulation (VLA) ces deux dernières années s'est faite sans étalon de mesure commun, chaque laboratoire publiant ses propres métriques sur ses propres tâches. Les évaluations en simulation seule ignorent les aléas physiques du réel (éclairage, frottements, imprécisions de préhension), tandis que les tests réels restent coûteux, lents et rarement reproductibles d'un labo à l'autre. En forçant une comparaison directe entre simulation et déploiement physique sur les mêmes politiques, RoboDojo permet de quantifier l'écart entre performance démontrée et robustesse réelle, un point sensible pour tout intégrateur ou décideur industriel cherchant à choisir une politique de contrôle avant un déploiement en usine ou en entrepôt. Le projet s'inscrit dans une dynamique où plusieurs équipes de recherche ont développé des systèmes de contrôle génératifs concurrents sans cadre d'évaluation partagé. En proposant à la fois l'infrastructure logicielle (XPolicyLab) et le protocole de test standardisé, RoboDojo vise à devenir une référence commune, avec un classement public appelé à s'enrichir au fur et à mesure que de nouvelles politiques y seront soumises.

RecherchePaper

1 source

2arXiv cs.RO

RoboBridge : un cadre d'agent incarné auto-évolutif pour le transfert simulation-réel

Des chercheurs publient sur arXiv (identifiant 2610.02717, première version) RoboBridge, un cadre logiciel pour agents incarnés qui aborde le transfert simulation-réel comme une adaptation continue de compétences exécutables, plutôt que comme un réentraînement de politique. L'agent représente le savoir-faire d'une tâche sous forme de procédures reliant l'intention, les observations, les opérations d'outils et la vérification du résultat. Les retours d'interaction servent à générer des révisions candidates de ces compétences, qui sont évaluées avant d'être conservées ou rejetées. Une politique vision-langage-action (VLA) préentraînée est exposée comme un outil d'action réutilisable, complété par un guidage à l'inférence, ce qui permet une exécution fine sans modifier ses poids. Le cadre est évalué sur le benchmark de simulation LIBERO-PRO et sur des tâches physiques correspondantes, avec deux axes d'étude : l'évolution des compétences et l'adaptation après transfert. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni plateforme robotique, et ces éléments restent à vérifier dans l'article complet. L'intérêt tient à la méthode de transfert. Le passage de la simulation au réel repose aujourd'hui, pour les politiques VLA de bout en bout, sur le calage des conditions visuelles et dynamiques simulées, la collecte de démonstrations supplémentaires dans le domaine cible et un nouvel entraînement. Ce sont des étapes coûteuses, à refaire à chaque changement d'environnement. RoboBridge déplace l'adaptation vers une couche procédurale, ancrée dans une sémantique de tâche et des interfaces d'interaction communes à la simulation et au réel. La structure réutilisable de la tâche est conservée, et seules les opérations dépendant de l'environnement sont révisées à partir des retours d'exécution réels. Pour un intégrateur, l'enjeu serait de passer d'un déploiement de politique figé à un apprentissage procédural continu après la mise en service. Il s'agit toutefois d'un travail académique à un stade préliminaire : sans chiffres publiés dans le résumé, rien ne permet de dire si l'approche tient la comparaison avec un réglage fin classique, ni à quel coût en appels de modèle et en temps d'adaptation. Ce travail s'inscrit dans deux courants qu'il cherche à rapprocher. D'un côté, les politiques VLA offrent de fortes capacités de manipulation mais restent difficiles à transférer. De l'autre, les agents robotiques utilisant des outils orchestrent bien les tâches, mais réutilisent surtout l'expérience au sein d'un même environnement. Les auteurs positionnent leur cadre comme une voie intermédiaire. Le choix de LIBERO-PRO, variante plus exigeante d'un benchmark de manipulation très répandu, suggère une volonté de tester la robustesse plutôt que la mémorisation. Les prochaines étapes à surveiller sont la publication du code, des résultats chiffrés sur robot réel et une validation sur des tâches industrielles plus longues, seules à même de confirmer la portée de l'approche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Vers un pont entre simulation et réalité : transfert simulation-réel systématique pour divers robots à pattes

Des chercheurs publient sur arXiv (2509.06342v2, version révisée) un nouveau cadre combinant apprentissage par renforcement sim-to-real et modèle énergétique physique pour moteurs synchrones à aimants permanents, les actionneurs les plus courants sur les robots à pattes. La méthode ne nécessite qu'un jeu minimal de paramètres pour capturer l'écart entre simulation et réalité, et repose sur une fonction de récompense compacte à quatre termes intégrant une formulation de pertes énergétiques fondée sur les premiers principes, équilibrant dissipation électrique et mécanique. L'équipe valide son approche par une identification dynamique ascendante, des actionneurs individuels aux trajectoires complètes en l'air puis à la locomotion au sol. Le cadre est testé sur trois plateformes principales et déployé sur dix robots supplémentaires, soit treize systèmes au total, avec un transfert de politique fiable obtenu sans randomisation des paramètres dynamiques. Résultat clé : une réduction de 32% du coût de transport (Cost of Transport) du quadrupède ANYmal, ramené à une valeur de 1,27. Code, modèles et jeux de données sont publiés en accès libre. Ce travail s'attaque à deux limites récurrentes de la robotique à pattes entraînée en simulation : le transfert peu fiable vers le matériel réel, et la négligence quasi systématique des pertes énergétiques spécifiques aux actionneurs dans les fonctions de récompense, souvent bricolées à la main. En montrant qu'une modélisation physique du moteur peut remplacer une partie de la randomisation de domaine habituellement jugée indispensable pour généraliser, l'étude questionne une hypothèse répandue du secteur : que la robustesse sim-to-real passe nécessairement par une randomisation massive des paramètres. Pour les intégrateurs et équipes R&D travaillant sur des robots mobiles à pattes, l'efficacité énergétique conditionne directement l'autonomie en batterie et la charge utile disponible, ce qui rend ce gain de 32% concrètement exploitable au-delà du seul intérêt académique. Le problème du fossé sim-to-real occupe la recherche en locomotion par apprentissage depuis l'essor des quadrupèdes comme l'ANYmal d'ANYbotics, plateforme de référence académique pour ce type de benchmark. La plupart des approches existantes traitent les pertes énergétiques comme un ajout secondaire plutôt qu'une contrainte physique de premier ordre dès l'entraînement. En publiant intégralement code, modèles et données avec cette version révisée, les auteurs positionnent leur contribution comme reproductible pour les laboratoires et industriels développant des plateformes à actionneurs PMSM, sans qu'aucun déploiement commercial ne soit annoncé à ce stade : il s'agit d'une avancée de recherche, dont l'adoption dépendra désormais de son intégration dans les pipelines d'entraînement d'autres équipes robotique.

UELe code, les modèles et les jeux de données étant publiés en accès libre, les laboratoires et industriels européens travaillant sur des robots à pattes à actionneurs PMSM (dont ANYbotics, dont le quadrupède ANYmal sert de plateforme de référence) peuvent directement reproduire et intégrer cette méthode.

RecherchePaper

1 source

4arXiv cs.RO

RoboRender : génération de vidéos orientée robot pour le transfert visuel simulation-réel

RoboRender, un framework décrit dans un preprint arXiv (2610.09254v1), convertit des trajectoires simulées en vidéos RGB photoréalistes afin d'entraîner des politiques robotiques déployables en zéro-shot dans le monde réel. Le cœur du système est un modèle de génération vidéo orienté robot, conditionné par trois entrées : des vidéos de profondeur issues du simulateur, des instructions en langage naturel et des vidéos de masques RGB du robot. La géométrie de la scène, les mouvements du robot et les étiquettes d'actions du simulateur restent intacts, tandis que le modèle synthétise textures, arrière-plans et objets distracteurs réalistes. Ces vidéos sont ensuite appariées aux états et actions fournis par le simulateur pour entraîner la politique. Sur des jeux de test vidéo robotiques, le modèle surpasse les références de génération conditionnée par la profondeur. En conditions réelles, sur des tâches de pick-and-place, de manipulation d'objets articulés et de manipulation mobile, les politiques entraînées sur ces données atteignent 71 % de réussite moyenne, soit environ 7,1 fois mieux que les rendus bruts du simulateur et 3,6 fois mieux que la randomisation de domaine visuelle classique. Pour les équipes qui produisent des données en simulation, ce travail attaque l'un des points de friction les plus coûteux : l'écart visuel sim-to-real. Les approches existantes passent souvent par des représentations intermédiaires (segmentations, profondeur seule), qui écartent une partie de l'information sémantique ou imposent des modules de perception supplémentaires au moment du déploiement. Ici, la politique consomme directement du RGB et aucun module additionnel n'est requis à l'inférence, ce qui simplifie la chaîne de production. Les auteurs montrent aussi que la performance croît avec le nombre de vidéos générées par trajectoire simulée : sur la tâche d'ouverture, le taux de succès gagne 65 points de pourcentage. La simulation devient ainsi un levier de multiplication des données, une trajectoire alimentant plusieurs rendus visuellement variés. Il faut toutefois rester prudent : les résultats viennent d'un preprint non évalué par les pairs, le nombre de tâches est limité, et le ratio de 7,1x s'appuie sur une base de rendu brut très faible, ce qui gonfle mécaniquement le gain relatif. Le coût de calcul de la génération vidéo à grande échelle n'est pas détaillé dans le résumé. Ce travail s'inscrit dans la recherche sur le sim-to-real visuel, historiquement dominée par la randomisation de domaine, qui varie textures et éclairages en espérant que le monde réel se retrouve dans la distribution couverte, et par les approches de traduction d'image à image de type GAN. L'arrivée de modèles vidéo génératifs de grande taille ouvre une troisième voie, où la cohérence temporelle et le conditionnement géométrique deviennent exploitables pour des trajectoires entières. Le projet dispose d'un site dédié (robo-render.github.io), mais aucune échéance de déploiement industriel ni pilote commercial n'est annoncé. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus dextres, la comparaison avec les approches de données réelles ou de modèles du monde, et la mesure du coût de génération par trajectoire, critère décisif pour les intégrateurs qui évalueraient cette brique.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

H2RBench : un benchmark réel-vers-simulation pour évaluer le transfert humain-robot

À lire aussi

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

RoboBridge : un cadre d'agent incarné auto-évolutif pour le transfert simulation-réel

Vers un pont entre simulation et réalité : transfert simulation-réel systématique pour divers robots à pattes

RoboRender : génération de vidéos orientée robot pour le transfert visuel simulation-réel