RecherchearXiv cs.RO 12 octobre 2026

AutoBio+ : évaluation de la manipulation dextérique face aux phénomènes expérimentaux dynamiques en laboratoires réalistes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AutoBio+ est un benchmark de simulation et un cadre logiciel dédiés à la manipulation dextre en laboratoire de biologie, présenté sur arXiv (2610.13643). Il regroupe 14 tâches réparties sur 4 embodiments de robots, couvrant l'usage fonctionnel d'outils, la manipulation de précision, le grounding visuel conditionné par le langage et l'opération d'instruments. Les auteurs ajoutent des phénomènes expérimentaux dynamiques et contrôlables (flammes, vapeur, bulles) qui modifient l'apparence de la scène au fil des protocoles. Côté rendu, un pipeline hybride combine des objets de premier plan simulés et interactifs avec des arrière-plans en Gaussian splatting reconstruits à partir de 6 laboratoires réels. L'infrastructure repose sur mjlab, avec une machine à états finis parallèle (PFSM) pour générer des démonstrations, du rendu par lots et un rejeu de trajectoires découplé, qui permet une évaluation en boucle fermée indépendante du modèle de politique.

Pour les équipes qui visent l'automatisation de laboratoires, l'intérêt tient à la nature des tâches testées. Les benchmarks de manipulation courants privilégient des objets rigides, des scènes propres et un éclairage stable. Ici, les politiques doivent composer avec des changements d'état visuels qui perturbent la perception, ce qui correspond mieux aux conditions d'un paillasse réelle. Les résultats rapportent des écarts de performance importants selon les tâches, ce qui met en évidence des forces et des faiblesses distinctes des politiques actuelles. Les auteurs affirment aussi, à partir d'expériences sur robot réel, que l'écart sim-to-real est réduit. Cette affirmation reste à nuancer: le résumé ne donne ni protocole, ni nombre d'essais, ni taux de réussite chiffrés, et la validité du benchmark dépendra de la reproductibilité de ces mesures par des équipes tierces. Le cadre parallèle, qui sépare la génération de données de l'évaluation, répond par ailleurs à un goulot courant: produire des démonstrations à grande échelle et comparer des politiques VLA ou d'imitation de façon homogène.

Ce travail s'inscrit dans la poussée vers des « laboratoires autonomes », où la manipulation de pipettes, de flammes, de liquides et d'instruments reste un point dur que les démonstrations des humanoïdes généralistes abordent rarement. Il prolonge la lignée AutoBio, dont il reprend le principe d'un benchmark spécifique au domaine biologique, en y ajoutant la dynamique visuelle et le réalisme des arrière-plans. Le choix de mjlab, une base de simulation parallèle construite sur MuJoCo, s'aligne sur la tendance à entraîner et évaluer sur GPU à grande échelle. Les prochaines étapes probables sont l'évaluation de modèles de fondation de type Pi-0 ou GR00T, et un élargissement du nombre de scènes et de tâches. Les supports complémentaires sont publiés sur la page du projet, ce qui permettra à la communauté de vérifier les résultats.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

LabDex : un référentiel hiérarchique pour la manipulation dextérique en laboratoire

LabDex, un jeu de données et benchmark a grande échelle pour la manipulation dextre en laboratoire de chimie, a été publie sur arXiv le 20 aout 2026 sous la référence 2608.18618v1. L'outil organise les taches de laboratoire selon une taxonomie hiérarchique en trois niveaux: les compétences atomiques, qui couvrent les gestes de manipulation fondamentaux; les taches compositionnelles, qui les combinent; et les protocoles expérimentaux a long horizon, qui enchainent plusieurs étapes dépendantes de l'état du système. Fait notable, LabDex réunit pour la première fois sous un cadre commun des plateformes réelles et simulées, avec des définitions de taches, des démonstrations et des protocoles d'évaluation standardises. Ses concepteurs ont teste plusieurs méthodes d'apprentissage robotique sur ces trois niveaux, en conditions réelles comme en simulation, pour valider la conception des taches et la qualité des démonstrations collectées. Ce travail comble un angle mort des benchmarks existants, qui ne combinaient jusqu'ici ni l'usage de mains dextres, ni des interactions réalistes avec du matériel de laboratoire, ni des procédures multi-étapes, ce qui limitait l'entrainement et l'évaluation systématiques des politiques robotiques dans ce domaine. Pour les laboratoires autonomes de chimie et de découverte de médicaments, cela offre un cadre de référence commun pour comparer des approches sur un protocole partage plutôt que sur des démonstrations isolées et difficiles a reproduire. En reliant compétences élémentaires et performance sur des taches complexes, LabDex permet aussi d'analyser ce qui, dans une politique de manipulation, se généralisé réellement d'une tache a l'autre, une question souvent laissée dans le flou par les démonstrations triées sur le volet des annonces commerciales de bras manipulateurs ou d'humanoïdes. Cette publication s'inscrit dans la dynamique des laboratoires autonomes, ou "self-driving labs", un axe de recherche visant a confier a des robots des protocoles expérimentaux répétitifs ou dangereux, aujourd'hui réalisés manuellement par des chimistes. Jusqu'ici, les benchmarks de manipulation dextre provenaient soit de la robotique domestique ou industrielle générale, soit de simulations pures, sans lien direct avec les contraintes concrètes d'un laboratoire de chimie. LabDex se positionne comme une brique de fondation pour la communauté de recherche en apprentissage robotique, avec l'ambition de servir de référence standardisée pour comparer de futures politiques, y compris des modèles généralistes de type vision-langage-action, sur des taches de complexité croissante.

RecherchePaper

1 source

2arXiv cs.RO

Labimus : simulation et référentiel pour la manipulation dextérique humanoïde en laboratoire de chimie

Des chercheurs ont présenté Labimus, premier benchmark évaluant la manipulation dextre de robots humanoïdes dans un laboratoire de chimie organique, selon un article publié sur arXiv (2606.31037v1). Le système reconstruit plus de 30 éléments fidèles fonctionnellement à partir de postes de travail réels de chimie organique, via une modélisation dite "real-to-sim", couvrant les opérations centrales des expériences de routine en laboratoire. Labimus intègre des instruments articulés, une physique de poudre basée sur des particules, et des mesures en boucle fermée reliant manipulation et lecture d'instruments. Le benchmark définit six opérations atomiques et un protocole en sept étapes pour la pesée de solides, directement dérivé de procédures opératoires standard utilisées en laboratoire réel. Les auteurs y associent un protocole d'évaluation "precision-aware", mesurant conjointement la réussite de la tâche, la précision expérimentale et l'exécution sur des horizons longs. Trois politiques de contrôle représentatives ont été testées sous des dispositions procédurales variables et des perturbations environnementales. Le résultat central est ce que les auteurs nomment un "gap de précision" : des politiques capables de mener une tâche à terme échouent malgré tout à respecter les tolérances quantitatives exigées par les protocoles expérimentaux réels. C'est un signal important pour l'écosystème robotique humanoïde, où la plupart des démonstrations publiques (Figure 03, Optimus, GR00T N2, Helix) se concentrent sur la réussite visible d'une tâche plutôt que sur sa validité métrologique. Labimus démontre que "terminer la tâche" et "produire un résultat scientifiquement exploitable" sont deux critères distincts, ce qui questionne la pertinence des benchmarks actuels pour des applications à forte exigence de précision comme l'automatisation de laboratoire. Le travail s'inscrit dans la dynamique plus large d'automatisation scientifique par IA, où les plateformes robotiques et le raisonnement scientifique assisté par IA ont progressé rapidement, mais où des opérations comme le transfert solide-solide restent difficiles à standardiser en raison de leur caractère dynamique. Contrairement aux benchmarks de manipulation généralistes existants, Labimus cible spécifiquement ce contexte de précision critique, ouvrant la voie à des travaux futurs de développement de robots humanoïdes fiables pour les laboratoires scientifiques, un segment encore largement inexploré par les acteurs commerciaux du secteur.

RecherchePaper

1 source

3arXiv cs.RO

Adaptation aux défauts articulaires en temps réel pour la manipulation dextérique en main

Des chercheurs présentent Residual Fault Adaptation (RFA), un framework d'apprentissage par renforcement destiné à la manipulation dextre en main robotique lorsqu'une panne survient sur un canal de commande d'articulation en cours de fonctionnement. L'architecture repose sur un « teacher » sain figé qui fournit le comportement nominal, couplé à une politique résiduelle récurrente entraînée à déduire des actions correctives à partir de l'historique proprioceptif et de la réponse aux commandes. L'entraînement utilise une randomisation de domaine par injection de fautes (FIDR), qui fait varier le mode de panne, l'articulation touchée, la sévérité et l'instant de déclenchement, avec un échantillonnage adaptatif qui privilégie les modes de panne les moins bien gérés récemment. Une politique Direct FIDR figée sert uniquement de référence distributionnelle pendant l'entraînement sur les échantillons avec panne active, et n'intervient plus au déploiement. Le contrôleur final ne reçoit ni étiquette de panne ni signal de basculement de contrôleur. Les auteurs rapportent des gains de performance en simulation sur une main dextre selon un protocole de pannes mixtes fixe, ainsi qu'un déploiement zero-shot réussi sur robot réel avec pannes injectées par logiciel. Pour l'industrie robotique, ce travail s'attaque à un angle mort réel de la manipulation dextre : la tolérance aux pannes matérielles en conditions d'usage, plutôt que la seule performance en environnement contrôlé. Une articulation qui se bloque ou répond mal en cours de tâche est un scénario courant en usine ou en logistique, et la capacité d'une politique à s'adapter sans détection explicite de panne ni bascule de contrôleur simplifierait l'intégration pour les fabricants de mains robotiques. Cela dit, la portée reste limitée : les résultats réels s'appuient sur des pannes injectées par logiciel, pas des défaillances matérielles spontanées, et l'essentiel de la validation demeure en simulation, ce qui appelle la prudence sur la généralisation à des pannes non vues à l'entraînement. Ce travail s'inscrit dans la lignée des architectures teacher-student utilisées pour le sim-to-real en robotique, où une politique privilégiée entraînée avec des informations complètes guide une politique déployable plus contrainte. Il rejoint aussi les efforts récents sur la robustesse des politiques de manipulation dextre face aux aléas physiques, distincts des approches VLA généralistes comme Pi-0 ou GR00T N2 qui visent la généralisation sémantique plutôt que la tolérance aux pannes matérielles. L'article, publié sur arXiv, ne mentionne pas de partenaire industriel ni de calendrier de transfert vers un produit commercial ; les prochaines étapes attendues porteraient sur des pannes matérielles réelles non simulées et une validation sur d'autres plateformes de mains robotiques.

RecherchePaper

1 source

4arXiv cs.RO

ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement

Le laboratoire à l'origine de ce papier arXiv (identifiant 2603.28545, version 2, soumission de type remplacement) présente ManipArena, un cadre d'évaluation standardisé pour la manipulation robotique en conditions réelles. Le benchmark couvre 20 tâches distinctes, s'appuie sur 10 812 trajectoires expertes et 13,5 millions d'images, pour un total d'environ 188 heures de fonctionnement robotique cumulées sur des scénarios de manipulation de table et de manipulation mobile. Le protocole combine variation de tâches définie par schéma, essais stratifiés en distribution, en décalage visuel et hors distribution sémantique, notation par crédit partiel au niveau des sous-tâches, annotations linguistiques à trois niveaux de granularité, signaux moteurs bas niveau, et environnements simulés jumeaux reconstruits à partir de scènes physiques réelles. Les chercheurs ont utilisé ce dispositif pour évaluer sept configurations de manipulation de table, couvrant à la fois des modèles vision-langage-action (VLA) et des modèles dits world-action. L'enjeu dépasse la simple création d'un nouveau jeu de tests. Les benchmarks en simulateur, bien que reproductibles et faciles à mettre à l'échelle, ne capturent pas fidèlement l'écart entre simulation et réel, ce dernier étant causé par le bruit de perception, la dynamique de contact, la latence et les erreurs de calibration. À l'inverse, les évaluations sur robots physiques existantes sont dispersées entre plateformes, scènes et règles de notation différentes, ce qui rend toute comparaison rigoureuse quasi impossible. Résultat clé de l'étude: les performances mesurées sur robot réel ne dépendent pas seulement de l'architecture du modèle, mais aussi de sa provenance, du régime de fine-tuning, de l'échantillonnage des données d'entraînement et de la granularité des annotations. Pour les intégrateurs et décideurs industriels, ce constat invite à relativiser fortement les annonces de performance basées uniquement sur des démonstrations vidéo ou des scores en simulation. Ce travail s'inscrit dans la course actuelle autour des modèles généralistes de contrôle robotique (VLA et world-action), un domaine où les affirmations de généralisation restent difficiles à vérifier faute de méthodologie commune. En proposant un référentiel reproductible avec attribution fine des échecs, ManipArena vise à devenir un outil diagnostique de référence pour mesurer les véritables limites de capacité de ces modèles, plutôt qu'un simple classement de plus.

RecherchePaper

1 source