Aller au contenu principal
RecherchearXiv cs.RO 

ProtoAct : transformer les protocoles de laboratoire humide en actions robotiques incarnées

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Les protocoles de laboratoire biologique sont rédigés pour des chercheurs formés et laissent souvent implicites les opérations de routine, les conditions dépendantes de l'état du système et les paramètres contextuels, ce qui les rend difficiles à traduire en actions exécutables par un robot. Des chercheurs présentent ProtoAct, un framework structuré qui convertit des procédures biologiques en texte libre en séquences d'actions adaptées à l'exécution robotique. Le système combine trois modules : ProtoRAG, qui récupère des exemples annotés manuellement pour un parsing sensible au contexte, RefineChecker, qui détecte et corrige les étapes manquantes ou incohérentes, et ActSchema, qui transforme la procédure raffinée en séquences JSON contraintes de fonctions exécutables. Pour évaluer l'approche, les auteurs ont constitué BioP2E, un jeu de données comprenant 22 protocoles de culture cellulaire annotés manuellement, décomposés en 258 conditions de surveillance, 910 sous-tâches exécutables et 962 appels d'action ancrés dans le monde physique. Les tests couvrent sept grands modèles de langage différents comme backbone.

Cette publication cible un problème concret pour l'automatisation en biotechnologie : la majorité des protocoles de laboratoire existants ne sont tout simplement pas lisibles par une machine sans réécriture manuelle coûteuse, ce qui freine le déploiement de robots dans les laboratoires humides (wet labs). En démontrant qu'un pipeline de parsing structuré peut produire des sous-tâches exploitables pour entraîner des modèles vision-langage-action (VLA) et obtenir une exécution réussie à la fois en simulation et sur robot réel, ProtoAct apporte une preuve de concept que l'automatisation de laboratoire peut s'appuyer sur les protocoles existants plutôt que sur des réécritures ad hoc, un enjeu pertinent pour la recherche pharmaceutique et l'automatisation scientifique.

Les auteurs situent leur contribution dans la lignée des travaux combinant génération augmentée par récupération (RAG) et modèles de langage pour le raisonnement procédural, appliqués ici à un domaine peu couvert jusqu'ici : la biologie expérimentale. Les ablations menées montrent que la récupération contextuelle, la vérification a posteriori et les contraintes de schéma apportent chacune une contribution complémentaire, sans qu'aucun de ces éléments seul ne suffise. Le papier ouvre la voie à une intégration plus large avec des systèmes de collecte de démonstrations pour l'entraînement de modèles VLA en laboratoire.

Dans nos dossiers

À lire aussi

Robot2Air : transfert de squelette inter-incarnations pour la formation en relais 3D
1arXiv cs.RO 

Robot2Air : transfert de squelette inter-incarnations pour la formation en relais 3D

Des chercheurs ont publié sur arXiv (papier arXiv:2607.27627v1) un système baptisé Arm2Air, qui transfère des compétences d'évitement d'obstacles apprises sur des bras robotiques vers le placement de drones relais formant un réseau de communication d'urgence. Les mouvements d'un bras robotique, générés par un modèle pré-entraîné nommé Neural MP, sont convertis en trajectoires ordonnées servant à pré-entraîner une plateforme de transfert basée sur un transformeur, ensuite adaptée au domaine des drones via une méthode d'adaptation à faible rang (LoRA) avec peu de données cibles. La trajectoire transférée initialise une chaîne de relais optimisée pour la capacité réseau, le délai et le coût de déplacement. Sur neuf cartes urbaines 3D denses en obstacles, Arm2Air réduit de 64,9% le temps de calcul médian par rapport au meilleur planificateur classique. Sur un second jeu de 30 cartes, dans le sous-groupe le plus obstrué, la capacité du goulot d'étranglement augmente de 32,6%, sa variance chute de 74,7%, la distance de saut maximale baisse de 13,2% et le déplacement des relais de 16,9%, comparé à l'algorithme IMPC-MD. Avec seulement trois cartes d'entraînement dans le domaine cible, l'erreur de position des relais chute de 53,6% par rapport à un entraînement from scratch, en ne mettant à jour que 134 000 paramètres contre 1,38 million pour les méthodes classiques. Ce travail répond à un problème concret : après un sinistre ou une panne réseau, restaurer une connectivité en zone urbaine dense exige de positionner des drones relais en tenant compte simultanément de la ligne de vue, de la portée radio, de l'altitude et des obstacles tridimensionnels, un calcul combinatoire coûteux en temps réel. En montrant qu'un savoir-faire d'évitement d'obstacles appris sur un bras manipulateur, domaine sans contrainte radio ni dynamique de vol, se transfère efficacement à la planification de trajectoires de drones, Arm2Air illustre un principe plus large : des priors structurels ordonnés peuvent traverser des tâches robotiques hétérogènes sans réapprentissage coûteux. Pour les opérateurs de flottes de drones, l'intérêt est double : une replanification plus rapide sur le terrain, et une adaptation à faible coût en données pour chaque nouveau site. Arm2Air s'inscrit dans une tendance de recherche consistant à réutiliser des modèles pré-entraînés sur une morphologie, souvent des bras manipulateurs, pour accélérer l'apprentissage sur une autre, comme les véhicules aériens, à mesure que des modèles de fondation robotiques tels que Neural MP deviennent des briques réutilisables. Le papier reste un travail académique en preprint, sans acteur industriel identifié ni déploiement réel annoncé, comparé uniquement à des planificateurs conventionnels et à IMPC-MD. La suite logique consisterait à valider l'approche sur des drones physiques plutôt que sur cartes simulées, et à tester le transfert de squelette sur d'autres couples de robots hétérogènes.

RecherchePaper
1 source
Transformer des modèles vidéo en politiques robotiques généralistes
2arXiv cs.RO 

Transformer des modèles vidéo en politiques robotiques généralistes

Des chercheurs du MIT CSAIL ont publié fin mai 2026 un preprint (arXiv:2605.27817) présentant VERA, pour Video-to-Embodied Robot Action Model, une architecture qui transforme des modèles vidéo génératifs en politiques robotiques généralisables. L'idée centrale est de découpler deux composants qui, dans les approches récentes, sont souvent entraînés conjointement : un planificateur vidéo, qui prédit des séquences d'images représentant la complétion d'une tâche, et un modèle de dynamique inverse (IDM, Inverse Dynamics Model) spécifique à l'effecteur, qui traduit ces images en commandes motrices concrètes. L'IDM est conçu à partir du Jacobien cinématique du robot, ce qui le rend à la fois efficient en données et extensible aux espaces d'action de haute dimension. L'équipe démontre VERA sur deux configurations : manipulation zero-shot d'un bras Panda 7-DOF et réorientation de cube en dextérité avec une main Allegro à 16 degrés de liberté, sur des benchmarks simulés et réels. Ce découplage constitue une alternative architecturale directe aux fondations robotiques qui co-entraînent prédiction d'observations et prédiction d'actions sur des données étiquetées (action-labeled), comme le proposent Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'avantage opérationnel est concret : le planificateur vidéo reste agnostique à l'effecteur et peut être partagé entre plusieurs robots en changeant uniquement l'IDM associé, sans réentraîner le backbone vidéo. L'IDM peut lui-même être entraîné sur des données de self-play facilement disponibles, ce qui réduit la dépendance aux démonstrations humaines coûteuses. Les résultats zero-shot sur des tâches de manipulation réelle renforcent la thèse que le gap sim-to-real peut être atténué par une modélisation géométrique rigoureuse de l'effecteur. La course aux VLA (Vision-Language-Action models) et aux politiques cross-embodiment est aujourd'hui dominée par des laboratoires bien capitalisés : Physical Intelligence avec Pi-0 et Pi-0.5, NVIDIA avec GR00T N2, Figure AI avec Helix, et 1X Technologies. VERA positionne le MIT CSAIL dans ce paysage avec une approche plus modulaire que les architectures monolithiques en vogue. Il s'agit pour l'instant d'un preprint de recherche, sans déploiement industriel annoncé ni partenariat hardware mentionné. Les résultats sont disponibles sur vera.csail.mit.edu, et la prochaine étape naturelle serait une évaluation sur des effecteurs plus variés ou des environnements non structurés pour valider la généralisation à plus grande échelle.

RechercheOpinion
1 source
Quand la recherche devient mémoire : transformer les essais de conception robotique en compétences transférables
3arXiv cs.RO 

Quand la recherche devient mémoire : transformer les essais de conception robotique en compétences transférables

Une équipe de chercheurs propose Auto-Robotist (arXiv:2605.25832, mai 2026), un agent LLM auto-évolutif pour la conception morphologique de robots. Contrairement aux boucles évolutionnaires classiques où les résultats du simulateur guident la prochaine population sans être conservés, Auto-Robotist distille chaque trace de recherche en une bibliothèque de compétences en langage naturel. Chaque entrée stocke un archétype structurel, des règles positives et négatives étayées par les évaluations, et les designs associés. Lors de la recherche, l'agent récupère ces compétences pour guider les éditions LLM des meilleures morphologies tout en maintenant un chemin de mutation par algorithme génétique (GA) ; après évaluation, la bibliothèque est mise à jour via trois opérations : Ajout, Diagnostic, Fusion. Sur sept tâches EvoGym couvrant locomotion, franchissement d'obstacles et interaction avec des objets, le système améliore la recherche à froid en espace 5x5 et transfère les compétences vers des espaces 10x10, surpassant le GA sur l'ensemble des tâches. L'enjeu central est économique : les évaluations en simulation coûtent cher en calcul, et les GA classiques les oublient à chaque génération. Auto-Robotist les convertit en principes réutilisables et auditables, ce qui modifie la logique des pipelines de conception robotique. La lisibilité de la bibliothèque (des règles en langage naturel plutôt que des poids implicites dans un réseau) permet à un ingénieur d'inspecter et de corriger les décisions de conception, un critère de plus en plus central en contexte industriel. Le transfert inter-espaces sans réentraînement complet est prometteur pour les workflows de conception accélérée, même si les résultats restent pour l'instant limités à EvoGym, un simulateur 2D. L'utilisation des LLM dans les boucles évolutionnaires est un champ actif depuis 2023-2024, avec EUREKA (NVIDIA) pour la génération de fonctions de récompense ou EvoPrompting pour l'architecture neuronale. Auto-Robotist se distingue en ciblant directement la morphologie physique et en rendant la mémoire de recherche explicite et transférable, là où les autres approches restent implicites ou spécialisées. EvoGym est un simulateur 2D open-source standardisé pour la co-évolution morphologie-contrôle, ce qui garantit la reproductibilité des comparaisons. Le code sera publié à l'acceptation de l'article ; les prochaines étapes naturelles seraient une validation sur des simulateurs physiques plus réalistes comme MuJoCo ou IsaacSim, et une intégration dans des pipelines de conception hardware assistée par IA.

RecherchePaper
1 source
Puis-je vous aider ? La proactivité dans la collaboration humain-robot en groupe
4arXiv cs.RO 

Puis-je vous aider ? La proactivité dans la collaboration humain-robot en groupe

Des chercheurs ont publié sur arXiv (référence 2606.28469) une étude expérimentale portant sur le rôle de l'initiative robotique dans la collaboration humain-robot à plusieurs participants. Le protocole place des binômes humains en situation de résolution collaborative de puzzles, à l'intérieur d'un escape room instrumenté, en présence d'un robot humanoïde opérant selon deux modalités distinctes : un modèle réactif, où le robot ne répond que lorsqu'il est directement interpellé, et un modèle proactif, où il écoute en continu, contribue de façon autonome et relance l'interaction de sa propre initiative. Les résultats sont mesurés selon trois axes : performance de résolution de puzzles, fréquence des interactions, et évaluations subjectives via les échelles standardisées Godspeed et RoSAS. Le modèle proactif génère mécaniquement plus d'échanges, mais c'est le modèle réactif qui affiche le taux de complétion le plus élevé : 92,86 % contre 71,42 %. Ce résultat contre-intuitif est central pour quiconque déploie des robots collaboratifs dans un contexte industriel ou de service. L'intuition commune voudrait qu'un robot qui anticipe et prend des initiatives améliore la performance collective ; l'étude montre que ce n'est pas systématiquement le cas, et que la proactivité peut fragmenter l'attention, perturber la prise de tour de parole et dégrader la coordination du groupe. Plus significatif encore : l'effet de la modalité d'interaction dépend fortement du profil de l'utilisateur. Les participants ayant une expérience préalable des LLM résolvent les premiers puzzles plus vite en mode réactif ; ceux ayant déjà travaillé avec des robots, ou se déclarant introvertis, modifient leur évaluation des deux modèles de façon distincte. Pour un intégrateur ou un COO, cela signifie qu'il n'existe pas de configuration universellement optimale : le bon niveau d'initiative robotique dépend du profil des opérateurs et de la structure cognitive de la tâche. L'étude s'inscrit dans un corpus croissant de recherches en interaction humain-robot multi-parties (HRI), un champ qui prend de l'importance à mesure que les robots collaboratifs quittent les cellules isolées pour des environnements partagés et non structurés. L'escape room comme banc d'essai contrôlé pour l'HRI est une approche émergente qui permet de tester des dynamiques de groupe réalistes sans infrastructure industrielle lourde. Sur le plan concurrentiel, les questions d'initiative robotique concernent directement les plateformes de cobots sociaux (Boston Dynamics Spot, Furhat Robotics, mais aussi des acteurs européens comme Enchanted Tools avec Miroka) et les systèmes de guidage adaptatif dans la logistique. L'étude ne donne pas de suite opérationnelle immédiate, mais ses données suggèrent qu'une personalisation du niveau de proactivité selon le profil utilisateur, plutôt qu'un réglage global unique, constitue la piste de conception la plus prometteuse.

UELes résultats sur la proactivité robotique concernent directement des acteurs européens comme Enchanted Tools (Miroka) et les intégrateurs de cobots déployant des robots en environnements partagés non structurés.

RecherchePaper
1 source