RecherchearXiv cs.RO 28 octobre 2026

OpenJaws : un cadre matériel ouvert UMI avec localisation stéréo pour la manipulation généraliste

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

OpenJaws, un cadre entièrement ouvert (matériel et logiciel) pour interfaces de collecte de données portables de type UMI (Universal Manipulation Interface), a été publié sur arXiv (2610.36598). Il associe une pince modulaire imprimée en 3D, dotée d'un adaptateur ISO standardisé pour s'adapter à différentes plateformes robotiques, à une caméra stéréo à bas coût qui reconstruit des trajectoires métriques. Les auteurs introduisent aussi UMI-Loc-Bench-v1, un banc d'essai qui mesure la précision de localisation en conditions réelles pour ce type de dispositifs, et affirment que la stéréo surpasse nettement les approches monoculaires. Ils indiquent enfin que des politiques entraînées sur des données collectées avec OpenJaws ont été déployées sur un robot réel pour plusieurs tâches. Matériel, logiciel et données sont publiés sous licence commerciale permissive. Le résumé ne donne ni chiffres d'erreur, ni modèle de caméra, ni coût de fabrication, ni nombre de démonstrations ou de tâches.

L'enjeu est la qualité des étiquettes d'action. Les UMI permettent de recueillir des démonstrations « dans la nature », sans robot dans la boucle, ce qui rend la donnée de manipulation bien moins chère que la téléopération. Mais la précision de la pose de l'effecteur, déduite de la vision, plafonne la qualité de ces étiquettes. Les systèmes actuels reposent sur l'odométrie visuo-inertielle monoculaire, sujette à l'ambiguïté d'échelle et à la dérive, ou sur des modules de suivi propriétaires et des infrastructures externes qui réintroduisent coût et complexité de mise en place. Si le gain de la stéréo se confirme sur des données indépendantes, cela réduit un goulot d'étranglement concret pour entraîner des politiques généralistes, de type VLA, à partir de données humaines. Un benchmark public de localisation comble aussi un manque : jusqu'ici, les comparaisons entre dispositifs de collecte restaient peu standardisées. Il faut toutefois rester prudent. Une démonstration sur un robot, sans taux de réussite publié dans le résumé, relève de la preuve de faisabilité, pas d'un résultat d'échelle.

Le travail s'inscrit dans la lignée de l'UMI original, issu de la recherche académique américaine, qui a lancé la collecte portable avec caméra à poignet et pince souple, et de ses nombreuses variantes. Cette ouverture complète, y compris la licence commerciale, vise les laboratoires et les intégrateurs qui veulent constituer leurs propres jeux de données sans dépendre d'un fournisseur de suivi fermé. Elle se place face aux approches par téléopération, aux gants et exosquelettes de capture, et aux collectes propriétaires menées par les grands acteurs de l'humanoïde. Les suites dépendront de l'adoption par la communauté, de la reproduction des résultats du benchmark et de la publication de chiffres détaillés de précision et de succès des politiques. Le projet est consultable sur open-jaws.github.io.

Dans nos dossiers

Exosquelettes arXiv cs.RO

À lire aussi

1arXiv cs.RO

Généraliser les compétences de manipulation avec un agent de codage local

Des chercheurs ont testé un système où un modèle de langage-vision open-weight, exécuté localement, pilote un bras robotique UR3e en écrivant et exécutant lui-même son propre code, sans programmation ni entraînement spécifique pour chaque nouvelle tâche. Le modèle utilisé, Qwen3.8-27B, agit comme un agent de codage placé au-dessus d'un service qui fournit la cinématique, les limites de sécurité et des techniques classiques de vision par ordinateur. Les auteurs ont évalué le système sur neuf tâches construites à partir de jouets pour enfants, conçues pour tester la généralisation selon la couleur, la taille, la forme et les variations de la tâche elle-même. Sur 45 essais au total (cinq par tâche), le robot a réussi à généraliser dans 30 cas, avec des temps d'exécution allant de 3,4 à 67,5 minutes selon la complexité de la tâche. Lorsqu'on demandait à l'agent de refaire une tâche déjà réussie, la durée chutait de 50%, signe d'une forme d'auto-amélioration au fil des répétitions. L'étude, publiée en préprint sur arXiv, reste une démonstration de laboratoire sur un bras fixe, sans déploiement industriel ni produit commercialisé. L'intérêt de ce travail est de tester une alternative aux approches dominantes de la robotique pilotée par le langage, qui reposent soit sur une interface d'action figée, soit sur une politique entraînée de type VLA (vision-language-action), à l'image de Pi-0, GR00T N2 ou Helix. Ces méthodes généralisent mal à de nouvelles tâches sans collecte de données supplémentaire ni réentraînement, ce qui freine leur adoption chez les intégrateurs. En laissant un modèle local générer et exécuter du code plutôt que produire directement des actions, les auteurs cherchent à contourner ce goulot d'étranglement : un taux de réussite de deux tiers et une division par deux du temps d'exécution après une première réussite suggèrent qu'un agent de codage local peut s'adapter à la volée à des variations d'objets sans nouvelle donnée d'entraînement. Le résultat reste à nuancer : des temps de cycle dépassant l'heure pour les tâches complexes restent très éloignés des standards industriels, et neuf tâches construites à partir de jouets ne reflètent pas la diversité d'un environnement de production réel. Ce travail s'inscrit dans la dynamique des modèles de langage open-weight capables d'écrire, exécuter et déboguer du code de façon autonome sur une seule station de travail, capacité que les auteurs transposent ici du logiciel pur à la commande physique d'un robot. Il se positionne en contrepoint des grands modèles VLA propriétaires ou semi-ouverts développés par des laboratoires de robotique manipulatrice et humanoïde comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2), qui misent sur des politiques massivement entraînées plutôt que sur du code généré à la volée. Les auteurs présentent leur approche comme préliminaire, reconnaissent des limites qu'ils ne détaillent pas dans le résumé, et annoncent vouloir approfondir le mécanisme d'auto-amélioration observé pour ouvrir la voie à un déploiement réel de ce type d'agent local en robotique. Aucun calendrier ni partenariat industriel n'est mentionné à ce stade.

UELe bras robotique testé est un UR3e du fabricant danois Universal Robots, ce qui concerne indirectement l'écosystème robotique industriel européen, mais aucune entreprise ou institution européenne n'est impliquée dans l'étude elle-même.

RecherchePaper

1 source

2arXiv cs.RO

GSAM : un cadre robotique sûr et généralisable pour la manipulation d'objets articulés

Des chercheurs ont publié sur arXiv (référence 2605.30740) GSAM, un framework conçu pour la manipulation d'objets articulés (tiroirs, portes, robinets) par des robots de service. Le système combine quatre modules : un percepteur visuel qui extrait les paramètres cinématiques (axe de rotation, amplitude de mouvement), un raffineur basé sur un VLM fine-tuné utilisant le raisonnement par chaîne-de-pensée (CoT) pour corriger les estimations brutes, un générateur de contraintes d'interaction qui encode la géométrie de l'objet et l'évitement d'obstacles, et un planificateur cinématique qui vérifie l'atteignabilité avant exécution. Sur 50 tâches de type charnière réparties en 5 catégories d'objets et 50 configurations initiales aléatoires de l'effecteur, GSAM améliore le taux de succès de 36,0 % par rapport à la meilleure baseline existante, avec une réduction de l'écart-type de 3,1 % indiquant une meilleure consistance comportementale. Ce résultat s'attaque directement au fossé démo-réalité sur une sous-tâche souvent ignorée : les interactions avec des objets mécaniquement contraints impliquent des trajectoires curvilignes et une compréhension de la géométrie interne que ni les politiques end-to-end entraînées en simulation ni les planificateurs purement visuels ne gèrent correctement. L'usage du raisonnement CoT pour corriger des estimations cinématiques erronées plutôt que pour générer un plan de haut niveau constitue un usage pragmatique et inhabituel des VLM en robotique. Pour les intégrateurs sur des robots de service industriels ou hospitaliers, la réduction des collisions destructrices a une valeur opérationnelle directe : forcer mécaniquement un joint en production est un incident matériel, pas une métrique abstraite. Le problème de manipulation articulée est étudié depuis plusieurs années dans des équipes comme Stanford (projet Where2Act, 2021), ETH Zurich et CMU. Les approches concurrentes comprennent les frameworks VLA tels que pi0 (Physical Intelligence) ou OpenVLA, ainsi que les méthodes de perception articulée comme PARIS ou CatGrasp. GSAM se distingue en combinant explicitement un LLM pour la génération de contraintes et un VLM pour la perception raffinée, plutôt qu'une politique implicite entraînée bout-en-bout. Le travail reste un preprint arXiv non soumis à une conférence majeure (ICRA, IROS, CoRL) : les gains annoncés sont encourageants mais nécessitent une validation sur robot physique en conditions non contrôlées.

RecherchePaper

1 source

3arXiv cs.RO

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper

1 source

4arXiv cs.RO

Un cadre conversationnel pour la manipulation collaborative humain-robot avec des modèles d'IA générative distribués

Des chercheurs de l'Université de Tampere (Finlande) publient sur arXiv (2606.06061) un framework distribué permettant à un opérateur humain de piloter un robot manipulateur par commandes vocales ou textuelles en langage naturel. L'architecture repose sur ROS 2, avec quatre nœuds indépendants : compréhension linguistique (LLM local), ancrage visuel (VLM), orchestration, et exécution moteur. À partir d'une instruction libre, le système génère des requêtes structurées pour des tâches de saisie, dépose et transfert d'objet. Le VLM retourne des cibles en espace-image, ensuite converties en objectifs métriques dans le référentiel robot grâce à la profondeur et à la calibration. Les expériences sont menées sur un bras Franka FR3 ; les auteurs mesurent la fiabilité bout-en-bout et la latence en faisant varier le degré d'ambiguïté de la scène sur la table de travail, et comparent plusieurs configurations LLM/VLM dans le même pipeline. Un tableau de bord web affiche les intentions intermédiaires et les superpositions d'ancrage visuel (pixel, profondeur, référentiel robot), et exige une confirmation explicite de l'opérateur avant tout mouvement. L'intérêt principal de cette approche pour un intégrateur ou un COO industriel tient à trois points. Premièrement, le choix de modèles locaux, pas de dépendance cloud, répond directement aux contraintes de latence et de confidentialité en environnement de production. Deuxièmement, la modularité ROS 2 permet de substituer un modèle par un autre sans refondre la stack, ce qui facilite le benchmarking et la mise à jour. Troisièmement, la boucle de confirmation opérateur est un signal clair que les auteurs ne cherchent pas à masquer le gap demo-versus-réalité : le système ne prétend pas être autonome, il vise une collaboration vérifiable. À noter que les métriques de fiabilité ne sont pas chiffrées dans l'abstract, les résultats quantitatifs précis restent à vérifier dans le corps du papier. Ce travail s'inscrit dans un courant de recherche actif autour des VLA (vision-language-action) pour la manipulation, où Physical Intelligence (Pi-0), Google DeepMind (RT-2, π0) et Stanford (Mobile ALOHA) occupent le devant de la scène avec des approches end-to-end à grande échelle. Le choix de Tampere d'utiliser des modèles légers et locaux contraste délibérément avec ces acteurs : c'est un positionnement orienté déploiement industriel frugal plutôt que performance brute. Le code est disponible en open source sur GitHub (cogrob-tuni/franka-llm), ce qui facilite la reproductibilité. La prochaine étape logique serait d'étendre le framework à des scènes dynamiques ou multi-robots, et de publier des benchmarks comparatifs sur des tâches standardisées comme celles de RoboAgent ou BridgeData.

UETravaux issus de l'Université de Tampere (Finlande, UE) proposant une architecture LLM/VLM entièrement locale et open source pour la manipulation collaborative, directement alignée sur les contraintes RGPD et de souveraineté industrielle du marché européen.

RechercheOpinion

1 source