Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Sensorium : une bibliothèque open source de collecte et de curation de données multimodales pour l'IA chirurgicale incarnée
RecherchearXiv cs.RO 

Sensorium : une bibliothèque open source de collecte et de curation de données multimodales pour l'IA chirurgicale incarnée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv Sensorium, une bibliothèque Python open source qui sert à enregistrer, traiter, annoter et organiser des données chirurgicales multimodales. Elle repose sur les middlewares ROS et ROS2 pour capter des flux configurables issus de robots et de capteurs. Elle regroupe quatre fonctions: acquisition pilotée par l'opérateur, traitement paramétrable, annotation sémantique et génération de jeux de données par épisodes, un format courant en apprentissage par imitation. Les auteurs l'ont évaluée sur 1516 enregistrements: fantômes (modèles physiques), tissus ex vivo et expériences in vivo sur porc. Ces essais couvrent plusieurs tâches chirurgicales et plusieurs configurations de capteurs. Ils ajoutent des retours d'usage qualifiés de préliminaires.

L'apport est une infrastructure, pas un modèle. Les auteurs identifient le goulot d'étranglement de l'IA chirurgicale incarnée: collecter des données coûte cher, se répète mal et dépend fortement du matériel. Un outil qui standardise la chaîne d'acquisition et de curation peut rendre les jeux de données plus comparables d'un laboratoire à l'autre. Le résumé ne donne cependant ni taux de réussite de politiques entraînées sur ces données, ni coûts, ni taille de l'échantillon d'utilisateurs. Les 1516 enregistrements montrent que l'outil fonctionne sur plusieurs montages, mais pas que les jeux produits améliorent l'apprentissage.

Le secteur a déjà fait des données le facteur limitant des modèles vision-langage-action (VLA) généralistes. La chirurgie cumule des contraintes supplémentaires: accès aux patients, essais in vivo, plateformes hétérogènes. Le résumé ne cite ni institution, ni robots utilisés, ni dépôt de code, ce qui empêche de situer l'outil face à d'autres boîtes à outils de collecte. Les suites à surveiller sont la publication de jeux de données issus de Sensorium, une adoption par d'autres équipes et des politiques entraînées puis évaluées sur ces données.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

DEX-PHD : un dispositif portable à main dextérique pour la collecte de données multimodales
1arXiv cs.RO 

DEX-PHD : un dispositif portable à main dextérique pour la collecte de données multimodales

DEX-PHD est un dispositif portable tenu en main, présenté dans un preprint arXiv (v1, octobre 2026), qui vise à rapprocher deux familles de méthodes de collecte de données de manipulation. D'un côté, la téléopération par chaîne cinématique donne un accès précis à l'état du robot, mais reste lourde et peu mobile. De l'autre, les approches par vision sont pratiques et transportables, mais fournissent peu d'information sur l'état réel du robot. Le dispositif embarque une main robotique dextre, un contrôle continu doigt par doigt et une journalisation multimodale: proprioception, données de contact au bout des doigts et vidéo d'une caméra de poignet. L'opérateur pilote directement la main robotique par un mappage au niveau des articulations. La conception est sans fil (sans attache), ce qui permet de collecter des démonstrations dans des environnements variés. Les auteurs l'ont testé sur des tâches riches en contacts qui exigent une coordination multi-doigts. Ils ont ensuite rejoué les démonstrations en boucle ouverte sur un robot humanoïde physique. Le résumé ne donne ni nombre de degrés de liberté, ni taille de jeu de données, ni taux de réussite, ni nom de la main ou du robot utilisés. Pour les équipes qui entraînent des politiques de manipulation dextre (VLA ou imitation), le goulot d'étranglement est la donnée. Les gants et la vision seule laissent un écart d'embodiment, car la main humaine n'est pas la main robot. La téléopération classique l'évite mais impose un robot complet sur site. Un outil où l'opérateur manipule avec la vraie main robotique, en enregistrant les contacts, vise à produire des démonstrations directement exploitables par le robot cible. Les résultats restent toutefois modestes: le rejeu en boucle ouverte montre que les motifs temporels des doigts et les contacts essentiels sont préservés, mais cela ne prouve ni la robustesse, ni la généralisation, ni l'apprentissage d'une politique à partir de ces données. Aucune comparaison chiffrée avec l'état de l'art n'est fournie dans le résumé. DEX-PHD s'inscrit dans la lignée des dispositifs handheld sans robot, comme l'UMI de Stanford pour les pinces, et des systèmes de capture par gant ou exosquelette pour mains dextres. Il prolonge cette logique vers des mains à plusieurs doigts équipées de capteurs tactiles. Sur le plan industriel, la même question traverse les acteurs de l'humanoïde (Figure, Tesla, Sanctuary, ou en Europe Wandercraft et Enchanted Tools): comment collecter à grande échelle des données dextres de qualité à faible coût. La suite logique serait un entraînement de politiques en boucle fermée avec ces données, une publication du matériel ou du code, et une évaluation sur des tâches plus longues. À ce stade, il s'agit d'un résultat de recherche et non d'un produit disponible.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
MEVION : système de collecte de données open source à faible coût pour la manipulation à deux bras rapide et puissante
2arXiv cs.RO 

MEVION : système de collecte de données open source à faible coût pour la manipulation à deux bras rapide et puissante

Une équipe de recherche a dévoile MEVION, un système de collecte de données pour bras robotique bimanual pense pour dépasser les limites du célèbre ALOHA, standard de facto pour la téléopération a bas cout dans la recherche en apprentissage par imitation. Presente dans un article publie sur arXiv (2607.17970), MEVION embarque quatre bras a 6 degrés de liberté (DoF) équipes de pinces parallèles. Chaque bras pèse 7,0 kg et développe un couple maximal de 60 Nm, largement au-dessus de ce que permet ALOHA, pour un cout total de construction d'environ 14 000 dollars. Toutes les pièces sont sourcées via des sites d'e-commerce standard, et la structure principale, de grande taille, est assemblée par soudure de tôle avec un nombre réduit de composants, ce qui simplifie le montage. Point technique clé: l'articulation du coude reprend un mécanisme a liaison fermée, une architecture habituellement réservée aux robots quadrupèdes, qui réduit la masse distale du bras et permet ainsi de générer plus de force et de vitesse au niveau de l'effecteur terminal. L'ensemble du matériel et du logiciel est publie en open source, disponible sur GitHub (haraduka/mevion). L'enjeu dépasse la seule question matérielle. ALOHA a permis de démocratiser la collecte de démonstrations pour l'apprentissage par imitation, mais sa faible puissance le cantonne a des taches légères et lentes, incompatibles avec la manipulation d'objets lourds ou les mouvements rapides. En repoussant ces limites tout en gardant un cout de construction comparable, MEVION ouvre la collecte de données a des taches jusqu'ici hors de portée des plateformes bas cout: manipulation d'objets pesants, gestes dynamiques, cycles rapides. Pour les laboratoires qui entrainent des modèles de type VLA ou des politiques d'imitation, cela signifie un accès a des jeux de données plus diversifies sans recourir a des bras industriels couteux. C'est un signal notable dans la course mondiale aux modèles fondamentaux pour la robotique, ou la qualité et la variété des démonstrations collectées conditionnent directement les capacités des modèles entraines derrière. ALOHA, popularise notamment via les travaux sur l'apprentissage par imitation fine (ACT), s'est impose depuis plusieurs années comme la référence open source pour la téléopération bimanuale a bas cout, repris par de nombreux laboratoires et startups robotiques a travers le monde. MEVION s'inscrit dans sa continuité directe en visant le même public, chercheurs et petites équipes a budget limite, mais en s'attaquant frontalement au principal reproche adresse a ALOHA: son incapacité a générer des données pour des taches nécessitant force et vitesse. En publiant intégralement le matériel et le code, les auteurs misent sur une adoption communautaire comparable a celle d'ALOHA. Reste a voir si MEVION s'imposera comme un standard alternatif ou complémentaire, alors que la demande en données de démonstration de qualité s'intensifie avec la multiplication des modèles fondamentaux pour la manipulation robotique.

RecherchePaper
1 source
3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision
3arXiv cs.RO 

3D Cal : une bibliothèque logicielle open source pour la reconstruction de profondeur sur capteurs tactiles basés sur la vision

Des chercheurs publient 3D Cal, une bibliothèque open source qui transforme une imprimante 3D bas coût en dispositif de sondage automatisé pour calibrer les capteurs tactiles à base de vision. Le système génère de grands volumes de données d'entraînement labellisées puis entraîne des réseaux convolutifs personnalisés pour produire des reconstructions de profondeur à partir des images captées par ces capteurs. Les auteurs testent leur méthode sur deux capteurs commerciaux largement utilisés en robotique, DIGIT et GelSight Mini, et établissent des lignes directrices empiriques sur le volume de données nécessaire pour une calibration de qualité. Les résultats obtenus atteignent une erreur moyenne de reconstruction de 156 micromètres pour DIGIT et 205 micromètres pour GelSight Mini sur des objets non vus pendant l'entraînement, des performances jugées comparables à l'état de l'art. Pour l'industrie de la manipulation robotique, cette avancée s'attaque à un goulot d'étranglement rarement mis en avant mais bien réel: la calibration des capteurs tactiles reste aujourd'hui artisanale, chronophage et peu reproductible d'un laboratoire à l'autre, ce qui freine leur adoption en dehors de la recherche académique. En automatisant ce processus avec un matériel accessible, 3D Cal réduit la barrière à l'entrée pour les équipes qui veulent intégrer du retour tactile fin dans leurs systèmes de préhension, un enjeu central pour la manipulation dextre, l'inspection de pièces fragiles ou les tâches d'assemblage fin où la seule vision globale ne suffit pas. C'est aussi un signal que la standardisation des outils de calibration progresse, condition nécessaire avant tout déploiement tactile à l'échelle industrielle. Le sondage tactile par vision, popularisé par des capteurs comme GelSight puis DIGIT (ce dernier co-développé par Meta et poussé comme standard bas coût et open source), souffre depuis ses débuts d'un manque d'outils de calibration partagés et reproductibles. 3D Cal s'inscrit dans cette lignée de travaux visant à démocratiser le tactile en robotique, aux côtés d'efforts comme les capteurs GelSight Mini ou les librairies de traitement associées. Publié en open source, l'outil devrait accélérer les travaux de recherche sur la perception tactile et faciliter son intégration dans des plateformes robotiques réelles, sans toutefois constituer encore un produit prêt à l'emploi pour l'industrie.

RecherchePaper
1 source
Open-AoE : un jeu de données ouvert de manipulation égocentrique et une chaîne d'outils pour l'apprentissage incarné
4arXiv cs.RO 

Open-AoE : un jeu de données ouvert de manipulation égocentrique et une chaîne d'outils pour l'apprentissage incarné

Une équipe de recherche publie Open-AoE, un jeu de données ouvert de vidéos égocentriques de manipulation humaine destiné à l'apprentissage de modèles robotiques, accompagné d'une chaîne d'outils complète allant de la capture smartphone jusqu'à l'entraînement de modèles. Décrit dans un article arXiv (2607.14183v1) publié le 17 juillet 2026, ce premier jalon rassemble environ 2 000 heures de vidéos de manipulation tournées en environnement naturel par plus de 500 contributeurs utilisant plus de 400 smartphones différents. Chaque séquence est annotée avec des descriptions textuelles, des poses de main reconstruites via le modèle MANO, des trajectoires de caméra et un découpage temporel en actions atomiques localisées. Le pipeline de traitement transforme les enregistrements bruts en échantillons structurés à travers quatre étapes : segmentation temporelle des actions, annotation sémantique, reconstruction des mains et reconstruction de trajectoire caméra. Une chaîne d'outils distincte permet ensuite la visualisation, le retargeting cross-embodiment (transfert des mouvements humains vers différentes morphologies de robots), la conversion de données spécifique à chaque modèle, ainsi que des recettes d'entraînement pour les politiques VLA, les modèles WAM et les World Models. L'enjeu principal est celui du goulot d'étranglement de données pour l'apprentissage par imitation en robotique : les démonstrations téléopérées sur robot réel restent coûteuses et lentes à collecter à grande échelle, tandis que les vidéos humaines égocentriques offrent une supervision quasi gratuite mais historiquement peu structurée pour un usage robotique direct. En combinant capture low-cost via smartphone, annotations de niveau manipulation (poses de main, actions atomiques) et outils de retargeting prêts à l'emploi, Open-AoE cherche à réduire la friction entre collecte de données humaines et entraînement de politiques robotiques, un axe central pour le transfert humain-vers-robot (human-to-robot transfer) que plusieurs laboratoires explorent en parallèle des approches de téléopération. Ce type d'initiative s'inscrit dans la lignée de jeux de données égocentriques antérieurs comme Ego4D ou Epic-Kitchens, mais se distingue par son orientation explicitement robotique, avec des annotations pensées pour l'entraînement de modèles VLA plutôt que pour la seule reconnaissance d'action. Elle complète des efforts de mutualisation de données robot comme Open X-Embodiment, en s'attaquant cette fois au versant humain de la chaîne de supervision. Les auteurs présentent cette version comme une première publication ouverte à la communauté, invitant à la contribution continue de nouvelles captures, ce qui laisse présager des extensions futures en volume et en diversité de tâches.

RecherchePaper
1 source