HandCept : un cadre de fusion visuo-inertielle…

1arXiv cs.RO

NoContactNoWorries : estimation du contact par vision et proprioception pour la manipulation dextérique en main

Une équipe de chercheurs présente NoContactNoWorries, un cadre multimodal basé sur des transformers qui fusionne la vision RGB-D et la proprioception du robot pour estimer des états de contact binaires pendant la manipulation en main. Publié en prépublication sur arXiv (référence 2506.24450), le système entraîne un unique modèle de prédiction de contact sur plusieurs objets distincts et valide l'approche à la fois en simulation et sur un robot physique. Le signal de contact inféré sert d'entrée pseudo-tactile pour des agents d'apprentissage par renforcement chargés de la réorientation d'objets tenus en main, avec généralisation démontrée sur des objets non vus durant l'entraînement. L'intérêt pour les intégrateurs robotiques est direct : les capteurs tactiles dédiés, qu'il s'agisse de solutions de type GelSight, DIGIT ou de nappes piézorésistives, se heurtent à trois obstacles récurrents en environnement industriel, à savoir le coût unitaire élevé, la fragilité mécanique et la complexité d'intégration sur des mains multi-doigts. NoContactNoWorries contourne ces contraintes en exploitant uniquement des caméras RGB-D et les données proprioceptives déjà disponibles sur la grande majorité des bras et mains robotiques commerciaux. La limitation reste substantielle : la détection est purement binaire (contact ou absence de contact), sans estimation de force ni de distribution de pression, ce qui restreint l'applicabilité aux tâches nécessitant un retour haptique fin, comme l'assemblage de composants fragiles ou la manipulation de textiles. L'approche s'inscrit dans une tendance plus large de la manipulation dextre cherchant à éliminer les capteurs spécialisés au profit de modalités perceptuelles génériques, dans la continuité des travaux sur les politiques visuomotrices à grande échelle (VLA). Le domaine du toucher artificiel reste actif, avec des acteurs comme Contactile (Australie), Touchlab (Écosse) ou les équipes du MIT CSAIL qui développent des capteurs embarqués haute résolution. À ce stade, NoContactNoWorries est un résultat académique en prépublication, non encore soumis à révision par les pairs, et les auteurs n'annoncent aucun calendrier de transfert industriel.

RecherchePaper

1 source

2arXiv cs.RO

F-LIVO : un cadre de mesure géométrique au niveau des caractéristiques pour l'odométrie LiDAR-inertielle-visuelle

F-LIVO est un cadre d'odométrie LiDAR-inertielle-visuelle (LIVO) à filtre, décrit dans un article déposé sur arXiv (2610.23595v1). Il couple deux sous-systèmes : un module visuel-inertiel et un module LiDAR-inertiel. Le lien entre les deux passe par des contraintes géométriques point-à-plan au niveau des primitives (features), qui relient les points visuels aux plans extraits de la carte LiDAR. Quand la triangulation visuelle est faible, la profondeur d'une primitive visuelle est reconstruite à partir de la carte LiDAR, par ajustement local d'un plan puis intersection rayon-plan. Dans la mise à jour LiDAR, la covariance de chaque résidu point-à-plan est modulée selon la fiabilité planaire locale, ce qui limite les corrections trop confiantes sur des surfaces mal conditionnées. Les auteurs annoncent la plus faible utilisation CPU (moyenne et pic), le plus faible pic de mémoire résidente (RSS) et la plus faible croissance de RSS parmi les implémentations comparées. R2LIVE garde en revanche une RSS moyenne plus basse. Le code sera publié après acceptation. L'intérêt tient au compromis entre précision et coût de calcul. Beaucoup de systèmes LIVO au niveau mesure associent aux points LiDAR cartographiés des patchs photométriques denses ou des attributs d'apparence, ce qui alourdit le stockage, l'association et la mise à jour de la carte. F-LIVO s'en passe : il n'utilise que des primitives géométriques éparses et garde une carte compacte. Pour un intégrateur qui vise un calculateur embarqué contraint, par exemple sur un AMR, un drone ou un robot mobile, une empreinte CPU et mémoire stable sur la durée compte autant que le score de précision. Les résultats de précision restent toutefois prudents : les auteurs parlent d'une exactitude « compétitive » et « dépendante de la séquence ». Ils ne revendiquent donc pas de gain systématique. Les cas dégradés testés montrent une estimation continue avec une dérive cumulée comparativement faible. Les chiffres détaillés et la configuration matérielle exacte ne figurent pas dans le résumé, et l'avantage en ressources est mesuré « dans la configuration évaluée ». Il faudra donc attendre le code pour une reproduction indépendante. Cette approche s'inscrit dans la lignée des systèmes de fusion LiDAR-caméra-IMU à filtre, dont R2LIVE, cité comme point de comparaison. Elle se positionne face aux méthodes qui attachent des informations photométriques denses à la carte, plus riches mais plus coûteuses. Les évaluations portent sur plusieurs jeux de données publics. Aucun déploiement industriel ni partenaire commercial n'est mentionné : il s'agit d'un travail de recherche, sans produit ni calendrier. La suite dépend de l'acceptation de l'article et de la publication du code, qui permettra de vérifier les mesures de ressources et la robustesse sur des plateformes réelles.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Un cadre de téléopération bilatérale pour la manipulation dextérique

Une équipe de chercheurs publie, dans un preprint arXiv déposé en juin 2026 (arXiv:2606.15434), un système modulaire de téleopération bilatérale conçu pour la manipulation dextre en environnements réels à fort contact. L'architecture proposée couple une interface côté opérateur à un bras robotique compliant et à une main mécanique dextre côté robot, dans une boucle de contrôle unifiée. Quatre fonctionnalités centrales sont documentées : le retargeting de posture de main par positions (adaptation des commandes d'une main humaine vers une main robotique de morphologie différente), la commande différentielle du bras, le retour haptique multi-échelle, et un mécanisme de contrôle partagé pour stabiliser les phases de manipulation en contact. Le framework est validé sur une tâche réelle de manipulation dextre, sans que les métriques de performance - latence, temps de cycle, taux de succès - ne soient communiquées dans le résumé public disponible. L'intérêt principal de ce travail pour les équipes de recherche et les intégrateurs ne réside pas dans les performances brutes du système de téleopération lui-même, mais dans sa vocation déclarée de plateforme de collecte de démonstrations haute qualité pour l'apprentissage par imitation (learning from demonstration). À l'heure où les architectures VLA (Vision-Language-Action) - comme pi0 de Physical Intelligence ou GR00T N2 de NVIDIA - exigent des datasets massifs de trajectoires expertes en manipulation fine, la qualité du pipeline de collecte devient un goulot d'étranglement critique. Les auteurs identifient aussi trois problèmes de conception restant ouverts : le mismatch cross-embodiment (écart morphologique entre la main de l'opérateur et celle du robot), la granularité du retour haptique, et le dosage optimal du contrôle partagé. Ce framework s'inscrit dans une tendance de fond visant à standardiser l'infrastructure de collecte de données téléopérées, dans la lignée du système ALOHA de Stanford ou de la plateforme UMI. Les acteurs européens comme Enchanted Tools (France) ou les équipes robotique de l'INRIA travaillent sur des problématiques similaires de couplage haptique et de retargeting pour la manipulation fine. Ce preprint ne présente pas de chiffres de déploiement ni de partenariats industriels annoncés : il s'agit d'une contribution académique amont, dont la suite logique serait la publication d'un dataset de démonstrations et de benchmarks comparatifs sur des tâches de manipulation standardisées.

UELes équipes françaises (Enchanted Tools, INRIA) travaillent sur des problématiques similaires de couplage haptique et de retargeting, ce framework pourrait alimenter leurs pipelines de collecte de démonstrations pour entraîner des modèles VLA.

RecherchePaper

1 source

4arXiv cs.RO

HandEdit : un référentiel unifié pour l'édition d'images de mains robotiques dextériques du point de vue humain

L'article scientifique publié le 13 août 2026 sur arXiv présente HandEdit, un jeu de données et benchmark d'édition d'images conçu pour transformer des vidéos de mains humaines en représentations de mains robotiques dextres, dans des séquences filmées à la première personne. L'ensemble comprend plus de 200 millions d'instances d'édition, issues de cinq jeux de données sources distincts, couvrant 26 configurations URDF différentes, dont 13 modèles de mains seules et 13 configurations bras-main combinées. Les chercheurs ont mis en place un protocole d'évaluation unifié avec deux volets, "Hand-only" et "Hand-Arm", permettant une évaluation conditionnée par URDF. Onze modèles d'édition d'images de référence ont été testés selon une suite de métriques multidimensionnelle combinant similarité générique, jugement par modèle vision-langage (VLM) et métriques spécifiques à l'incarnation robotique (embodiment-aware). L'enjeu pour l'industrie robotique tient au goulot d'étranglement bien identifié de la téléopération : collecter des données d'entraînement embodiment-aware pour des mains robotiques dextres coûte cher, alors que des vidéos égocentriques de mains humaines existent en abondance sur le web. HandEdit cherche à combler l'écart d'apparence, d'articulation et de point de vue caméra entre données humaines et robotiques, un problème que les modèles d'édition d'images généralistes ne résolvent pas complètement faute de connaissances a priori propres à chaque plateforme robotique. Si l'approche tient ses promesses, elle pourrait permettre aux équipes de recherche en IA incarnée d'entraîner des politiques de manipulation dextre à partir de vidéos humaines à grande échelle plutôt que de dépendre exclusivement de démonstrations téléopérées coûteuses, un levier potentiellement significatif pour accélérer l'apprentissage de tâches de préhension fine chez les mains robotiques multi-doigts. Ce travail s'inscrit dans la lignée des efforts récents visant à exploiter les vidéos humaines comme source de supervision pour l'apprentissage robotique, un axe de recherche actif face à la rareté des données de téléopération pour les mains dextres, distinctes des pinces simples des bras robotiques industriels classiques. En couvrant 26 URDF différents, HandEdit se positionne comme une ressource de référence transversale plutôt que liée à une seule plateforme matérielle, ce qui pourrait faciliter son adoption par différents laboratoires travaillant sur des mains robotiques variées. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'une contribution de recherche fondamentale, avec le jeu de données et le benchmark présentés comme ressource ouverte pour la communauté de l'IA incarnée.

RecherchePaper

1 source

HandCept : un cadre de fusion visuo-inertielle pour la proprioception précise des mains dextériques

À lire aussi

NoContactNoWorries : estimation du contact par vision et proprioception pour la manipulation dextérique en main

F-LIVO : un cadre de mesure géométrique au niveau des caractéristiques pour l'odométrie LiDAR-inertielle-visuelle

Un cadre de téléopération bilatérale pour la manipulation dextérique

HandEdit : un référentiel unifié pour l'édition d'images de mains robotiques dextériques du point de vue humain