RecherchearXiv cs.RO 21 juillet 2026

Réception centrée sur le destinataire pour la remise robot-humain avec orientation d'objet sensible à la préhension

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont présenté un système de transmission d'outils robot-humain centré sur le receveur, piloté par la voix, construit sur un bras collaboratif Franka Emika à sept degrés de liberté, plateforme cobot largement utilisée en recherche robotique. Le système combine un grand modèle de langage (LLM) pour la reconnaissance d'intention, c'est-à-dire comprendre quel outil l'opérateur demande et comment il compte le saisir, avec MediaPipe pour le suivi 3D de la main en temps réel. À partir de ces données, l'effecteur terminal ajuste dynamiquement son orientation pour présenter l'outil poignée en avant, dans une pose jugée ergonomiquement optimale, plutôt que dans une orientation fixe prédéfinie. Les auteurs ont mené une étude intra-sujets comparant cette approche adaptative à une référence statique agnostique à l'objet, sur des outils industriels asymétriques, ceux dont la forme rend la prise malaisée si l'orientation de présentation ne correspond pas à la façon naturelle de les empoigner. Les résultats indiquent que le système adaptatif réduit le délai de préhension pour ces outils asymétriques et améliore la fluidité de l'interaction, ainsi que certaines perceptions liées à la confiance, notamment la prévisibilité du mouvement et la simplicité perçue de la tâche. L'abstract ne détaille pas de chiffres précis (nombre de participants, pourcentage de gain), ce qui invite à la prudence sur l'ampleur réelle de l'effet.

L'enjeu dépasse le confort ponctuel: la transmission d'outils est une micro-interaction sécuritaire critique dans les cellules collaboratives humain-robot, et les systèmes statiques actuels, qui ignorent la géométrie de l'objet, produisent régulièrement des prises maladroites voire dangereuses avec des outils asymétriques comme des tournevis ou des pinces. Pour les intégrateurs industriels et les concepteurs de cobots, cette étude illustre une piste concrète pour fiabiliser les interactions main-à-main sur ligne de production, en s'appuyant sur des briques déjà matures, LLM pour l'intention, vision par ordinateur pour le suivi de main, plutôt que sur des capteurs dédiés coûteux.

Le travail s'inscrit dans un champ de recherche actif sur le handover robot-humain, où les approches précédentes reposaient surtout sur la vision pour estimer la pose de préhension sans intégrer la voix ni une compréhension sémantique de l'intention via LLM. Le choix du bras Franka, standard de facto dans les laboratoires académiques, facilite la reproductibilité mais souligne aussi le stade encore expérimental de la démonstration, un preprint arXiv sans mention de déploiement industriel ni de partenaire commercial. Les suites logiques attendues seraient une validation sur un plus large panel d'outils et d'opérateurs, ainsi qu'une soumission à une conférence en robotique ou interaction humain-robot.

Dans nos dossiers

Cobots & robots collaboratifs arXiv cs.RO

À lire aussi

1arXiv cs.RO

Remise d'objet robot-humain : étude comparative sur l'orientation et la direction d'approche adaptatives

Des chercheurs ont publié sur arXiv (référence 2604.22378) un framework adaptatif de remise d'objet robot-à-humain qui ajuste dynamiquement la pose de livraison en temps réel, en fonction de la posture de la main de l'opérateur et de la tâche à effectuer ensuite. Contrairement aux systèmes à boucle ouverte qui imposent une orientation fixe, ce système couple une estimation de pose de la main par IA à des trajectoires cinématiquement contraintes, garantissant une approche sécurisée et une orientation optimale à la prise. Une étude utilisateur comparative a été menée sur plusieurs tâches, mesurant à la fois des métriques subjectives (NASA-TLX pour la charge cognitive, Human-Robot Trust Scale pour la confiance perçue) et des données physiologiques objectives via des eye-trackers portables mesurant le taux de clignement des yeux, indicateur validé de stress cognitif. Les résultats montrent que l'alignement dynamique réduit significativement la charge cognitive et le stress physiologique des opérateurs, tout en augmentant leur confiance dans la fiabilité du robot. C'est un résultat concret pour les intégrateurs industriels : la majorité des bras collaboratifs déployés aujourd'hui livrent les objets avec une orientation arbitraire ou prédéfinie, contraignant le worker à corriger la prise, ce qui génère de la fatigue et allonge les temps de cycle. Un système capable d'adapter la pose de remise à l'intention de l'opérateur pourrait réduire les TMS et améliorer le débit sur les lignes d'assemblage à forte interaction humain-robot. Ce travail s'inscrit dans un champ de recherche actif en HRI (Human-Robot Interaction) où la plupart des travaux antérieurs adaptaient seulement la position de livraison, sans tenir compte de l'orientation ni de la tâche aval. Le preprint ne mentionne pas d'industriel partenaire ni de robot commercial spécifique, et les tests restent en environnement contrôlé, le gap lab-to-floor n'est pas encore adressé. Les prochaines étapes naturelles seraient une validation sur plateforme réelle (UR, Franka, ou bras intégré à un humanoïde), et une extension aux environnements bruités où l'estimation de pose de main est moins robuste. Aucun acteur français n'est cité dans ce travail.

RecherchePaper

1 source

2arXiv cs.RO

STORM : représentation par slots centrée objet et sensible à la tâche pour la manipulation robotique

Des chercheurs ont publié STORM (Slot-based Task-aware Object-centric Representation for robotic Manipulation), un module d'adaptation léger conçu pour augmenter les modèles visuels de fondation figés avec des représentations centrées sur les objets. Plutôt que de réentraîner de grands backbones visuels, coûteux en calcul et en données étiquetées, STORM insère un ensemble restreint de "slots", des vecteurs appris qui capturent chaque objet de la scène de manière distincte. L'entraînement se déroule en deux phases : un préentraînement visuo-sémantique qui stabilise les slots via des embeddings de langage, puis une adaptation conjointe avec la politique de manipulation. Les expériences, menées sur des benchmarks de découverte d'objets et des tâches de manipulation simulée, montrent des gains de robustesse face aux distracteurs visuels et une meilleure performance de contrôle par rapport à l'utilisation directe des features figées ou à l'entraînement end-to-end de représentations object-centriques. L'enjeu est structurel pour la robotique de manipulation. Les modèles visuels de fondation comme DINOv2 ou SigLIP fournissent des features perceptuelles puissantes, mais leurs représentations denses traitent la scène comme une grille de pixels sans distinguer explicitement les objets. Pour une tâche du type "saisir la boîte rouge parmi plusieurs objets", cette absence de structure oblige le réseau de politique à apprendre lui-même la décomposition de la scène, ce qui nuit à la généralisation hors distribution. STORM contourne ce problème sans toucher au backbone. Le résultat valide l'hypothèse que l'adaptation multi-phase (stabilisation sémantique d'abord, alignement tâche ensuite) évite la dégénérescence des slots, phénomène où plusieurs slots capturent le même objet ou des régions non pertinentes pour la tâche. La ligne de recherche sur les représentations object-centriques remonte à Slot Attention (Locatello et al., 2020, DeepMind) et à MONet. L'originalité de STORM est d'ancrer ces slots dans la sémantique linguistique et de les greffer sur des fondations pré-entraînées plutôt que de repartir de zéro. Dans un écosystème où les VLA (Vision-Language-Action models) comme pi0 de Physical Intelligence ou OpenVLA cherchent à intégrer langage et action de bout en bout, STORM propose une alternative modulaire et économe. Les résultats restent limités à la simulation, ce qui laisse entière la question du sim-to-real gap. Les prochaines étapes logiques incluent la validation sur robots physiques et le test face à des perturbations visuelles plus agressives que les benchmarks actuels.

RecherchePaper

1 source

3arXiv cs.RO

Codage tactile temporel et compliance pour la remise bimanuelle robot-humain sensible à l'intention

Un article soumis sur arXiv le 7 septembre 2026 (2609.05282v1) décrit un système de remise bimanuelle d'objets du robot vers l'humain combinant un modèle VLA affiné par démonstrations humaines et un contrôleur de compliance réduisant les forces d'interaction. L'entrée associe images RGB, signal tactile encodé temporellement et proprioception, pour distinguer une prise volontaire d'un simple contact, d'une prise faible ou d'une force mal orientée. Testé lors d'une étude avec sujets humains contre deux références, sans tactile puis avec tactile sans compliance, le système complet se montre nettement supérieur selon des métriques objectives et un questionnaire. Code et données seront publiés après acceptation de l'article. Le résultat cible un point de friction concret pour la robotique collaborative et humanoïde : la vision seule peine à distinguer une intention claire de prise d'un simple frôlement, provoquant des lâchers d'objet trop tôt, trop tard ou inconfortables. En traitant la remise comme un problème intrinsèquement multimodal, l'étude suggère que les VLA généralistes gagnent en fiabilité en intégrant tactile temporel et contrôle de force en boucle fermée, plutôt qu'en s'appuyant sur la seule caméra. Pour les intégrateurs en logistique, assistance à la personne ou cobotique industrielle, cette brique conditionne directement la sécurité et l'acceptabilité des interactions main-à-main homme-robot, un maillon encore peu résolu malgré les progrès des modèles de manipulation généralistes. Ce travail s'inscrit dans la vague de modèles VLA de manipulation apparue avec des systèmes comme Pi-0 ou GR00T N2, conçus surtout pour la préhension et le déplacement d'objets plutôt que pour l'interaction physique directe avec un humain. La remise d'objet main-à-main reste un sous-problème peu traité, alors que la course aux robots humanoïdes généralistes multiplie les démonstrations de manipulation fine sans toujours documenter la robustesse ni le confort de ces transferts pour la personne réceptrice. L'article ne mentionne aucune affiliation industrielle ni calendrier de déploiement : il s'agit d'une contribution de recherche académique, dont la publication annoncée du code et des données, après acceptation, permettra d'en vérifier les résultats.

RecherchePaper

1 source

4arXiv cs.RO

RGB-D pour l'amélioration de la prédiction dans la transmission d'objets humain-robot

L'équipe à l'origine de l'article publié sur arXiv le 13 août 2026 (arXiv:2608.13028v1) présente Hand2Bot, un jeu de données vidéo RGB-D dédié aux transferts d'objets humain-robot, ainsi que PassGen, un pipeline génératif associé. Hand2Bot capture des scénarios de passation d'objets avec des informations contextuelles riches, posture corporelle et expressions faciales incluses, dans des conditions de bruit capteur réalistes. PassGen s'appuie sur la diffusion vidéo stable (stable vidéo diffusion) combinée à un module appelé Intention-Aware Temporal Face Encoder pour générer des séquences de passation synthétiques cohérentes entre la main et l'objet manipulé. Pour réduire l'écart entre simulation et réel, les chercheurs ont développé une stratégie d'édition de profondeur basée sur la morphologie, qui reproduit le bruit typique des capteurs de profondeur physiques. Les évaluations, menées en étude d'ablation puis en déploiement réel sur une plateforme robotique physique, montrent une forte précision d'identification de l'intention de passation et un faible taux de déclenchements erronés. Cette avancée cible un verrou concret de la robotique collaborative : la rareté des jeux de données humains à grande échelle pour l'interaction homme-robot, combinée au fossé persistant entre modèles entraînés en simulation et comportements observés sur robot réel. En démontrant qu'un entraînement sur données synthétiques générées par PassGen permet un transfert zero-shot robuste et une anticipation plus précoce de l'intention de passation que les approches classiques centrées sur la main, les auteurs apportent une preuve empirique que la génération vidéo synthétique peut compenser le manque de données réelles annotées, un problème central pour tout intégrateur travaillant sur des tâches de manipulation collaborative en espace partagé. Le travail s'inscrit dans la lignée des recherches sur la perception d'intention en robotique de collaboration, où les méthodes existantes se limitaient largement à des indices centrés sur la main, sans exploiter le langage corporel ou les expressions faciales du partenaire humain. En intégrant ces signaux sociaux dans le pipeline génératif et en validant l'approche par un déploiement réel plutôt qu'en simulation seule, les auteurs positionnent Hand2Bot et PassGen comme une brique méthodologique reproductible pour la perception sociale robotique, sans toutefois préciser de partenaires industriels, de calendrier de diffusion du jeu de données ou de plans de commercialisation à ce stade.

RecherchePaper

1 source