RecherchearXiv cs.RO 17 septembre 2026

Évaluation de l'état de préhension centrée sur l'humain : transférer l'évaluation subjective aux robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs détaillent dans une prépublication arXiv (2609.17540, mise en ligne mi-septembre 2026) un framework qui transféré a un robot le jugement subjectif qu'un humain porte sur la qualité d'une prise appliquée a un objet déformable. Le système associe un modèle vision-langage (VLM), charge de générer semi-automatiquement des labels de supervision, a un prédicteur léger d'état de prise : a partir d'un très petit nombre d'essais annotes manuellement par des humains, utilises comme ancres contextuelles, le VLM propage ce jugement a de larges volumes de données non annotées. Une fois entraine, le prédicteur estime en continu, a partir de mesures tactiles et de force de préhension en série temporelle, si la prise est trop laxiste ou trop serrée, et permet un ajustement rapide de la force en ligne. La méthode a été validée sur trois objets déformables représentatifs, avec une étude d'évaluation humaine réunissant 25 participants charges de juger l'adéquation entre les ajustements du robot et leur propre perception d'une prise appropriée.

L'enjeu vise un angle mort connu de la manipulation robotique : saisir un objet déformable (tissu, sac souple, aliment, composant fragile) reste bien plus difficile a automatiser que saisir un objet rigide, car le critère de réussite n'est pas géométrique mais dépend d'un jugement humain qualitatif difficile a formaliser. Les approches de deep learning classiques butent sur ce problème car elles exigent un volume prohibitif d'annotations manuelles pour chaque nouvel objet, ce qui freine leur déploiement dans des environnements industriels varies comme la logistique ou l'agroalimentaire. En réduisant ce besoin d'annotation grâce a un VLM utilise comme générateur de supervision plutôt que comme pilote direct du robot, ce travail illustre une piste distincte de l'approche "VLA de bout en bout" popularisée par des systèmes comme Pi-0, GR00T N2 ou Helix.

Ce travail relève de la recherche académique plutôt que d'un produit commercial : il s'agit d'une simple prépublication arXiv, sans partenaire industriel ni déploiement annonce, et les auteurs limitent eux-mêmes leurs conclusions a un cadre expérimental restreint a trois objets. La contribution se positionne comme une brique complémentaire aux modèles de manipulation généralistes actuellement pousses par les laboratoires de robotique humanoïde et industrielle, en ciblant un problème souvent absent des démonstrations grand public : l'ajustement fin de la force de préhension sur des matières molles. Les étapes suivantes attendues pour ce type d'approche consisteraient a étendre la validation a davantage d'objets et de morphologies de robots avant d'envisager un transfert vers des applications industrielles réelles.

Dans nos dossiers

NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

OA-NBV : planification de vues sensible aux occlusions pour la perception active centrée sur l'humain de robots mobiles

Des chercheurs présentent OA-NBV (Occlusion-Aware Next-Best-View Planning), un pipeline de planification de point de vue pour robots mobiles confrontés à une personne partiellement masquée par des obstacles, publié sur arXiv sous la référence 2603.11072, en version 2 remplaçant une publication antérieure. Le système évalue les points de vue candidats accessibles au robot à l'aide d'un modèle de visibilité centré sur la cible, qui intègre l'occlusion, l'échelle de la personne dans le champ visuel et la complétude de l'observation. Les auteurs rapportent un taux de réussite supérieur à 90% en simulation comme en essais réels, alors que les méthodes NBV de référence se dégradent nettement dès qu'une occlusion survient. Comparé au meilleur de ces baselines, OA-NBV augmente la surface normalisée occupée par la cible d'au moins 81% et la visibilité des points clés du corps, utilisés pour l'estimation de posture, d'au moins 58%, selon les configurations testées. L'enjeu dépasse la démonstration en laboratoire: recherche et sauvetage, triage d'urgence et intervention post-catastrophe se déroulent justement dans des environnements encombrés où la visibilité partielle dégrade la détection de personnes ou l'estimation de pose en aval. Or la plupart des méthodes NBV existantes optimisent une exploration générique ou une couverture à long horizon, sans viser l'objectif immédiat d'obtenir une seule vue exploitable d'une personne cachée sous des contraintes de mouvement réelles. En ciblant ce cas d'usage plus étroit, OA-NBV se présente comme un module de sélection de point de vue intégrable à diverses tâches de perception centrées sur l'humain sans refonte de la chaîne d'autonomie, un argument qui parle directement aux intégrateurs confrontés au même écart entre couverture générique et besoin réel de perception. Le travail s'inscrit dans la lignée des recherches sur le Next-Best-View, historiquement tournées vers l'exploration ou la reconstruction 3D générique, dont OA-NBV se démarque en ciblant la perception active centrée sur l'humain. Ses méthodes de référence sont explicitement présentées comme des approches NBV standards qui échouent dès que l'occlusion s'installe, l'écart précis que la contribution cherche à combler. Il s'agit pour l'instant d'une publication de recherche, un preprint arXiv en version 2, sans plateforme, entreprise ni calendrier de déploiement mentionnés dans le texte, son adoption dépendant d'une intégration dans des piles logicielles existantes et de validations sur d'autres morphologies de robots et des occlusions plus denses que celles testées.

RecherchePaper

1 source

2arXiv cs.RO

Transfert pré-entraînement tactile transférable centré sur l'humain pour la manipulation robotique dextérique

Les auteurs de cette étude publient H-Tac, un jeu de données tactile-action à grande échelle constitué de 160 heures de vidéos humaines à la première personne, couvrant plus de 300 tâches et totalisant 135 000 épisodes. À partir de cette base, ils proposent Transferable Tactile Pre-Training (TTP), un système de pré-entraînement fondé sur le sens tactile humain, destiné à transférer des compétences de manipulation fine vers des robots. La méthode s'appuie sur des espaces tactiles et d'action unifiés, maintenus identiques pendant les phases de pré-entraînement et de post-entraînement, afin de préserver les connaissances acquises lors du passage de l'humain au robot. Un module expert dédié prédit l'évolution future du signal tactile, ce qui permet de modéliser explicitement la dynamique de contact et les interactions physiques fines. Les auteurs rapportent des performances supérieures aux approches existantes, en simulation comme sur robots réels, avec une bonne capacité de généralisation. Ce travail cible un verrou connu du secteur robotique: le toucher reste la modalité la moins exploitée dans les modèles Vision-Language-Action, alors qu'il est indispensable pour les tâches riches en contact où la vision seule ne suffit pas à estimer une force appliquée. Les jeux de données tactiles existants restent petits et couvrent peu de types de contacts, ce qui limite le plafond de performance des modèles VLA tactiles, dont le post-entraînement reste largement indifférent à la dynamique physique. En s'appuyant sur des vidéos humaines plutôt que sur de la téléopération robotique coûteuse à collecter, H-Tac vise à lever ce goulot d'étranglement de données, une stratégie déjà explorée pour le pré-entraînement d'actions mais rarement appliquée au tactile à cette échelle. Si les résultats se confirment sur d'autres plateformes, cela pourrait rapprocher les robots manipulateurs dextres de tâches fines comme l'insertion de précision ou la manipulation d'objets déformables, au-delà des démonstrations scénarisées. L'article s'inscrit dans la lignée des modèles VLA récents (Pi-0, GR00T N2, Helix) qui combinent perception visuelle et langage mais négligent généralement le retour tactile faute de données adaptées. Publié sur arXiv (2607.01067v1) début juillet 2026, ce travail reste au stade de la recherche académique: aucun partenariat industriel ni déploiement commercial n'est mentionné, et les auteurs présentent TTP comme une preuve de concept ouvrant la voie à un pré-entraînement tactile transférable et passant à l'échelle, plutôt que comme un produit prêt à l'emploi.

RecherchePaper

1 source

3arXiv cs.RO

Réception centrée sur le destinataire pour la remise robot-humain avec orientation d'objet sensible à la préhension

Des chercheurs ont présenté un système de transmission d'outils robot-humain centré sur le receveur, piloté par la voix, construit sur un bras collaboratif Franka Emika à sept degrés de liberté, plateforme cobot largement utilisée en recherche robotique. Le système combine un grand modèle de langage (LLM) pour la reconnaissance d'intention, c'est-à-dire comprendre quel outil l'opérateur demande et comment il compte le saisir, avec MediaPipe pour le suivi 3D de la main en temps réel. À partir de ces données, l'effecteur terminal ajuste dynamiquement son orientation pour présenter l'outil poignée en avant, dans une pose jugée ergonomiquement optimale, plutôt que dans une orientation fixe prédéfinie. Les auteurs ont mené une étude intra-sujets comparant cette approche adaptative à une référence statique agnostique à l'objet, sur des outils industriels asymétriques, ceux dont la forme rend la prise malaisée si l'orientation de présentation ne correspond pas à la façon naturelle de les empoigner. Les résultats indiquent que le système adaptatif réduit le délai de préhension pour ces outils asymétriques et améliore la fluidité de l'interaction, ainsi que certaines perceptions liées à la confiance, notamment la prévisibilité du mouvement et la simplicité perçue de la tâche. L'abstract ne détaille pas de chiffres précis (nombre de participants, pourcentage de gain), ce qui invite à la prudence sur l'ampleur réelle de l'effet. L'enjeu dépasse le confort ponctuel: la transmission d'outils est une micro-interaction sécuritaire critique dans les cellules collaboratives humain-robot, et les systèmes statiques actuels, qui ignorent la géométrie de l'objet, produisent régulièrement des prises maladroites voire dangereuses avec des outils asymétriques comme des tournevis ou des pinces. Pour les intégrateurs industriels et les concepteurs de cobots, cette étude illustre une piste concrète pour fiabiliser les interactions main-à-main sur ligne de production, en s'appuyant sur des briques déjà matures, LLM pour l'intention, vision par ordinateur pour le suivi de main, plutôt que sur des capteurs dédiés coûteux. Le travail s'inscrit dans un champ de recherche actif sur le handover robot-humain, où les approches précédentes reposaient surtout sur la vision pour estimer la pose de préhension sans intégrer la voix ni une compréhension sémantique de l'intention via LLM. Le choix du bras Franka, standard de facto dans les laboratoires académiques, facilite la reproductibilité mais souligne aussi le stade encore expérimental de la démonstration, un preprint arXiv sans mention de déploiement industriel ni de partenaire commercial. Les suites logiques attendues seraient une validation sur un plus large panel d'outils et d'opérateurs, ainsi qu'une soumission à une conférence en robotique ou interaction humain-robot.

RecherchePaper

1 source

4arXiv cs.RO

GUIDER : évaluation de l'inférence d'intention humaine sans objectif pour la téléopération sur données réelles de robots

Des chercheurs présentent une évaluation du cadre GUIDER, pour Global User Intent Dual-phase Estimation for Robots, un système probabiliste dit "goal-free" conçu pour inférer l'intention humaine pendant une manipulation robotique téléopérée, c'est-à-dire sans connaître à l'avance l'objet cible visé par l'opérateur. Le système a été testé sur des données réelles enregistrées par un bras robotique, dans trois scénarios d'assistance: préparer du thé et aller chercher un médicament. Pour rendre l'estimation exploitable en conditions réelles, les auteurs ont ajouté une mise à jour probabiliste en ligne, des limites d'espace de travail, un filtrage par plan de support et un mode de préhension qui priorise les zones de prise physiquement faisables. Sur 20 étapes de manipulation réparties dans les trois scénarios, GUIDER a identifié l'intention correcte parmi l'ensemble des candidats de préhension dans 100% des cas, avec un temps moyen de 3,7 secondes avant d'atteindre une prédiction fiable, alors qu'il restait en moyenne 49,6 secondes avant la première prise effective. La stabilité des prédictions atteint 96,4%, pour un temps de calcul de 4,857 secondes (moyenne) et 4,474 secondes (médiane) par phase perceptuelle. Pour les concepteurs de robots collaboratifs et de systèmes d'assistance, notamment dans le soin à la personne ou la téléopération partagée, ce travail répond à une limite connue des interfaces d'intention: la plupart exigent un objectif prédéfini, ce qui les rend rigides face à des environnements domestiques non structurés. Un système fonctionnant sans objectif fixé à l'avance, avec une marge de près de 46 secondes entre la prédiction fiable et l'action physique, laisse en théorie le temps à un opérateur humain d'intervenir ou de corriger. Il faut toutefois noter que les temps de calcul par phase, proches de 4,5 à 4,9 secondes, restent loin du temps réel et que les tests ont été menés hors ligne sur des données déjà enregistrées, en reproduisant leurs conditions temporelles d'origine, et non lors d'un déploiement en direct avec un utilisateur dans la boucle. Ce travail s'inscrit dans le champ de la téléopération à autonomie partagée, où l'estimation d'intention sert à assister ou corriger les gestes d'un opérateur distant. En évaluant GUIDER sur des données de bras robotique réel plutôt qu'en simulation, les auteurs cherchent à valider la robustesse du cadre face à des scènes concrètes de manipulation domestique. Les suites naturelles évoquées par ce type d'évaluation sont un déploiement en boucle fermée avec un opérateur humain réel et une extension à d'autres plateformes robotiques et scénarios d'assistance.

RecherchePaper

1 source