RecherchearXiv cs.RO 9 novembre 2026

HOC2R : trajectoires de contact main-objet pour le transfert de mouvement de l'humain au robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

HOC2R, un extracteur de trajectoires de contact main-objet publié sur arXiv, vise à transformer des vidéos humaines de manipulation en consignes de mouvement exploitables par un robot. Le système combine des features gelées de DINOv3 et de SAM 2.1 avec des têtes apprises pour l'association main-objet et la localisation des contacts. Il propose deux modes: une automatisation « count-aware », qui détecte, compte et localise les contacts visibles dans des vidéos non découpées, et un mode « fixed-two » pour pinces à deux doigts, utilisable lorsque les images de contact sont déjà connues. Sur un benchmark de 30 tâches annoté par points, le mode count-aware fait passer la précision du comptage de contacts de 58,1 % à 71,4 % et réduit la distance moyenne de localisation de 19,81 à 10,46 pixels, face à une base de référence VRB2 adaptée. Sur sept séquences RGB-D inédites, un checkpoint fixed-two entraîné sur cinq tâches ramène cette distance de 67,67 à 27,02 pixels. Côté robot, sur six séquences d'évaluation, le checkpoint fixed-two entraîné sur 30 tâches produit quatre trajectoires faisables et réussit trois tâches, contre deux trajectoires faisables et une réussite pour chacune des bases de référence.

L'intérêt tient à l'un des verrous du secteur: les vidéos humaines regorgent de démonstrations de manipulation, mais elles ne fournissent pas directement de signal de mouvement qu'un robot peut suivre. Extraire automatiquement où et quand la main touche l'objet permet de produire des pseudo-étiquettes pour l'apprentissage par imitation ou pour des politiques VLA, sans téléopération coûteuse. Les auteurs indiquent que la méthode reste compétitive sur les scènes à une seule main, robuste à un changement de couleur de la main, et plus performante dans les scènes à plusieurs mains. Il faut toutefois relativiser: l'évaluation robotique porte sur seulement six séquences, avec trois réussites, ce qui reste un échantillon très réduit et sans intervalle de confiance. Le gain de 58,1 % à 71,4 % en comptage laisse aussi près de trois contacts sur dix mal dénombrés. Ce travail relève donc de la preuve de concept de recherche, loin d'un déploiement industriel.

Le contexte est celui d'une course à l'exploitation de vidéos humaines à grande échelle pour contourner le goulot de la collecte de données robotiques, avec des approches comme VRB (Vision-Robotics Bridge), dont la variante VRB2 sert ici de référence après adaptation. Le choix de briques de fondation gelées, DINOv3 pour la représentation visuelle et SAM 2.1 pour la segmentation, reflète une tendance à réutiliser des modèles généralistes et à n'entraîner que de petites têtes spécialisées, ce qui limite le coût d'adaptation. Aucune entreprise, aucun calendrier de pilote ni aucun prix n'est mentionné: il s'agit d'une publication académique en version 1, non évaluée par des pairs. Les prochaines étapes probables seraient un élargissement du nombre de tâches robotiques, des tests sur des pinces et morphologies variées, et une intégration dans des pipelines d'entraînement de politiques de manipulation, où se jouera la vraie validité de l'approche.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transfert de trajectoires humain-robot centré sur la main à partir de vidéos via localisation de contacts en monde ouvert

Des chercheurs ont publié sur arXiv (arXiv:2606.10743, juin 2026) HOWTransfer, un cadre algorithmique centré sur la main pour transférer des démonstrations humaines filmées en trajectoires exécutables par un bras robotique. Le système fonctionne en trois étapes : reconstruction 3D temporellement cohérente du mouvement du poignet humain, localisation automatique des intervalles de contact main-objet à partir de cues visuels d'interaction, puis génération d'hypothèses de saisie en pince parallèle (parallel-jaw grasp) propagées le long de la trajectoire du poignet. Une phase finale d'édition raffine l'alignement de contact et produit plusieurs variantes exécutables depuis une seule vidéo de démonstration. Sur un ensemble de tâches de manipulation variées, le système atteint 86 % de taux de succès et est préféré aux trajectoires téléopérées dans une étude comparative en aveugle. Ce résultat mérite attention parce qu'il attaque directement le goulot d'étranglement principal du learning from demonstration (LfD) : collecter suffisamment de données de qualité. La téléopération reste coûteuse, lente et non scalable en industrie ; si un système peut extraire des trajectoires robotes directement depuis des vidéos de travailleurs humains filmés sur une chaîne d'assemblage ou en entrepôt, le coût d'entrée pour déployer de la manipulation apprise s'effondre. Fait notable : HOWTransfer ne s'appuie pas sur des descripteurs d'objets prédéfinis ni sur un tracking d'état explicite, ce qui le rend potentiellement généraliste sur des objets non vus. Le 86 % de succès annoncé est encourageant, mais les conditions expérimentales exactes (diversité des objets, profondeur de la caméra, nombre de tâches, robot cible) ne sont pas précisées dans le résumé, ce qui justifie une lecture du papier complet avant toute intégration industrielle. Le transfert de démonstration humaine vers robot via vidéo est un domaine en pleine effervescence depuis 2022-2023, porté par des travaux comme DROID, RoboAgent ou les approches VLA (Vision-Language-Action) de Google DeepMind et Physical Intelligence (Pi-0). HOWTransfer se distingue en adoptant une approche sans modèle de langage ni segmentation objet, ce qui le rend plus léger mais aussi plus fragile sur les scènes encombrées. Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit pour l'instant d'un preprint académique, pas d'un produit. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (Franka, UR, ou humanoïdes comme Figure 03 ou Unitree G1) et une évaluation sur des benchmarks standardisés comme RLBench ou LIBERO pour situer la performance par rapport à l'état de l'art.

RecherchePaper

1 source

2arXiv cs.RO

Jetons de mouvement : apprentissage de mouvements primitifs pour le transfert de compétences de l'humain vers le robot humanoïde

Des chercheurs publient sur arXiv un cadre d'entraînement nommé Adaptive Failure-Informed Learning (AFIL). Il vise un défaut connu des modèles vision-langage-action (VLA), qui sont entraînés par clonage comportemental sur des démonstrations réussies uniquement. Faute de signal correctif, une petite erreur d'exécution s'accumule vite et place le robot hors de la distribution d'entraînement, d'où des échecs irrécupérables. AFIL part d'un VLA préentraîné et le fait générer lui-même des échecs en ligne, sans catalogue de pannes écrit à la main ni opérateur humain pour corriger. Deux générateurs d'actions (Dual Action Generators) sont ensuite entraînés conjointement, l'un sur les succès et l'autre sur les échecs, en partageant le même backbone vision-langage, ce qui limite le surcoût en paramètres. À l'inférence, le générateur d'échecs sert de guidage négatif pour les politiques à diffusion ou à flow matching. Son intensité varie à chaque pas de diffusion selon la distance entre les distributions de succès et d'échec. Les auteurs annoncent de meilleurs taux de réussite et une meilleure robustesse que les VLA de référence, sur des tâches de manipulation en domaine et hors domaine, à horizon court comme long. Le résumé ne donne aucun chiffre, aucun nom de robot et aucun nom de baseline. L'enjeu est la fiabilité, point faible des VLA entre la démo et le terrain. Un taux de succès moyen cache mal la fragilité face aux dérives d'exécution, et c'est ce qui freine les intégrateurs et les responsables d'exploitation. Si le gain se confirme, exploiter les échecs sans supervision humaine réduirait le coût des données de récupération, aujourd'hui collectées par téléopération. La méthode s'applique aussi à des politiques existantes, sans repartir de zéro. Il reste à vérifier que les résultats tiennent sur robot réel, et pas seulement en simulation ou sur des benchmarks choisis, ce que le résumé ne précise pas. Le travail s'inscrit dans le courant des VLA à diffusion ou flow matching, dont relèvent des modèles comme Pi-0, et de la recherche de parades à la limite du clonage comportemental, que le renforcement et les démonstrations de récupération tentent aussi de lever. Le guidage négatif rappelle le classifier-free guidance de la génération d'images, transposé ici à l'action. Il s'agit d'un préprint sans pilote industriel ni calendrier annoncé. La suite logique serait des tests sur plateformes physiques et une comparaison avec les approches de renforcement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Transition de mouvement pour robot à partir d'un a priori de mouvement humain

Des chercheurs présentent STAMP (Spatio-Temporal Alignment with a Motion Prior), un cadre logiciel qui vise à enchaîner des mouvements de robots humanoïdes acquis séparément pour en faire une séquence continue. Le procédé passe par une boucle « robot vers humain vers robot ». Les deux mouvements sont d'abord retargetés (transposés) sur un squelette humain. Un modèle d'alignement appris classe ensuite des candidats de position, de cap et de durée de transition pour le mouvement suivant. Un modèle génératif de mouvement humain, utilisé comme prior, produit alors la transition en « inbetweening », c'est-à-dire en générant les images intermédiaires entre deux poses. La séquence complète est enfin retargetée sur le robot et sert de référence pour entraîner une politique de suivi de mouvement. Les auteurs l'évaluent sur le Unitree G1 et le ROBOTIS K1, et disent avoir réalisé des démonstrations physiques de séquences longues. L'abstract ne donne aucun chiffre : taux de réussite, nombre de mouvements enchaînés et durée des séquences ne sont pas précisés. L'intérêt tient à un problème pratique. Les politiques de suivi de mouvement savent aujourd'hui reproduire des comportements variés, mais les composer en un enchaînement fluide reste un point faible. L'interpolation simple relie des poses sans vérifier que la position relative, le cap et le timing se prêtent à une transition. Un prior génératif, lui, peut inventer de la marche, des rotations ou des gestes non voulus si les bornes sont mal agencées. STAMP traite donc l'alignement des bornes comme un problème à part entière, ce qui est une piste crédible pour construire des répertoires de comportements modulaires, utiles aux intégrateurs qui veulent assembler des gestes sans les réenregistrer. L'approche passe par l'espace humain, ce qui permet de réutiliser la connaissance des transitions d'un robot à l'autre. Cette promesse de transfert entre morphologies reste à confirmer, car seuls deux robots sont testés et les résultats sont ceux des auteurs, sans indication de la part de démonstrations sélectionnées. Ce travail s'inscrit dans la lignée des méthodes de suivi de mouvement humanoïde et des modèles génératifs de mouvement humain, qui ont gagné en maturité ces dernières années. La combinaison de ces briques est ici orientée vers la continuité des séquences. Le choix du Unitree G1, plateforme répandue en recherche, facilite la reproductibilité. Le ROBOTIS K1 élargit le test à une seconde morphologie. Il s'agit d'une prépublication arXiv (2610.30817v1), non évaluée par des pairs, accompagnée d'une page projet. Aucun déploiement industriel ni pilote n'est annoncé. Les prochaines étapes naturelles seraient des comparaisons chiffrées avec l'interpolation et d'autres méthodes génératives, ainsi que des tests sur davantage de robots et de mouvements.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Démonstrations humaines comme données de post-entraînement pour tout robot : transférer l'objet, pas la main

Des chercheurs proposent une méthode pour transformer une démonstration humaine, filmée par exemple avec un simple téléphone mobile, en données de post-entraînement utilisables par n'importe quel robot, quelle que soit sa morphologie. Plutôt que de transposer le mouvement de la main (retargeting), le système transpose celui de l'objet. Chaque capture produit un enregistrement indépendant du corps : la pose de l'objet au cours du temps, ses intervalles de contact et un objet 3D reconstruit avec sa provenance. Tout robot, décrit par un fichier URDF et un court descripteur, est ensuite résolu contre cet enregistrement et évalué en simulation, avec le mouvement démontré de l'objet comme vérité terrain. Chaque paire (robot, épisode) reçoit un verdict unique : réussite, échec avec un mode nommé, ou refus motivé avant tout mouvement. Sur un échantillon de 42 captures résolues sur 8 robots, soit 157 paires, 31,2 % réussissent, 52,2 % échouent, 14,0 % sont refusées et 2,5 % sont inauditables. Le critère est la faisabilité cinématique en simulation, avec une tolérance de ±50 mm et ±15°. Pour les intégrateurs et les décideurs industriels, l'enjeu est de savoir quelles données humaines un robot donné peut réellement exploiter. Aujourd'hui, ces démonstrations servent surtout au pré-entraînement des modèles vision-langage-action (VLA), mais peu au post-entraînement ciblé sur une plateforme ou une tâche, dont dépend pourtant le déploiement à grande échelle. Les résultats donnent un premier ordre de grandeur : moins d'un tiers des paires passent, ce qui rappelle que la transposition d'une démonstration humaine vers un corps différent reste loin d'être automatique. Le point le plus solide concerne les refus : les 13 paires que les contrôles écartent sur preuves stockées mais qui ont été lancées malgré tout ont toutes échoué, dont 5 sur un robot dont le modèle public soude la main. À l'inverse, un simple fichier de description ne permet pas de présélectionner les robots, ses résultats étant à peine plus prévisibles que le hasard. Il faut toutefois rester prudent. Les auteurs précisent qu'aucune politique n'a encore été entraînée sur cet enregistrement, et la validation reste purement simulée. L'enregistrement décide de ce sur quoi un robot peut se post-entraîner, mais la question de savoir si la politique fonctionne sur le robot réel, le passage de la simulation au robot, est renvoyée à des travaux ultérieurs. Le système fonctionne sur une collection en croissance, dont l'étude n'analyse qu'un échantillon. Cette approche s'inscrit dans le mouvement des données de démonstration humaine à bas coût, face à la téléopération, plus coûteuse et liée à une plateforme. La suite logique sera d'entraîner des politiques sur ces enregistrements et de mesurer l'écart avec le matériel réel.

RecherchePaper

1 source