Aller au contenu principal
EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentriqueIllustration générée par IA
RecherchearXiv cs.RO 

EgoTac : prédiction tactile en conditions réelles à partir d'une vision égocentrique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs présentent EgoTac, un modèle capable de prédire des signaux tactiles directement à partir de vidéos égocentriques humaines, sans capteur physique de toucher. Publié sur arXiv (2608.15060v1) en août 2026, le modèle est entraîné sur un corpus unifié de plus de 5,7 millions de paires image-tactile, combinant mesures de force continues et contacts binaires. En prédiction intra-domaine, EgoTac atteint une erreur de force moyenne inférieure à 0,06 newton. Sur des benchmarks de prédiction de contact hors domaine, il dépasse l'estimateur de contact considéré jusqu'ici comme référence de l'état de l'art. Le modèle reproduit aussi les courbes de montée et de descente des signaux tactiles réels, et parvient à des prédictions en zero-shot sur des vidéos du monde réel non contraintes, c'est-à-dire filmées hors laboratoire.

Cette approche répond à un goulot d'étranglement bien identifié dans l'apprentissage robotique : les données vidéo égocentriques humaines, de plus en plus utilisées pour entraîner des modèles vision-langage-action, sont abondantes et riches en contacts, mais dépourvues d'information tactile, faute de capteurs adaptés à une collecte à grande échelle. En démontrant qu'un signal tactile plausible peut être inféré par la seule vision, EgoTac ouvre une voie pour injecter des a priori tactiles dans l'apprentissage de la manipulation dextre sans multiplier les déploiements de capteurs physiques coûteux et fragiles. Pour les intégrateurs et laboratoires travaillant sur la manipulation fine, cela pourrait réduire la dépendance aux gants ou capteurs tactiles embarqués lors de la collecte de données, tout en conservant un signal exploitable pour entraîner des politiques robotiques.

Le travail s'inscrit dans la lignée des efforts de collecte de données égocentriques massives pour la robotique, où la vision domine largement le toucher faute de standardisation des capteurs tactiles. Les auteurs comparent EgoTac à un estimateur de contact jugé état de l'art, qu'il surpasse sur les benchmarks hors domaine testés. Leurs analyses de passage à l'échelle montrent que la diversité des interactions et le volume de données améliorent tous deux la performance de façon régulière, suggérant une marge de progression via l'extension future du corpus d'entraînement et une possible intégration dans des pipelines d'apprentissage robotique tactile plus larges.

À lire aussi

DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines
Illustration générée par IA
1arXiv cs.RO 

DexCast : apprendre le contrôle dextérique en conditions réelles à partir de vidéos humaines

DexCast est un framework de recherche, publié sur arXiv (identifiant 2610.14691, version 2 révisée), qui apprend le contrôle de mains robotiques dextres directement à partir de vidéos monoculaires RGB-D d'humains, sans aucune téléopération. Le système s'appuie sur des reconstructions conjointes main-objet (HOI, pour hand-object interaction) en 3D, dont il extrait les trajectoires à reproduire. Pour traiter la difficulté de modéliser un mouvement de main à très haut nombre de degrés de liberté et d'en exploiter le contexte temporel, les auteurs proposent un module de perception du mouvement de la main, le DexHand Motion Perception Module (DMPM). Celui-ci encode la coordination entre articulations et les dépendances temporelles dans des représentations latentes compactes, qui conditionnent ensuite une politique de diffusion générant les actions futures. Les auteurs affirment des performances « exceptionnelles » sur diverses tâches de manipulation dextre testées en conditions réelles. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni modèle de main, ni comparaison chiffrée avec des méthodes existantes. L'enjeu est le coût de la donnée. Les approches d'imitation dextre dominantes reposent sur des démonstrations téléopérées, lentes à collecter, coûteuses en main-d'œuvre et peu transférables d'un robot à l'autre. Si l'on peut obtenir une politique exploitable à partir de simples vidéos humaines, le goulot d'étranglement se déplace de la collecte robotique vers la perception 3D, un terrain où les progrès sont rapides. Pour un intégrateur ou un industriel, l'attrait est évident : filmer un opérateur qualifié avec une caméra RGB-D serait bien moins cher que d'immobiliser un robot et un téléopérateur. Il faut toutefois rester prudent. Il s'agit d'un travail académique, sans déploiement ni produit, et le résumé ne dit rien de la robustesse hors du cadre de l'expérience, de la généralisation à de nouveaux objets, ni de l'écart entre morphologie humaine et main robotique. La qualité de la politique dépend aussi directement de la précision de la reconstruction HOI, notamment en cas d'occultation. DexCast s'inscrit dans un mouvement plus large qui cherche à apprendre la manipulation à partir de vidéos humaines pour réduire la dépendance à la téléopération. Parmi les approches voisines figurent les gants et dispositifs de capture portés, ainsi que les grands modèles vision-langage-action (VLA) entraînés sur des corpus mixtes, que développent des acteurs comme Physical Intelligence, NVIDIA ou Figure. La politique de diffusion, devenue un standard de l'apprentissage par imitation, est ici combinée à un encodeur spécialisé de la main. La suite logique serait la publication de benchmarks chiffrés, de code et de comparaisons avec les méthodes téléopérées, éléments indispensables pour juger de la portée réelle de l'approche. Aucun calendrier de pilote ou de commercialisation n'est annoncé.

RecherchePaper
1 source
Ego2Contact : prédire le toucher à partir de vidéos humaines égocentriques pour la manipulation robotique riche en contacts
Illustration générée par IA
2arXiv cs.RO 

Ego2Contact : prédire le toucher à partir de vidéos humaines égocentriques pour la manipulation robotique riche en contacts

Des chercheurs présentent Ego2Contact, un système qui prédit les zones de contact et le champ tactile des deux mains à partir d'une simple vidéo RGB égocentrique, puis transfère ce savoir à des mains robotiques. Le prédicteur fusionne le contexte temporel de la scène avec des caractéristiques visuelles locales à la main. Il est d'abord entraîné sur des enregistrements humains appariés à des mesures de gants tactiles. Pour passer à des mains de robot, dont l'apparence et la disposition des capteurs diffèrent, les auteurs alignent chaque géométrie tactile sur une grille canonique grâce à des correspondances entre régions anatomiques. Les mesures du robot servent alors de cibles de fine-tuning, et les prédictions deviennent des entrées de politique. Selon le résumé, le modèle dépasse les prédicteurs tactiles antérieurs sur données humaines, y compris sur des objets jamais vus, et sur données robot après adaptation. Le travail est publié sur arXiv (2610.22932v1) et aucun chiffre de performance n'est donné dans ce résumé. Le problème visé est un goulot d'étranglement connu de la manipulation riche en contacts. Les positions et forces de contact sont souvent ambiguës à la seule vue, mais les mesurer sur un robot exige du matériel tactile spécialisé et une collecte de données propre à chaque plateforme, ce qui rend les jeux de données tactiles robotiques rares. La vidéo égocentrique humaine se collecte à grande échelle, mais elle ne contient pas le toucher. Ego2Contact propose de combler ce manque en apprenant un a priori visuo-tactile chez l'humain. Les politiques entraînées avec le toucher prédit servent à la fois à de l'apprentissage par renforcement en simulation et au post-entraînement de politiques sur robot réel. En simulation, elles surpassent les références sans tactile et récupèrent une partie seulement du gain obtenu avec un tactile réel (« ground truth »). Ce « en partie » compte : le toucher inféré n'égale pas un capteur physique. Les résumés ne détaillent pas non plus les tâches ni l'ampleur des gains sur robot réel, des points à vérifier dans l'article complet. Ce travail s'inscrit dans la tendance qui exploite la vidéo humaine comme source de données bon marché pour la manipulation, en complément de la téléopération et de la simulation, dont le coût de collecte limite le passage à l'échelle. Il prolonge les prédicteurs entraînés sur gants tactiles, jusque-là limités aux mains humaines. Le résumé ne cite ni entreprise ni plateforme robotique précise, et aucun déploiement industriel n'est annoncé : il s'agit de recherche académique, pas d'un produit. La suite logique est une validation sur davantage de mains robotiques et de tâches réelles, ainsi que des comparaisons directes avec les capteurs tactiles embarqués que développent les acteurs de la main dextre.

RecherchePaper
1 source
EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réelles
Illustration générée par IA
3arXiv cs.RO 

EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réelles

Des chercheurs du laboratoire RL2 de Georgia Tech publient EgoWAM, un cadre de "World Action Models" qui exploite des vidéos égocentriques humaines filmées en conditions réelles pour entraîner des politiques de manipulation robotique. Le problème identifié: le clonage de comportement classique mélange des éléments transférables comme les objets, les scènes et la sémantique des tâches, avec des facteurs propres à l'humain (morphologie, mouvements de tête, style gestuel) qui n'ont rien à voir avec un bras robotique. Les auteurs testent trois cibles de prédiction du monde différentes, à backbone de politique, tête d'action et mélange de données identiques: la prédiction de pixels bruts, des caractéristiques visuelles DINO, et le flux de mouvement 3D. Sur trois tâches bimanuelles réelles, la prédiction pixel se révèle peu efficace pour le transfert humain-robot, tandis que DINO améliore la généralisation hors distribution (nouveaux objets, nouvelles scènes) jusqu'à 4 fois, et le flux 3D augmente la performance en distribution de 20 à 30%. Le résultat tranche un débat central pour l'industrie robotique: peut-on utiliser la masse de vidéos humaines disponibles sur le web comme signal d'entraînement bon marché, à la manière dont les modèles VLA (vision-langage-action) type Pi-0 de Physical Intelligence ou GR00T de NVIDIA cherchent à le faire? EgoWAM montre que oui, mais pas en imitant les pixels tels quels: il faut une représentation qui abstrait l'apparence et isole les effets physiques indépendants de l'agent, en séparant le mouvement de caméra du changement réel de l'environnement. Pour les intégrateurs et laboratoires qui misent sur la vidéo à l'échelle pour réduire le coût de collecte de données robotiques, cela oriente concrètement le choix des représentations à privilégier plutôt que la simple accumulation de séquences pixel. Le travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique et des jeux de données égocentriques type Ego4D, en réponse aux limites connues du clonage de comportement pur. Le code, les tâches et les détails expérimentaux sont publiés sur gatech-rl2.github.io/egowam.github.io, sans annonce de déploiement industriel à ce stade: il s'agit d'un résultat de recherche contrôlé, pas d'un produit prêt à intégrer.

RechercheActu
1 source
Transfert d'incarnation mimétique de l'interaction humain-humanoïde à partir de vidéos en conditions réelles
Illustration générée par IA
4arXiv cs.RO 

Transfert d'incarnation mimétique de l'interaction humain-humanoïde à partir de vidéos en conditions réelles

Des chercheurs présentent HumiTransfer, un cadre logiciel qui convertit des vidéos « sauvages » d'interactions entre deux humains (câlins, danse, poignées de main) en interactions physiquement plausibles entre un humain et un robot humanoïde. Le pipeline reconstruit d'abord le mouvement 3D humain en imposant une cohérence des contacts pied-sol. Il transfère ensuite l'un des deux participants vers le robot cible grâce à une modélisation de l'interaction, qui pondère les directions relatives entre articulations et les décalages anatomiques afin de préserver les relations inter-corps essentielles. Une optimisation post-retargeting impose enfin équilibre, contact et évitement des collisions. Appliqué à 1 200 vidéos, ce processus a produit environ 500 000 frames d'interactions, réunies dans le jeu de données HumiMimic, pour deux plateformes: l'Unitree R1 Edu (26 DOF) et le HighTorque Mini-hi (23 DOF). Les auteurs affirment une meilleure fidélité de mouvement, une meilleure préservation des relations entre corps et une plus grande précision des contacts que les méthodes de référence. Ils montrent aussi que HumiMimic permet d'entraîner des modèles de génération de mouvements où le robot réagit à un partenaire humain, et valident l'exécutabilité physique sur des robots réels. L'enjeu dépasse le simple retargeting. La plupart des travaux sur les humanoïdes visent la locomotion ou la manipulation en solo, tandis que l'interaction physique rapprochée avec une personne reste un domaine où les données manquent. La télé-opération est coûteuse à grande échelle et la simulation reproduit mal le contact avec un humain. Exploiter des vidéos existantes comme source de démonstrations réduit nettement ce goulot d'étranglement. Le fait que la méthode s'applique à deux morphologies distinctes est un signal utile pour les intégrateurs: une même base de données peut alimenter plusieurs plateformes. Il faut toutefois rester prudent. Il s'agit d'un preprint (arXiv) dont les comparaisons sont réalisées par les auteurs, et la taille du jeu de données (environ 500 000 frames, soit quelques heures de mouvement) reste modeste face aux corpus utilisés pour les modèles vision-langage-action. Les résultats sur robots réels attestent la faisabilité du mouvement, pas une interaction robuste et sûre autour d'une personne, ni des performances en conditions industrielles ou de service. Ce travail s'inscrit dans la lignée des méthodes de retargeting et d'imitation de mouvements humains pour humanoïdes, qui ont gagné en maturité avec la baisse du prix de plateformes comme celles d'Unitree ou de HighTorque, devenues des standards académiques. Il complète les modèles de fondation pour humanoïdes développés par des acteurs comme NVIDIA (GR00T), Figure (Helix) ou Physical Intelligence (Pi-0), qui se concentrent surtout sur la manipulation. L'étape suivante logique est de mesurer la réactivité en boucle fermée à un partenaire réel, avec des garanties de sécurité, avant d'envisager des usages d'accompagnement, de santé ou de divertissement. Aucun calendrier de déploiement commercial n'est annoncé.

RecherchePaper
1 source