Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
SiMDex : exploiter des vidéos égocentriques similaires pour la manipulation dextre inter-incarnation
RecherchearXiv cs.RO 

SiMDex : exploiter des vidéos égocentriques similaires pour la manipulation dextre inter-incarnation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent SiMDex, un framework de curation de données par similarité pour l'entraînement des modèles vision-langage-action (VLA) appliqués à la manipulation dextre robotique, publié début août 2026 sur arXiv. Le système traite un problème concret: parmi des millions de vidéos égocentriques humaines disponibles, lesquelles sont réellement utiles pour apprendre à un bras ou une main robotique à manipuler des objets? SiMDex formule cette sélection comme un problème de recommandation, avec un pipeline en trois étapes (rappel, classement, reclassement) qui extrait, pour chaque démonstration robotique, les sous-ensembles pertinents dans un réservoir d'environ 32 millions d'échantillons vidéo égocentriques. L'espace d'action utilisé est agnostique à la morphologie, donc aucune modification de l'architecture VLA ni du processus d'entraînement n'est requise pour l'intégrer. Face à une base de référence entraînée avec un volume équivalent de données humaines choisies aléatoirement, SiMDex n'utilise que 1,49 million d'échantillons triés, soit moins de 5% du réservoir total, tout en faisant grimper le taux de réussite global de 47,7% à 61,1%.

Cet écart de plus de 13 points obtenu avec dix fois moins de données a une portée directe pour le secteur: il suggère que le frein au post-entraînement des VLA n'est pas le volume de vidéos humaines disponibles, mais leur pertinence pour la tâche visée. Depuis deux ans, la course à la manipulation dextre mise surtout sur la mise à l'échelle brute de jeux de données égocentriques pour combler l'écart entre démonstration et déploiement réel. SiMDex questionne cette logique indiscriminée: pour les laboratoires et intégrateurs qui entraînent des politiques de manipulation, un curatoriat ciblé peut réduire fortement les coûts de calcul et de stockage tout en améliorant la performance, sans toucher au modèle lui-même.

Le travail s'inscrit dans la recherche sur l'apprentissage cross-embodiment, où des vidéos de mains humaines servent à préentraîner des politiques ensuite transférées à des mains ou bras robotiques de morphologie différente, une piste explorée par plusieurs équipes travaillant sur des VLA généralistes. Les résultats restent pour l'instant limités à des benchmarks internes: rien n'indique encore une validation en déploiement réel, ni si le code ou le jeu de données mineur seront rendus publics.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Praxis : des a priori d'interaction physique de vidéos égocentriques pour une manipulation généralisable du corps entier
1arXiv cs.RO 

Praxis : des a priori d'interaction physique de vidéos égocentriques pour une manipulation généralisable du corps entier

Un preprint publié le 28 septembre 2026 sur arXiv (2609.30735) décrit Praxis, un framework de manipulation corps-entier pour robots humanoïdes mobiles, capable d'apprendre une compétence à partir d'une seule démonstration vidéo égocentrique, sans réentraînement de politique spécifique à la tâche. Le système enchaîne trois étapes : une navigation guidée par un modèle vision-langage vers l'objet cible, une calibration de posture en boucle fermée qui aligne l'espace de travail bras-main, puis une manipulation dextre avec coordination synchronisée du haut et du bas du corps. Un retour visuel en ligne réajuste la géométrie d'interaction démontrée face à de nouvelles poses d'objets, tandis qu'un retour tactile adapte les mouvements de la main aux conditions de contact réelles. Testé sur cinq tâches de manipulation à horizon long, le système montre une généralisation spatiale, visuelle et inter-objets, ainsi qu'une récupération après perturbation physique externe à chacune des trois étapes. L'intérêt pour l'industrie tient à la réduction du coût de collecte de données : la plupart des politiques de manipulation actuelles, qu'elles reposent sur des modèles vision-langage-action ou sur l'apprentissage par renforcement, exigent des centaines de démonstrations téléopérées par tâche pour généraliser correctement. En ne nécessitant qu'un seul enregistrement vidéo humain par compétence et aucune caméra embarquée sur robot pendant la collecte, Praxis s'attaque directement au goulot d'étranglement qui freine le déploiement d'humanoïdes polyvalents chez les intégrateurs. La combinaison de retours visuel et tactile pour récupérer d'une perturbation en conditions réelles, plutôt que de rejouer une trajectoire figée, touche un point sensible du secteur : l'écart persistant entre démonstrations soignées et robustesse en usage industriel réel. Praxis s'inscrit dans la lignée des recherches sur l'apprentissage par imitation à partir de vidéos humaines, une alternative moins coûteuse à la téléopération massive utilisée par les grands modèles vision-langage-action. Il s'agit à ce stade d'un résultat de recherche publié en preprint, sans nom de produit ni partenaire industriel annoncé, testé sur cinq tâches en conditions expérimentales contrôlées et non en déploiement réel chez un client. L'étape suivante, non détaillée dans le résumé, consisterait à étendre le nombre de compétences apprises simultanément et à valider l'approche sur des plateformes robotiques commerciales avant toute évaluation par des intégrateurs.

RecherchePaper
1 source
Ego2Contact : prédire le toucher à partir de vidéos humaines égocentriques pour la manipulation robotique riche en contacts
2arXiv cs.RO 

Ego2Contact : prédire le toucher à partir de vidéos humaines égocentriques pour la manipulation robotique riche en contacts

Des chercheurs présentent Ego2Contact, un système qui prédit les zones de contact et le champ tactile des deux mains à partir d'une simple vidéo RGB égocentrique, puis transfère ce savoir à des mains robotiques. Le prédicteur fusionne le contexte temporel de la scène avec des caractéristiques visuelles locales à la main. Il est d'abord entraîné sur des enregistrements humains appariés à des mesures de gants tactiles. Pour passer à des mains de robot, dont l'apparence et la disposition des capteurs diffèrent, les auteurs alignent chaque géométrie tactile sur une grille canonique grâce à des correspondances entre régions anatomiques. Les mesures du robot servent alors de cibles de fine-tuning, et les prédictions deviennent des entrées de politique. Selon le résumé, le modèle dépasse les prédicteurs tactiles antérieurs sur données humaines, y compris sur des objets jamais vus, et sur données robot après adaptation. Le travail est publié sur arXiv (2610.22932v1) et aucun chiffre de performance n'est donné dans ce résumé. Le problème visé est un goulot d'étranglement connu de la manipulation riche en contacts. Les positions et forces de contact sont souvent ambiguës à la seule vue, mais les mesurer sur un robot exige du matériel tactile spécialisé et une collecte de données propre à chaque plateforme, ce qui rend les jeux de données tactiles robotiques rares. La vidéo égocentrique humaine se collecte à grande échelle, mais elle ne contient pas le toucher. Ego2Contact propose de combler ce manque en apprenant un a priori visuo-tactile chez l'humain. Les politiques entraînées avec le toucher prédit servent à la fois à de l'apprentissage par renforcement en simulation et au post-entraînement de politiques sur robot réel. En simulation, elles surpassent les références sans tactile et récupèrent une partie seulement du gain obtenu avec un tactile réel (« ground truth »). Ce « en partie » compte : le toucher inféré n'égale pas un capteur physique. Les résumés ne détaillent pas non plus les tâches ni l'ampleur des gains sur robot réel, des points à vérifier dans l'article complet. Ce travail s'inscrit dans la tendance qui exploite la vidéo humaine comme source de données bon marché pour la manipulation, en complément de la téléopération et de la simulation, dont le coût de collecte limite le passage à l'échelle. Il prolonge les prédicteurs entraînés sur gants tactiles, jusque-là limités aux mains humaines. Le résumé ne cite ni entreprise ni plateforme robotique précise, et aucun déploiement industriel n'est annoncé : il s'agit de recherche académique, pas d'un produit. La suite logique est une validation sur davantage de mains robotiques et de tâches réelles, ainsi que des comparaisons directes avec les capteurs tactiles embarqués que développent les acteurs de la main dextre.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
DexVerse : un référentiel modulaire pour la manipulation dextre multi-tâche et multi-incarnation
3arXiv cs.RO 

DexVerse : un référentiel modulaire pour la manipulation dextre multi-tâche et multi-incarnation

Un consortium de chercheurs présente DexVerse, un benchmark modulaire à grande échelle pour la manipulation dextre multi-tâches et multi-embodiments. L'ensemble couvre 100 tâches réparties sur des compétences variées : saisie et déplacement d'objets, interaction avec des objets articulés, usage fonctionnel d'outils, coordination bimanuelle, contrôle non préhensile, comportements riches en contact, exécution multi-objectifs et tâches longues à plusieurs étapes. Le système prend en charge 3 bras robotiques et 6 mains dextres différentes, et reste extensible à de nouvelles tâches, de nouveaux actifs et de nouveaux embodiments. Pour tester la généralisation visuomotrice, DexVerse propose des variations visuelles paramétrables (textures, arrière-plans, éclairage, points de vue caméra). Les auteurs fournissent aussi une interface de téléopération en réalité virtuelle ainsi que 3 180 démonstrations avec observations synchronisées : données proprioceptives, images RGB, profondeur, nuages de points et états. Quatre méthodes représentatives ont été évaluées sur 19 tâches : Diffusion Policy, DP3, OpenVLA et π0.5. Les résultats révèlent des difficultés importantes de généralisation entre tâches et de robustesse visuomotrice, même pour ces politiques d'apprentissage jugées à la pointe. Pour l'industrie robotique, ce constat vient nuancer l'enthousiasme actuel autour des modèles VLA (vision-langage-action) présentés comme des solutions généralistes prêtes à l'échelle : DexVerse montre que la performance chute nettement dès que les conditions visuelles ou la nature de la tâche s'écartent du contexte d'entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B qui évaluent des politiques de manipulation dextre avant déploiement industriel : la démonstration en laboratoire ne garantit pas la robustesse en conditions réelles variables. DexVerse s'inscrit dans une lignée de benchmarks robotiques cherchant à dépasser les évaluations sur tâche isolée, un manque identifié dans les jeux d'essai existants, limités en diversité de tâches, de couverture d'embodiments ou de variation visuelle contrôlable. En couvrant simultanément plusieurs bras, plusieurs mains et un large éventail de conditions, il se positionne comme un terrain d'essai de référence pour comparer des approches comme Diffusion Policy ou les modèles de la famille π face à des architectures VLA telles qu'OpenVLA. La page du projet est disponible à l'adresse ycyao216.github.io/DexVerse.site, laissant présager de futures évaluations élargies et l'ajout d'autres méthodes et tâches.

RecherchePaper
1 source
MEMORA : mémoire d'action incarnée à partir de vidéos égocentriques pour le raisonnement et la planification
4arXiv cs.RO 

MEMORA : mémoire d'action incarnée à partir de vidéos égocentriques pour le raisonnement et la planification

Des chercheurs présentent MEMORA, un système de mémoire d'action incarnée pour la planification robotique à long horizon, détaillé dans un article publié le 17 juillet 2026 sur arXiv (2607.14252v1). L'architecture repose sur un cycle formation-consolidation-récupération et quatre magasins de mémoire typés : Environment Memory (lieux), Entity Memory (identité et états des objets), Activity Memory (procédures répétées) et Inferred Knowledge (régularités déduites de l'expérience). Les auteurs ont construit MEMORA-Bench, évalué sur 45 heures de vidéos égocentriques issues d'une extension du jeu de données EPIC-KITCHENS-100 couvrant 18 participants, avec des tâches de planification ancrée en mémoire incluant des objectifs inédits. Testée sur quatre modèles de langage à poids ouverts, la version complète de MEMORA obtient les meilleurs résultats agrégés parmi toutes les conditions comparées, avec un gain jusqu'à 20,5 points de précision sur l'évaluation de mémoire et une amélioration relative jusqu'à 16,6% du score de plan ancré au robot en généralisation hors distribution. Une étude qualitative de déploiement sur deux tâches robotiques illustre l'interfaçage entre plans en langage naturel et contrôle réel. L'enjeu dépasse le simple score de benchmark. La plupart des modèles vision-langage-action actuels, de Pi-0 à GR00T N2 en passant par Helix, raisonnent surtout à partir de la scène présente, sans mémoire persistante des lieux, états d'objets ou procédures déjà rencontrées. Or planifier à long horizon dans un entrepôt, une cuisine industrielle ou un atelier suppose de se souvenir où est rangé tel outil ou quelle procédure a déjà fonctionné. En montrant qu'une mémoire éditable et consolidée améliore la généralisation à des objectifs inédits, MEMORA plaide pour une architecture hybride perception-action plus mémoire structurée, plutôt qu'un modèle unique de bout en bout. Pour les équipes de recherche robotique, le signal est que le goulot d'étranglement du raisonnement long horizon tient autant à l'absence de représentation persistante de l'expérience qu'à la politique d'action elle-même. Ce travail s'inscrit dans la recherche émergente sur l'agentivité incarnée à mémoire longue, en marge des humanoïdes commerciaux comme Figure 03 ou Optimus. À ce stade, MEMORA reste un travail académique évalué sur benchmark et testé qualitativement sur seulement deux tâches robotiques, loin d'un déploiement industriel. Les auteurs le positionnent comme complémentaire aux modèles VLA existants, une couche de contexte en amont plutôt qu'un concurrent. La suite logique serait une intégration à des pipelines VLA en conditions réelles et une extension du benchmark au-delà des tâches de cuisine, vers la logistique ou l'assemblage. Détails et code sur la page projet des auteurs.

RecherchePaper
1 source