Aller au contenu principal
IronMind : passage à l'échelle de la manipulation dextérique humanoïde par pré-entraînement égocentrique dans l'espace caméraIllustration générée par IA
IA physiquearXiv cs.RO 

IronMind : passage à l'échelle de la manipulation dextérique humanoïde par pré-entraînement égocentrique dans l'espace caméra

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

IronMind, un modèle vision-langage-action (VLA) décrit dans un preprint arXiv (v1, non évalué par les pairs), vise à entraîner des humanoïdes à la manipulation dextre à partir de vidéos égocentriques humaines, c'est-à-dire filmées depuis le point de vue de l'opérateur, combinées à des données robotiques hétérogènes. Les auteurs contournent le retargeting corporel explicite en adoptant une représentation d'action dans l'espace caméra, référentiel natif de ces vidéos, et en alignant sémantiquement les dimensions d'action humaines et robotiques. Sur des budgets de pré-entraînement de 250 à 10 000 heures, la perte de validation décroît approximativement de façon log-linéaire avec le volume de données. Après post-entraînement, sur six tâches difficiles impliquant objets, affordances et consignes de raisonnement inédits, le modèle à 10 000 heures atteint 55,0 % de réussite. Les budgets inférieurs ou égaux à 5 000 heures plafonnent à 11,7 % au mieux, et l'absence de pré-entraînement donne 5,0 %. À budget égal, la représentation en espace caméra surpasse aussi la référence en repère du torse.

L'intérêt tient à deux points. D'abord, la manipulation dextre humanoïde commence à montrer une loi d'échelle comparable à celle observée en langage : la perte baisse régulièrement avec les données, et la généralisation en conditions réelles progresse. Ensuite, la source de données change d'économie. Les vidéos égocentriques bon marché, sans cinématique du torse, deviennent exploitables, alors que la téléopération robotique reste lente et coûteuse à collecter. Pour un intégrateur, cela suggère que le goulot d'étranglement se déplace vers la curation et l'alignement de données humaines plutôt que vers le parc de robots. Quelques réserves s'imposent : le saut brutal entre 5 000 et 10 000 heures (de 11,7 % à 55,0 %) repose sur six tâches seulement, sans indication du nombre d'essais ni de l'intervalle de confiance. Le robot utilisé, les temps de cycle et les conditions de test ne sont pas précisés dans le résumé. Il s'agit de résultats de laboratoire, sans déploiement industriel.

Ce travail s'inscrit dans la course aux VLA généralistes, où Pi-0 de Physical Intelligence, GR00T de NVIDIA et Helix de Figure exploitent surtout des données téléopérées ou synthétiques. L'usage de vidéo humaine égocentrique à grande échelle est une piste concurrente, déjà explorée par plusieurs laboratoires, que IronMind cherche à rendre praticable en supprimant l'étape de retargeting. Les prochaines étapes à surveiller sont la publication du code et des poids, la réplication sur d'autres plateformes humanoïdes, et la mesure du point de saturation au-delà de 10 000 heures. Aucun acteur français ou européen n'est mentionné dans le résumé.

À lire aussi

Passage à l'échelle de la manipulation bimanuelle domestique : de 1 500 heures de démonstrations aux corrections en ligne
Illustration générée par IA
1arXiv cs.RO 

Passage à l'échelle de la manipulation bimanuelle domestique : de 1 500 heures de démonstrations aux corrections en ligne

Une équipe de recherche a publié le 3 septembre 2026 sur arXiv (2609.03591) un corpus ouvert de 1500 heures de démonstrations de manipulation bimanuelle sur des tâches domestiques courantes, collecté via un pipeline de données à haut débit. Ce corpus sert à entraîner XR-2, un modèle vision-langage-action (VLA) pilotant des bras robotiques à deux mains, via un entraînement en plusieurs étapes. Les auteurs testent deux leviers de mise à l'échelle, le volume de démonstrations expertes et le post-entraînement sur des corrections DAgger issues d'interventions humaines en temps réel, et observent dans les deux cas une amélioration régulière du taux de réussite, sans chiffres précis dans le résumé.

IA physiqueActu
1 source
RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D
Illustration générée par IA
2arXiv cs.RO 

RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D

RynnVLA-Latent est un cadre de pré-entraînement de politiques robotiques de type VLA (vision-langage-action) qui contourne la rareté des démonstrations annotées en actions. Son noyau, RynnLAM, apprend des « actions latentes » continues et ancrées en 3D à partir de simples transitions visuelles, sans exiger les commandes natives d'un robot. Il combine trois ingrédients: la prédiction résiduelle de caractéristiques futures, une supervision par flux 3D compensé du mouvement de caméra, et un découplage explicite du mouvement de caméra. Appliqué à 30,1 K heures de vidéos humaines, robotiques et simulées, RynnLAM produit 745,52 millions de descripteurs d'actions latentes.

IA physiquePaper
1 source
ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes
Illustration générée par IA
3arXiv cs.RO 

ROVE : l'apprentissage par renforcement pour débloquer les interventions humaines dans la manipulation par humanoïdes

Une équipe de chercheurs a publié fin juin 2026 ROVE (Reinforcement learning for humanoid VLA post-training with imperfect human interventions), un framework de renforcement dédié à l'amélioration des modèles Vision-Language-Action (VLA) sur robots humanoïdes à partir d'interventions humaines imparfaites. Le principe : un opérateur prend la main sur le robot lors des phases d'échec, générant des trajectoires correctives qui servent ensuite à affiner le modèle. Le problème bien identifié par les auteurs est que ces interventions humaines sont souvent hésitantes, sous-optimales, voire erronées, ce qui rend l'imitation naïve contre-productive.

IA physiqueOpinion
1 source
Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action
Illustration générée par IA
4arXiv cs.RO 

Au-delà du passage à l'échelle des données : le pré-entraînement continu centré sur la représentation pour les modèles vision-langage-action

Des chercheurs ont publie sur arXiv le modèle VLAct, un système vision-langage-action (VLA) fonde sur un pré-entrainement continu qui privilégié la qualité de représentation plutôt que le seul volume de données robotiques. Le backbone VLM généraliste est étendu sur des trajectoires multi-robots hétérogènes, en préservant le prior du VLM et en unifiant partiellement les actions entre morphologies avant un fine-tuning par tache. Sur LIBERO-Plus et RoboTwin 2.0, VLAct devance les systèmes industriels ABot-M0 et LingBot-VLA avec 82,6% et 92,5% de réussite, et se classe sixième sur RoboDojo devant toutes les entrées "world-action model".

IA physiqueOpinion
1 source