Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Mieux entraîner les VLA : les leçons du défi REAL-I à l'ICRA 2026
RecherchearXiv cs.RO 

Mieux entraîner les VLA : les leçons du défi REAL-I à l'ICRA 2026

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

La première édition du REAL-I Challenge (Real-world Embodied AI Learning) s'est déroulée lors de la conférence ICRA 2026, en trois étapes : évaluation en simulation, tests sur robot réel, puis une finale sur site disputée sur une même plateforme humanoïde bimanuelle. L'objectif était précis : entraîner des politiques robotiques le plus efficacement possible à partir d'un budget de démonstrations fixe, et non d'un jeu de données illimité. L'article, publié sur arXiv (2609.13679v1), compare les approches de trois équipes finalistes, NUS-CLEAR, RCL-Lab et Deeptouch.ai, qui ont toutes combiné un modèle vision-langage-action (VLA) pré-entraîné à des politiques d'imitation spécifiques à la tâche, en variant la curation des données, l'adaptation par étapes, la sélection des points de contrôle et la conception de l'espace d'action.

Les enseignements dépassent le cadre du concours et s'adressent directement aux intégrateurs et aux chercheurs appliqués. Les auteurs identifient trois facteurs opérationnels : la capacité à s'adapter à l'environnement de déploiement sans effacer les compétences acquises en amont, la prise en compte de la qualité des démonstrations à la bonne échelle temporelle, et la correction des erreurs sur les composants du robot momentanément inactifs. Un bras qui dérive alors qu'il n'est pas sollicité peut suffire à faire échouer une tâche entière. Point le plus significatif pour la communauté VLA : les métriques hors ligne de prédiction d'action, standard pour évaluer ces modèles, se révèlent peu fiables pour anticiper le succès réel en boucle fermée sur robot physique, ce qui nuance l'idée qu'un pré-entraînement à grande échelle suffirait à résoudre le transfert vers le monde réel.

Ce travail s'inscrit dans un paysage où des modèles généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI servent de socles censés généraliser à de nouvelles tâches avec peu de données ; REAL-I offre un banc d'essai indépendant, sur une plateforme partagée, plutôt que des métriques auto-rapportées par les fabricants. Les auteurs appellent à traiter curation des données, adaptation, évaluation et déploiement comme un seul pipeline plutôt que comme des problèmes séparés, une orientation qui devrait structurer les prochaines éditions du challenge et les benchmarks à venir dans la communauté ICRA.

Dans nos dossiers

FigureIA physique & VLANVIDIA GR00TPhysical Intelligence — π0

À lire aussi

TTT dans les modèles VLA : explorer l'entraînement avec des démonstrations humaines
1arXiv cs.RO 

TTT dans les modèles VLA : explorer l'entraînement avec des démonstrations humaines

Une étude publiée sur arXiv (2610.32094) teste l'intégration du Test-Time Training (TTT) dans deux modèles vision-langage-action (VLA) : InternVLA-A1 et Pi0.5. Le TTT stocke le contexte dans des « poids rapides » mis à jour pendant l'inférence. L'objectif est de permettre à un robot d'effectuer des tâches longues en conservant l'information passée, ici une démonstration humaine. Les auteurs entraînent les modèles sur des paires démonstration humaine / trajectoire robot. Ils implémentent un transfert de mémoire entre les deux phases et une rétropropagation tronquée. Ils comparent plusieurs objectifs d'entraînement, plusieurs couvertures de gradient et une régularisation contrastive, sur des tâches où l'indice est une vidéo, une courte vidéo ou une seule image. Le résultat est négatif : à l'échelle testée, le TTT et l'entraînement sur données appariées n'induisent pas de sélection cohérente de la cible d'après la démonstration. Ni les séquences plus courtes, ni la connectivité complète du gradient sur toute la trajectoire, ni la régularisation contrastive n'améliorent nettement la réactivité aux démonstrations. Quand la démonstration est réduite à une image unique, le robot réel continue de préférer des gobelets placés à des positions fixes. Le modèle semble donc exploiter des régularités de position apprises à l'entraînement plutôt que l'indice fourni. Le papier ne chiffre pas ici de taux de réussite dans son résumé, et la conclusion vaut pour les réglages et la taille de données testés, pas pour le TTT en général. Ce type de résultat compte pour les intégrateurs et les équipes R&D. Il rappelle qu'une architecture à mémoire, même séduisante sur le papier, ne suffit pas à rendre un VLA conditionnable par l'exemple. L'imitation à partir d'une seule démonstration humaine, souvent mise en avant comme voie vers un déploiement rapide sans reprogrammation, reste un problème ouvert. Le biais de position observé illustre aussi un risque classique : des métriques en simulation ou sur des configurations répétitives peuvent masquer l'absence de véritable compréhension de l'indice. La publication des détails d'implémentation et des configurations d'entraînement, dans une optique de réplication, a une vraie valeur pour un champ où les échecs sont rarement documentés. Le contexte est celui de la montée des VLA généralistes, dont Pi0.5 de Physical Intelligence, et de la recherche de mémoire à long horizon pour sortir des modèles quasi sans état. Le TTT, issu des travaux sur les couches de séquence à poids rapides, est une alternative aux fenêtres de contexte coûteuses. Les suites logiques seraient de changer d'échelle (plus de paires de données, plus de diversité de scènes), de tester d'autres mécanismes de mémoire et de comparer avec des approches de démonstration en contexte. Aucun calendrier n'est annoncé, et il s'agit d'une recherche académique, sans produit ni déploiement.

RecherchePaper
1 source
Sortir et revenir : ancrage du monde et du comportement dans le co-entraînement Real2Sim2Real
2arXiv cs.RO 

Sortir et revenir : ancrage du monde et du comportement dans le co-entraînement Real2Sim2Real

Une équipe de chercheurs publie sur arXiv (2610.00821) une étude sur l'usage de la simulation pour enrichir des démonstrations réelles rares dans le co-entraînement de politiques robotiques. Les auteurs distinguent deux axes qu'ils font varier indépendamment dans un pipeline « real2sim2real ». Le premier, le « world grounding », aligne la simulation sur le système réel. Le second, le « behavior grounding », aligne les trajectoires simulées sur le mouvement humain. Le test porte sur une tâche dynamique de tri et de saisie dextre. Avec un co-entraînement entièrement ancré sur les deux axes, le taux de réussite passe de 52 % à 86 %. En moyenne sur toutes les configurations, le world grounding apporte 18 points de pourcentage et le behavior grounding 10 points. Les politiques déployées se comportent comme un mélange de deux politiques : l'une dérivée du réel, l'autre dérivée de la simulation. Elles imitent les démonstrations réelles dans les états couverts par celles-ci et s'appuient sur le comportement simulé ailleurs, ce que les auteurs examinent par une analyse de l'espace latent. Pour les équipes qui doivent arbitrer leur budget de données, le résultat est utile parce qu'il chiffre des effets que le secteur traite souvent de façon intuitive. Le world grounding apparaît comme l'investissement prioritaire : il permet à la politique d'exploiter l'expérience simulée au-delà de la zone couverte par les données réelles, donc d'étendre la robustesse sans multiplier les téléopérations coûteuses. Le behavior grounding compte surtout lorsque l'alignement du monde est imparfait, ce qui est le cas de la plupart des simulateurs de contact et de dextérité. L'étude nuance l'idée d'un sim-to-real « résolu » : un gain de 34 points reste conditionné à un travail de calibration explicite. Les auteurs indiquent aussi que la simulation ancrée reste bénéfique lors du co-entraînement de modèles de fondation. Les résultats se limitent toutefois à une tâche unique, et l'abstract ne précise ni le robot, ni le nombre de démonstrations, ni le nombre d'essais. La marge statistique de ces pourcentages n'est donc pas évaluable à ce stade. Ces travaux s'inscrivent dans le débat sur la manière de combler la pénurie de données robotiques. Les approches se partagent entre téléopération à grande échelle, vidéos humaines et génération synthétique en simulation, chacune avec ses limites de coût et d'écart de réalité. Des acteurs comme Nvidia, avec son écosystème Isaac et GR00T, Physical Intelligence avec Pi-0, ou Figure avec Helix, misent sur des mélanges de ces sources. Cet article, une prépublication non encore relue par des pairs, apporte une grille de lecture expérimentale sur ce que la simulation doit reproduire pour être utile. Reste à voir si ces proportions se confirment sur d'autres tâches, d'autres plateformes et à plus grande échelle.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent
3arXiv cs.RO 

IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent

Des chercheurs présentent IMPACT, une méthode d'entraînement pour les world models utilisés par les agents robotiques, détaillée dans un article publié le 2 septembre 2026 sur arXiv (2609.00161v1). Ces modèles prédisent l'évolution future d'une scène à partir d'une action donnée, mais peinent à générer des interactions physiquement plausibles entre un bras ou une main et les objets manipulés. Les approches existantes corrigent ce défaut en injectant des représentations externes de mouvement, géométrie ou sémantique, obtenues via des estimateurs auxiliaires ou des annotations manuelles, ce qui limite le passage à l'échelle. Les auteurs identifient plutôt un défaut structurel dans l'objectif d'entraînement standard, l'erreur quadratique moyenne globale, qui privilégie le contenu statique dominant de la scène au détriment des rares régions dynamiques où se joue l'interaction. IMPACT exploite les cartes d'attention croisée déjà associées aux tokens de l'objet manipulé comme indice spatiotemporel interne, échantillonne les régions candidates, les recalibre avec les erreurs de prédiction locales, puis reprend cette carte d'interaction pour repondérer la supervision du débruitage, sans représentation externe ni modification au moment de l'inférence. Testée sur des tâches de manipulation par bras robotique et par main humaine, avec plusieurs modalités de contrôle et backbones DiT, la méthode surpasse systématiquement les bases entraînées en MSE classique sur la fidélité des interactions, la plausibilité physique et la qualité visuelle. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié dans l'entraînement des world models et des politiques VLA à grande échelle: la difficulté à faire tenir la promesse du "sim-to-real" ou de la génération vidéo conditionnée par action lorsque les moments qui comptent, le contact, la préhension, le déplacement d'un objet, ne représentent qu'une fraction des pixels d'une séquence. En évitant de dépendre d'annotateurs externes ou de pipelines de labellisation coûteux, IMPACT propose une voie de passage à l'échelle compatible avec les volumes de données nécessaires à l'entraînement de modèles génératifs pour la robotique, un enjeu direct pour les laboratoires qui alimentent des architectures de type GR00T N2, Pi-0 ou Helix en données synthétiques ou en simulateurs de monde. Ce travail s'inscrit dans la lignée des recherches récentes sur les world models conditionnés par action, où plusieurs équipes ont cherché à contraindre la génération avec des représentations de mouvement ou de géométrie pour éviter les artefacts physiquement incohérents, une limite régulièrement pointée dans les démonstrations vidéo de modèles de manipulation. IMPACT se positionne comme une alternative purement algorithmique à ces approches basées sur des représentations externes, testée sur plusieurs backbones DiT et modalités de contrôle, sans toutefois préciser de déploiement industriel ni de partenaire robotique à ce stade: il s'agit d'une contribution de recherche publiée sur arXiv, dont l'adoption par des acteurs commerciaux de la robotique reste à confirmer dans les prochains mois.

RecherchePaper
1 source
Apprendre à bouger avant d'agir : pré-entraînement générique pour les VLA
4arXiv cs.RO 

Apprendre à bouger avant d'agir : pré-entraînement générique pour les VLA

Une équipe de recherche publie sur arXiv (2607.02466v1) un nouveau framework baptisé TAP (Task-Agnostic Pretraining), conçu pour entraîner des modèles Vision-Language-Action (VLA) avec beaucoup moins de démonstrations expertes que les approches classiques. Le constat de départ : la rareté des données étiquetées (observations, instructions et actions) freine le développement des VLA, car les méthodes actuelles mélangent deux apprentissages distincts, la compétence physique (comment bouger) et l'alignement sémantique (quoi faire), alors que seul le second nécessite une supervision par le langage. TAP sépare les deux en deux étapes : une première phase apprend des a priori moteurs transférables à partir de données d'interaction non étiquetées et bon marché, y compris des trajectoires hors tâche généralement écartées et du jeu autonome de robots, via un objectif auto-supervisé de dynamique inverse. Une seconde phase, légère, ancre ensuite ces a priori dans le langage à l'aide d'un minimum de données expertes. Sur le benchmark SIMPLER, TAP égale des modèles entraînés sur plus d'un million de trajectoires expertes tout en utilisant des ordres de grandeur de données étiquetées en moins, avec un gain absolu de 10% sur le behavior cloning standard. Sur une plateforme réelle WidowX, TAP conserve un taux de réussite de 25% face à des perturbations de caméra, là où les baselines entraînées à l'échelle internet chutent à 0%. Ce résultat s'attaque directement à l'un des goulots d'étranglement les plus cités du secteur robotique : le coût de collecte de démonstrations expertes à grande échelle, souvent invoqué pour justifier des besoins massifs en téléopération ou en données simulées coûteuses. En montrant qu'un pré-entraînement task-agnostic sur des données bon marché (trajectoires ratées, jeu robotique non supervisé) peut produire des représentations physiques robustes et transférables, TAP suggère une voie de scalabilité alternative à l'empilement pur de données expertes, un enjeu direct pour les intégrateurs et laboratoires qui cherchent à réduire le coût par déploiement de politiques VLA. Le travail s'inscrit dans la lignée des architectures VLA récentes comme Pi-0 ou GR00T N2, qui cherchent toutes à généraliser au-delà des tâches vues à l'entraînement. La robustesse démontrée face aux perturbations caméra, un scénario classique de dégradation en conditions réelles, en fait un signal notable pour la suite : reste à voir si l'approche se généralise à des plateformes bras-mobiles ou humanoïdes plus complexes que le bras WidowX utilisé ici pour la validation.

RechercheActu
1 source