Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Post-entraînement, finetuning et pilotage : guide pratique pour constituer des données d'entraînement
RecherchearXiv cs.RO 

Post-entraînement, finetuning et pilotage : guide pratique pour constituer des données d'entraînement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une étude déposée sur arXiv en octobre 2026 (2610.19143, première version) compare de façon systématique les méthodes d'adaptation des modèles Vision-Language-Action (VLA) selon le type de données disponibles. Les scénarios testés sont les données on-policy ou off-policy, l'adaptation hors ligne ou en ligne, et les trajectoires optimales ou sous-optimales. L'évaluation couvre des tâches simulées du benchmark LIBERO et des tâches réelles sur un bras Franka. Hors ligne, quand des données d'échec existent, le « steering » par critique surpasse le fine-tuning supervisé. Ce steering consiste à utiliser une fonction de valeur pour orienter ou filtrer les actions du modèle, sans réentraîner ses poids. En revanche, les techniques d'offline RL pour entraîner ces critiques ne font pas mieux que de simples estimations Monte-Carlo. En ligne, le steering demande nettement moins d'échantillons que les méthodes de fine-tuning par policy gradient, mais son plafond de performance reste inférieur à celui d'un fine-tuning complet.

Les VLA transfèrent bien d'une tâche à l'autre en zero-shot, mais la fiabilité exigée en production passe par une adaptation. Le choix de la méthode se faisait jusqu'ici surtout à l'intuition. Pour un intégrateur, l'étude donne trois repères. Les logs d'échec, souvent jetés, ont une vraie valeur d'entraînement. Une approche Monte-Carlo simple suffit pour le critique. Et il faut arbitrer entre un steering rapide et économe en données et un fine-tuning complet, plus coûteux mais plus performant à terme. Les limites sont nettes. Le résumé ne donne aucun chiffre de gain, le banc d'essai est un bras unique en simulation et en laboratoire, et rien n'est mesuré en temps de cycle, en cadence ou en conditions d'atelier. La transposition aux humanoïdes ou aux cellules industrielles n'est pas démontrée.

Depuis les premiers VLA, la littérature a multiplié les recettes de post-training : fine-tuning supervisé, RL en ligne, guidage par fonction de valeur. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur ces mêmes questions d'adaptation, mais publient rarement des comparaisons contrôlées. Ce travail, présenté comme un guide pratique, comble en partie ce vide. Il s'agit d'un preprint non évalué par les pairs, sans pilote ni déploiement annoncé. La suite logique serait une validation sur d'autres plateformes, des tâches plus longues et des volumes de données réalistes.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

1arXiv cs.RO 

Démonstrations humaines comme données de post-entraînement pour tout robot : transférer l'objet, pas la main

Des chercheurs proposent une méthode pour transformer une démonstration humaine, filmée par exemple avec un simple téléphone mobile, en données de post-entraînement utilisables par n'importe quel robot, quelle que soit sa morphologie. Plutôt que de transposer le mouvement de la main (retargeting), le système transpose celui de l'objet. Chaque capture produit un enregistrement indépendant du corps : la pose de l'objet au cours du temps, ses intervalles de contact et un objet 3D reconstruit avec sa provenance. Tout robot, décrit par un fichier URDF et un court descripteur, est ensuite résolu contre cet enregistrement et évalué en simulation, avec le mouvement démontré de l'objet comme vérité terrain. Chaque paire (robot, épisode) reçoit un verdict unique : réussite, échec avec un mode nommé, ou refus motivé avant tout mouvement. Sur un échantillon de 42 captures résolues sur 8 robots, soit 157 paires, 31,2 % réussissent, 52,2 % échouent, 14,0 % sont refusées et 2,5 % sont inauditables. Le critère est la faisabilité cinématique en simulation, avec une tolérance de ±50 mm et ±15°. Pour les intégrateurs et les décideurs industriels, l'enjeu est de savoir quelles données humaines un robot donné peut réellement exploiter. Aujourd'hui, ces démonstrations servent surtout au pré-entraînement des modèles vision-langage-action (VLA), mais peu au post-entraînement ciblé sur une plateforme ou une tâche, dont dépend pourtant le déploiement à grande échelle. Les résultats donnent un premier ordre de grandeur : moins d'un tiers des paires passent, ce qui rappelle que la transposition d'une démonstration humaine vers un corps différent reste loin d'être automatique. Le point le plus solide concerne les refus : les 13 paires que les contrôles écartent sur preuves stockées mais qui ont été lancées malgré tout ont toutes échoué, dont 5 sur un robot dont le modèle public soude la main. À l'inverse, un simple fichier de description ne permet pas de présélectionner les robots, ses résultats étant à peine plus prévisibles que le hasard. Il faut toutefois rester prudent. Les auteurs précisent qu'aucune politique n'a encore été entraînée sur cet enregistrement, et la validation reste purement simulée. L'enregistrement décide de ce sur quoi un robot peut se post-entraîner, mais la question de savoir si la politique fonctionne sur le robot réel, le passage de la simulation au robot, est renvoyée à des travaux ultérieurs. Le système fonctionne sur une collection en croissance, dont l'étude n'analyse qu'un échantillon. Cette approche s'inscrit dans le mouvement des données de démonstration humaine à bas coût, face à la téléopération, plus coûteuse et liée à une plateforme. La suite logique sera d'entraîner des politiques sur ces enregistrements et de mesurer l'écart avec le matériel réel.

RecherchePaper
1 source
RoboDrop : curation des données de post-entraînement VLA via la compatibilité locale des gradients
2arXiv cs.RO 

RoboDrop : curation des données de post-entraînement VLA via la compatibilité locale des gradients

Un article publié sur arXiv le 10 septembre 2026 (référence 2609.10021) présente RoboDrop, une méthode pour nettoyer les données de post-entraînement des modèles vision-langage-action (VLA) qui pilotent robots manipulateurs et humanoïdes. Une fois pré-entraînés, ces modèles doivent être réadaptés à une tâche et un robot précis avec des données de terrain souvent entachées d'erreurs d'exécution, de dérive de capteurs ou de décalages de timestamps. En une seule époque de préchauffage, RoboDrop note chaque échantillon en comparant son gradient à celui d'exemples de validation proches de la tâche visée, agrège ces scores par épisode, puis filtre automatiquement les démonstrations douteuses. Testé sur des corruptions simulées et des jeux de données réels collectés par des opérateurs non experts, il fait grimper le taux moyen de réussite des essais réels sur robot de 35,0% à 67,5% après curation. Ce travail s'attaque à un goulot d'étranglement concret : la collecte de données robotiques reste manuelle, bruitée et coûteuse à auditer, et un jeu de post-entraînement pollué peut annuler les gains d'un modèle par ailleurs performant. En remplaçant l'inspection humaine et les filtres ad hoc par un signal automatique de compatibilité de gradient, l'étude confirme que pour les intégrateurs réutilisant des VLA génériques comme GR00T, Pi-0 ou Helix sur leur propre robot, le facteur limitant se déplace du modèle vers la qualité des données d'adaptation. Le quasi-doublement du taux de succès réel reste toutefois un résultat de laboratoire mesuré sur les bancs d'essai des auteurs, dont la généralisation à d'autres capteurs et embodiments reste à démontrer. RoboDrop prolonge des travaux existants sur le nettoyage de données pour l'apprentissage par imitation, jusqu'ici dominés par des méthodes ciblant chacune un type de corruption précis sans cadre unifié. En mesurant la compatibilité des gradients le long de la trajectoire d'entraînement plutôt qu'en inspectant les données a priori, les auteurs proposent une alternative générique et automatisable à l'audit manuel. Classé comme nouvelle soumission sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : c'est pour l'instant une contribution de recherche destinée à être discutée et reproduite par la communauté avant une éventuelle adoption dans les pipelines des laboratoires travaillant sur les VLA.

RechercheOpinion
1 source
EgoGuide : guidage égocentrique pour collecter des démonstrations sans robot et apprendre efficacement
3arXiv cs.RO 

EgoGuide : guidage égocentrique pour collecter des démonstrations sans robot et apprendre efficacement

Une équipe de chercheurs a publié en juin 2026 sur arXiv (2606.14665) EgoGuide, une interface de collecte de démonstrations robotiques sans robot physique. Le système enregistre simultanément deux flux vidéo : une caméra au poignet de l'opérateur (wrist view) et une caméra égocentrique portée sur la tête (egocentric view). Un module de guidage visuel-géométrique en ligne évalue la qualité de chaque épisode en temps réel et signale les données redondantes ou peu informatives avant leur accumulation dans le jeu d'entraînement. Les auteurs introduisent également une "Gated Egocentric Residual Policy", une architecture qui mobilise la vue égocentrique pour corriger les ambiguïtés de la vue poignet, tout en préservant la stabilité du contrôle moteur local. Les expériences en conditions réelles confirment une réduction du nombre d'épisodes de démonstration nécessaires et une meilleure robustesse face aux occultations visuelles. L'apport principal est de s'attaquer à un goulot d'étranglement bien identifié dans le domaine : le coût humain de la collecte de données de qualité. Les pipelines de type UMI (Universal Manipulation Interface), qui permettent à un opérateur de collecter des démonstrations manuellement sans robot dédié, produisent souvent des épisodes redondants et manquent de contexte global de scène. Le guidage en ligne réduit ce gaspillage dès la source. La politique résiduelle répond à un problème concret des systèmes d'imitation : la vue poignet seule est ambiguë lors d'occultations ou de passages critiques dans la trajectoire. Donner au modèle un accès conditionnel (gated) à la vue globale lève ces ambiguïtés sans déstabiliser le contrôle fin. Pour un intégrateur, cela signifie potentiellement moins d'heures de collecte humaine pour atteindre un niveau de performance équivalent. EgoGuide s'inscrit dans la lignée directe de l'UMI, développé par Cheng Chi et ses collaborateurs à Stanford et Columbia, qui a popularisé la collecte de démonstrations via des dispositifs portatifs instrumentés. Le verrou adressé ici n'est pas la quantité brute de données mais leur qualité et leur diversité informationnelle. Les approches concurrentes incluent ACT (Action Chunking Transformer), Diffusion Policy et les plateformes de téléopération à faible coût comme ALOHA. Ce travail reste une publication académique arXiv sans déploiement industriel annoncé, et les expériences présentées restent à l'échelle laboratoire. La combinaison guidage en ligne et politique bi-caméra présente toutefois un intérêt direct pour les équipes cherchant à réduire le coût opérationnel de la démonstration à grande échelle.

RechercheOpinion
1 source
Instrumentation pour l'apprentissage par imitation : enrichissement des données d'entraînement pour l'insertion de cintres
4arXiv cs.RO 

Instrumentation pour l'apprentissage par imitation : enrichissement des données d'entraînement pour l'insertion de cintres

Des chercheurs ont publié en mai 2026 sur arXiv (2605.23847) une étude portant sur l'instrumentation des objets manipulés comme levier pour améliorer l'apprentissage par imitation en robotique. La tâche choisie est l'insertion d'un cintre sur une tringle, opération représentative des défis de manipulation fine avec contact. L'équipe a collecté 180 démonstrations téléopérées pour entraîner des politiques de diffusion (diffusion policies), en comparant des variantes avec et sans accès aux données d'instrumentation, c'est-à-dire des capteurs intégrés directement dans l'objet manipulé plutôt que dans le robot. Les résultats montrent que les politiques exploitant ces signaux surpassent les variantes vision-only de 14 à 25 points de pourcentage, avec une meilleure conscience de la tâche. Point notable : une politique boîte noire apprend à prioriser spontanément les signaux capteurs sans guidage explicite lors de l'entraînement. Une approche student-teacher complète le tableau : en enrichissant le jeu de données avec des rollouts générés par un expert instrumenté, une politique vision-only étudiante atteint des performances comparables à cet expert, surpassant ainsi la ligne de base vision-only originale. Les datasets sont disponibles sur Zenodo. Ce résultat adresse un verrou structurel du domaine : les grands modèles de comportement (large behaviour models) pour la manipulation robotique restent bridés par des exigences de données prohibitives, contrairement aux modèles de vision-langage qui ont pu capitaliser sur des corpus massifs issus d'internet. L'instrumentation des objets, en fournissant des informations d'état précises sur les contacts et les forces lors de chaque démonstration, augmente la densité informationnelle sans multiplier le nombre de démos. L'approche student-teacher est particulièrement stratégique pour le déploiement industriel : elle permet de distiller la connaissance sensorielle dans un modèle déployable avec une simple caméra, sans instrumentation permanente de la production. Ces travaux s'inscrivent dans une dynamique plus large autour des politiques de diffusion en manipulation, popularisées par Chi et al. (2023) et intégrées dans des systèmes comme Pi-0 (Physical Intelligence) ou ACT. La piste de l'instrumentation rejoint des efforts parallèles sur les peaux tactiles et les capteurs force-couple, explorés notamment par MIT CSAIL, ETH Zurich, et des équipes INRIA côté européen. La portée reste cependant à nuancer : 180 démos sur une tâche de laboratoire contrôlée ne constitue pas une validation à l'échelle industrielle, et les auteurs ne rapportent aucune expérience en environnement de production réel. La mise à disposition publique des données sur Zenodo ouvre toutefois la voie à des reproductions et extensions indépendantes sur des tâches plus complexes.

UELes équipes INRIA et laboratoires européens travaillant sur les politiques de diffusion pour la manipulation peuvent directement exploiter les datasets publics Zenodo et reproduire l'approche student-teacher pour améliorer l'efficacité de leurs pipelines d'apprentissage par imitation.

RechercheOpinion
1 source