RecherchearXiv cs.RO 8 juillet 2026

SIEVE : sélection de données tenant compte de la structure pour l'apprentissage par imitation avec des modèles VLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent SIEVE, une méthode de sélection de données pour l'apprentissage par imitation des modèles Vision-Language-Action (VLA), publiée sur arXiv en juillet 2026. Contrairement aux approches existantes qui évaluent les démonstrations au niveau de la trajectoire complète ou de la paire état-action, SIEVE découpe les démonstrations en primitives visuo-motrices réutilisables et en interfaces de transition entre ces primitives. La méthode alloue ensuite un budget de sélection aux motifs de composition en maximisant l'exposition structurelle sous rendement décroissant, puis retient dans chaque groupe les trajectoires médianes, jugées les plus centrales, stables et propices à l'imitation. Testée sur plusieurs jeux de données, bancs d'essai et modèles VLA, SIEVE dépasse systématiquement les méthodes de sélection concurrentes. Résultat le plus marquant : la méthode surpasse un entraînement sur l'intégralité des données tout en n'utilisant que 50% des démonstrations et 50% des étapes d'entraînement.

Pour les équipes qui entraînent des modèles VLA de type Pi-0, GR00T N2 ou Helix, ce travail s'attaque à un goulot d'étranglement concret : la collecte de démonstrations robotiques coûte cher, en téléopération humaine comme en génération synthétique, et empiler toujours plus de données ne garantit pas de meilleures politiques en raison de la redondance et du bruit. En démontrant qu'un entraînement sur moitié moins de données peut surpasser l'usage du jeu complet, SIEVE remet en question l'hypothèse du « plus de données égale de meilleures performances » dans l'apprentissage par imitation, et ouvre une piste d'optimisation des coûts pour les laboratoires et startups qui n'ont pas les ressources de calcul des géants du secteur. C'est un signal direct pour les décideurs B2B qui doivent arbitrer entre volume de collecte et qualité de curation avant de déployer des politiques VLA en production.

L'apprentissage par imitation sur de larges jeux de démonstrations est devenu le paradigme dominant pour entraîner les modèles VLA, dans la lignée de travaux comme RT-2, OpenVLA ou les politiques génératives de Physical Intelligence et NVIDIA. La curation des données reste toutefois un problème ouvert : les méthodes précédentes se limitaient à des critères de diversité ou de qualité au niveau de la trajectoire entière, sans capturer les structures réutilisables qui composent les comportements à long horizon, comme saisir puis orienter un objet avant de le placer. SIEVE s'inscrit dans cette lignée de recherche sur l'efficacité des données et ouvre la voie à des travaux futurs sur la généralisation de cette approche structurelle à d'autres familles de modèles VLA et à des tâches de manipulation plus complexes.

Dans nos dossiers

NVIDIA GR00T Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage par imitation : sélection efficace des données d'échec via les différences de distribution dans l'attention

Des chercheurs ont déposé sur arXiv en mai 2026 (arXiv:2605.07560) une méthode visant à exploiter les démonstrations d'échec dans l'apprentissage par imitation pour la robotique. La quasi-totalité des politiques d'imitation sont actuellement entraînées exclusivement sur des démonstrations réussies, bien que la collecte humaine produise inévitablement une proportion significative d'échecs. La méthode proposée apprend des représentations latentes des divergences succès-échec et les intègre dans le mécanisme d'attention du réseau, permettant au système de sélectionner au moment de l'inférence un mode latent adapté à partir de l'observation initiale. Les auteurs introduisent également une métrique post-entraînement qui quantifie la divergence d'attention entre chaque démonstration d'échec et le corpus de succès, afin de filtrer automatiquement les échantillons d'échec réellement bénéfiques à l'apprentissage. L'enjeu est considérable pour les pipelines industriels de collecte de données robotiques : une fraction structurelle des démonstrations humaines sont des échecs, jusqu'ici systématiquement écartés ou nécessitant un traitement manuel coûteux. Les approches existantes pour exploiter ces données s'appuient généralement sur des mises à jour itératives de la politique via des rollouts autonomes, ce qui complique leur intégration stable et directe dans un pipeline de production. Cette méthode opère en revanche directement sur les données brutes collectées sans itérations supplémentaires, ce qui la rend potentiellement plus accessible pour des équipes travaillant en conditions réelles de déploiement. Les résultats en simulation montrent une amélioration des taux de succès par rapport à un entraînement basé uniquement sur des démonstrations réussies, et la métrique proposée identifie correctement les échantillons d'échec dont l'ajout est bénéfique. L'apprentissage par imitation est devenu un paradigme central en robotique manipulatrice, porté par des architectures comme ACT, Diffusion Policy ou pi-0 de Physical Intelligence, et la gestion des données hors-distribution reste un défi ouvert du domaine. Que faire des trajectoires partiellement réussies ou des démonstrations ambiguës constitue une question de recherche active, d'autant que les coûts de re-collecte sur robot physique sont prohibitifs à grande échelle. Ce travail s'inscrit dans ce courant sans rupture radicale : les résultats sont limités à la simulation et aucun déploiement sur hardware réel n'est mentionné dans le preprint, ce qui appelle une validation expérimentale indépendante. La prochaine étape naturelle sera la validation sur robots physiques en manipulation dextère, contexte où le taux d'échec lors de la collecte humaine est structurellement élevé et où le gain potentiel d'un tel filtrage automatique serait le plus significatif.

RecherchePaper

1 source

2arXiv cs.RO

Instrumentation pour l'apprentissage par imitation : enrichissement des données d'entraînement pour l'insertion de cintres

Des chercheurs ont publié en mai 2026 sur arXiv (2605.23847) une étude portant sur l'instrumentation des objets manipulés comme levier pour améliorer l'apprentissage par imitation en robotique. La tâche choisie est l'insertion d'un cintre sur une tringle, opération représentative des défis de manipulation fine avec contact. L'équipe a collecté 180 démonstrations téléopérées pour entraîner des politiques de diffusion (diffusion policies), en comparant des variantes avec et sans accès aux données d'instrumentation, c'est-à-dire des capteurs intégrés directement dans l'objet manipulé plutôt que dans le robot. Les résultats montrent que les politiques exploitant ces signaux surpassent les variantes vision-only de 14 à 25 points de pourcentage, avec une meilleure conscience de la tâche. Point notable : une politique boîte noire apprend à prioriser spontanément les signaux capteurs sans guidage explicite lors de l'entraînement. Une approche student-teacher complète le tableau : en enrichissant le jeu de données avec des rollouts générés par un expert instrumenté, une politique vision-only étudiante atteint des performances comparables à cet expert, surpassant ainsi la ligne de base vision-only originale. Les datasets sont disponibles sur Zenodo. Ce résultat adresse un verrou structurel du domaine : les grands modèles de comportement (large behaviour models) pour la manipulation robotique restent bridés par des exigences de données prohibitives, contrairement aux modèles de vision-langage qui ont pu capitaliser sur des corpus massifs issus d'internet. L'instrumentation des objets, en fournissant des informations d'état précises sur les contacts et les forces lors de chaque démonstration, augmente la densité informationnelle sans multiplier le nombre de démos. L'approche student-teacher est particulièrement stratégique pour le déploiement industriel : elle permet de distiller la connaissance sensorielle dans un modèle déployable avec une simple caméra, sans instrumentation permanente de la production. Ces travaux s'inscrivent dans une dynamique plus large autour des politiques de diffusion en manipulation, popularisées par Chi et al. (2023) et intégrées dans des systèmes comme Pi-0 (Physical Intelligence) ou ACT. La piste de l'instrumentation rejoint des efforts parallèles sur les peaux tactiles et les capteurs force-couple, explorés notamment par MIT CSAIL, ETH Zurich, et des équipes INRIA côté européen. La portée reste cependant à nuancer : 180 démos sur une tâche de laboratoire contrôlée ne constitue pas une validation à l'échelle industrielle, et les auteurs ne rapportent aucune expérience en environnement de production réel. La mise à disposition publique des données sur Zenodo ouvre toutefois la voie à des reproductions et extensions indépendantes sur des tâches plus complexes.

UELes équipes INRIA et laboratoires européens travaillant sur les politiques de diffusion pour la manipulation peuvent directement exploiter les datasets publics Zenodo et reproduire l'approche student-teacher pour améliorer l'efficacité de leurs pipelines d'apprentissage par imitation.

RechercheOpinion

1 source

3arXiv cs.RO

Démonstrations structurées du simple au complexe pour l'apprentissage vision-langage-action

Les chercheurs proposent une nouvelle méthode de collecte de démonstrations pour l'entraînement de modèles Vision-Language-Action (VLA), publiée sur arXiv le 4 juillet 2026 (arXiv:2607.04591v1). Plutôt que de se concentrer sur l'architecture des modèles ou la taille des jeux de données, comme le fait la majorité des travaux récents, l'équipe s'attaque à un maillon jusqu'ici négligé de l'apprentissage par imitation : la manière dont les démonstrations elles-mêmes sont organisées. Leur approche, testée sur une plateforme robotique à double bras, repose sur trois principes: décomposer les tâches de manipulation complexes en sous-compétences apprises progressivement, standardiser l'environnement d'interaction pour limiter la variabilité inutile, et ordonner les démonstrations par complexité croissante plutôt que de les collecter en bloc. Deux tâches servent de banc d'essai: le tri et la préhension de blocs, et le pliage de serviettes. Les auteurs rapportent une amélioration du taux de réussite et une meilleure stabilité d'entraînement par rapport à la méthode de référence, qui consiste à enregistrer directement des trajectoires complètes de bout en bout, sans toutefois détailler de métriques chiffrées précises dans le résumé. Pour l'industrie robotique, ce travail pointe un angle mort du secteur VLA: la course actuelle privilégie l'échelle des modèles et des jeux de données, sur le modèle de Pi-0, GR00T N2 ou Helix, mais néglige souvent la qualité et la structure des données d'apprentissage. Si l'organisation curriculaire des démonstrations s'avère aussi déterminante que le suggèrent ces résultats, cela remettrait en question l'hypothèse dominante selon laquelle il suffit d'accumuler des heures de téléopération pour obtenir des politiques robustes et généralisables sur des tâches longues et séquentielles. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par curriculum, déjà éprouvé en apprentissage par renforcement, mais peu exploré pour l'imitation robotique à l'ère des VLA. Alors que les grands acteurs du secteur, qu'il s'agisse de Figure, Tesla avec Optimus ou Physical Intelligence, communiquent surtout sur les capacités finales de leurs robots humanoïdes, cette étude reste à un stade de recherche académique, sans annonce de déploiement industriel. Ses auteurs présentent ces résultats comme une preuve de concept ouvrant la voie à une collecte de données plus efficace et plus scalable pour la manipulation robotique à long horizon.

RecherchePaper

1 source

4arXiv cs.RO

VERAGMIL : environnement virtuel pour la prise d'aliments granulaires avec des modèles d'apprentissage par imitation

Une équipe de chercheurs présente VERAGMIL, un framework associant simulateur haute fidélité et interface de réalité virtuelle (VR) pour entraîner des robots d'assistance à l'alimentation à manipuler des aliments granulaires comme le riz ou les haricots (arXiv 2608.18258, août 2026). Trois modèles d'apprentissage par imitation, BC, BC-RNN et BCQ, ont été entraînés sur des tâches de prélèvement à la cuillère et de transport à partir de démonstrations captées en VR ou à la souris 3D, puis comparés à une référence humaine sur le taux de réussite, le déversement, la généralisation à des aliments inédits et le temps d'exécution. Les démonstrations VR surpassent nettement celles à la souris 3D, BCQ obtenant les meilleurs résultats, les plus proches du niveau humain. Le code est publié en accès libre sur GitHub (AmanuelErgogo/VERAGMIL). Ce travail cible un angle mort des systèmes d'alimentation assistée : la plupart gèrent bien les aliments rigides ou individualisés, mais peinent avec les matières granulaires, dont le comportement physique dynamique complique la prédiction du contact. L'étude montre que l'interface de collecte des démonstrations pèse autant que l'algorithme lui-même : une VR immersive produit des trajectoires plus fidèles qu'une téléopération à la souris 3D, avec moins de déversement et un meilleur taux de réussite. Pour les laboratoires de robotique assistive, VERAGMIL offre un banc d'essai simulé et reproductible avant tout déploiement matériel coûteux. Il s'agit toutefois d'un travail de simulation : aucun robot déployé ni essai en conditions réelles n'est rapporté, le transfert sim-to-real restant hors périmètre. La manipulation d'aliments granulaires est un défi documenté de longue date en robotique d'assistance, les systèmes existants se limitant souvent à des aliments solides ou pré-découpés. VERAGMIL s'inscrit dans la lignée des travaux combinant simulateurs physiques et apprentissage par imitation hors ligne, une approche proche des politiques VLA utilisées par ailleurs dans l'industrie humanoïde (Pi-0, GR00T N2), ici appliquée à un usage assistif de niche. En publiant son code sur GitHub, l'équipe ouvre la porte à des extensions communautaires, nouvelles architectures ou nouveaux types d'aliments. Aucun partenariat industriel ni acteur français ou européen n'est mentionné : VERAGMIL reste un outil de recherche en libre accès, pas un produit commercialisé.

RecherchePaper

1 source