Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

VERAGMIL : environnement virtuel pour la prise d'aliments granulaires avec des modèles d'apprentissage par imitation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente VERAGMIL, un framework associant simulateur haute fidélité et interface de réalité virtuelle (VR) pour entraîner des robots d'assistance à l'alimentation à manipuler des aliments granulaires comme le riz ou les haricots (arXiv 2608.18258, août 2026). Trois modèles d'apprentissage par imitation, BC, BC-RNN et BCQ, ont été entraînés sur des tâches de prélèvement à la cuillère et de transport à partir de démonstrations captées en VR ou à la souris 3D, puis comparés à une référence humaine sur le taux de réussite, le déversement, la généralisation à des aliments inédits et le temps d'exécution. Les démonstrations VR surpassent nettement celles à la souris 3D, BCQ obtenant les meilleurs résultats, les plus proches du niveau humain. Le code est publié en accès libre sur GitHub (AmanuelErgogo/VERAGMIL).

Ce travail cible un angle mort des systèmes d'alimentation assistée : la plupart gèrent bien les aliments rigides ou individualisés, mais peinent avec les matières granulaires, dont le comportement physique dynamique complique la prédiction du contact. L'étude montre que l'interface de collecte des démonstrations pèse autant que l'algorithme lui-même : une VR immersive produit des trajectoires plus fidèles qu'une téléopération à la souris 3D, avec moins de déversement et un meilleur taux de réussite. Pour les laboratoires de robotique assistive, VERAGMIL offre un banc d'essai simulé et reproductible avant tout déploiement matériel coûteux. Il s'agit toutefois d'un travail de simulation : aucun robot déployé ni essai en conditions réelles n'est rapporté, le transfert sim-to-real restant hors périmètre.

La manipulation d'aliments granulaires est un défi documenté de longue date en robotique d'assistance, les systèmes existants se limitant souvent à des aliments solides ou pré-découpés. VERAGMIL s'inscrit dans la lignée des travaux combinant simulateurs physiques et apprentissage par imitation hors ligne, une approche proche des politiques VLA utilisées par ailleurs dans l'industrie humanoïde (Pi-0, GR00T N2), ici appliquée à un usage assistif de niche. En publiant son code sur GitHub, l'équipe ouvre la porte à des extensions communautaires, nouvelles architectures ou nouveaux types d'aliments. Aucun partenariat industriel ni acteur français ou européen n'est mentionné : VERAGMIL reste un outil de recherche en libre accès, pas un produit commercialisé.

Dans nos dossiers

NVIDIA GR00TarXiv cs.RO

À lire aussi

ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels
1arXiv cs.RO 

ReMoBot : apprentissage par imitation en quelques exemples pour la manipulation mobile avec des modèles fondation visuels

Des chercheurs ont publié ReMoBot (arXiv:2408.15919v4), un framework d'apprentissage par imitation à peu d'exemples conçu pour la manipulation mobile sur robots à vision égocentrique. Évalué sur un Boston Dynamics Spot, le système atteint des taux de succès de 70 % sur la tâche "Table Uncover" et 80 % sur "Gap Cover" en environnement réel, avec seulement 20 démonstrations par tâche. Plutôt que de distiller les démonstrations dans une politique paramétrique classique, ReMoBot adopte une stratégie de récupération : à l'inférence, il identifie dans une base de démonstrations d'experts les séquences les plus pertinentes via une combinaison de similarité d'état, d'alignement temporel des trajectoires et de cohérence des séquences d'actions, puis sélectionne directement les commandes motrices sans aucun entraînement supplémentaire. L'ensemble s'appuie sur des vision foundation models pour extraire des représentations robustes depuis la caméra embarquée du robot, en fonctionnement totalement training-free à l'exécution. L'approche retrieval-based présente deux avantages concrets pour les intégrateurs industriels. D'abord, le coût de collecte de données est drastiquement réduit : 20 démonstrations contre plusieurs centaines requises par les méthodes IL standard (ACT, Diffusion Policy), ce qui accélère le déploiement sur de nouvelles tâches ou variantes. Ensuite, l'absence d'entraînement à l'inférence supprime le risque de surapprentissage sur données insuffisantes, problème récurrent avec les objets déformables où la variabilité des états est élevée. ReMoBot surpasse deux baselines entraînées directement sur données réelles sans transfert sim-to-réel sur deux tâches sur trois. La tâche "Curtain Open" reste problématique, signalant que la manipulation d'objets hautement déformables sous occultations partielles constitue encore un verrou non résolu, y compris pour les approches retrieval. ReMoBot s'inscrit dans la tendance à exploiter les vision foundation models (de la famille DINOv2, CLIP, SAM) pour réduire la dépendance aux données propriétaires et améliorer la généralisation. Sur le Spot de Boston Dynamics, plateforme quadrupède commerciale, la manipulation mobile reste un défi structurel : le robot se déplace en même temps qu'il manipule, rendant l'observation égocentrique partielle et bruitée. Face aux VLA de grande taille comme pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind), qui exigent des volumes de données considérables et une infrastructure d'entraînement lourde, ReMoBot se positionne dans le segment "data-efficient, training-free" particulièrement pertinent pour les intégrateurs ou PME industrielles sans capacité de collecte à grande échelle. La prochaine étape logique serait d'enrichir dynamiquement la base de démonstrations et de valider l'approche dans des environnements industriels hors laboratoire contrôlé.

UELes PME et intégrateurs robotiques européens sans capacité de collecte de données à grande échelle pourraient bénéficier directement de cette approche data-efficient (20 démos vs plusieurs centaines), réduisant la barrière d'entrée au déploiement de manipulation mobile intelligente.

RecherchePaper
1 source
L'apprentissage par imitation en contexte avec raisonnement visuel
2arXiv cs.RO 

L'apprentissage par imitation en contexte avec raisonnement visuel

Un article de recherche publié sur arXiv (identifiant 2603.07530v2, version révisée) présente ICLR, pour "In-Context Imitation Learning with Visual Reasoning", une nouvelle méthode d'apprentissage par imitation en contexte pour les robots manipulateurs. Le principe consiste à faire adapter un robot à une nouvelle tâche à partir d'un petit nombre de démonstrations, sans réentraînement du modèle. La nouveauté d'ICLR est d'enrichir les démonstrations avec des traces de raisonnement visuel structurées, c'est-à-dire des trajectoires futures anticipées du robot représentées directement dans l'espace image, plutôt que de se limiter aux seules paires état-action utilisées par les approches existantes. Ces traces de raisonnement et les actions de bas niveau sont apprises conjointement au sein d'un unique transformeur autorégressif, ce qui permet au modèle d'imiter non seulement le geste final mais aussi le cheminement qui y conduit. Les auteurs rapportent des évaluations à la fois en simulation et sur des tâches de manipulation réelles, avec des gains constants en taux de succès et en généralisation face à des tâches inédites et de nouvelles configurations d'objets, comparé aux méthodes d'apprentissage par imitation en contexte existantes. L'enjeu pour l'industrie robotique tient au principal talon d'Achille des systèmes vision-langage-action (VLA) actuels: leur capacité à généraliser au-delà des tâches et objets vus à l'entraînement reste limitée, surtout quand une même séquence de gestes peut correspondre à des intentions différentes selon le contexte. En donnant au modèle une représentation explicite de l'intention, sous forme de trajectoire visuelle anticipée plutôt qu'une simple politique action-état, ICLR s'attaque directement à l'ambiguïté qui bloque le déploiement des robots généralistes en environnement peu structuré. Si les résultats se confirment à plus grande échelle, cela renforcerait l'hypothèse selon laquelle intégrer un raisonnement visuel explicite, plutôt que de scaler uniquement les données de démonstration, est une voie crédible pour rendre les politiques d'apprentissage en contexte plus robustes, un enjeu direct pour les intégrateurs qui cherchent à déployer des bras robotiques capables de s'adapter rapidement à de nouvelles références produits sans campagne de réentraînement coûteuse. Ce travail s'inscrit dans la lignée des recherches récentes sur l'apprentissage par imitation en contexte (in-context imitation learning), un domaine qui cherche à reproduire pour la robotique la flexibilité du few-shot learning observée dans les grands modèles de langage, et fait écho aux efforts plus larges autour des modèles VLA tels que Pi-0 ou GR00T N2, qui tentent eux aussi de combler l'écart entre démonstrations en laboratoire et déploiement réel. L'article ne précise pas d'industriel partenaire ni de calendrier de mise en production; il s'agit d'une contribution académique, acceptée pour la conférence ICLR, dont l'apport reste à ce stade expérimental. La suite logique pour ce type de travaux est généralement une intégration progressive dans des piles logicielles open source de manipulation robotique, avant une éventuelle reprise par des acteurs commerciaux du secteur.

RecherchePaper
1 source
SIEVE : sélection de données tenant compte de la structure pour l'apprentissage par imitation avec des modèles VLA
3arXiv cs.RO 

SIEVE : sélection de données tenant compte de la structure pour l'apprentissage par imitation avec des modèles VLA

Des chercheurs proposent SIEVE, une méthode de sélection de données pour l'apprentissage par imitation des modèles Vision-Language-Action (VLA), publiée sur arXiv en juillet 2026. Contrairement aux approches existantes qui évaluent les démonstrations au niveau de la trajectoire complète ou de la paire état-action, SIEVE découpe les démonstrations en primitives visuo-motrices réutilisables et en interfaces de transition entre ces primitives. La méthode alloue ensuite un budget de sélection aux motifs de composition en maximisant l'exposition structurelle sous rendement décroissant, puis retient dans chaque groupe les trajectoires médianes, jugées les plus centrales, stables et propices à l'imitation. Testée sur plusieurs jeux de données, bancs d'essai et modèles VLA, SIEVE dépasse systématiquement les méthodes de sélection concurrentes. Résultat le plus marquant : la méthode surpasse un entraînement sur l'intégralité des données tout en n'utilisant que 50% des démonstrations et 50% des étapes d'entraînement. Pour les équipes qui entraînent des modèles VLA de type Pi-0, GR00T N2 ou Helix, ce travail s'attaque à un goulot d'étranglement concret : la collecte de démonstrations robotiques coûte cher, en téléopération humaine comme en génération synthétique, et empiler toujours plus de données ne garantit pas de meilleures politiques en raison de la redondance et du bruit. En démontrant qu'un entraînement sur moitié moins de données peut surpasser l'usage du jeu complet, SIEVE remet en question l'hypothèse du « plus de données égale de meilleures performances » dans l'apprentissage par imitation, et ouvre une piste d'optimisation des coûts pour les laboratoires et startups qui n'ont pas les ressources de calcul des géants du secteur. C'est un signal direct pour les décideurs B2B qui doivent arbitrer entre volume de collecte et qualité de curation avant de déployer des politiques VLA en production. L'apprentissage par imitation sur de larges jeux de démonstrations est devenu le paradigme dominant pour entraîner les modèles VLA, dans la lignée de travaux comme RT-2, OpenVLA ou les politiques génératives de Physical Intelligence et NVIDIA. La curation des données reste toutefois un problème ouvert : les méthodes précédentes se limitaient à des critères de diversité ou de qualité au niveau de la trajectoire entière, sans capturer les structures réutilisables qui composent les comportements à long horizon, comme saisir puis orienter un objet avant de le placer. SIEVE s'inscrit dans cette lignée de recherche sur l'efficacité des données et ouvre la voie à des travaux futurs sur la généralisation de cette approche structurelle à d'autres familles de modèles VLA et à des tâches de manipulation plus complexes.

RecherchePaper
1 source
EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique
4arXiv cs.RO 

EDAR : apprentissage de représentations d'actions dépendantes de l'environnement pour la manipulation robotique

EDAR (Environment-Dependent Action Representation) est une nouvelle méthode d'apprentissage de représentations d'actions pour la manipulation robotique, présentée dans un article publié sur arXiv (référence 2607.11427v1). Le problème que les auteurs cherchent à résoudre est que les trajectoires de contrôle brutes utilisées pour entraîner des politiques robotiques sont bruitées, redondantes et difficiles à modéliser telles quelles. Les approches existantes se contentent généralement d'encoder la structure du flux d'actions lui-même, sans tenir compte explicitement de l'environnement dans lequel ces actions sont exécutées. EDAR propose au contraire de coupler les commandes moteur avec leurs effets visuels attendus, conditionnés par le contexte de la scène, afin que la représentation apprise capture la sémantique de l'interaction plutôt que de simples motifs au niveau des commandes. Les auteurs ont testé leur méthode sur des bancs d'essai de manipulation à la fois simulés et sur robot réel. Cette approche s'attaque à un angle mort connu des architectures VLA (vision-language-action) actuelles: le même segment d'action peut produire des résultats radicalement différents selon la disposition des objets, les propriétés physiques de la scène ou l'état initial de l'environnement. En ancrant les tokens d'action dans les conséquences visuelles attendues plutôt que dans la seule structure de commande, EDAR vise à améliorer la généralisation des politiques apprises, en particulier sur des tâches de manipulation à long horizon, où les erreurs de représentation s'accumulent au fil des étapes. Pour les équipes qui développent des politiques de manipulation généralistes, ce type de travail illustre une tendance de fond: le passage d'une modélisation purement centrée sur le contrôle vers des représentations conjointes action-perception, jugées nécessaires pour que les modèles de fondation robotiques (dans la lignée de GR00T N2, Pi-0 ou Helix) tiennent leurs promesses au-delà des démonstrations en environnement contrôlé. Le papier s'inscrit dans un courant de recherche plus large sur les représentations d'actions pour la robotique, où plusieurs travaux récents ont exploré la tokenisation d'actions, l'apprentissage par imitation conditionné par la vision, ou les modèles du monde pour anticiper les conséquences des actions. EDAR se positionne comme une contribution méthodologique plutôt qu'un produit ou un système déployé: il n'y a pas d'annonce de déploiement industriel ni de partenariat commercial associé à ce travail, qui reste à ce stade une publication de recherche évaluée sur des bancs d'essai académiques. Les prochaines étapes attendues pour ce type de travaux sont généralement l'intégration dans des pipelines VLA plus larges et des tests de transfert sur des plateformes robotiques commerciales, mais aucune feuille de route de ce type n'est mentionnée dans l'abstract.

RecherchePaper
1 source