Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Apprentissage robotique en contexte avec des agents VLM
RecherchearXiv cs.RO 

Apprentissage robotique en contexte avec des agents VLM

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié sur arXiv (référence 2609.19138v1) présente GPT-Policy, un cadre logiciel qui permet à un robot d'apprendre au moment du déploiement, sans réentraînement préalable pour chaque tâche. L'architecture combine un « context compiler » qui conserve les transitions visuelles utiles à la tâche, un modèle vision-langage (VLM) grand public comme GPT-6 Astra chargé de proposer des actions robot-outil, et un contrôleur contraint qui vérifie, exécute et rapporte le résultat de chaque action. Sur robot réel, des démonstrations vidéo humaines améliorent le taux de réussite même sans étiquetage des actions robotiques correspondantes, et des références d'actions alignées apportent un gain supplémentaire sur les tâches sensibles au contact. Aucun chiffre de charge utile, de degrés de liberté ou de temps de cycle n'est communiqué : il s'agit d'une étude de recherche évaluée sur des métriques de réussite et d'efficacité, pas d'un produit commercialisé.

Le problème visé est central pour l'industrie : aucun jeu de démonstrations fini ne peut couvrir toutes les tâches et situations qu'un robot rencontrera en usage réel, ce qui limite la généralisation des politiques actuelles entraînées par imitation. En s'appuyant sur l'apprentissage en contexte, déjà courant chez les grands modèles de langage pour le texte ou le code, mais sans mise à jour de gradient ni modification persistante des paramètres, l'approche suggère qu'un VLM généraliste pourrait s'adapter à une situation nouvelle à partir de quelques exemples fournis au moment de l'exécution. Si elle se confirme à plus grande échelle, cette piste remettrait en question l'idée selon laquelle seuls des modèles vision-langage-action spécialement entraînés sur des données robotiques peuvent piloter un robot, un enjeu direct pour les intégrateurs cherchant à réduire le coût de collecte de données par tâche.

Ce travail s'inscrit dans la vague des modèles fondation appliqués à la robotique, aux côtés de familles VLA comme Pi-0, GR00T N2 ou Helix, qui misent à l'inverse sur un entraînement massif de bout en bout sur des données robotiques. Les auteurs présentent eux-mêmes leurs résultats comme une étape vers l'apprentissage en contexte plutôt que comme une solution aboutie, reconnaissant que des défis subsistent avant un déploiement fiable. Aucun acteur français ou européen, aucun site de déploiement industriel ni calendrier de commercialisation ne figurent dans cette publication, qui reste une contribution académique destinée à poser des fondations empiriques plutôt qu'un produit prêt à l'emploi.

Impact France/UE

Aucun acteur ni déploiement européen n'est mentionné, mais la piste de l'apprentissage en contexte pourrait à terme intéresser les intégrateurs robotiques européens en réduisant le coût de collecte de données par tâche.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

L'apprentissage en contexte pour les robots : méthodes et applications
1arXiv cs.RO 

L'apprentissage en contexte pour les robots : méthodes et applications

Une nouvelle revue de littérature déposée sur arXiv (2609.36012v1) propose une taxonomie de l'apprentissage en contexte (in-context learning, ICL) appliqué à la robotique. Le principe : un robot généraliste déduit ce qu'exige une tâche inédite à partir de démonstrations et d'interactions, puis le traduit en actions physiques, sans aucune mise à jour de ses paramètres neuronaux pendant le déploiement. Les auteurs structurent le domaine autour des interfaces qui relient les preuves contextuelles à l'exécution et distinguent quatre familles : les politiques conditionnées par le contexte, le transfert géométrique de démonstrations, le contrôle fondé sur des modèles du monde, et l'exécution par compétences ou par agents. Le texte couvre la manipulation et la navigation. Il s'agit d'un travail de synthèse : le résumé ne mentionne ni nouveau modèle, ni jeu de données, ni chiffre de performance. L'intérêt pratique tient à la grille de lecture. Comparer ces familles d'interfaces met en évidence leurs hypothèses de transfert, ainsi que le rôle de l'entraînement, de la mise en correspondance (entre la démonstration et l'embodiment du robot) et de la mémoire. Les auteurs examinent aussi comment chaque mécanisme préserve les exigences enseignées quand les objets, l'environnement ou les conditions d'exécution changent. Ils relient ensuite la conception des méthodes aux pratiques d'évaluation, en séparant trois choses trop souvent confondues : la réactivité à l'enseignement, le transfert physique réel et le bénéfice tiré de l'expérience conservée. Pour un intégrateur ou un responsable R&D, c'est un critère de lecture utile face aux démonstrations de « robot qui apprend en quelques exemples ». Un système qui réagit à une démonstration ne prouve pas qu'il en reproduit fidèlement l'intention dans des conditions différentes. Le contexte est celui de la montée des modèles généralistes vision-langage-action (VLA) et des modèles du monde, dont les capacités d'adaptation sans réentraînement restent difficiles à comparer d'un laboratoire à l'autre. Les auteurs en tirent un agenda de recherche qui associe l'acquisition compositionnelle de tâches et le transfert fidèle à ce qu'ils nomment l'auto-amélioration récursive physique : l'expérience accumulée améliore la capacité à apprendre les tâches suivantes. Il s'agit d'une direction proposée, pas d'un résultat démontré. Le texte est une préversion (v1) non évaluée par les pairs. Le résumé ne cite aucun acteur industriel, européen ou autre, et aucun calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Zeva : apprentissage causal en contexte pour une manipulation robotique généralisable
2arXiv cs.RO 

Zeva : apprentissage causal en contexte pour une manipulation robotique généralisable

Zeva, présenté dans un article arXiv (identifiant 2608.30880v1) publié fin août 2026, est un nouveau framework de recherche pour la manipulation robotique généralisable. Son principe central: pendant le déploiement réel, le robot apprend directement de ses propres interactions physiques, sans jamais mettre à jour les poids de son modèle de politique (policy model), qui reste gelé. Un composant appelé Causal Interaction Extractor encode chaque action exécutée et le changement d'état qu'elle provoque en un signal d'interaction causale, stocké dans une mémoire causale à double échelle temporelle. Pour chaque nouvelle action, les signaux pertinents sont récupérés dans cette mémoire et injectés comme contexte dans le modèle figé, une forme d'apprentissage en contexte (in-context learning) appliquée pour la première fois, selon les auteurs, à l'expérience physique d'un robot. Les tests couvrent à la fois la simulation et la manipulation en conditions réelles, comparés à des VLA (vision-language-action) et des WAM de référence, sans que l'article précise de noms de robots, de sites de déploiement ou de chiffres de payload et de temps de cycle. Pour l'industrie robotique, l'intérêt de Zeva tient à une promesse précise: un taux de succès qui continue de progresser au fil du déploiement, sans réentraînement ni gradient, et une expérience d'interaction qui se généralise d'une tâche à l'autre. C'est une réponse directe à un problème connu des intégrateurs et des VLA actuels, à savoir l'écart entre performance en pré-entraînement et robustesse face à des conditions physiques imprévues sur le terrain. Si les résultats se confirment au-delà du cadre expérimental de l'article, cela ouvrirait la voie à des robots capables de s'adapter en usine sans cycle coûteux de collecte de données et de fine-tuning, un argument fort pour les décideurs B2B qui évaluent le coût total d'exploitation des humanoïdes et bras manipulateurs. Il convient toutefois de noter que l'affirmation d'être le "premier" framework de ce type, ainsi que le qualificatif de performance "meilleure parmi les VLA et WAM comparés", reste à valider par la communauté, l'article ne détaillant pas la méthodologie de sélection des tâches ni des vidéos de démonstration. Zeva s'inscrit dans la lignée des travaux récents sur les architectures VLA comme Pi-0 ou GR00T N2, qui cherchent à combiner généralisation par pré-entraînement massif et adaptabilité en ligne. Contrairement à ces approches qui misent sur des mises à jour de poids ou du fine-tuning post-déploiement, Zeva mise sur une mémoire externe consultée à l'inférence, une piste plus proche des techniques de récupération augmentée utilisées en traitement du langage. L'article ne mentionne aucun acteur français ou européen, ni de partenariat industriel ni de calendrier de pilotes commerciaux, ce qui situe cette publication au stade de la recherche académique plutôt que du produit prêt au déploiement.

RecherchePaper
1 source
Robota-Embed : des embeddings VLA unifiés pour l'apprentissage en contexte et l'évolution des robots
3arXiv cs.RO 

Robota-Embed : des embeddings VLA unifiés pour l'apprentissage en contexte et l'évolution des robots

Des chercheurs présentent Robota-Embed, un modèle d'embedding vision-langage-action (VLA) qui encode conjointement la tâche, l'étape d'exécution et la suite attendue du mouvement, aussi bien dans les requêtes décrivant l'état courant que dans les continuations futures enregistrées. Un entraînement de type « prédictive retrieval » aligne ces deux extrémités, de sorte qu'une continuation historique peut servir de contexte à l'inférence. Le corpus compte 1 695 684 ancres d'entraînement nettoyées, issues de plusieurs sources. Le benchmark associé, Robota-Embed-Bench, comprend 4 000 requêtes et une galerie partagée de 8 000 entrées. Le modèle atteint 47,33 % de R@1 au niveau du clip et 81,77 % au niveau de l'épisode, soit 22,09 et 33,47 points de plus que Gemini Embedding 2, qui ignore les actions. Retirer l'action native dégrade davantage la recherche que retirer la vision. Deux applications sont testées. Embed2ICL conditionne une politique avec l'expérience récupérée, sans entraînement ou avec. Le taux de succès passe de 47,0 % à 56,3 % dans DROID-Sim et de 86,4 % à 92,8 % sur le sous-ensemble difficile de LIBERO. Les auteurs annoncent aussi une meilleure progression de tâche sur robots réels, sans donner de chiffres dans le résumé. Embed2Evolve utilise le retour d'exécution pour enrichir une mémoire propre à chaque tâche autour d'une politique GPT-6 Astra figée. Sur cinq tâches ManiSkill, il atteint 68 % de succès, contre 24 % pour GPT-6 Astra en usage direct et 33 % pour un harnais optimisé avec Omni-Embed-Nemotron-3B selon le même protocole. Face à ce dernier, il consomme environ 79,5 % de tokens de politique en moins par essai de test. L'intérêt tient à l'idée que l'action est le signal décisif pour retrouver une expérience utile. Les embeddings généralistes, centrés sur l'image et le texte, passent à côté de ce que le robot s'apprête à faire. Pour les intégrateurs, la perspective est de déployer des politiques généralistes figées et de les adapter par une mémoire locale, sans réentraînement. Cela réduirait le coût d'adaptation par site ou par tâche. La baisse de tokens compte aussi si un grand modèle pilote le robot, car elle touche la latence et le coût d'inférence. Il faut toutefois rester prudent. Le gain le plus net vient de ManiSkill, un environnement simulé avec seulement cinq tâches. Les progrès sur robots réels ne sont pas quantifiés ici. Les +9,3 points sur DROID-Sim et +6,4 sur LIBERO sont réels mais modestes. Un R@1 de 47 % au niveau du clip montre aussi que la récupération reste loin d'être résolue. Il s'agit d'un preprint arXiv (2610.19495v1) qui n'a pas été évalué par des pairs. Aucun déploiement industriel n'est annoncé. Ce travail s'inscrit dans la montée des modèles VLA, comme Pi-0, GR00T ou Helix, et dans l'essor de l'apprentissage en contexte pour la robotique. Jusqu'ici, la récupération d'expérience reposait surtout sur des embeddings multimodaux sans action, d'où la comparaison avec Gemini Embedding 2 et Omni-Embed-Nemotron-3B. Les auteurs se disent les premiers à encoder conjointement les trois modalités, une revendication qui reste à confirmer. La suite logique serait de tester l'approche sur des manipulations réelles à plus grande échelle et sur d'autres politiques que GPT-6 Astra. Il faudra aussi voir si les gains tiennent quand la mémoire s'agrandit et que les tâches se diversifient. Les auteurs ne mentionnent ni code ni jeux de données publics dans ce résumé.

RecherchePaper
1 source
L'apprentissage par imitation en contexte avec raisonnement visuel
4arXiv cs.RO 

L'apprentissage par imitation en contexte avec raisonnement visuel

Un article de recherche publié sur arXiv (identifiant 2603.07530v2, version révisée) présente ICLR, pour "In-Context Imitation Learning with Visual Reasoning", une nouvelle méthode d'apprentissage par imitation en contexte pour les robots manipulateurs. Le principe consiste à faire adapter un robot à une nouvelle tâche à partir d'un petit nombre de démonstrations, sans réentraînement du modèle. La nouveauté d'ICLR est d'enrichir les démonstrations avec des traces de raisonnement visuel structurées, c'est-à-dire des trajectoires futures anticipées du robot représentées directement dans l'espace image, plutôt que de se limiter aux seules paires état-action utilisées par les approches existantes. Ces traces de raisonnement et les actions de bas niveau sont apprises conjointement au sein d'un unique transformeur autorégressif, ce qui permet au modèle d'imiter non seulement le geste final mais aussi le cheminement qui y conduit. Les auteurs rapportent des évaluations à la fois en simulation et sur des tâches de manipulation réelles, avec des gains constants en taux de succès et en généralisation face à des tâches inédites et de nouvelles configurations d'objets, comparé aux méthodes d'apprentissage par imitation en contexte existantes. L'enjeu pour l'industrie robotique tient au principal talon d'Achille des systèmes vision-langage-action (VLA) actuels: leur capacité à généraliser au-delà des tâches et objets vus à l'entraînement reste limitée, surtout quand une même séquence de gestes peut correspondre à des intentions différentes selon le contexte. En donnant au modèle une représentation explicite de l'intention, sous forme de trajectoire visuelle anticipée plutôt qu'une simple politique action-état, ICLR s'attaque directement à l'ambiguïté qui bloque le déploiement des robots généralistes en environnement peu structuré. Si les résultats se confirment à plus grande échelle, cela renforcerait l'hypothèse selon laquelle intégrer un raisonnement visuel explicite, plutôt que de scaler uniquement les données de démonstration, est une voie crédible pour rendre les politiques d'apprentissage en contexte plus robustes, un enjeu direct pour les intégrateurs qui cherchent à déployer des bras robotiques capables de s'adapter rapidement à de nouvelles références produits sans campagne de réentraînement coûteuse. Ce travail s'inscrit dans la lignée des recherches récentes sur l'apprentissage par imitation en contexte (in-context imitation learning), un domaine qui cherche à reproduire pour la robotique la flexibilité du few-shot learning observée dans les grands modèles de langage, et fait écho aux efforts plus larges autour des modèles VLA tels que Pi-0 ou GR00T N2, qui tentent eux aussi de combler l'écart entre démonstrations en laboratoire et déploiement réel. L'article ne précise pas d'industriel partenaire ni de calendrier de mise en production; il s'agit d'une contribution académique, acceptée pour la conférence ICLR, dont l'apport reste à ce stade expérimental. La suite logique pour ce type de travaux est généralement une intégration progressive dans des piles logicielles open source de manipulation robotique, avant une éventuelle reprise par des acteurs commerciaux du secteur.

RecherchePaper
1 source