RecherchearXiv cs.RO 12 octobre 2026

Les VLM sont des modèles d'action natifs : libérer leurs capacités de manipulation grâce à un ancrage explicite dans l'espace d'action

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent EASG (Explicit Action-Space Grounding), un cadre publié sur arXiv (2610.12832) qui permet à des modèles vision-langage (VLM) préentraînés de piloter directement un bras robotique, sans préentraînement sur des données d'actions robot ni module d'action supplémentaire. Le principe consiste à projeter dans l'image de la caméra de poignet un repère d'action centré sur le point central de l'outil (TCP), puis à faire exprimer les actions par le VLM sous forme de texte, via son interface de génération native. La sémantique de l'espace d'action continu devient ainsi visible dans le contexte perceptif du modèle. Les auteurs revendiquent de la manipulation zéro-shot, une généralisation à différentes positions d'objets, catégories d'objets et morphologies de robots, ainsi qu'un affinage possible sur des trajectoires robot dans ce même espace d'action continu. Le résumé ne fournit ni taux de réussite, ni modèles testés, ni nombre de tâches, ce qui empêche pour l'instant de juger l'ampleur réelle des gains.

L'enjeu est de lever un compromis qui structure le secteur. Les modèles vision-langage-action (VLA) offrent une politique unifiée et entraînable, mais exigent des jetons d'action appris, des têtes d'action ou des « experts d'action » dont la signification doit être acquise par un préentraînement coûteux sur des données robot. À l'inverse, les approches modulaires fondées sur des modèles de fondation exploitent les capacités des VLM en zéro-shot, mais s'appuient sur des couches externes de planification et de contrôle, non entraînables de bout en bout. Si EASG tient ses promesses, un VLM généraliste pourrait servir de politique de manipulation sans corpus robot massif, ce qui réduirait la barrière d'entrée pour les laboratoires et les intégrateurs. Le fait que la même interface supporte l'affinage suggère aussi une trajectoire d'amélioration continue plutôt qu'un plafond fixé par le zéro-shot. Prudence toutefois : il s'agit d'un préprint non évalué par les pairs, et les benchmarks, la fréquence de contrôle (la génération de texte est lente comparée à une tête d'action) et la robustesse hors laboratoire restent à démontrer.

Ce travail s'inscrit dans le débat entre politiques VLA de bout en bout, comme Pi-0, Helix ou GR00T, et pipelines modulaires pilotés par des VLM. Les premiers ont montré leur efficacité, mais au prix d'importants volumes de données de téléopération et de préentraînement spécifiques à chaque embodiment. EASG cherche à conserver les atouts des deux familles en rendant l'espace d'action lisible par le modèle lui-même, plutôt qu'en apprenant une représentation d'action nouvelle. Les prochaines étapes à surveiller sont la publication du code et des résultats détaillés, les comparaisons directes avec des VLA préentraînés sur des données robot, ainsi que des tests sur matériel varié et en conditions de production, seuls capables de dire si l'approche dépasse le stade de la démonstration académique.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ExecVLA : respecter des contraintes d'exécution fines dans les modèles vision-langage-action (VLA) grâce à une représentation d'action à deux niveaux

Des chercheurs proposent ExecVLA, un cadre pour les modèles vision-langage-action (VLA) qui vise à faire respecter des contraintes d'exécution fines données dans l'instruction, alors que l'objectif de la tâche reste identique. Ces contraintes portent sur la cible d'interaction, le motif de mouvement, les relations spatiales et la configuration terminale. Le cadre sépare une composante orientée but d'une composante spécifique à l'exécution. Pour cela, il utilise une représentation d'action à deux niveaux et des jetons de raisonnement à deux niveaux, supervisés. Deux objectifs d'entraînement s'y ajoutent. L'invariance du but maintient stable la représentation de haut niveau entre les exécutions d'un même but. La prédictibilité de l'exécution garantit que la représentation de bas niveau conserve les contraintes qui distinguent ces exécutions. Les auteurs ont construit des jeux de données dédiés, avec annotations de but et de raisonnement fin, en simulation (sur la base de LIBERO) et sur un bras Realman-75. Ils rapportent une meilleure complétion des tâches et, surtout, un respect nettement plus fiable des contraintes. L'extrait ne fournit aucun chiffre précis, ni taux de réussite ni écart avec les modèles de référence, ni nombre d'épisodes ou de tâches. L'enjeu est de distinguer deux critères que les benchmarks VLA actuels confondent souvent. Une politique orientée but est jugée sur l'accomplissement de la tâche, sans regarder la manière. Or, en contexte industriel, la manière compte. Contourner un obstacle par la gauche, saisir un objet par une zone précise, déposer une pièce selon une orientation donnée ou s'arrêter dans une pose finale imposée sont des exigences courantes en assemblage, en logistique ou en manipulation en environnement partagé. Les trajectoires qui réussissent la même tâche ne sont donc pas interchangeables. Ce travail met en évidence une limite des VLA généralistes : ils ignorent facilement les consignes de style d'exécution tant que le but est atteint. Pour un intégrateur, la contrôlabilité fine par le langage peut devenir un critère de sélection aussi important que le taux de réussite brut. Il faut toutefois rester prudent. Il s'agit d'un article académique sur un seul bras, avec des jeux de données maison, et les contraintes évaluées restent probablement proches de celles de l'entraînement. Aucun résultat ne porte encore sur la généralisation à des contraintes inédites ou sur des cadences industrielles. Le contexte est celui d'une génération de VLA (Pi-0, Helix, GR00T et leurs dérivés) qui a surtout progressé sur la généralisation de la tâche et la robustesse perceptive. La question du pilotage fin de l'exécution reste moins traitée. Des approches voisines utilisent le raisonnement en chaîne de pensée ou des représentations intermédiaires de trajectoire pour guider l'action. ExecVLA y ajoute une séparation explicite entre le but et la manière, avec une supervision dédiée. Il s'agit d'une version révisée (v2) d'un préprint arXiv, sans partenaire industriel ni calendrier de déploiement annoncé. Les prochaines étapes à surveiller sont une évaluation sur d'autres embodiments, des comparaisons directes avec les VLA ouverts du moment, et la publication du code et des jeux de données, qui permettrait à la communauté de reproduire les résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

VLAff : un modèle vision-langage-affordance unifié pour les capacités d'action

Une publication arXiv soumise en août 2026 présente VLAff, un modèle vision-langage-affordance conçu pour apprendre aux robots à manipuler des objets à partir de vidéos humaines filmées à la première personne. Le verrou visé est connu du secteur : la morphologie d'un bras robotique diffère de celle d'une main humaine, ce qui complique le transfert direct des gestes observés. Les auteurs contournent l'obstacle en extrayant des affordances centrées sur l'objet, indépendantes de la morphologie du robot, qui précisent où interagir, comment saisir et comment déplacer. La méthode combine reconstruction 3D par Structure-from-Motion et reconstruction de maillage de la main sur des vidéos égocentriques, appliquée à un nouveau jeu de données, EgoAffordance, comptant 204 000 épisodes, 5,6 millions d'affordances visuelles et 11,6 millions d'affordances de préhension et de trajectoire. Entraîné sur cette base, VLAff génère, à partir d'une observation et d'une instruction, des cartes de chaleur d'affordance, des poses de préhension et des trajectoires, converties en actions exécutables via les informations de scène 3D. Ce travail s'inscrit dans une tendance de fond de la robotique manipulative : exploiter la masse de vidéos humaines disponibles en ligne pour pallier la rareté et le coût des données de téléopération robotique. Si l'état de l'art revendiqué en prédiction d'affordance visuelle se confirme au-delà des bancs d'essai internes des auteurs, la méthode ouvrirait une source de données bon marché pour les modèles vision-langage-action que développent des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure AI (Helix), tous engagés dans la course aux modèles fondation génériques pour la manipulation. Un bémol s'impose toutefois : les résultats sont pour l'instant mesurés en interne, sans comparaison indépendante publiée, et les démonstrations de manipulation zero-shot sur robot réel restent, d'après le résumé, cantonnées à des scénarios de laboratoire plutôt qu'à un déploiement industriel. La recherche sur les affordances actionnables, où et comment interagir avec un objet, est un axe actif de la robotique et de la vision par ordinateur depuis plusieurs années, mais les travaux antérieurs se limitaient souvent à une seule modalité ou à des jeux de données restreints tournés en environnement contrôlé. L'apport revendiqué par VLAff est d'unifier trois modalités, visuelle, préhension et trajectoire, dans un seul modèle fondation entraîné sur des vidéos égocentriques du quotidien plutôt que sur des démonstrations robotiques dédiées et coûteuses. Le papier ne précise ni affiliation institutionnelle ni calendrier de publication du code ou du jeu de données : il s'agit à ce stade d'une contribution académique, non d'un produit ou d'un pilote industriel annoncé, dont la suite logique serait la publication du code pour permettre à la communauté de reproduire les résultats.

RechercheOpinion

1 source

3arXiv cs.RO

Vers des modèles de manipulation robotique efficaces grâce à l'élagage auto-récursif

Des chercheurs proposent LCAM (Loss-Conditioned Activation-Moment pruning), une méthode d'élagage non structuré, sans réentraînement, pour des politiques de manipulation robotique déjà pré-entraînées. Le travail, publié sur arXiv (2610.08555), classe les connexions du réseau selon trois signaux : la contribution des poids normalisée par ligne, les moments d'activation mesurés sur des démonstrations de calibration, et la sensibilité des directions de sortie à la perte de prédiction d'action. Une procédure récursive du grossier au fin recalibre l'importance après chaque étape d'élagage grossier. Une fois passé un « genou » de sparsité, un budget fin est alloué selon la distorsion d'action hors ligne sur des données de validation. Testée sur trois suites LIBERO avec plusieurs politiques robotiques et sur OpenVLA, la méthode atteint 84,0 % de réussite sur LIBERO-Object avec OpenVLA à 50 % d'élagage non structuré, soit plus de 90 % du taux de succès de la politique dense. Les auteurs ajoutent un test réel sur une tâche de ping-pong robotisé, dont ils ne détaillent pas les chiffres dans le résumé. L'enjeu est le déploiement embarqué de modèles VLA (vision-langage-action), dont la taille pèse sur la latence, la mémoire et la consommation. Les critères d'élagage classiques sont conçus pour la classification d'images ou la vraisemblance des modèles de langage, et dégradent le comportement en boucle fermée. En ciblant directement la perte d'action et en évitant à la fois le réentraînement de récupération et les rollouts en simulateur, LCAM abaisse le coût de compression pour un intégrateur qui souhaite faire tourner une politique sur un calculateur contraint. Il faut toutefois rester prudent. L'élagage non structuré produit des matrices creuses qui n'accélèrent pas automatiquement l'inférence sur GPU ou sur les puces embarquées courantes, sauf support matériel dédié. Les gains annoncés portent sur le taux de succès, pas sur la latence mesurée. Le résultat à 84,0 % concerne une seule suite, LIBERO-Object, un benchmark de simulation relativement favorable, et le ping-pong réel reste une démonstration unique sans statistiques publiées. Ces travaux s'inscrivent dans le mouvement de compression des modèles VLA, après la montée en puissance d'OpenVLA, de Pi-0 et des approches de distillation, de quantification ou de réduction de couches. Ils prolongent des méthodes d'élagage générales comme Wanda ou SparseGPT, conçues pour les modèles de langage et ici adaptées à l'action. Les suites logiques seraient une validation sur des politiques plus grandes, un élagage structuré compatible avec les accélérateurs, et des mesures de latence sur matériel embarqué, ainsi que des tests sur des tâches de manipulation plus longues et plus variées que LIBERO. Aucun acteur européen n'est cité dans le résumé, et aucun calendrier de diffusion du code ou d'application industrielle n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

2AM : ancrer la mémoire de l'agent pour guider des modèles d'action pilotables en manipulation à long horizon

Publiée le 11 septembre 2026 sur arXiv sous la référence 2609.11308, une nouvelle architecture baptisée 2AM propose une autre méthode pour la manipulation robotique à long horizon, ces tâches multi-étapes qui exigent de se souvenir de ce qui a déjà été fait. Le système sépare strictement deux rôles : un agent multimodal conserve seul la mémoire de la tâche et traduit l'historique des interactions en instructions de sous-tâches en langage naturel, complétées par des indices optionnels en 2D (points de préhension, de dépose et de déplacement) ; un modèle d'action unique, basé uniquement sur des images RGB et sans état interne entre les épisodes, exécute le mouvement. Pour le rendre pilotable, les auteurs ont enrichi les démonstrations d'étiquettes d'indices structurées et entraîné le modèle avec abandon aléatoire de conditions, bruit spatial et décalage temporel, afin qu'il tolère des instructions imparfaites. Testé sur le benchmark LIBERO-Mem, sans profondeur, sans géométrie calculée en ligne ni déplacement d'objets planifié, 2AM atteint un taux de complétion moyen de 76,3 %, contre 14,8 % pour la meilleure référence publiée à ce jour, soit un gain de 61,5 points, avec 63,0 % de réussite au sens large et 11,8 % au sens strict. Ce résultat vise un problème méthodologique récurrent des systèmes agentiques actuels, qui combinent souvent des modèles vision-langage-action (VLA) avec planificateurs et outils géométriques, parfois appuyés par de la profondeur ou une géométrie calibrée : il devient difficile de savoir si les gains viennent d'observations plus riches, d'outils moteurs alternatifs ou de la politique elle-même, et si les échecs viennent de la politique ou d'une interface langagière mal spécifiée. En réduisant volontairement la panoplie d'outils au profit d'une interface à plus haute bande passante entre agent et modèle d'action, 2AM isole la variable de précision du pilotage. Le résultat suggère que la mémoire de tâche peut rester entièrement côté agent, sans être intégrée dans la politique d'action, un choix opposé à la tendance qui consiste à faire porter mémoire et raisonnement par un seul grand modèle entraîné de bout en bout. Pour les équipes qui développent des modèles d'action génératifs comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, ce travail introduit une hypothèse alternative : la capacité effective d'un modèle dépendrait autant de la précision avec laquelle il est piloté que de ce qu'il a appris à l'entraînement, ce qui interroge la course actuelle aux VLA toujours plus massifs. Le travail s'inscrit dans la lignée des benchmarks LIBERO, largement utilisés en apprentissage de politiques robotiques, dont LIBERO-Mem constitue une extension dédiée aux tâches à mémoire longue. Il se positionne en creux face aux architectures dominantes du secteur, qui empilent VLA, planificateurs symboliques et perception 3D pour gérer des séquences de manipulation complexes, une approche que la publication critique implicitement pour son opacité dans l'attribution des performances. Aucun déploiement matériel réel n'est mentionné : les résultats restent circonscrits à la simulation et au benchmark, sans validation sur robot physique ni pilote industriel annoncé. L'affiliation institutionnelle des auteurs et un calendrier de suite ne sont pas précisés, ce qui situe cette publication au stade de la recherche amont plutôt que d'un produit ou d'un partenariat commercial.

RechercheActu

1 source