Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Comment vision-langage-action doivent-ils utiliser l'état proprioceptif ?
RecherchearXiv cs.RO 

Comment vision-langage-action doivent-ils utiliser l'état proprioceptif ?

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouvel article de recherche publié sur arXiv (2608.03052, début août 2026) s'attaque à une question que la littérature sur les modèles Vision-Language-Action (VLA) a longtemps traitée par à-coups : comment un robot doit-il intégrer son état proprioceptif, c'est-à-dire les positions et vitesses articulaires mesurées en interne. Les auteurs relèvent que la quasi-totalité des VLA récents exploitent cette information, mais de manière incohérente d'un système à l'autre : sérialisée en texte dans le prompt, projetée dans le préfixe vision-langage, ou injectée directement dans l'expert d'action, et presque toujours limitée à une seule frame instantanée. Pour trancher, l'équipe a mené des expériences contrôlées sur un VLA à flow-matching, en figeant le backbone, les données d'entraînement, la représentation d'action et le protocole d'évaluation. Cinq interfaces ont été comparées à égalité d'implémentation (prompt d'état discret, préfixe VLM, préfixe d'action, expert d'état dédié, modulation de features), testées sur 45 tâches atomiques réparties en trois familles plus 20 tâches composites, avec un balayage de la longueur d'historique d'état de 1 à 96 frames.

L'enjeu dépasse le détail d'ingénierie : à mesure que les VLA se généralisent en robotique industrielle, chaque laboratoire bricole sa propre façon de câbler l'état proprioceptif sans base comparative rigoureuse, ce qui rend les gains rapportés difficiles à attribuer. Cette étude cherche à isoler ce qui relève d'un réel bénéfice temporel de ce qui n'est qu'un surcroît de capacité de conditionnement, une distinction cruciale pour les équipes qui doivent arbitrer entre complexité d'architecture et performance en boucle fermée sur des tâches réelles.

Le papier s'inscrit dans un paysage VLA en pleine consolidation, dominé par des architectures comme Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, dont les choix d'intégration proprioceptive restent largement empiriques et non justifiés publiquement. L'abstract ne détaille pas les principes de conception retenus, seulement la méthodologie : les résultats précis et leur portée pratique restent à vérifier dans le corps de l'article.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Faire évoluer un modèle vision-langage-action en agent capable d'utiliser des outils à la volée
1arXiv cs.RO 

Faire évoluer un modèle vision-langage-action en agent capable d'utiliser des outils à la volée

Des chercheurs présentent ART (Agentic Robot with Tool-use), un framework décrit dans un preprint arXiv (2608.14047v1) qui transforme un modèle Vision-Language-Action (VLA) existant en agent capable d'invoquer a la volée des modules outils prêts a l'emploi pour la vision bas niveau, l'estimation d'affordance haut niveau et l'adaptation a l'embodiment du robot. Plutot que de générer directement des actions continues sur tout l'espace de solutions comme le font les VLA classiques, ART réduit cet espace via l'usage d'outils, ce qui améliore la généralisation entre taches et limite la dépendance aux données. L'équipe a constitue un jeu de 30 000 trajectoires d'usage d'outils et de démonstrations, nettement plus réduit que les jeux de données des méthodes de référence, avec un protocole d'entrainement pour le raisonnement sur des trajectoires longues en environnements difficiles. Resultat: un taux de réussite supérieur de 20% aux baselines dominantes, en simulation comme sur des taches réelles de pick-and-place dans l'obscurité a des points de vue inédits. Ce résultat cible deux limites récurrentes des VLA de bout en bout: le besoin de volumes de données toujours plus massifs pour généraliser, et la fragilité des politiques continues face a des scènes inédites (éclairage, angle de vue). En montrant qu'une architecture modulaire, ou le modèle délégué certaines sous-taches a des outils spécialisés plutôt que de tout apprendre dans un seul réseau, réduit la taille du jeu de données nécessaire tout en améliorant la robustesse, ART alimente un débat clé pour les intégrateurs: continuer a scaler des VLA monolithiques comme Pi-0 ou GR00T N2, ou investir dans des couches agentiques orchestrant des outils existants pour un déploiement plus léger. ART s'inscrit dans une tendance qui importe en robotique les techniques de raisonnement agentique déjà éprouvées sur les grands modèles de langage, ou un agent alterne planification et appels d'outils externes plutôt que de tout résoudre en un seul passage. Le travail reste a ce stade un preprint de recherche: aucune date de mise en production, aucun partenaire industriel ni volume de déploiement n'est communique par les auteurs. Il s'ajoute aux efforts de laboratoires développant Pi-0, GR00T ou Helix, qui cherchent tous a rendre les VLA plus généralistes sans multiplier indéfiniment les données d'entrainement, un enjeu suivi de près par les intégrateurs européens du secteur logistique et industriel.

UEAucun acteur ni déploiement européen n'est impliqué, mais la piste intéresse les intégrateurs logistiques et industriels européens qui cherchent des VLA moins gourmands en données.

RechercheActu
1 source
LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent
2arXiv cs.RO 

LaMP : apprentissage d'une politique vision-langage-action avec flux de scène 3D comme a priori de mouvement latent

Des chercheurs présentent LaMP, un framework de manipulation robotique combinant deux modules experts. Le premier, le "Motion Expert", génère en une seule étape un flux de scene 3D partiellement debruite via une méthode de flow-matching; ses états caches conditionnent ensuite un second module, l'"Action Expert", charge de prédire les actions du robot, via une attention croisée filtrée. Contrairement aux VLA classiques qui déduisent les actions directement de features visuelles 2D, LaMP intègre ainsi un a priori de mouvement 3D explicite sans reconstruction complète multi-étapes. Le système a été évalué sur les bancs d'essai de simulation LIBERO, LIBERO-Plus et SimplerEnv-WidowX, ainsi que sur des expériences réelles. Selon les auteurs, LaMP dépasse systématiquement les références VLA testées, avec les meilleurs taux de réussite moyens a budget d'entrainement égal, et un gain moyen de 9,7% de robustesse sur les perturbations hors distribution de LIBERO-Plus par rapport a la meilleure référence existante. Ce travail cible un point faible connu des politiques VLA: leur difficulté a généraliser a des dynamiques spatiales non vues pendant l'entrainement, un écart souvent qualifie de "sim-to-real" ou de "demo vs reality gap". En forçant les modèles a apprendre implicitement la physique 3D a partir de simples features 2D, les architectures actuelles, dans la lignée de RT-2, Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, restent fragiles des que l'environnement s'écarté du jeu d'entrainement. Pour les intégrateurs et décideurs B2B, la robustesse hors distribution sépare une démonstration convaincante d'un déploiement industriel fiable: c'est souvent le vrai goulot d'étranglement, plus que la réussite brute sur des taches déjà vues. Le papier, publie sur arXiv en version 2, s'inscrit dans un débat plus large sur la meilleure façon d'injecter des priors physiques 3D dans des backbones visuels pré-entraines en 2D, face a des alternatives comme les nuages de points ou les politiques de diffusion conditionnées par la profondeur. Il s'agit d'une contribution académique, sans affiliation industrielle affichée ni indication de déploiement au-delà des benchmarks; les prochaines étapes attendues concernent le passage a l'échelle en conditions réelles et une comparaison directe avec des politiques VLA déjà commercialisées comme Pi-0 ou GR00T N2.

RechercheActu
1 source
Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA
3arXiv cs.RO 

Penser par proprioception : une sélection de tokens visuels ancrée sur l'état pour les modèles VLA

Des chercheurs présentent ThinkProprio, une nouvelle architecture pour les modèles vision-langage-action (VLA) qui pilotent les robots. Contrairement aux approches classiques où la proprioception, c'est-à-dire l'état interne du robot comme la position de ses articulations, n'intervient qu'en toute fin de traitement comme simple signal de conditionnement passif, ThinkProprio discrétise cette information en tokens compatibles avec le vocabulaire du modèle de vision-langage. Ces tokens sont ensuite utilisés conjointement avec l'instruction textuelle pour filtrer les patches visuels avant même que le calcul du VLM ne démarre. Résultat clé des expériences menées sur les bancs d'essai CALVIN et LIBERO ainsi qu'en manipulation réelle : ne conserver qu'environ 12% des tokens visuels suffit à dépasser les performances d'une baseline utilisant l'intégralité des tokens sur le protocole CALVIN ABC vers D, tout en réduisant la latence d'inférence de bout en bout. L'apport est significatif pour le secteur car il renverse une hypothèse répandue : ajouter la proprioception comme simple signal supplémentaire ne change quasiment rien aux performances, contrairement à ce qu'on pourrait attendre. La valeur n'apparaît que lorsque l'état du robot sert de requête active, en sélectionnant en amont quelles informations visuelles méritent d'être traitées. Pour les intégrateurs et équipes robotique confrontées au goulot d'étranglement de la latence d'inférence lors du déploiement de VLA sur du matériel réel, cette piste ouvre une voie concrète pour accélérer l'exécution sans sacrifier la précision des actions. Cette contribution s'inscrit dans une tendance de fond de la recherche en VLA, où des modèles comme GR00T N2, Pi-0 ou Helix intègrent généralement la proprioception de façon tardive et peu exploitée architecturalement. Face à la pression pour rendre ces modèles exécutables en temps réel embarqué, l'efficacité de l'inférence devient un axe de recherche aussi central que la précision des tâches. Les auteurs valident leur approche par des ablations systématiques montrant la supériorité des tokens de vocabulaire VLM sur des projecteurs appris, ouvrant la voie à une adoption potentielle par les laboratoires développant des modèles fondation pour la robotique embarquée.

RechercheActu
1 source
Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action
4arXiv cs.RO 

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu
1 source