Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long.

Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA.

Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

Dans nos dossiers

IA physique & VLAPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Raisonnement continu pour les modèles vision-langage-action (VLA)
1arXiv cs.RO 

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion
1 source
RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)
2arXiv cs.RO 

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

RechercheOpinion
1 source
RIFT : garder l'avenir, laisser tomber le déploiement pour les modèles vision-langage-action
3arXiv cs.RO 

RIFT : garder l'avenir, laisser tomber le déploiement pour les modèles vision-langage-action

Une équipe de recherche présente RIFT (Rollout-free Imagination via Future Tokens), une méthode qui accélère l'inférence des modèles d'action du monde (world action models, WAM) utilisés en robotique pour prédire l'action d'un robot à partir d'un futur visuel anticipé. L'étude (arXiv:2608.11521) teste quatre WAM sur les 40 tâches du benchmark LIBERO. Pour les modèles Joint et Cosmos-2, rejouer un seul cache clé/valeur (K/V) figé correspondant à l'état final préserve quasiment l'exécution d'origine, avec 1,7 à 1,9 cm d'erreur de déplacement de l'effecteur et 97,9% à 98,2% de réussite. RIFT construit ce cache complet en une seule passe grâce à des tokens d'anticipation appris, sans génération vidéo itérative : 98,8% de réussite sur LIBERO, contre 98,4% à 98,6% pour les méthodes à rollout Joint, IDM et LingBot-VA, avec une latence par segment d'action réduite de 68,2% à 89,1%. Sur RoboTwin 2.0, RIFT atteint 92,9% et 92,6% de réussite en scènes propres et randomisées, le meilleur score des méthodes testées. L'enjeu dépasse le simple gain de vitesse : un robot n'a pas besoin de régénérer vidéo après vidéo pour agir, seule la représentation finale du futur comptant pour la politique d'action. Pour les intégrateurs et décideurs robotique B2B, cela cible directement le goulot d'étranglement des architectures VLA et WAM en conditions réelles, le rollout vidéo itératif, coûteux en calcul, qui limite la fréquence de commande et les temps de cycle exploitables en production. Une réduction de latence de 68% à 89% sans perte de précision notable, si elle se confirme au-delà des benchmarks de simulation, rapprocherait ces modèles prédictifs des contraintes temps réel de la manipulation industrielle. Ces résultats restent toutefois obtenus en simulation (LIBERO, RoboTwin), sans déploiement documenté sur robot physique. Cette recherche s'inscrit dans la lignée des modèles vision-langage-action (VLA) et des world models qui conditionnent la génération d'actions robotiques sur des futurs visuels imaginés, une approche portée notamment par Cosmos, le modèle de monde de Nvidia, et comparable en esprit aux travaux autour de GR00T N2 ou Pi-0. Le résumé ne précise ni affiliation institutionnelle ni laboratoire, et l'article reste à ce stade une preprint arXiv non revue par les pairs ; aucun acteur européen n'y est mentionné. Les prochaines étapes attendues concernent la validation sur des tâches de manipulation plus complexes que LIBERO et RoboTwin, ainsi qu'un éventuel transfert vers des plateformes robotiques physiques, condition nécessaire avant toute intégration industrielle.

RecherchePaper
1 source
CounterAlign : supervision contrefactuelle pour les modèles vision-langage-action
4arXiv cs.RO 

CounterAlign : supervision contrefactuelle pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv sous la référence 2608.21740, l'article intitulé "CounterAlign: Counterfactual Supervision for Vision-Language-Action Models" propose une nouvelle méthode d'entraînement pour les modèles vision-langage-action (VLA), la brique logicielle qui traduit instructions textuelles et images en commandes motrices pour les robots. Le constat de départ est que l'apprentissage par clonage comportemental (behavior cloning), standard du secteur, n'expose le modèle qu'à des démonstrations d'expert réussies, sans jamais lui montrer quelles actions seraient incorrectes ou hors instruction. Les auteurs contournent le coût de collecte de trajectoires négatives ou de récompenses annotées en générant des tuples contrefactuels: chaque action d'expert est associée à une instruction différente et volontairement incompatible, puis un discriminateur adversarial apprend à partir de ces paires un modèle de récompense ancré dans l'instruction, utilisable pour du RL hors ligne, sans rollouts ni annotations supplémentaires. Testée sur le benchmark LIBERO-PRO, conçu pour mesurer la robustesse face aux changements de position d'objets et de tâches, la méthode améliore les performances par rapport à une référence récente jugée état de l'art. Des essais sur robot réel, menés sur la plateforme TX-G2 compatible AGIBot G2, confirment l'avantage face à d'autres approches concurrentes, sans que l'article ne publie de chiffres précis de taux de réussite. L'enjeu dépasse le simple gain de benchmark: il touche au goulot d'étranglement central de l'apprentissage VLA, la rareté des données négatives ou des récompenses annotées, coûteuses à produire en robotique réelle. En montrant qu'une supervision plus dense peut être extraite des démonstrations déjà collectées plutôt que d'exiger une collecte additionnelle, les auteurs offrent une piste concrète aux équipes qui entraînent des modèles VLA à grande échelle, dans la lignée de Pi-0 chez Physical Intelligence, GR00T N2 chez Nvidia ou Helix chez Figure. La méthode s'attaque à un défaut connu des politiques entraînées par simple clonage: leur fragilité face à de petites perturbations, comme un objet déplacé, un écart fréquemment cité entre démonstrations filmées et comportement réel sur le terrain. Il s'agit néanmoins d'un résultat de recherche en préprint, validé sur un benchmark et un nombre limité d'essais réels, et non d'un produit déployé en production. Le clonage comportemental s'est imposé comme paradigme dominant à mesure que les VLA passaient à l'échelle, mais ses limites en matière de supervision négative sont documentées depuis plusieurs années, tandis que le renforcement classique bute sur le coût de l'ingénierie de récompense ou de la collecte de données non expertes. CounterAlign s'inscrit dans une famille de techniques d'alignement par modélisation de récompense et discrimination adversariale, proches par l'esprit des méthodes de RLHF développées pour les grands modèles de langage, mais adaptées ici aux contraintes de la robotique physique. Le résumé ne détaille ni les baselines concurrentes précises ni de calendrier de déploiement industriel, et aucun acteur français ou européen n'apparaît dans les expériences décrites. La suite logique, non confirmée par les auteurs, serait une extension à davantage de plateformes robotiques et une comparaison plus large face aux modèles VLA commercialisés.

RechercheActu
1 source