RecherchearXiv cs.RO 23 septembre 2026

GDLAM : un modèle d'action latente désenchevêtrée par groupes pour le pré-entraînement incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent GDLAM (Group-Disentangled Latent Action Model), décrit dans un preprint arXiv publié le 23 septembre 2026 (arXiv:2609.26118v1, non encore relu par les pairs). Le modèle s'attaque à un défaut connu des latent action models (LAM), ces systèmes qui apprennent des représentations d'action à partir de simples vidéos sans étiquette d'action, par prédiction auto-supervisée du futur. Les LAM classiques compressent dans un seul vecteur latent des sources de changement visuel très différentes (mouvement de caméra, dynamique des objets, événements d'interaction), ce qui produit des représentations mêlées et peu structurées. GDLAM factorise au contraire le code en N groupes distincts, chacun doté de son propre goulot d'étranglement variationnel et d'un routage spatial à porte, entraînés avec des objectifs d'information géométrique : exclusivité mutuelle, sparsité de groupe et de porte, orthogonalité statique-dynamique. Résultat mesuré : intervenir sur un seul groupe ne modifie que ce groupe, et GDLAM améliore nettement les métriques de désentrelacement sans supervision (Modularity, MIG, DCI) face à un LAM non structuré pris comme référence forte, tout en restant plus informatif que les modèles monolithiques sur trois estimateurs d'information mutuelle et une sonde linéaire, y compris hors distribution.

L'enjeu dépasse la métrique académique : les LAM servent de brique de pré-entraînement aux world models et aux politiques VLA (vision-langage-action) qui pilotent la plupart des humanoïdes et bras manipulateurs généralistes actuels. Un code d'action mêlé limite la contrôlabilité des world models et la généralisation des politiques VLA entraînées dessus, un frein direct pour les intégrateurs qui veulent exploiter des vidéos sans annotation d'action, bien plus abondantes et moins coûteuses que la téléopération. Les auteurs montrent que la structuration ne coûte pas d'information : transféré à des world models, GDLAM améliore la fidélité des simulations et le suivi des commandes d'action ; transféré à des politiques VLA, il augmente les taux de réussite sur plusieurs bancs d'essai en simulation et sur des tâches réelles de manipulation. L'abstract ne précise ni plateforme robotique ni nombre de tâches réelles testées, ce qui invite à lire ces résultats comme une preuve de concept plutôt qu'une validation industrielle à grande échelle.

GDLAM prolonge les travaux récents sur le pré-entraînement vidéo auto-supervisé pour la robotique généraliste, un terrain où les pipelines VLA commerciaux, du type de ceux derrière Pi-0, GR00T N2 ou Helix, cherchent justement à réduire leur dépendance aux données téléopérées coûteuses. Le résumé ne mentionne ni affiliation institutionnelle, ni partenaire industriel, ni mise à disposition de code ou de modèles pré-entraînés : il s'agit pour l'instant d'une contribution méthodologique, pas d'un produit ni d'un pilote déployé. Les suites logiques, non détaillées dans l'article, seraient la publication du code, l'extension à davantage de bancs d'essai réels et une comparaison directe avec les LAM utilisés dans les pipelines VLA commerciaux existants.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T World models arXiv cs.RO

À lire aussi

1arXiv cs.RO

Co-VLA : entraînement fédéré par consensus pour les modèles vision-langage-action

Un article publié sur arXiv (référence 2609.19923v1) présente Co-VLA, une méthode d'entraînement fédéré pour les modèles vision-langage-action (VLA), cette classe de modèles qui traduit perception visuelle et instructions en langage naturel en commandes motrices pour robots. La technique s'appuie sur l'optimisation par consensus via l'algorithme ADMM (Alternating Direction Method of Multipliers) pour coordonner l'entraînement entre plusieurs clients détenant chacun des données robotiques locales différentes, sans jamais faire transiter ces données brutes vers un serveur central. Les auteurs montrent que le même algorithme fonctionne à la fois pour l'entraînement complet d'un modèle et pour le fine-tuning paramétrique-efficient, avec des adaptateurs à rang fixe comme à rang adaptatif. Selon les expériences rapportées, Co-VLA atteint des performances comparables à celles d'un entraînement centralisé classique, aussi bien en entraînement complet qu'en fine-tuning léger. L'abstract ne détaille toutefois ni le nombre de robots ou de sites impliqués dans les tests, ni les tâches précises évaluées, ni de métriques chiffrées de réussite. L'enjeu pratique est celui du goulot d'étranglement identifié par tout le secteur des VLA : les performances de ces modèles s'améliorent avec l'échelle des données, mais ces données de démonstration robotique sont dispersées entre flottes, sites industriels et types de tâches, et leur centralisation pose des problèmes de coût, de bande passante et souvent de confidentialité pour les intégrateurs qui déploient des robots chez des clients tiers. En rendant possible un entraînement collaboratif sans partage de données, Co-VLA ouvre une voie pour mutualiser l'apprentissage entre opérateurs de flottes concurrents ou entre sites d'un même groupe industriel, tout en gérant l'hétérogénéité des distributions de données propre à des robots différents opérant dans des environnements différents, un obstacle documenté du federated learning appliqué à la robotique. Ce travail s'inscrit dans la course actuelle aux modèles VLA généralistes, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à industrialiser l'apprentissage à grande échelle sur données robotiques réelles. Co-VLA ne propose pas un nouveau modèle concurrent mais une brique méthodologique complémentaire, exploitable en principe par n'importe quel VLA existant. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, sans annonce de déploiement industriel, de partenariat ou de calendrier de suite.

RecherchePaper

1 source

2arXiv cs.RO

Modèle vision-langage-action débiaisé causalement pour modèles du monde conditionnés par l'action incarnée

Des chercheurs publient sur arXiv (arXiv:2607.09185v1) un nouveau framework baptisé CD-LAM, destiné à améliorer les modèles du monde conditionnés par l'action (ACWM), ces systèmes qui simulent les observations futures d'un robot en fonction des actions qu'il pourrait exécuter. Ces modèles reposent sur des données massives étiquetées avec les actions correspondantes, coûteuses à collecter en conditions réelles. Pour contourner ce goulot d'étranglement, les modèles d'action latente (LAM) infèrent des actions directement depuis des vidéos non étiquetées, mais souffrent d'un biais connu : entraînés uniquement sur des objectifs de reconstruction, ils mélangent la dynamique liée à l'action avec des éléments visuels non pertinents comme l'arrière-plan ou des objets non manipulés. CD-LAM introduit trois objectifs de fine-tuning complémentaires, une reconstruction centrée sur le corps du robot, un apprentissage contrastif centré sur l'action, et une calibration de l'espace latent, pour produire des représentations plus fidèles et non dégénérées. Testé sur des backbones ACWM de 2 et 14 milliards de paramètres, CD-LAM améliore la contrôlabilité des actions latentes, le suivi des commandes en aval, la fidélité visuelle, et ne nécessite que 6 000 étapes de fine-tuning, soit plus de 12 fois moins de mises à jour d'adaptation que la méthode de référence. L'enjeu dépasse la seule performance technique : réduire d'un facteur 12 le coût d'adaptation d'un modèle du monde à un nouveau robot ou une nouvelle tâche s'attaque directement au principal frein à l'échelle des politiques robotiques actuelles, la rareté des données actions-étiquetées réelles. Ce type de travail nourrit la course aux modèles VLA (vision-language-action) comme Pi-0, GR00T N2 ou Helix, où la capacité à généraliser à partir de peu de démonstrations conditionne la viabilité commerciale des humanoïdes. Il faut toutefois distinguer clairement ce résultat, une contribution de recherche à l'échelle du benchmark, d'un déploiement en production. CD-LAM s'inscrit dans la lignée des travaux récents sur les modèles d'action latente, une direction de recherche née du constat que l'étiquetage manuel des actions robotiques ne passera jamais à l'échelle des humanoïdes commerciaux. L'abstract ne cite ni laboratoire ni entreprise précise, signe d'une publication académique classique plutôt que d'une annonce produit. Les auteurs évoquent des pistes de suite via l'adaptation à davantage de plateformes robotiques et de backbones plus larges, sans calendrier de déploiement communiqué.

RecherchePaper

1 source

3arXiv cs.RO

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion

1 source

4arXiv cs.RO

IMPACT : l'attention comme carte des interactions pour entraîner à grande échelle des modèles du monde qui les intègrent

Des chercheurs présentent IMPACT, une méthode d'entraînement pour les world models utilisés par les agents robotiques, détaillée dans un article publié le 2 septembre 2026 sur arXiv (2609.00161v1). Ces modèles prédisent l'évolution future d'une scène à partir d'une action donnée, mais peinent à générer des interactions physiquement plausibles entre un bras ou une main et les objets manipulés. Les approches existantes corrigent ce défaut en injectant des représentations externes de mouvement, géométrie ou sémantique, obtenues via des estimateurs auxiliaires ou des annotations manuelles, ce qui limite le passage à l'échelle. Les auteurs identifient plutôt un défaut structurel dans l'objectif d'entraînement standard, l'erreur quadratique moyenne globale, qui privilégie le contenu statique dominant de la scène au détriment des rares régions dynamiques où se joue l'interaction. IMPACT exploite les cartes d'attention croisée déjà associées aux tokens de l'objet manipulé comme indice spatiotemporel interne, échantillonne les régions candidates, les recalibre avec les erreurs de prédiction locales, puis reprend cette carte d'interaction pour repondérer la supervision du débruitage, sans représentation externe ni modification au moment de l'inférence. Testée sur des tâches de manipulation par bras robotique et par main humaine, avec plusieurs modalités de contrôle et backbones DiT, la méthode surpasse systématiquement les bases entraînées en MSE classique sur la fidélité des interactions, la plausibilité physique et la qualité visuelle. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement bien identifié dans l'entraînement des world models et des politiques VLA à grande échelle: la difficulté à faire tenir la promesse du "sim-to-real" ou de la génération vidéo conditionnée par action lorsque les moments qui comptent, le contact, la préhension, le déplacement d'un objet, ne représentent qu'une fraction des pixels d'une séquence. En évitant de dépendre d'annotateurs externes ou de pipelines de labellisation coûteux, IMPACT propose une voie de passage à l'échelle compatible avec les volumes de données nécessaires à l'entraînement de modèles génératifs pour la robotique, un enjeu direct pour les laboratoires qui alimentent des architectures de type GR00T N2, Pi-0 ou Helix en données synthétiques ou en simulateurs de monde. Ce travail s'inscrit dans la lignée des recherches récentes sur les world models conditionnés par action, où plusieurs équipes ont cherché à contraindre la génération avec des représentations de mouvement ou de géométrie pour éviter les artefacts physiquement incohérents, une limite régulièrement pointée dans les démonstrations vidéo de modèles de manipulation. IMPACT se positionne comme une alternative purement algorithmique à ces approches basées sur des représentations externes, testée sur plusieurs backbones DiT et modalités de contrôle, sans toutefois préciser de déploiement industriel ni de partenaire robotique à ce stade: il s'agit d'une contribution de recherche publiée sur arXiv, dont l'adoption par des acteurs commerciaux de la robotique reste à confirmer dans les prochains mois.

RecherchePaper

1 source