Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
LM-X : modélisation explicable des actions par prédiction de progression, d'événements et d'incertitude pour la manipulation robotique généraliste
IA physiquearXiv cs.RO 

LM-X : modélisation explicable des actions par prédiction de progression, d'événements et d'incertitude pour la manipulation robotique généraliste

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un nouveau preprint arXiv (2608.25757, aout 2026) présente LM-X, un modèle vision-langage-action (VLA) pour la manipulation robotique généraliste. Contrairement aux politiques VLA classiques qui ne prédisent que l'action a court terme, LM-X génère en continu trois signaux explicites pendant l'exécution: le "return-to-go" (RTG), qui mesure la progression visible de la tache, l'"évent-to-go" (ETG), qui anticipe la prochaine transition sémantique, et un flux d'action heteroscedastique, qui estime la fiabilité locale via une variance propagée. Avant de lancer un preentrainement couteux de 20 jours sur 64 GPU Nvidia B200, les auteurs ont valide l'architecture sur un test contrôle a cinq taches: le modèle complet améliore le taux de réussite de 16,0 points par rapport a un backbone action seule, et de 10,8 points par rapport a la meilleure variante a une seule tête de prédiction. Le modèle final a ensuite été entraine sur plus de 20 000 heures de trajectoires robot réelles, dont plus de 1 000 heures d'échecs de politiques antérieures. Sur 50 taches durcies et randomisées du benchmark RoboTwin2.0, LM-X atteint 74,1% de réussite contre 55,4% pour GR00T N1.7 de Nvidia, et 68,6% contre 50,7% sur sept taches exécutées en robot réel.

L'intérêt ne tient pas qu'au score brut face a GR00T N1.7: LM-X expose des états internes normalement caches dans les politiques VLA, ou une seule cible d'action doit implicitement porter la progression, l'intention et la fiabilité du geste. Le RTG suit la progression sémantique et détecte les régressions visibles, tandis que la variance grimpe pendant les hésitations ou les oscillations de commande. Pour un intégrateur ou un responsable fiabilité, ce type de signal pourrait permettre de détecter un échec avant qu'il ne se produise plutôt que de le constater après coup, un argument concret pour la supervision et la sécurité en environnement industriel.

Le travail s'inscrit dans la compétition croissante autour des politiques de manipulation généralistes, aux cotes de familles comme GR00T de Nvidia, Pi-0 de Physical Intelligence ou Helix de Figure. L'abstract ne précise ni l'institution ni l'entreprise porteuse du projet, et il s'agit a ce stade d'un preprint de recherche, sans produit commercialise ni déploiement industriel annonce: la comparaison reste limitée a GR00T N1.7 et aux benchmarks présentes par les auteurs eux-mêmes, ce qui appelle une lecture prudente en attendant une évaluation indépendante.

Dans nos dossiers

IA physique & VLANVIDIA GR00TPhysical Intelligence — π0Manipulation robotique

À lire aussi

PrimitiveVLA : apprentissage de primitives de mouvement réutilisables pour une manipulation robotique efficace et généralisable
1arXiv cs.RO 

PrimitiveVLA : apprentissage de primitives de mouvement réutilisables pour une manipulation robotique efficace et généralisable

Des chercheurs ont publié le 28 mai 2026 sur arXiv (référence 2605.28634) PrimitiveVLA, un cadre d'apprentissage pour modèles VLA (Vision-Language-Action) ciblant deux faiblesses récurrentes de la robotique généraliste : l'inefficacité des données d'entraînement et la mauvaise généralisation à des tâches nouvelles. Le diagnostic des auteurs est structurel : les architectures VLA actuelles mappent directement les instructions vers des séquences de contrôle moteur, forçant le modèle à mémoriser des trajectoires entières spécifiques à chaque tâche, sans capitaliser sur des motifs de mouvement réutilisables. PrimitiveVLA propose à la place un paradigme "Disassemble & Assemble" centré sur les primitives : une pipeline automatisée décompose les démonstrations en unités de mouvement invariantes, encodées dans une Représentation Canonique Multimodale (MCR) partagée. À l'inférence, un planificateur VLM et un module de commutation généré par LLM assurent l'exécution en boucle fermée. Les expériences reportées montrent une meilleure efficacité des données et une généralisation zero-shot sur des tâches non vues et de longue durée. L'enjeu pour les intégrateurs et les décideurs industriels est immédiat : les modèles VLA généralistes exigent aujourd'hui des milliers de démonstrations par variation de tâche, rendant leur déploiement en production coûteux et peu flexible. Si l'approche par primitives réutilisables tient ses promesses, elle pourrait significativement réduire ce volume de données pour personnaliser un bras manipulateur sur une nouvelle ligne. La boucle fermée via le module de commutation LLM répond aussi à une faiblesse connue des politiques open-loop, sujettes à la dérive face à des imprévus. Ces résultats restent cependant à confirmer : il s'agit d'un preprint non encore soumis à évaluation par des pairs, sans validation hardware en conditions industrielles réelles. L'approche s'inscrit dans un courant de recherche sur la découverte de compétences composites (skill discovery en RL), ici appliqué aux architectures vision-langage-action. Elle entre en concurrence directe avec pi-0 de Physical Intelligence, OpenVLA, et les politiques de type Diffusion Policy, tous visant à améliorer la généralisation des manipulateurs à partir de peu de données. Aucun partenaire industriel ni site de déploiement n'est mentionné dans l'article, qui demeure une contribution académique pure. Les prochaines étapes naturelles seraient une validation sur hardware physique hors-laboratoire et une comparaison de sample efficiency avec pi-0 ou OpenVLA sur des benchmarks standardisés tels que LIBERO ou BridgeData.

IA physiqueOpinion
1 source
Inférence de l'action à partir de l'état latent futur pour la manipulation robotique
2arXiv cs.RO 

Inférence de l'action à partir de l'état latent futur pour la manipulation robotique

Une équipe de recherche a publié sur arXiv, le 25 août 2026 (référence 2608.22067v1), un article intitulé « Inferring Action from Future Latent State for Robotic Manipulation », présentant DELE-w0.5, un nouveau modèle de contrôle robotique. Contrairement aux World-Action Models existants, qui s'appuient sur des backbones de génération vidéo pour prédire conjointement les images futures et les actions du robot, DELE-w0.5 se passe de la génération vidéo : il infère directement la séquence d'actions à partir d'un état latent futur compact, qui capture le résultat physique de l'interaction sans reconstruire l'apparence visuelle intermédiaire. Testé sur 480 essais réels couvrant quatre tâches de manipulation à long horizon, le système atteint un taux de réussite complet de 62,5 % et une progression macro par étapes ordonnées de 81,3 %, soit respectivement 47,5 et 30,7 points de pourcentage de mieux que la meilleure baseline comparée. Cette approche remet en question un postulat courant chez les VLA (vision-language-action) et les world models robotiques, celui voulant que prédire l'image future soit nécessaire pour ancrer un modèle de contrôle dans la physique réelle, une logique suivie par des systèmes comme GR00T N2, Pi-0 ou Helix. En supprimant cette étape coûteuse en calcul, DELE-w0.5 promet un entraînement moins cher et une inférence plus rapide, un enjeu concret pour les intégrateurs visant du contrôle temps réel sur du matériel embarqué limité. Si ces gains se confirment au-delà de ce papier, ils pourraient orienter la recherche vers des architectures plus légères fondées sur la prédiction d'états latents plutôt que sur la vidéo dense. Il s'agit d'un travail de recherche en preprint, sans laboratoire ni entreprise nommés dans le résumé, et sans déploiement, partenariat ou pilote commercial annoncé. L'article s'inscrit dans la vague actuelle des World-Action Models combinant génération vidéo et prédiction d'action, un terrain disputé par des acteurs comme Figure (Helix), NVIDIA (GR00T N2) ou Physical Intelligence (Pi-0). Le taux de réussite de 62,5 % reste loin d'un niveau de fiabilité industrielle, même s'il dépasse nettement les références testées, et ces chiffres proviennent des auteurs eux-mêmes, sans validation indépendante ni revue par les pairs à ce jour. Aucune suite, aucun pilote ni intégration produit n'est mentionné dans l'article.

IA physiqueActu
1 source
GEAR-VLA : un modèle VLA intégrant la géométrie pour une manipulation robotique généralisable
3arXiv cs.RO 

GEAR-VLA : un modèle VLA intégrant la géométrie pour une manipulation robotique généralisable

Des chercheurs ont publié sur arXiv en juin 2026 (réf. 2606.08530) GEAR-VLA, un framework Vision-Language-Action (VLA) conçu pour généraliser la manipulation robotique à des objets inconnus, des décors visuels changeants et des morphologies hétérogènes. Sur le benchmark LIBERO, le modèle atteint les meilleures performances publiées à ce jour, ainsi que des résultats de pointe sur RoboTwin 2.0 et LIBERO-Plus en zero-shot. Sur un bras AgileX, GEAR-VLA affiche 85,9% de réussite ; sur le LDT-01, une morphologie absente de la phase d'entraînement, il obtient 81,0%. Le test le plus contraignant reste un benchmark de préhension universelle de 6 360 essais impliquant 212 objets inédits, où le modèle atteint 90,1% de succès. Le code et les poids seront mis en open source sur GitHub. Ce résultat s'attaque directement au problème qui freine le déploiement industriel des VLAs : la généralisation cross-embodiment et cross-catégorie d'objets. GEAR-VLA repose sur trois mécanismes distincts : un apprentissage coarse-to-fine avec préentraînement multi-sources, une intégration 3D sémantiquement alignée (backbone spatial 3D entraînable couplé à une voie visuelle VLM gelée), et une canonicalisation d'embodiment qui isole les différences morphologiques à l'interface bas niveau via un expert d'action continu de type DiT découplé en gradient. Les 90,1% obtenus sur 212 objets inédits en conditions réelles constituent une réponse partielle à l'hypothèse selon laquelle les VLAs exigent un fine-tuning spécifique à chaque nouvelle catégorie, même si l'absence d'évaluations sur des tâches longues et multi-étapes laisse la question ouverte pour les intégrateurs industriels. Les VLAs dominent la recherche en manipulation depuis RT-2 de Google DeepMind en 2023, avec des jalons successifs que sont OpenVLA (Berkeley), Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA en 2025. La compétition se joue aujourd'hui précisément sur la généralisation zéro-shot et le transfert cross-embodiment, deux axes sur lesquels GEAR-VLA revendique un avantage différenciant. Les benchmarks retenus, LIBERO et RoboTwin 2.0, sont désormais des références standard du domaine, ce qui rend les comparaisons directement lisibles pour la communauté. Il s'agit d'une publication académique sans partenaire industriel annoncé ni déploiement hors laboratoire confirmé. La mise en open source des poids permettra de valider ces résultats sur des plateformes plus complexes, notamment des configurations multi-bras ou à forte variabilité environnementale.

UELa mise en open source imminente des poids permettra aux laboratoires de robotique européens (INRIA, CEA-List, universités techniques) de benchmarker GEAR-VLA sur leurs propres plateformes sans dépendre d'un fine-tuning propriétaire, réduisant potentiellement la barrière à l'adoption industrielle des VLAs en Europe.

IA physiqueOpinion
1 source
SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique
4arXiv cs.RO 

SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique

Des chercheurs présentent dans un preprint arXiv (2511.06754v3, troisième révision, mai 2026) SlotVLA, un framework de manipulation robotique multitatches qui repose sur des représentations centrées sur les objets et leurs relations plutôt que sur les plongements denses utilisés par la majorité des modèles VLA actuels. L'architecture combine trois composants : un tokeniseur visuel à slots qui maintient des représentations temporellement cohérentes pour chaque objet détecté dans la scène, un décodeur centré sur les relations entre objets pour produire des embeddings pertinents à la tâche, et un module LLM qui traduit ces embeddings en séquences d'actions exécutables. En parallèle, les auteurs publient LIBERO+, un benchmark de manipulation dérivé du jeu de données LIBERO existant, enrichi d'annotations objet-centriques au niveau des boîtes englobantes et des masques de segmentation, ainsi qu'un suivi temporel des instances entre frames. Les expériences conduites sur LIBERO+ montrent que les représentations à slots réduisent significativement le nombre de tokens visuels nécessaires tout en conservant des performances de généralisation comparables aux baselines denses. L'intérêt principal de cette approche réside dans la tension qu'elle adresse directement : les VLAs déployés à ce jour (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) s'appuient sur des encodeurs visuels qui traitent la scène comme un champ dense, sans distinction explicite entre objets manipulables et arrière-plan. Cette architecture entraîne une redondance computationnelle et rend difficile l'audit du raisonnement du modèle, ce qui freine l'adoption industrielle dans des contextes certifiables. SlotVLA propose que des représentations structurées, inspirées de la cognition humaine sur les objets discrets, puissent constituer une base plus efficace et interprétable pour le contrôle visuomoteur. La réduction du nombre de tokens visuels est un levier concret de coût d'inférence pour des systèmes embarqués ou des flottes de robots. Il convient toutefois de noter que les résultats présentés restent confinés à l'environnement simulé LIBERO+ : aucune validation physique sur robot réel n'est rapportée dans ce preprint, ce qui laisse ouverte la question du sim-to-real gap pour ce type de représentation. Cette publication s'inscrit dans un courant actif de recherche sur les architectures objet-centriques pour la robotique, dont les travaux fondateurs incluent les modèles de slot attention de Locatello et al. (2020) et les approches OCRL. LIBERO avait déjà été introduit comme benchmark multitatches pour la manipulation, mais sans annotations objet-centriques fines : LIBERO+ vient combler ce manque pour faciliter l'évaluation comparative de ce type de représentation. Sur le plan concurrentiel, les laboratoires académiques (notamment ceux liés à CMU, Berkeley, Stanford) et industriels travaillent en parallèle sur des architectures plus interprétables pour répondre aux demandes croissantes de traçabilité dans l'automatisation industrielle. Les prochaines étapes naturelles seront la validation sim-to-real sur des plateformes physiques standard (Franka, UR, ou humanoïdes) et l'intégration dans des pipelines de fine-tuning avec des modèles fondateurs publics.

IA physiqueOpinion
1 source