IA physiquearXiv cs.RO 21 août 2026

Fine-tuning des modèles VLA par contrôle génératif auto-démontré pour la manipulation multitâche

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv fin août 2026 (référence 2608.19490) présente une méthode de finetuning pour les modèles vision-langage-action (VLA), ces politiques robotiques qui combinent perception, langage et contrôle moteur. Le constat de départ : des modèles VLA de pointe comme π0.5, entraînés sur de larges corpus multi-robots, voient leurs performances chuter dès qu'ils sont déployés sur un nouveau robot dont la configuration matérielle diffère de celle de l'entraînement. Le finetuning classique sur des données expertes du nouveau robot corrige la tâche ciblée mais efface la capacité du modèle à suivre des instructions génériques, un oubli catastrophique. Les auteurs proposent que le VLA zero-shot génère lui-même, en ligne, des trajectoires d'interaction supplémentaires pour enrichir ses données de finetuning, sans démonstration humaine additionnelle. La méthode est validée sur un robot bimanuel ALOHA réel et un nouveau benchmark de simulation baptisé RoboTwin, avec des vidéos publiées sur self-supervised-control.pages.dev.

Le travail cible un vrai goulot d'étranglement pour l'industrialisation des VLA : spécialiser un modèle fondation sur un robot précis sans sacrifier la polyvalence qui justifie son usage. Pour les intégrateurs, c'est le compromis qui freine aujourd'hui le déploiement de politiques comme π0, GR00T N2 ou Helix sur des lignes hétérogènes, où chaque nouvelle géométrie de bras impose de re-collecter des démonstrations coûteuses, au risque d'effacer les acquis génériques du modèle de base. Si l'approche tient au-delà d'ALOHA et RoboTwin, elle réduirait le coût marginal d'ajout d'un robot ou d'une compétence, en s'appuyant sur les rollouts du modèle plutôt que sur davantage de téléopération humaine.

La démarche s'inscrit dans la lignée des VLA ouverte par RT-2 puis consolidée par π0 et π0.5 de Physical Intelligence, OpenVLA, GR00T N2 de NVIDIA ou Helix de Figure AI, tous conçus pour généraliser au-delà d'un seul robot. Le choix d'ALOHA, plateforme bimanuelle open source popularisée par Stanford, ancre l'évaluation dans un cadre reproductible plutôt que dans une démonstration propriétaire, et RoboTwin vise à combler l'absence de benchmark standard pour la généralisation multi-tâches. Aucun partenaire industriel ni calendrier de transfert vers un robot commercial n'est évoqué : il s'agit pour l'instant d'une preuve de concept académique, publiée en preprint et non encore relue par les pairs.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Motus2 : un modèle du monde général auto-évolutif pour la manipulation dextérique

Un article déposé sur arXiv fin août 2026 (arXiv:2608.30237) présente Motus2, un modèle du monde pour la manipulation dextre. Plutôt que d'ajouter une simple tête d'action à un simulateur, il repose sur un seul réseau à poids partagés exposant trois interfaces : une politique qui propose des séquences d'actions, un simulateur qui en prédit les conséquences visuelles, et un évaluateur qui juge ces prédictions, le tout formant une boucle fermée de décision et d'apprentissage. L'entraînement combine démonstrations expertes triées et interactions ratées, réutilisées comme signal pour la dynamique et la valeur. Les données montent en échelle, de vidéos égocentriques monoculaires vers des données stéréo puis des trajectoires robotiques réelles, avec retour tactile et instanciation sur une plateforme biomimétique à deux bras et deux mains dextres. Aucun chiffre de charge utile, de temps de cycle ou de taux de réussite n'est fourni. L'enjeu est de dépasser un défaut classique des modèles du monde robotiques, la déconnexion entre prédiction et apprentissage utile. En unifiant politique, simulateur et évaluateur, Motus2 vise une boucle d'auto-amélioration où le robot apprend aussi de ses échecs, non plus seulement de démonstrations humaines coûteuses à collecter à grande échelle, un frein connu pour les modèles vision-langage-action comme Pi-0 ou GR00T N2. Si l'approche se confirme au-delà du papier, elle réduirait la dépendance à la téléopération massive. L'absence de métriques chiffrées dans le résumé invite toutefois à la prudence, il s'agit d'une proposition architecturale, non d'un résultat comparé publiquement à l'état de l'art. Ce travail s'inscrit dans la vague des modèles du monde appliqués à la robotique généraliste, où les laboratoires opposent depuis 2025 approches génératives pures et architectures hybrides combinant simulation et politique. Motus2 se distingue par le partage total des poids entre ses trois fonctions et l'usage explicite des échecs comme signal d'apprentissage. Le choix d'une plateforme bimanuelle à mains dextres et retour tactile vise la manipulation fine plutôt que la seule locomotion humanoïde. L'article ne précise ni laboratoire d'origine ni calendrier de déploiement pilote, à ce stade Motus2 reste un jalon de recherche en préprint, dont la validation empirique reste à documenter.

IA physiquePaper

1 source

2arXiv cs.RO

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu

1 source

3arXiv cs.RO

FabriVLA : un modèle vision-langage-action léger pour une manipulation précise multi-tâches

FabriVLA, un modèle vision-langage-action (VLA) léger dédié à la manipulation robotique multi-tâches de précision, vient d'être présenté sur arXiv (2607.08575v1). L'architecture associe un backbone vision-langage InternVL3.5 à une tête d'action par flow-matching, dotée d'une auto-attention filtrée entre les tokens d'action et d'une fusion superficielle des couches du VLM pour enrichir le contexte spatial. Le modèle est entraîné en une seule étape d'optimisation conjointe, à partir d'un VLM pré-entraîné combiné à une tête d'action initialisée aléatoirement. Sur le benchmark Meta-World MT50, qui couvre 50 tâches de manipulation variées, FabriVLA atteint un taux de réussite moyen par palier de 90,0%, avec un VLM d'à peine 1 milliard de paramètres. Ce résultat pèse dans le débat sur la taille optimale des modèles VLA. Jusqu'ici, les meilleures performances en manipulation semblaient réservées aux backbones de plusieurs milliards de paramètres, comme Pi-0 ou GR00T N2. Un modèle compact atteignant 90% de réussite sur un benchmark aussi large que MT50 laisse entrevoir des coûts d'inférence et de déploiement embarqué nettement réduits, un enjeu concret pour les intégrateurs travaillant sur des bras robotiques industriels ou des plateformes mobiles aux ressources de calcul limitées. Cela conforte aussi l'hypothèse qu'une conception spécialisée de la tête d'action, via flow-matching et attention inter-tokens, peut compenser la taille réduite du VLM sous-jacent. FabriVLA s'inscrit dans la lignée des modèles VLA ayant suivi RT-2 et Octo, et plus récemment les approches par flow-matching popularisées par Pi-0 chez Physical Intelligence ou les architectures GR00T N2 de NVIDIA. Le choix d'InternVL3.5, backbone open plus modeste que certains VLM propriétaires concurrents, illustre une tendance à réutiliser des composants déjà optimisés plutôt qu'à entraîner des architectures VLA depuis zéro. À ce stade, les résultats restent une validation en simulation sur Meta-World; la suite logique attendue par la communauté robotique sera la démonstration de ces gains sur des tâches de manipulation réelle, hors benchmark simulé.

IA physiqueActu

1 source

4arXiv cs.RO

MuseVLA : un modèle VLA multimodal adaptatif pour la manipulation robotique

Des chercheurs présentent ce mois-ci MuseVLA (arXiv:2606.17598, juin 2026), un modèle Vision-Language-Action capable d'intégrer des capteurs non-RGB comme entrées de perception active lors de tâches de manipulation robotique. Sur un robot à main dextre testée en conditions réelles, MuseVLA atteint un taux de succès moyen de 80,6 % sur trois familles de tâches : saisie guidée par la température, recherche d'objet par signal audio, et récupération d'objet dissimulé assistée par radar. L'architecture repose sur un mécanisme en deux temps : le modèle génère d'abord un "sensor token" qui sélectionne dynamiquement la modalité sensorielle pertinente pour la tâche en cours, puis convertit la mesure capteur en une "grounded sensor image", une représentation intermédiaire unifiée fusionnée avec le flux RGB classique avant la génération d'action. Les auteurs introduisent également un pipeline de synthèse de données qui augmente des datasets RGB existants avec des images capteur simulées, contournant ainsi le coût prohibitif de la collecte de données multisensorielles réelles. L'apport principal est architectural plutôt que purement empirique : le découplage entre le traitement capteur spécifique et le backbone VLA permet d'intégrer de nouveaux capteurs sans réentraîner le modèle de base, un principe analogue aux "tool calls" dans les LLM. Cette modularité répond à une limite structurelle des VLA actuels, dont Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA), qui opèrent quasi exclusivement sur RGB. La capacité de zéro-shot sur des tâches non vues lors de l'entraînement est notable, même si les conditions expérimentales restent celles d'un laboratoire, sans déploiement industriel rapporté. Les métriques de cycle time ou de robustesse en environnement non contrôlé ne sont pas fournies, ce qui limite l'interprétation du 80,6 % en contexte réel. Le papier s'inscrit dans une effervescence autour des VLA généralistes depuis mi-2024, avec des acteurs comme Physical Intelligence, 1X Technologies, Enchanted Tools côté européen, et les équipes de Google DeepMind ou Carnegie Mellon qui multiplient les approches de fusion multimodale. MuseVLA reste pour l'instant un preprint sans code ni dataset publié, et la question de la généralisation à des capteurs industriels standards (LiDAR, force/torque) n'est pas traitée. Les prochaines étapes naturelles seraient un benchmark comparatif sur des plateformes connues type Franka ou UR, et une validation hors labo pour confirmer la thèse du sim-to-real sur les données capteur synthétiques.

UELes acteurs européens comme Enchanted Tools opèrent dans le même segment VLA généraliste, mais ce preprint n'implique aucune institution ou entreprise française ou européenne.

IA physiqueOpinion

1 source