Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

IA à mélange d'experts : des VLA développent des compétences combinatoires émergentes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2607.20771, soumission du 24 juillet 2026) une étude sur l'apprentissage de politiques robotiques compositionnelles entraînées de bout en bout à partir de démonstrations expertes, sans décomposition de tâche ni hiérarchie prédéfinie. L'équipe teste une architecture VLA (Vision-Language-Action) dotée d'une tête d'action en Mixture-of-Experts (MoE) simplifiée, où un routeur apprend à sélectionner dynamiquement parmi plusieurs sous-réseaux experts. Résultat central: les experts appris sont massivement réutilisés d'une tâche à l'autre et correspondent systématiquement à des comportements de bas niveau qualitativement distincts, ce qui suggère que le routeur apprend implicitement à séquencer des primitives, sans supervision explicite sur leur découpage. Sur les métriques de performance, le modèle MoE égale une baseline monolithique classique tout en montrant une spécialisation nette des experts.

Cette découverte compte pour l'industrie robotique parce qu'elle attaque un problème central des politiques VLA actuelles: leur opacité. Les modèles comme GR00T N2, Pi-0 ou Helix fonctionnent aujourd'hui largement en boîte noire, ce qui complique le débogage, la certification et la réutilisation de compétences entre robots ou tâches. Si des primitives interprétables et réutilisables émergent naturellement de l'entraînement, cela ouvre la voie à des politiques plus modulaires, où un intégrateur pourrait diagnostiquer ou recombiner des comportements sans réentraîner un modèle monolithique complet. C'est aussi une validation empirique, à échelle encore modeste, de l'hypothèse selon laquelle les architectures MoE, déjà dominantes en NLP, peuvent transférer leurs bénéfices de spécialisation au contrôle robotique sans sacrifier la performance brute.

Le travail s'inscrit dans la vague plus large d'adoption des architectures Mixture-of-Experts dans les grands modèles de langage, désormais transposée aux politiques d'action robotique face à la multiplication des VLA généralistes (Figure AI, NVIDIA GR00T, Physical Intelligence, Figure/Helix). L'étude reste à un stade de recherche fondamentale, sans déploiement industriel annoncé, mais pose une brique méthodologique que les laboratoires travaillant sur l'interprétabilité et la modularité des politiques robotiques, dont des équipes académiques et industrielles concurrentes sur ce terrain, devraient suivre de près.

Dans nos dossiers

FigureNVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

HiMoE-VLA : mélange hiérarchique d'experts pour des politiques VLA généralistes
1arXiv cs.RO 

HiMoE-VLA : mélange hiérarchique d'experts pour des politiques VLA généralistes

Des chercheurs ont publié début décembre 2025 sur arXiv une nouvelle architecture baptisée HiMoE-VLA (Hierarchical Mixture-of-Experts for generalist Vision-Language-Action policies), avec code et modèles en accès libre sur GitHub (ZhiyingDu/HiMoE-VLA). Le problème visé : les politiques VLA généralistes sont entraînées sur des mélanges hétérogènes de démonstrations robotiques couvrant des embodiments, espaces d'action et configurations de capteurs différents, ce qui provoque un "transfert négatif" quand un module d'action dense unique doit absorber cette diversité. HiMoE-VLA répond avec un module d'action hiérarchique à mélange d'experts : des couches Action-Space MoE en entrée/sortie spécialisent le calcul par espace d'action, des couches Heterogeneity-Balancing MoE dans les couches voisines absorbent les variations résiduelles de scènes et d'embodiments, et des blocs Transformer denses au centre intègrent les représentations partagées. Deux objectifs auxiliaires guident l'entraînement : une régularisation contrastive par espace d'action pour la spécialisation aux frontières, et un objectif d'équilibrage de charge entre experts. Sur les bancs d'essai, le modèle atteint un score de 3,98 sur CALVIN, 98,0 % de réussite sur LIBERO, et respectivement 75,0 % et 63,7 % de succès moyen sur des tâches réelles avec un bras xArm7 et une plateforme ALOHA. Le résultat le plus significatif tient moins aux scores bruts qu'à la démonstration, en co-entraînement hétérogène contrôlé, que HiMoE-VLA transforme en transfert positif ce qui reste un transfert négatif chez des bases de référence pourtant robustes. C'est un signal notable pour le secteur : l'un des obstacles récurrents à l'entraînement de politiques VLA "généralistes" est justement la difficulté à mélanger des jeux de données robotiques disparates, bras différents, capteurs différents, espaces d'action différents, sans dégrader les performances par rapport à des modèles spécialisés par plateforme. Pour les équipes qui construisent des fondations robotiques multi-embodiment, à l'image de ce que visent Physical Intelligence avec pi-0, NVIDIA avec GR00T N2 ou Figure avec Helix, la capacité à absorber l'hétérogénéité des données sans coût de performance est un enjeu direct de scalabilité : moins de collecte de données spécifiques par plateforme pour chaque nouveau déploiement industriel. HiMoE-VLA s'inscrit dans la lignée des architectures Vision-Language-Action apparues ces deux dernières années pour doter les robots de politiques de contrôle génériques, entraînées comme des modèles de fondation plutôt que comme des contrôleurs tâche par tâche. Le recours aux mélanges d'experts, déjà répandu dans les grands modèles de langage pour augmenter la capacité sans exploser le coût de calcul, est ici adapté spécifiquement au problème de l'hétérogénéité des données robotiques, via une hiérarchie à trois niveaux plutôt qu'un simple routage plat. Le papier, référencé arXiv:2512.05693, est une version révisée d'un travail antérieur, et les auteurs s'appuient sur CALVIN, LIBERO ainsi que des essais réels sur xArm7 et ALOHA comme bancs de test. Code et modèles étant publiés en open source, la validation indépendante par la communauté robotique déterminera si les gains observés se généralisent au-delà des bancs d'essai contrôlés vers des déploiements industriels réels.

RechercheActu
1 source
Évolution continue des compétences dans un modèle vision-langage-action (VLA)
2arXiv cs.RO 

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion
1 source
ASPIRE : découverte de compétences à base d'agents pour la robotique
3arXiv cs.RO 

ASPIRE : découverte de compétences à base d'agents pour la robotique

ASPIRE (Agentic Skill Programming through Iterative Robot Exploration) est un nouveau système d'apprentissage continu pour la robotique, décrit dans un article publié sur arXiv (2607.00272) début juillet 2026. Contrairement à la programmation robotique traditionnelle, qui impose de coder manuellement la perception multimodale, la gestion des contacts physiques et la diversité des échecs d'exécution, ASPIRE écrit et corrige lui-même ses programmes de contrôle selon le paradigme "code-as-policy", puis capitalise chaque correction validée dans une bibliothèque de compétences réutilisables. Le système s'appuie sur trois briques : un moteur d'exécution en boucle fermée qui expose des traces multimodales fines pour diagnostiquer les échecs et synthétiser des réparations ; une bibliothèque de compétences qui s'enrichit en continu de correctifs transférables ; et une recherche évolutionnaire qui génère des séquences de tâches et des programmes de contrôle variés, au-delà du simple raffinement trajectoire par trajectoire. Sur les bancs d'essai simulés, ASPIRE dépasse les méthodes précédentes de 77% sur les manipulations perturbées de LIBERO-Pro, 72% sur les transferts bimanuels de Robosuite, et 32% sur les tâches ménagères longues de BEHAVIOR-1K. Ce travail s'attaque directement à un point de friction connu du secteur : la difficulté à faire generaliser des politiques de contrôle robotique au-delà de la tâche pour laquelle elles ont été conçues, sans réentraînement lourd à chaque nouvelle configuration. La bibliothèque cumulative d'ASPIRE permet une généralisation zero-shot à des tâches longues jamais vues : 31% de réussite sur LIBERO-Pro Long, contre seulement 4% pour les meilleures méthodes concurrentes, qui pourtant s'appuient sur du raisonnement et des tentatives répétées au moment de l'exécution. Pour les intégrateurs et décideurs robotique, c'est un signal encourageant sur la viabilité de bibliothèques de compétences auto-construites plutôt que de politiques VLA monolithiques entraînées une fois pour toutes, mais les auteurs restent prudents : ils ne parlent que de "premières preuves" de transfert simulation-vers-réel, pas d'un problème résolu. Ce résultat s'inscrit dans la lignée des travaux récents sur les politiques de contrôle générées ou affinées par des grands modèles de langage, où l'enjeu principal est de dépasser le stade de la démonstration isolée pour atteindre une robustesse répétable en conditions réelles. Contrairement aux approches par apprentissage par renforcement pur ou aux VLA entraînés de bout en bout (type Pi-0 ou GR00T), ASPIRE mise sur l'exploration itérative et la mémoire de compétences pour réduire l'effort de programmation à chaque nouvel embodiment ou API robotique. Les auteurs annoncent vouloir approfondir la validation du transfert sim-to-real sur des plateformes physiques variées, une étape encore à venir puisque l'article ne documente pour l'instant que des résultats en simulation.

RecherchePaper
1 source
ECo-MoE : mélange d'experts conditionné par l'incarnation pour accroître l'évolvabilité des robots
4arXiv cs.RO 

ECo-MoE : mélange d'experts conditionné par l'incarnation pour accroître l'évolvabilité des robots

Des chercheurs ont publié fin mai 2026 sur arXiv (arXiv:2605.24225) un nouveau cadre d'apprentissage et d'évolution pour robots baptisé ECo-MoE (Embodiment-Conditioned Mixture of Experts). L'architecture co-optimise simultanément une distribution de vecteurs de conception latents, assimilables à des génotypes, et un ensemble de modules de contrôle spécialisés, ou "experts", dont l'activation est conditionnée par les coordonnées latentes du morphotype décodé. Concrètement, chaque plan corporel d'un robot active ou désactive dynamiquement des combinaisons distinctes de circuits sensorimoteurs appris, permettant un comportement orienté objectif adapté à la morphologie instanciée. Le projet est accompagné de vidéos et d'un code open source disponibles sur eco-moe.github.io. L'intérêt principal de cette approche réside dans le compromis qu'elle propose entre deux extrêmes bien documentés du co-design robotique : entraîner une politique individuelle pour chaque morphologie (coûteux en calcul, non scalable) ou entraîner un contrôleur universel monolithique pour toutes les morphologies (résultat trop conservateur, comportements sous-optimaux). ECo-MoE préserve la connaissance accumulée au fil des générations dans un cadre unifié mais modulaire, où une partie du contrôleur peut être remaniée pour s'adapter à une nouvelle famille de designs sans perturber les modules experts déjà consolidés. Les auteurs introduisent également le concept d'"evo by demo" : des politiques pré-entraînées peuvent être directement injectées dans le mélange d'experts pour orienter l'évolution vers des régions de l'espace latent contenant des caractéristiques morphologiques souhaitées, ce qui constitue un levier de contrôle éditorial sur l'évolution libre. Ce travail s'inscrit dans une ligne de recherche active autour de la neuro-évolution et du co-design morphologie/contrôle, dont les jalons récents incluent les travaux sur les politiques universelles (ex : pi0 de Physical Intelligence, GR00T N2 de NVIDIA) et les architectures transformer appliquées à l'évolution robotique. La différence revendiquée par rapport aux approches VLA généralistes est la modularité explicite : là où les grands modèles de politique tendent à absorber toute la diversité morphologique dans un seul réseau dense, ECo-MoE structure cette diversité via le routage conditionné. Il s'agit pour l'instant d'un preprint académique sans déploiement industriel annoncé, et les benchmarks présentés portent sur des robots simulés, ce qui laisse entier le classique gap simulation-réalité.

RecherchePaper
1 source