Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

VLA-Fabric : apprendre l'interaction pour des agents VLA multi-bras composables

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

VLA-Fabric, présenté sur arXiv (2610.23018), propose d'organiser une équipe de bras robotisés en attribuant à chacun un modèle vision-langage-action (VLA) complet, c'est-à-dire un modèle qui perçoit, interprète une consigne et produit directement des actions. Chaque bras conserve sa perception locale et la maîtrise de ses propres commandes. La coordination passe par une interaction apprise entre les politiques, au moment même de la génération d'actions. Les auteurs étudient d'abord où placer cette interaction, comment agréger l'information des pairs et comment l'entraîner. Ils identifient trois fonctions complémentaires: un contexte partagé, des informations latentes propres à chaque pair, et une interaction au stade de l'action. Ils reproduisent ensuite ces fonctions dans une architecture VLA structurellement différente, puis composent des équipes de trois et quatre bras, évaluées en simulation et en conditions réelles. Sur les quatre tâches physiques, l'interaction complète améliore le taux de réussite de 16 à 40 points de pourcentage par rapport à des politiques locales entraînées indépendamment.

L'intérêt tient à la question abordée. Les VLA progressent surtout à l'échelle d'un seul robot, alors que de nombreuses applications industrielles (assemblage, manutention de pièces volumineuses, cellules à plusieurs bras) exigent une coordination fine. Les approches existantes reposent sur une politique centralisée, une répartition de rôles de haut niveau ou des politiques locales qui réagissent aux voisins. VLA-Fabric suggère une voie intermédiaire: conserver des politiques modulaires, réutilisables et déployables par bras, tout en ajoutant un canal de communication appris. Le fait que le principe tienne sur deux architectures différentes plaide pour une portée générale, et non pour un artefact lié à un backbone précis. Il faut toutefois rester prudent. Le gain est mesuré face à des politiques indépendantes, donc une base de comparaison faible. Rien n'indique de comparaison avec une politique centralisée. Le résumé ne donne ni la nature des tâches, ni le nombre d'essais, ni les temps de cycle, ni la robustesse hors laboratoire.

Ce travail s'inscrit dans une phase où les VLA de type Pi-0, GR00T ou Helix se généralisent pour un robot unique ou un humanoïde bimanuel, tandis que la coordination multi-robot reste dominée par la planification classique et l'attribution de tâches. Il s'agit d'une publication de recherche, sans produit, sans pilote industriel et sans calendrier de commercialisation. Les prochaines étapes naturelles sont l'évaluation sur des équipes plus nombreuses, la comparaison à des politiques jointes centralisées, et la mesure de la latence de communication entre politiques, un point critique pour toute cellule réelle.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

De solo à l'ensemble : un cadre hiérarchique pour l'interaction composable entre humains et objets avec plusieurs agents
1arXiv cs.RO 

De solo à l'ensemble : un cadre hiérarchique pour l'interaction composable entre humains et objets avec plusieurs agents

Des chercheurs proposent, dans un preprint arXiv (2610.11722v1), un cadre hiérarchique qui transforme une politique d'interaction humain-objet (HOI) mono-agent en une compétence réutilisable, baptisée Object-oriented Motion Skill. La méthode réinterprète les trajectoires exécutées par des politiques « enseignantes » spécialisées : elle en extrait des mouvements de proxy d'objet à courte portée, qui servent de supervision d'actions centrées sur l'objet. Ces enseignants sont ensuite distillés dans une compétence bas niveau qui opère dans un « espace d'action orienté objet ». Pour les tâches en aval, cette compétence est figée et sert d'exécuteur. Une politique haut niveau coordonne les agents en générant des actions par région de l'objet. Elle se conditionne sur l'objet partagé, l'objectif, les états des agents et les zones de manipulation locales. Le résumé ne donne aucun chiffre de performance, aucun taux de succès et aucun nom de benchmark. L'enjeu est de séparer deux problèmes que les approches actuelles mélangent. Aujourd'hui, on adapte généralement les politiques HOI aux tâches coopératives par un fine-tuning propre à chaque tâche. Cela lie l'exécution fine des contacts à la coordination de haut niveau, et cela freine la réutilisation d'une géométrie d'objet, d'un type d'interaction ou d'une taille d'équipe à l'autre. Ici, l'apprentissage multi-agent ne passe plus par un contrôle du corps entier riche en contacts. Il porte sur la coordination de mouvements de proxy au niveau de l'objet, un espace d'action bien plus compact. Si cela tient à l'échelle, le coût d'entraînement d'un travail d'équipe devrait baisser, et les compétences pourraient se composer sans repartir de zéro. Les auteurs affirment que la compétence distillée permet une exécution robuste et un apprentissage composable selon les types d'interaction, les géométries et les tailles d'équipe. Cette affirmation repose uniquement sur le résumé, sans résultat chiffré visible. Il s'agit d'un travail de simulation sur personnages à base physique. Rien n'indique de transfert vers des robots réels, donc le fossé sim-to-real reste entier. Ce travail s'inscrit dans la lignée de l'animation et du contrôle physique de personnages, où les politiques mono-agent de manipulation d'objets sont désormais assez robustes. Le passage au multi-agent coopératif, comme porter ou déplacer ensemble un objet volumineux, reste le point dur. Ce type de coordination intéresse aussi la robotique humanoïde, notamment pour la manutention à plusieurs et les flottes de robots collaboratifs. Le résumé ne cite ni laboratoire, ni code, ni plan de publication, et ne compare pas son approche à des méthodes concurrentes. La suite logique serait la publication des résultats détaillés, des comparaisons avec les approches par fine-tuning, puis une validation sur du matériel réel, ce que l'article n'annonce pas.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
2arXiv cs.RO 

NestedVLA : apprendre à consolider et à générer des compétences pour les modèles vision-langage-action (VLA)

NestedVLA, proposé par le groupe WanyuGroup et soumis à NeurIPS 2026 (preprint arXiv 2610.23271), s'attaque à un problème précis des modèles vision-langage-action (VLA) : consolider des compétences apprises séparément sur des tâches et des plateformes hétérogènes. Plutôt que d'agréger des paramètres, la méthode les génère. Un hypernetwork imbriqué, conditionné par la tâche cible, synthétise les paramètres d'un « action expert » adapté à cette tâche, qui se combine avec un VLA de base gelé. Les résidus du modèle vision-langage, compressés et propres à chaque tâche, sont conservés à part. Sur trois benchmarks d'apprentissage par renforcement (MetaWorld, ManiSkill, CALVIN), les auteurs annoncent un gain moyen de 41 points de pourcentage face à la meilleure méthode de fusion de modèles. Sur ManiSkill, l'écart avec un fine-tuning dédié à chaque tâche tombe à 1 point, et il se réduit nettement sur CALVIN. Le code est publié sur GitHub. L'intérêt tient à la façon dont le problème est posé. Aujourd'hui, les données robotiques sont éclatées entre plateformes, l'entraînement multitâche conjoint souffre d'interférences entre tâches, et la fusion de modèles crée des conflits de paramètres ou exige de modifier l'architecture. Pour un intégrateur qui accumule des compétences par site ou par client, la perspective d'apprendre chaque skill de son côté puis de les consolider après coup, sans réentraîner l'ensemble, est séduisante, d'autant que les auteurs mettent en avant un coût de stockage réduit par rapport à la conservation d'un modèle complet par tâche. Il faut toutefois rester prudent. Les résultats proviennent uniquement de benchmarks simulés, sans validation sur robot réel, et l'écart sur CALVIN n'est pas comblé. Le chiffre de 41 points est mesuré contre le meilleur baseline de fusion, pas contre un entraînement multitâche conjoint. Rien ne dit encore que la méthode tient à l'échelle de VLA de production, ni quel est le surcoût d'inférence lié à la génération des paramètres. Ce travail s'inscrit dans la course aux VLA généralistes, avec des références comme Pi-0, GR00T ou Helix, qui misent surtout sur de grands jeux de données agrégés et un entraînement conjoint. L'approche post hoc par hypernetwork rejoint les recherches sur la fusion de modèles et les adaptateurs légers de type LoRA, qu'elle cherche à dépasser sur le plan des conflits de paramètres. Il s'agit d'un preprint soumis à relecture, sans calendrier de déploiement industriel. Les prochaines étapes à surveiller sont des tests sur robots physiques, des comparaisons avec des VLA de grande taille et la reproduction indépendante des résultats à partir du code publié.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
OpenWAM : un cadre ouvert pour des modèles monde-action composables
3arXiv cs.RO 

OpenWAM : un cadre ouvert pour des modèles monde-action composables

OpenWAM est un cadre open source de modèles monde-action (WAM, world-action models), ces systèmes qui couplent la prédiction vidéo du futur au contrôle d'un robot. Les auteurs partent de Wan2.2-5B, un modèle de génération vidéo de 5 milliards de paramètres, qu'ils pré-entraînent de façon causale sur plus de 10 000 heures de vidéo robotique. Ils y greffent un « expert d'action » via une architecture Mixture-of-Transformers partagée. Celle-ci permet quatre modes de génération : conjointe, vidéo puis action, action puis vidéo, et découplée. Sur les quatre suites du benchmark de simulation LIBERO, le système obtient des taux de réussite élevés, de même que sur des tâches bimanuelles réelles dont l'abstract ne détaille ni le nombre ni les conditions. L'adaptation causale conjuguée à l'entraînement sur vidéo robotique fait passer le taux de réussite en mode vidéo puis action sur LIBERO-Long de 68,4 % à 97,8 %. L'apport principal tient à la méthode plus qu'à un score. Les WAM existants changent simultanément de backbone vidéo, de structure d'interaction, de supervision et de procédure d'inférence, ce qui empêche d'attribuer un gain à un choix de conception précis. OpenWAM fournit un banc d'essai commun où l'on ne modifie qu'un paramètre à la fois. Les résultats sur la dynamique sont les plus intéressants pour les équipes qui cherchent à réduire leur dépendance aux démonstrations coûteuses. Quand seul le prédicteur vidéo est adapté à une nouvelle tâche, un modèle de dynamique inverse gelé, à contexte local, entraîné sur des transitions contrefactuelles et des démonstrations, atteint 84,0 % de réussite moyenne sur quatre tâches LIBERO-90 jamais vues. Le même modèle entraîné sur les seules démonstrations plafonne à 21,5 %, et une version à contexte complet atteint 47,0 %. En dynamique directe, la supervision contrefactuelle réduit l'erreur de prédiction RGB de 34,5 % et fait passer l'identification du bon résultat de 21,1 % à 71,3 % parmi 16 issues partant du même état. Ces chiffres viennent de LIBERO, un benchmark simulé et saturé, et d'un article non encore évalué par des pairs : ils ne disent rien du fossé entre démonstration et déploiement industriel. Ce travail s'inscrit dans la montée des politiques fondées sur la vidéo, qui font concurrence aux modèles vision-langage-action (VLA) classiques comme Pi-0 ou GR00T. Leur promesse est de tirer parti de la grande quantité de vidéo disponible, au-delà des seules démonstrations réussies. Wan2.2 sert ici de socle, ce qui illustre la réutilisation des modèles vidéo génératifs ouverts en robotique. Le cadre est publié sous le numéro arXiv 2610.07922, en version 1, et l'abstract ne mentionne aucun pilote industriel ni calendrier de déploiement. La suite logique serait une validation sur davantage de tâches réelles, avec des comparaisons à poids de calcul équivalent contre les VLA établis.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Apprentissage dans l'espace de bruit pour l'adaptation des modèles VLA
4arXiv cs.RO 

Apprentissage dans l'espace de bruit pour l'adaptation des modèles VLA

Des chercheurs proposent le « Noise Space Learning » (NSL), une méthode d'adaptation des modèles vision-langage-action (VLA) fondés sur le flow matching, décrite dans un preprint arXiv (2610.13943v1). Le principe est de laisser le VLA préentraîné entièrement figé et d'apprendre à la place une distribution conditionnelle sur le bruit initial qui alimente le processus génératif. Cette distribution dépend du contexte, c'est-à-dire de l'observation et de la tâche. Les auteurs formalisent NSL comme une interface générique d'adaptation, compatible avec plusieurs algorithmes d'apprentissage. Ils l'instancient avec trois d'entre eux: PPO et SAC (apprentissage par renforcement) et AWR (régression pondérée par l'avantage). L'évaluation porte sur les benchmarks de simulation LIBERO et RoboTwin, ainsi que sur quatre tâches de manipulation sur robot réel. Le résumé ne chiffre ni gains de succès, ni nombre d'interactions, ni nom de robot. L'intérêt pratique tient à la contrainte que la méthode cherche à lever. Les VLA préentraînés encodent de larges priors de manipulation, mais les spécialiser à une tâche ou un site exige d'arbitrer entre interactions robot limitées, budget de calcul et contraintes de sécurité. Un fine-tuning complet de modèles de plusieurs milliards de paramètres est coûteux, et l'exploration en ligne sur matériel réel est risquée. Agir sur l'espace de bruit réduit l'espace de recherche et laisse le modèle de base intact. Cela facilite le déploiement, car une même base peut servir plusieurs politiques d'adaptation légères. Les auteurs revendiquent aussi une analyse théorique, fondée sur la théorie de l'information, qui explique pourquoi cette adaptation est efficace. Sa portée reste à vérifier dans le texte complet. Surtout, le travail ne se limite pas à un algorithme: il compare des variantes et en tire des recommandations selon les régimes de ressources et de déploiement. Cette comparaison est utile aux intégrateurs, qui doivent choisir entre efficacité en données, coût de calcul et sûreté d'exécution. Il s'agit d'un résultat de recherche, sans produit ni déploiement industriel annoncé. Ce travail prolonge les méthodes de « noise steering » existantes, qui exploitent le fait que les politiques de diffusion et de flow matching transforment un bruit gaussien en actions. Piloter ce bruit permet d'orienter le comportement sans toucher aux poids, une idée déjà explorée pour des politiques de diffusion. Elle gagne en pertinence avec la généralisation des VLA à base de flow matching, comme la famille Pi-0 de Physical Intelligence. D'autres approches d'adaptation concurrentes passent par le fine-tuning supervisé, l'apprentissage par renforcement des poids ou les adaptateurs de type LoRA. LIBERO et RoboTwin sont des benchmarks établis, mais la simulation ne garantit pas la robustesse en production, et quatre tâches réelles restent un échantillon modeste. La suite dépendra de la publication du code, de la validation par relecture, et de résultats sur des tâches plus longues ou plus variées.

RecherchePaper
1 source