RecherchearXiv cs.RO 28 mai 2026

Mag-VLA : modèle vision-langage-action pour la manipulation bimanuelle de microrobots à actionnement magnétique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent Mag-VLA, un modèle vision-langage-action (VLA) conçu pour piloter des microrobots à actionnement magnétique via deux bras robotiques équipés d'aimants permanents. Le système adapte le backbone Qwen2.5-VL-7B par fine-tuning LoRA pour traiter des observations visuelles et des instructions en langage naturel, puis générer des trajectoires coordonnées pour les deux bras simultanément dans un espace de travail partagé. Pour structurer le contrôle multi-étapes, l'architecture intègre un classificateur de phase sensible au mouvement et un décodeur ACT (Action Chunking Transformer) conditionné par cette phase. L'équipe a constitué un jeu de données de manipulation téléopérée couvrant trois configurations de difficulté croissante. En expérimentation réelle, Mag-VLA atteint 90 % de taux de succès à l'approche toutes tâches confondues, et des taux de transport de 80 %, 70 % et 50 % selon la complexité de la tâche.

Ce résultat compte parce que les microrobots magnétiques sont des candidats sérieux pour la chirurgie mini-invasive, délivrance ciblée de médicaments, navigation vasculaire, ophtalmologie, mais leur pilotage reste difficile en raison de l'actionnement indirect, des capteurs limités et des interactions magnétiques non linéaires. Mag-VLA montre que le paradigme VLA, jusqu'ici évalué principalement sur des bras industriels ou des humanoïdes à l'échelle centimétrique, peut s'étendre au microscale. La coordination bimanuelle permet notamment la réorientation du microrobot, une opération difficilement réalisable avec un seul actionneur magnétique. Les études d'ablation du papier confirment que le décodeur ACT surpasse significativement les têtes d'action génératives alternatives, ce qui valide les choix architecturaux.

Le contrôle de microrobots magnétiques est un axe de recherche actif depuis une quinzaine d'années, porté notamment par des groupes à l'ETH Zurich et au Max Planck Institute for Intelligent Systems, via des contrôleurs classiques ou de l'apprentissage par renforcement spécialisé, sans généralisation par langage naturel. L'essor des VLA macroscopiques comme pi0 de Physical Intelligence ou OpenVLA ouvre une voie transférable que Mag-VLA tente de valider à l'échelle micrométrique. Il s'agit pour l'instant d'un preprint académique (arXiv 2605.28486), sans partenaire industriel ni horizon de déploiement clinique annoncé. Les prochaines étapes logiques incluent des tests en milieu fluidique in vitro, la réduction de la latence du décodeur pour un contrôle temps réel, et la généralisation à un éventail plus large de géométries de microrobots.

Impact France/UE

Le Max Planck Institute für Intelligente Systeme (Allemagne) est un acteur historique du contrôle de microrobots magnétiques ; une validation clinique de Mag-VLA renforcerait à terme la compétitivité européenne en chirurgie robotique mini-invasive, mais aucun déploiement ni partenaire industriel EU n'est annoncé à ce stade.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 OpenVLA / RT-X arXiv cs.RO

À lire aussi

1arXiv cs.RO

FineART : jeu de données de trajectoires robotiques annotées finement et modèle vision-langage-action (VLA) pour la manipulation bimanuelle

FineART est un jeu de données de manipulation bimanuelle annotée finement, présenté sur arXiv (2609.36416v1) avec un modèle associé, FineART-VLA. Le corpus compte 40 543 épisodes, soit 1 718 heures de démonstrations, couvrant 151 tâches et 533 913 sous-tâches annotées individuellement. FineART-VLA est une politique vision-langage-action (VLA) qui prédit elle-même sa prochaine sous-tâche avant d'agir. Selon les auteurs, ce pré-entraînement intermédiaire (mid-training) fait passer le taux de réussite d'une tâche de désambiguïsation spatiale de 32,0 % à 100,0 %. Avec un guidage humain sous-tâche par sous-tâche, une tâche longue jamais vue passe de 16,0 % à 76,0 %. Après un fine-tuning minimal sur un nouveau robot, la politique demande dix fois moins de données que des références sans mid-training et généralise en zéro-shot à des tâches inédites sur ce matériel. Le jeu de données, les poids du modèle et le code d'entraînement sont publiés en open source. L'enjeu tient à la granularité des annotations plus qu'au volume. Les grands corpus mono-bras atteignent des centaines de milliers de trajectoires, mais n'associent en général qu'une instruction de haut niveau à chaque épisode. Les rares efforts bimanuels qui annotent des sous-tâches n'en couvrent qu'une fraction des heures. Or les tâches d'assemblage, de logistique ou de préparation, qui intéressent intégrateurs et industriels, sont longues, à plusieurs étapes et exigent la coordination de deux bras. Si les résultats se confirment, l'apprentissage d'un raisonnement explicite sur les sous-tâches améliore la robustesse sur les longs horizons, point faible connu des VLA. Le gain d'un facteur dix en efficacité de données lors du transfert vers un nouveau robot compte aussi pour un intégrateur : il réduit le coût de collecte de démonstrations par site ou par plateforme. Il faut toutefois rester prudent. Les chiffres viennent d'un préprint non évalué par des pairs, les 100 % portent sur une seule tâche, et les tests d'inédit reposent sur des protocoles propres aux auteurs. La part du succès due au guidage humain, sur la tâche à 76 %, est significative. Ce travail s'inscrit dans la lignée des grands jeux de données de démonstrations et des politiques généralistes de type Pi-0 ou GR00T, qui ont surtout misé sur l'échelle et les instructions globales. La tendance actuelle va vers des architectures hiérarchiques, comme Helix chez Figure, où un niveau planifie et un autre exécute. FineART propose ici un équivalent ouvert, entraînable et reproductible, ce qui le distingue des systèmes propriétaires. La suite dépendra de la reprise du jeu de données par d'autres laboratoires, de validations sur davantage de plateformes et de tâches industrielles réelles, et d'une évaluation indépendante des résultats en zéro-shot.

RechercheActu

1 source

2arXiv cs.RO

Modèles vision-langage-action (VLA) pour la robotique aérienne sans pilote et la manipulation bimanuelle : une revue

Une équipe de chercheurs publie sur arXiv (référence 2607.06706, mise en ligne le 7 juillet 2026) une revue de littérature consacrée aux modèles Vision-Language-Action (VLA), ces architectures qui unifient perception visuelle, compréhension du langage naturel et génération d'actions dans un seul modèle de fondation. L'objectif : permettre à un robot d'exécuter une instruction du type "plie la serviette" ou "vole vers le bâtiment rouge" directement à partir d'images caméra, sans étape de programmation intermédiaire. Le travail passe en revue 183 contributions publiées entre 2017 et 2026, organisées selon sept axes : les architectures VLA, les recettes d'entraînement, les représentations d'actions, la coordination bimanuelle (2022-2026), la navigation et le contrôle de drones (2017-2026), l'ancrage du langage dans la perception, et des enjeux transverses comme la mémoire et les modèles du monde. Les auteurs identifient au passage quatorze directions de recherche encore ouvertes dans ces deux domaines. L'intérêt de cette synthèse tient au rapprochement qu'elle opère entre deux champs jusqu'ici traités séparément. La manipulation bimanuelle, où deux bras à 7 degrés de liberté chacun doivent coordonner leurs mouvements pour plier, assembler ou réorienter un objet, sert de banc d'essai le plus exigeant pour les VLA appliqués à la manipulation. Or les auteurs montrent que les stratégies de coordination, les recettes d'entraînement et les représentations d'actions conçues pour ces bras robotiques se transfèrent directement aux drones, confrontés à un défi structurellement similaire : coordonner poussée, attitude et, de plus en plus, commandes de préhenseur à partir d'observations visuelles, sous des contraintes strictes de latence et de charge utile (payload). Pour les intégrateurs et décideurs du secteur robotique, cela suggère qu'un socle technique commun pourrait émerger entre robotique aérienne et manipulation au sol, plutôt que deux écosystèmes cloisonnés. Cette revue s'inscrit dans la montée en puissance des VLA comme cadre dominant de l'apprentissage robotique, portée par leur capacité à hériter des connaissances générales acquises lors d'un pré-entraînement à l'échelle d'Internet, un atout que les approches de contrôle classiques n'offrent pas. En couvrant neuf ans de littérature sur la manipulation bimanuelle et la navigation de drones dans un même cadre d'analyse, le travail offre une cartographie utile pour situer les futures publications et les futurs produits commerciaux dans ce paysage encore mouvant, sans toutefois lui-même annoncer de déploiement ou de système opérationnel nouveau.

RecherchePaper

1 source

3arXiv cs.RO

Grands modèles vision-langage-action (VLA) pour la manipulation robotique : une revue

Une équipe de chercheurs publie sur arXiv (référence 2508.13073, troisième version) une revue systématique consacrée aux modèles Vision-Language-Action (VLA) construits sur de grands modèles vision-langage (VLM) pour la manipulation robotique. Le travail propose une taxonomie en deux familles d'architectures : les modèles monolithiques, déclinés en conception à système unique ou à double système selon le degré d'intégration entre perception et action, et les modèles hiérarchiques, qui séparent explicitement la planification de l'exécution via des représentations intermédiaires interprétables. La revue couvre l'articulation de ces modèles avec l'apprentissage par renforcement, l'optimisation sans réentraînement, l'apprentissage à partir de vidéos humaines et les modèles du monde, et recense les jeux de données et benchmarks du domaine. Les auteurs publient une page de projet mise à jour en continu sur GitHub, sous le compte JiuTian-VL. Contrairement aux annonces produits qui rythment l'actualité de la robotique humanoïde, ce travail ne présente ni déploiement ni chiffre de performance vérifié : c'est un effort de mise en ordre académique, justifié par la fragmentation et les incohérences de taxonomie qui caractérisent aujourd'hui le champ des VLA. Pour les intégrateurs et décideurs B2B, l'intérêt est méthodologique plutôt qu'opérationnel : la distinction entre architectures monolithiques et hiérarchiques donne une grille pour décrypter des offres commerciales qui se réclament du "VLA" sans détailler leur conception interne. La revue rappelle aussi que plusieurs briques restent des chantiers ouverts, mémoire, perception 4D, adaptation efficace, coopération multi-agents, ce qui tempère l'idée qu'un modèle vision-langage-action généraliste serait déjà un problème résolu à l'échelle industrielle. Les VLA se sont imposés ces dernières années comme alternative aux méthodes robotiques à base de règles, jugées incapables de généraliser à des environnements non structurés, en s'appuyant sur des VLM pré-entraînés sur de vastes corpus image-texte. Cette revue s'inscrit dans une production académique croissante qui tente de cartographier un champ où de nombreux laboratoires publient des architectures concurrentes sans convention de classification commune, d'où l'objectif affiché de résoudre les incohérences des taxonomies existantes. Le document ne cite aucun système commercial ni partenaire industriel précis ; il est pensé comme une ressource vivante, régulièrement actualisée, utile pour situer les futures annonces de VLA propriétaires, qu'elles viennent de laboratoires de recherche ou de fabricants de robots humanoïdes, par rapport à l'état de l'art académique.

RecherchePaper

1 source

4arXiv cs.RO

DynamicVLA : un modèle vision-langage-action (VLA) pour la manipulation d'objets dynamiques

DynamicVLA est un modèle vision-langage-action (VLA) de 0,4 milliard de paramètres, conçu pour manipuler des objets en mouvement. Il s'appuie sur un encodeur visuel convolutif, choisi pour réduire la latence d'inférence. Un calendrier d'inférence continue fait chevaucher le raisonnement et l'exécution, ce qui rend le contrôle non bloquant. Un mécanisme baptisé Latent-aware Action Streaming écarte le début de chaque séquence d'actions prédite, devenu invalide à cause de la latence, et n'exécute que la fin encore valide. Les auteurs publient aussi le benchmark Dynamic Object Manipulation (DOM). Un pipeline de collecte automatisé y rassemble 200 000 épisodes synthétiques, répartis sur 2 800 scènes et 206 objets. Il a aussi permis de recueillir 2 000 épisodes réels sans téléopération. Le texte, publié sur arXiv en version 2 (2601.22153), est un article de recherche. Il ne décrit ni produit commercialisé ni déploiement industriel. Les résultats sont rapportés en simulation et sur robots réels. Le résumé ne donne ni taux de succès chiffrés ni plateforme robotique précise. Le problème visé est structurel pour les VLA. Ces modèles généralisent bien en manipulation statique, mais l'inférence prend du temps et l'objet continue de bouger pendant ce calcul. L'action prédite à partir d'une observation passée est donc périmée au moment où le robot l'exécute. Pour un intégrateur, cela touche les cas où la scène ne s'arrête pas pour le robot. C'est le cas des convoyeurs en mouvement, du tri à la volée ou des objets passés de main en main. La solution s'attaque à la latence plutôt qu'à la taille du modèle. Un modèle de 0,4 milliard de paramètres reste exécutable sur du matériel embarqué, contrairement aux grands VLA. L'alignement entre le temps de la prédiction et celui de l'action devient ainsi un critère de conception à part entière. Le choix de collecter des données réelles sans téléopération réduit aussi un coût important de la robotique d'apprentissage. Il faut toutefois attendre les chiffres détaillés. Les gains annoncés (mouvements variables, instructions riches en perception, trajectoires inédites) ne sont pas quantifiés dans le résumé. Le résumé ne dit pas non plus si les résultats réels reposent sur des essais nombreux ou sur quelques démonstrations choisies. Ces travaux s'inscrivent dans la vague des VLA généralistes comme Pi-0, GR00T ou Helix. Elle a surtout progressé sur la manipulation statique et les tâches longues, tandis que le contrôle réactif sur objets mobiles restait peu couvert. Le manque de données dynamiques standardisées freinait la comparaison entre méthodes, et c'est le vide que DOM veut combler. La suite dépendra de l'adoption du benchmark par d'autres laboratoires. Elle dépendra aussi de la reproduction des résultats sur des bras et des mains variés. Pour l'industrie, l'étape suivante est un test sur des cadences réelles, avec des charges et des vitesses de ligne de production.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source