IA physiquearXiv cs.RO 9 novembre 2026

Meituan-Robotics-0 : un modèle fondation vision-langage-action (VLA) pour la manipulation de bureau

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Meituan a dévoilé Meituan-Robotics-0 (MR0), un modèle de fondation vision-langage-action (VLA) accompagné d'un système d'agent embarqué, conçu pour la manipulation de bureau avec base fixe. Le modèle s'appuie sur 147 millions d'échantillons vision-langage et 15 060 heures de trajectoires robotiques filtrées, réparties sur 12 morphologies de robots. L'entraînement se déroule en trois étapes: un pré-entraînement avec jetons d'action discrets, une phase intermédiaire par flow-matching pour transférer ces acquis vers un contrôle continu multi-embodiment, puis un post-entraînement en conditions réelles. Les auteurs introduisent Rollback, qui associe les segments de politique remplacés aux corrections humaines pour fournir une supervision positive et négative à CFG-DAgger, sans apprentissage de valeur ni étiquetage d'avantage. Sur le plan des résultats, MR0 atteint 93,6 % de réussite sur RoboTwin 2.0 et se classe cinquième de la piste VLA de RoboDojo. À post-entraînement HG-DAgger équivalent, il dépasse π0.5 en taux de succès moyen et en score de progression sur trois tâches réelles. Sur l'insertion de câble Ethernet, CFG-DAgger entraîné avec les données Rollback atteint 70 % de réussite et un score de progression de 0,90.

L'intérêt tient moins au score de benchmark qu'à la manière de traiter l'étape la plus coûteuse du déploiement: la correction humaine en ligne. Rollback exploite les interventions d'un opérateur comme signal contrastif, en traitant le segment remplacé comme un exemple négatif, sans modèle de valeur à entraîner. Pour un intégrateur, cela réduit la complexité de la boucle d'amélioration sur site. Le résultat de 70 % sur l'insertion Ethernet rappelle toutefois l'écart entre une démonstration et une fiabilité industrielle: une tâche de précision à 70 % reste loin des seuils attendus en production. La comparaison avec π0.5 porte sur seulement trois tâches, et la cinquième place sur RoboDojo montre que MR0 n'est pas en tête. L'interface unifiée d'effecteur terminal et la fusion asynchrone des segments d'action, qui lisse l'exécution malgré une latence d'inférence variable, répondent à des problèmes concrets de portage entre robots. L'agent à événements, qui conserve des tâches persistantes, les reprend sous condition et les récupère entre tâches, n'est montré que par des déploiements qualitatifs, donc sans mesure chiffrée.

Cette publication place Meituan, géant chinois de la livraison et des services locaux, parmi les acteurs qui construisent leurs propres modèles robotiques de base, face à Physical Intelligence (π0 et π0.5), NVIDIA (GR00T) ou Figure (Helix). Elle s'inscrit dans la tendance chinoise du VLA open research, nourrie par des benchmarks comme RoboTwin 2.0. Le périmètre reste borné: manipulation de bureau à base fixe, sans locomotion ni mobilité. Aucun produit, calendrier de déploiement ou volume commercial n'est annoncé; il s'agit d'un article de recherche sur arXiv. Les suites à surveiller sont une éventuelle publication des poids ou du code, des évaluations indépendantes sur plus de tâches, et un lien avec les activités logistiques et de livraison de Meituan.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables

Des chercheurs ont publié DeMaVLA, un modèle fondation de type Vision-Langage-Action (VLA) conçu pour la manipulation d'objets déformables, en particulier le pliage de vêtements. Annoncé en preprint arXiv (2605.31286, mai 2026), DeMaVLA couple un backbone VLM à un module appelé "action expert" qui génère des trajectoires continues par flow matching. Pour réduire les coûts d'entraînement et d'inférence, cet action expert est construit en élaguant une couche transformer sur deux du backbone, tout en préservant l'alignement entre les deux modules. Le modèle est d'abord pré-entraîné sur environ 5 000 heures de démonstrations bimanuals en conditions réelles, puis affiné via un pipeline DAgger (Data Aggregation) avec supervision humaine : des trajectoires correctives sont collectées à partir des échecs du robot sur plusieurs tâches de pliage, puis réinjectées en entraînement. Les résultats sont compétitifs sur le benchmark RoboTwin et solides sur un benchmark maison de pliage domestique. La plupart des systèmes VLA actuels entraînent des politiques séparées par catégorie d'objet (un réseau pour les t-shirts, un autre pour les pantalons), ce qui limite la généralisation et alourdit la maintenance. DeMaVLA propose une politique unifiée capable de traiter des vêtements de géométries, matières et états initiaux variés sans réentraînement par catégorie, ce qui est directement pertinent pour les intégrateurs en robotique domestique et logistique. Le recours au DAgger avec boucle humaine est aussi un signal industriel : les corrections issues des échecs du robot, structurées et réinjectées, améliorent concrètement la robustesse au-delà des seules démonstrations expertes. Cela valide l'hypothèse que les données correctives à grande échelle sont un levier clé pour réduire le sim-to-real gap sur des tâches à haute variabilité. La manipulation d'objets déformables reste l'un des problèmes ouverts les plus difficiles en robotique physique : contrairement aux objets rigides, un vêtement n'a pas d'état canonique stable, ce qui complique radicalement la planification et la perception. Plusieurs équipes travaillent sur ce terrain : Physical Intelligence avec Pi-0 (manipulation généraliste bimanuels), NVIDIA avec GR00T N2, et divers laboratoires académiques (Columbia, CMU) sur la manipulation textile. DeMaVLA se positionne sur le créneau des fondations multi-tâches déformables, en combinant pré-entraînement à grande échelle et fine-tuning correctif. Ce travail reste un preprint non encore évalué par les pairs, et les benchmarks maisons appellent à une validation indépendante. Les suites naturelles sont l'extension à d'autres objets déformables (câbles, sacs souples) et l'évaluation sur des plateformes robotiques commerciales en environnement non contrôlé.

IA physiqueOpinion

1 source

2arXiv cs.RO

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables. Sur quatre tâches de manipulation réelles à fort contact physique, ForeTac-VLA atteint un taux de réussite moyen de 95%, avec un gain de 36,25 points de pourcentage sur un VLA simplement affiné et de plus de 22 points sur les meilleures méthodes tactiles-VLA existantes, tout en maintenant ses performances en faible luminosité et en environnement visuellement encombré. Ce travail cible une faiblesse connue des modèles VLA, très dépendants de la vision, alors que des états physiques critiques comme le glissement d'un objet ou l'alignement lors d'une insertion ne sont pas observables visuellement. Les approches tactiles existantes se contentaient de réagir au contact déjà survenu; ForeTac-VLA propose de l'anticiper, ce qui change la nature du signal exploité par le modèle d'action. Pour les intégrateurs industriels, l'intérêt pratique tient à la robustesse démontrée en conditions dégradées, faible éclairage ou encombrement visuel, des situations fréquentes en usine ou en entrepôt où la vision seule échoue souvent. Si ces écarts se confirment au-delà des quatre tâches testées, cela conforterait l'idée qu'une fusion tactile prédictive, plutôt que purement réactive, est une piste sérieuse pour fiabiliser la manipulation en contact riche, un point faible récurrent des démonstrations VLA actuelles. ForeTac-VLA s'inscrit dans la lignée des modèles VLA génériques qui unifient perception, langage et contrôle moteur, et dans la sous-famille plus récente des VLA tactiles qui ajoutent un capteur de contact au pipeline vision-langage. Il se positionne explicitement contre ces baselines tactiles-VLA de l'état de l'art, qu'il dépasse de plus de 22 points, ainsi que contre un VLA classique simplement affiné sur les mêmes tâches. La publication reste un preprint arXiv, sans nom d'entreprise ni calendrier de déploiement industriel associé: il s'agit d'un résultat de recherche évalué sur quatre tâches choisies par les auteurs et illustré par des vidéos sélectionnées sur le site du projet, pas d'un produit commercialisé. Les suites attendues sont l'élargissement à davantage de tâches et de plateformes robotiques, ainsi qu'une évaluation indépendante confirmant que l'écart de performance tient face à des scénarios plus variés que le banc d'essai initial.

IA physiqueOpinion

1 source

3arXiv cs.RO

SAVLA : des modèles vision-langage-action sensibles à la symétrie pour la manipulation robotique

Un article publié le 16 septembre 2026 sur arXiv (2609.16641) présente SAVLA (Symmetry-Aware Vision-Language-Action), un modèle de manipulation robotique conditionnée par le langage. Contrairement aux modèles vision-langage-action classiques, qui n'apprennent leur compétence spatiale qu'à partir des démonstrations et échouent hors de la plage de poses couverte par celles-ci, SAVLA gèle un backbone vision-langage pré-entraîné et y ajoute une tête d'action équivariante par flow-matching ainsi qu'un module de canonicalisation qui ramène les vues obliques dans un repère de référence tout en faisant tourner les conditions géométriques en conséquence. Testé sur le benchmark simulé LIBERO face au modèle GR00T N1.5 de NVIDIA, SAVLA améliore de 5,1 points le taux de réussite moyen sur les quatre suites du benchmark, et fait passer le taux de réussite sous rotation sur LIBERO-Goal de 41,5% à 90,4%. Le résultat s'attaque à une faiblesse connue des VLA : leur généralisation géométrique limitée, qui oblige aujourd'hui les intégrateurs à multiplier les démonstrations pour couvrir chaque orientation possible d'objet ou de caméra sur une ligne de production. En codant la symétrie directement dans l'architecture plutôt qu'en la laissant émerger des données, SAVLA vise une robustesse aux changements de pose avec moins d'exemples, un argument pertinent pour réduire le coût de collecte de données avant tout déploiement industriel de bras ou d'humanoïdes pilotés par VLA. Le gain reste toutefois mesuré en simulation sur un benchmark académique, pas sur un robot physique en usine, ce qui en fait une preuve de concept méthodologique plutôt qu'une solution prête à l'emploi. SAVLA s'inscrit dans la vague des modèles VLA devenus le paradigme dominant du contrôle robotique par langage naturel, aux côtés de familles comme GR00T de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Le choix de GR00T N1.5 comme référence positionne directement SAVLA face à l'un des modèles de fondation les plus utilisés du secteur. La méthode puise dans des travaux antérieurs sur l'apprentissage équivariant, une approche distincte du tout-données qui domine l'entraînement actuel des VLA. L'article ne mentionne ni partenariat industriel ni test sur robot physique, la validation en conditions réelles restant l'étape suivante logique pour ce type de travail académique.

IA physiqueActu

1 source

4arXiv cs.RO

NebulaVLA : un modèle vision-langage-action à double fréquence avec action guidée pour la manipulation robotique

Une équipe de recherche présente NebulaVLA, un nouveau modèle vision-langage-action (VLA) détaillé dans un preprint publié le 18 août 2026 sur arXiv sous la référence 2608.16503v1. Son architecture repose sur un découplage asynchrone à deux fréquences : un module de raisonnement sémantique de haut niveau tourne indépendamment du contrôle moteur bas niveau, ce qui réduit la charge de calcul. Pour transférer les commandes d'un robot à l'autre, les auteurs introduisent GESTURE-7, une représentation d'action unifiée ancrée dans le langage, destinée à combler les écarts sémantiques entre morphologies hétérogènes, ainsi qu'un mécanisme baptisé Guide Action, qui impose une continuité cinématique via des contraintes de lissage fondées sur des masques pour éviter les mouvements saccadés. Sur le benchmark de simulation LIBERO-Plus, NebulaVLA affiche un taux de réussite moyen de 85,5 %, avec une génération d'actions environ 2,7 fois plus rapide que les architectures synchrones de référence. Ce résultat cible directement les trois goulots d'étranglement qui freinent le déploiement réel des VLA : l'arbitrage entre efficacité et performance, la généralisation entre morphologies de robots, et la fluidité d'exécution des gestes. Plutôt que de miser sur davantage de données d'entraînement, NebulaVLA tente de résoudre ces contraintes par un choix architectural, une piste que suivent plusieurs laboratoires pour rendre le contrôle robotique à la fois réactif et sémantiquement cohérent. Le chiffre de 85,5 % reste à relativiser : il provient d'un environnement simulé et non d'essais sur robot physique, une nuance que les intégrateurs devront garder en tête avant d'extrapoler ces gains à des déploiements industriels. Séparer un raisonnement lent de haut niveau d'un contrôle moteur rapide n'est pas une idée inédite : elle rappelle l'architecture à deux systèmes d'Helix, développée par Figure AI, ainsi que les designs hiérarchiques de GR00T N2 chez Nvidia ou de Pi-0 chez Physical Intelligence. La contribution revendiquée par NebulaVLA tient dans l'ajout d'une représentation cross-embodiment, GESTURE-7, et d'une garantie de lissage cinématique, Guide Action, que ces approches antérieures ne formalisaient pas explicitement. Le papier ne mentionne ni affiliation industrielle nommée, ni pilote annoncé avec un intégrateur, ni calendrier de commercialisation : il s'agit pour l'instant d'une contribution de recherche publiée en preprint.

IA physiqueOpinion

1 source