Aller au contenu principal
FabriVLA : un modèle vision-langage-action léger pour une manipulation précise multi-tâchesIllustration générée par IA
IA physiquearXiv cs.RO 

FabriVLA : un modèle vision-langage-action léger pour une manipulation précise multi-tâches

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

FabriVLA, un modèle vision-langage-action (VLA) léger dédié à la manipulation robotique multi-tâches de précision, vient d'être présenté sur arXiv (2607.08575v1). L'architecture associe un backbone vision-langage InternVL3.5 à une tête d'action par flow-matching, dotée d'une auto-attention filtrée entre les tokens d'action et d'une fusion superficielle des couches du VLM pour enrichir le contexte spatial. Le modèle est entraîné en une seule étape d'optimisation conjointe, à partir d'un VLM pré-entraîné combiné à une tête d'action initialisée aléatoirement. Sur le benchmark Meta-World MT50, qui couvre 50 tâches de manipulation variées, FabriVLA atteint un taux de réussite moyen par palier de 90,0%, avec un VLM d'à peine 1 milliard de paramètres.

Ce résultat pèse dans le débat sur la taille optimale des modèles VLA. Jusqu'ici, les meilleures performances en manipulation semblaient réservées aux backbones de plusieurs milliards de paramètres, comme Pi-0 ou GR00T N2. Un modèle compact atteignant 90% de réussite sur un benchmark aussi large que MT50 laisse entrevoir des coûts d'inférence et de déploiement embarqué nettement réduits, un enjeu concret pour les intégrateurs travaillant sur des bras robotiques industriels ou des plateformes mobiles aux ressources de calcul limitées. Cela conforte aussi l'hypothèse qu'une conception spécialisée de la tête d'action, via flow-matching et attention inter-tokens, peut compenser la taille réduite du VLM sous-jacent.

FabriVLA s'inscrit dans la lignée des modèles VLA ayant suivi RT-2 et Octo, et plus récemment les approches par flow-matching popularisées par Pi-0 chez Physical Intelligence ou les architectures GR00T N2 de NVIDIA. Le choix d'InternVL3.5, backbone open plus modeste que certains VLM propriétaires concurrents, illustre une tendance à réutiliser des composants déjà optimisés plutôt qu'à entraîner des architectures VLA depuis zéro. À ce stade, les résultats restent une validation en simulation sur Meta-World; la suite logique attendue par la communauté robotique sera la démonstration de ces gains sur des tâches de manipulation réelle, hors benchmark simulé.

À lire aussi

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables
Illustration générée par IA
1arXiv cs.RO 

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables

Des chercheurs ont publié DeMaVLA, un modèle fondation de type Vision-Langage-Action (VLA) conçu pour la manipulation d'objets déformables, en particulier le pliage de vêtements. Annoncé en preprint arXiv (2605.31286, mai 2026), DeMaVLA couple un backbone VLM à un module appelé "action expert" qui génère des trajectoires continues par flow matching. Pour réduire les coûts d'entraînement et d'inférence, cet action expert est construit en élaguant une couche transformer sur deux du backbone, tout en préservant l'alignement entre les deux modules. Le modèle est d'abord pré-entraîné sur environ 5 000 heures de démonstrations bimanuals en conditions réelles, puis affiné via un pipeline DAgger (Data Aggregation) avec supervision humaine : des trajectoires correctives sont collectées à partir des échecs du robot sur plusieurs…

IA physiqueOpinion
1 source
ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche
Illustration générée par IA
2arXiv cs.RO 

ForeTac-VLA : un modèle vision-langage-action tactile basé sur la prévision pour la manipulation robotique en contact riche

Publié en septembre 2026 sur arXiv sous la référence 2609.20980, ForeTac-VLA est un modèle vision-langage-action (VLA) qui ajoute une couche tactile prédictive pour la manipulation robotique en environnement riche en contacts physiques. Le système encode les observations tactiles récentes en représentations temporelles, les fusionne avec les caractéristiques vision-langage par attention croisée bidirectionnelle, puis un module de prévision fondé sur un transformeur anticipe l'état tactile sur plusieurs pas de temps futurs avant d'injecter ces prédictions dans le backbone VLA qui génère l'action. Un curriculum passant progressivement des données tactiles réelles aux données prédites stabilise l'entraînement lorsque les premières prévisions sont peu fiables.

IA physiqueOpinion
1 source
CompVLA : un modèle vision-langage-action à conformité variable pour la manipulation en contact riche
Illustration générée par IA
3arXiv cs.RO 

CompVLA : un modèle vision-langage-action à conformité variable pour la manipulation en contact riche

CompVLA est un modèle Vision-Language-Action présente dans un preprint arXiv (2609.23614v1), consacre a la manipulation dite contact-rich, ces taches ou un robot doit réguler la force qu'il exerce et céder de manière contrôlée aux forces externes, pas seulement se déplacer. La ou les VLA classiques ne produisent que des commandes de position, CompVLA prédit conjointement, a partir d'une image RGB et d'une instruction en langage naturel, un mouvement et une matrice de raideur, via un module dédié, le Compliance Expert, qui génère des profils de raideur variables dans le temps et de déplacement virtuel, exécutés par contrôle d'impédance géométrique.

IA physiqueOpinion
1 source
Meituan-Robotics-0 : un modèle fondation vision-langage-action (VLA) pour la manipulation de bureau
Illustration générée par IA
4arXiv cs.RO 

Meituan-Robotics-0 : un modèle fondation vision-langage-action (VLA) pour la manipulation de bureau

Meituan a dévoilé Meituan-Robotics-0 (MR0), un modèle de fondation vision-langage-action (VLA) accompagné d'un système d'agent embarqué, conçu pour la manipulation de bureau avec base fixe. Le modèle s'appuie sur 147 millions d'échantillons vision-langage et 15 060 heures de trajectoires robotiques filtrées, réparties sur 12 morphologies de robots. L'entraînement se déroule en trois étapes: un pré-entraînement avec jetons d'action discrets, une phase intermédiaire par flow-matching pour transférer ces acquis vers un contrôle continu multi-embodiment, puis un post-entraînement en conditions réelles. Les auteurs introduisent Rollback, qui associe les segments de politique remplacés aux corrections humaines pour fournir une supervision positive et négative à CFG-DAgger, sans apprentissage de valeur ni étiquetage d'avantage.

IA physiqueOpinion
1 source