IA physiquearXiv cs.RO 25 août 2026

ROS2SmolVLA : intégrer de petits modèles vision-langage-action dans des robots légers industriels

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie ROS2SmolVLA, un dépôt open source reliant le middleware ROS 2 au modèle SmolVLA développé par Hugging Face, adapté aux bras collaboratifs légers de Universal Robots. Le système, décrit dans un article mis en ligne sur arXiv (référence 2608.23320), est validé sur un cobot UR10e, bras à six axes affichant une charge utile de 12,5 kg, à travers une tâche de prise et dépose (pick-and-place). L'objectif est de permettre à un modèle vision-langage-action (VLA) de taille réduite de générer des actions robotiques directement à partir de l'état observé du système, sans dépendre d'une infrastructure cloud. Le code et les consignes d'implémentation sont publiés en accès libre, pour faciliter l'adoption aussi bien en laboratoire qu'en environnement industriel.

L'intérêt du travail tient moins à la performance brute qu'au vide qu'il comble. La recherche sur les VLA oscille généralement entre deux extrêmes : des modèles massifs nécessitant un calcul externalisé, ce qui pose des problèmes de conformité et de sécurité des données pour les usines, et des démonstrations réalisées sur du matériel de laboratoire éloigné des contraintes du terrain industriel. En faisant tourner SmolVLA localement sur un bras Universal Robots réellement déployé en production, les auteurs apportent une preuve de concept pour l'automatisation adaptative que réclament les fabricants confrontés à des lots plus petits et des références produits plus nombreuses. Les auteurs restent toutefois prudents : leurs propres conclusions limitent l'usage de SmolVLA à des tâches de petite échelle calculables en local, pas à une automatisation industrielle généralisée, une seule tâche ayant été testée.

SmolVLA, le modèle de base développé par Hugging Face, se positionne comme une alternative compacte face à des modèles VLA plus lourds tels que Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI, généralement pensés pour un calcul déporté sur le cloud ou des clusters dédiés. Universal Robots, fabricant danois de cobots leader sur le segment industriel léger, et ROS 2, middleware robotique standard du secteur, fournissent la base matérielle et logicielle de l'intégration. Publié comme un travail académique open source plutôt que comme un produit commercial, le projet ne s'accompagne d'aucun pilote industriel annoncé ni de calendrier de déploiement, mais ouvre une piste que d'autres laboratoires et intégrateurs pourront reprendre pour tester des tâches similaires sur d'autres cobots.

Impact France/UE

Le système est valide sur un cobot Universal Robots, fabricant danois leader du segment industriel léger en Europe, offrant aux industriels européens une piste d'automatisation adaptative sans dépendance au cloud.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Evo-Depth : un modèle vision-langage-action (VLA) léger intégrant la perception de profondeur

Des chercheurs ont publié sur arXiv (arXiv:2605.14950, mai 2025) Evo-Depth, un modèle VLA (Vision-Language-Action) de 0,9 milliard de paramètres conçu pour la manipulation robotique. L'architecture repose sur trois composants : un module d'encodage de profondeur implicite (Implicit Depth Encoding Module) qui extrait des représentations de profondeur à partir d'images RGB multi-vues sans capteur dédié, un module d'amélioration spatiale (Spatial Enhancement Module) qui fusionne ces features avec les représentations vision-langage via une modulation adaptative, et une stratégie d'entraînement progressif (Progressive Alignment Training) qui aligne ces représentations enrichies avec la génération d'actions. Sur quatre benchmarks de simulation et en conditions réelles, Evo-Depth affiche le meilleur taux de succès moyen parmi les méthodes comparées, avec la plus faible empreinte mémoire GPU et la fréquence d'inférence la plus élevée. L'enjeu est direct pour les intégrateurs et les équipes robotique : les VLA actuels peinent à raisonner spatialement parce qu'ils traitent des images 2D plates, ce qui crée un écart entre la compréhension sémantique (ce qu'est l'objet) et la compréhension géométrique (où il se trouve exactement). Les approches qui ajoutent des capteurs 3D, LiDAR, caméras RGB-D, résolvent le problème au prix d'une complexité matérielle et d'une sensibilité accrue au bruit de reconstruction. Evo-Depth démontre qu'il est possible d'inférer une représentation de profondeur compacte depuis du RGB seul, à moindre coût de calcul : c'est un argument opérationnel pour des déploiements en environnements non équipés de capteurs de profondeur, typiquement les entrepôts non instrumentés ou les robots de service. Les VLA à base de transformers pré-entraînés, notamment pi0 (Physical Intelligence), OpenVLA, ou encore RoboFlamingo, constituent le paysage concurrentiel direct. Ces modèles atteignent généralement plusieurs milliards de paramètres et requièrent une infrastructure GPU conséquente pour l'inférence embarquée. Evo-Depth se positionne dans le segment "efficient VLA", aux côtés de travaux comme RoboMamba ou SpatialVLA, en pariant sur la compression plutôt que sur la puissance brute. Il s'agit pour l'instant d'un preprint arXiv non évalué par les pairs, sans code ou poids publics annoncés à ce stade : les résultats sont prometteurs, mais la reproductibilité reste à confirmer avant toute intégration industrielle.

IA physiqueActu

1 source

2arXiv cs.RO

MotionVLA : un modèle vision-langage-action pour les robots humanoïdes

Une équipe de l'AIGeeksGroup a publié le 18 juin 2026 sur arXiv (2606.15142) MotionVLA, un modèle de type Vision-Language-Action conçu pour générer du mouvement humanoïde réaliste à partir d'images de scène et d'instructions textuelles. Le coeur de la contribution repose sur DSFT (Dual-Stream Frequency Tokenizer), un tokeniseur qui décompose le signal de mouvement en deux flux distincts : un flux Base capturant la sémantique de pose basse fréquence, et un flux Phys encodant la dynamique physique haute fréquence. Cette séparation s'appuie sur une analyse en transformée en cosinus discrète (DCT) du corpus HumanML3D, qui révèle un déséquilibre concret : cinq coefficients DCT suffisent à couvrir 93 % de l'énergie des positions articulaires, mais seulement 37 % de l'énergie des vélocités. Les deux flux sont compressés indépendamment par troncature DCT et encodage BPE, puis réinjectés dans un transformeur autorégressif basé sur Qwen3.5 2B. Sur les benchmarks HumanML3D et MBench, MotionVLA réduit l'écart de diversité avec les données réelles de plus de 50 % et améliore la cohérence mouvement-condition de 3,8 %. Ce résultat pointe une limite structurelle des approches à codebook unique, qui dominent actuellement la génération de mouvement humanoïde : en forçant des signaux hétérogènes dans un espace de quantification commun, ces méthodes sous-représentent systématiquement les composantes dynamiques hautes fréquences au profit de la géométrie de pose. Pour les équipes travaillant sur le contrôle de robots humanoïdes ou la synthèse d'animation procédurale, cela signifie que la qualité du mouvement généré peut sembler plausible en posture statique mais manquer de naturel en transition. L'architecture duale de MotionVLA, malgré un backbone léger de 2 milliards de paramètres, obtient des gains mesurables sans augmenter significativement le coût de calcul. MotionVLA s'inscrit dans un mouvement de recherche plus large qui adapte les VLA, initialement développés pour le contrôle robotique visuomoteur, à la génération de comportement humanoïde. Le modèle s'appuie sur Qwen3.5, la famille de modèles open-weight d'Alibaba, et le code source est disponible sur GitHub (AIGeeksGroup/MotionVLA). À ce stade, il s'agit exclusivement d'un résultat de recherche académique évalué sur des benchmarks synthétiques standard, sans déploiement industriel ni partenariat hardware annoncé. Les acteurs comme Figure AI, 1X, Agility Robotics ou Fourier Intelligence, qui investissent dans la génération de mouvement pour leurs humanoïdes, suivent de près ce type de travaux, même si le chemin du benchmark de laboratoire vers un déploiement sim-to-real reste non démontré ici.

IA physiqueOpinion

1 source

3arXiv cs.RO

GIVE : ancrage des gestes humains dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs a soumis en juin 2026 sur arXiv un article décrivant GIVE (Gesture Intent via Visual-Semantic Enhancement), une méthode d'intégration de la compréhension gestuelle dans des modèles VLA (Vision-Language-Action) pré-entraînés, sans modification architecturale. Le système repose sur deux voies complémentaires : une voie visuelle superposant squelettes de mains et rayons de bout de doigt sur les images perçues par le robot pour ancrer explicitement l'objet visé, et une voie sémantique générant des descriptions textuelles du geste et de l'instruction de tâche. Testé en conditions réelles d'interaction humain-robot, GIVE améliore la précision de reconnaissance de l'objet cible de 40 % et le taux de succès global des tâches de manipulation de 80 % par rapport au modèle VLA de base, avec une généralisation démontrée sur des configurations spatiales inédites et des participants variés. Ce résultat touche un point sensible de la robotique collaborative : les modèles VLA actuels, qu'il s'agisse d'OpenVLA, de pi-0 de Physical Intelligence ou des modèles RT-2 de Google DeepMind, traitent la manipulation comme un problème purement text-driven. Dès qu'une instruction verbale est ambiguë, plusieurs objets similaires se trouvant dans la scène, le taux d'échec grimpe. GIVE propose une réponse à ce problème d'ancrage de l'intention (intent grounding) sans réentraîner le modèle de base, atout concret pour les équipes d'intégration. Les gains sont mesurés sur des expériences physiques réelles, ce qui renforce la crédibilité du résultat, même si l'article ne publie pas le nombre total d'essais ni la distribution précise des scènes testées. La méthode s'inscrit dans une tendance d'enrichissement des interfaces humain-robot au-delà de la commande vocale, dans un champ où des travaux sur le pointage gestuel et des modèles comme Gemini Robotics de Google ou GR00T N2 de NVIDIA explorent des directions voisines. GIVE se distingue par son approche non-invasive, compatible avec tout VLA pré-entraîné. Aucun déploiement industriel n'est annoncé à ce stade, le travail restant académique. Les suites attendues portent sur des gestes plus complexes, bimanuel ou dynamique, et une évaluation sur des plateformes robotiques mobiles pour valider la généralisation dans des contextes industriels à haute variabilité.

IA physiqueOpinion

1 source

4arXiv cs.RO

SAVLA : des modèles vision-langage-action sensibles à la symétrie pour la manipulation robotique

Un article publié le 16 septembre 2026 sur arXiv (2609.16641) présente SAVLA (Symmetry-Aware Vision-Language-Action), un modèle de manipulation robotique conditionnée par le langage. Contrairement aux modèles vision-langage-action classiques, qui n'apprennent leur compétence spatiale qu'à partir des démonstrations et échouent hors de la plage de poses couverte par celles-ci, SAVLA gèle un backbone vision-langage pré-entraîné et y ajoute une tête d'action équivariante par flow-matching ainsi qu'un module de canonicalisation qui ramène les vues obliques dans un repère de référence tout en faisant tourner les conditions géométriques en conséquence. Testé sur le benchmark simulé LIBERO face au modèle GR00T N1.5 de NVIDIA, SAVLA améliore de 5,1 points le taux de réussite moyen sur les quatre suites du benchmark, et fait passer le taux de réussite sous rotation sur LIBERO-Goal de 41,5% à 90,4%. Le résultat s'attaque à une faiblesse connue des VLA : leur généralisation géométrique limitée, qui oblige aujourd'hui les intégrateurs à multiplier les démonstrations pour couvrir chaque orientation possible d'objet ou de caméra sur une ligne de production. En codant la symétrie directement dans l'architecture plutôt qu'en la laissant émerger des données, SAVLA vise une robustesse aux changements de pose avec moins d'exemples, un argument pertinent pour réduire le coût de collecte de données avant tout déploiement industriel de bras ou d'humanoïdes pilotés par VLA. Le gain reste toutefois mesuré en simulation sur un benchmark académique, pas sur un robot physique en usine, ce qui en fait une preuve de concept méthodologique plutôt qu'une solution prête à l'emploi. SAVLA s'inscrit dans la vague des modèles VLA devenus le paradigme dominant du contrôle robotique par langage naturel, aux côtés de familles comme GR00T de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Le choix de GR00T N1.5 comme référence positionne directement SAVLA face à l'un des modèles de fondation les plus utilisés du secteur. La méthode puise dans des travaux antérieurs sur l'apprentissage équivariant, une approche distincte du tout-données qui domine l'entraînement actuel des VLA. L'article ne mentionne ni partenariat industriel ni test sur robot physique, la validation en conditions réelles restant l'étape suivante logique pour ce type de travail académique.

IA physiqueActu

1 source