IA physiquearXiv cs.RO 16 septembre 2026

sensVLA : un modèle vision-langage-action à ancrage spatial pour chargeuse à roues autonome

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article de recherche publié sur arXiv le 17 septembre 2026 (référence 2609.17021) présente sensVLA, un modèle Vision-Language-Action (VLA) conçu pour piloter de façon autonome une chargeuse sur roues. L'architecture combine un modèle vision-langage Qwen3-2B avec un "action expert" transformer entièrement entraînable, optimisé par régression de vitesse en flow-matching. Particularité du système : les données lidar avant et arrière sont fusionnées en une carte en vue aérienne (Bird's-Eye-View) acheminée directement vers l'action expert via un canal de cross-attention dédié, tandis que le VLM ne traite que les flux vidéo RGB avant/arrière pour fournir le contexte sémantique de la tâche. Le modèle prédit six dimensions d'action : vitesse longitudinale, braquage, déplacement dans le référentiel du châssis, vitesse du bras et vitesse du godet. Testé sur un jeu de données réel issu d'une chargeuse, sensVLA égale une base de référence caméra seule en précision globale par pas de temps, réduit de 28% l'erreur RMSE sur la vitesse longitudinale et de 9% l'erreur de déplacement sur les scénarios de chargement. Quand le flux caméra est corrompu ou supprimé, la dégradation de performance est 29% moindre qu'avec un système sans lidar.

Pour l'industrie des engins de chantier et de manutention, ce travail illustre une tendance clé : ajouter un ancrage spatial explicite via lidar et BEV à des architectures VLA pensées à l'origine pour la vision monoculaire améliore la précision, mais surtout la tolérance aux pannes, un critère décisif pour des équipements lourds opérant en extérieur, dans la poussière ou avec occlusion de caméra. Cela nuance l'hypothèse selon laquelle des VLA purement caméra suffiraient à généraliser à toutes les formes de robotique physique : pour des machines à fort payload et cinématique complexe comme une chargeuse, la fusion multimodale avec géométrie 3D explicite reste nécessaire. Pour les intégrateurs et décideurs B2B du BTP et des mines, c'est un signal que l'autonomie des engins lourds progresse sur des bases académiques solides, mais reste au stade recherche : les résultats reposent sur un seul jeu de données réel, sans précision sur le volume d'heures d'opération ni sur un déploiement en production.

Ce travail s'inscrit dans la vague plus large des modèles VLA appliqués à la robotique physique, popularisée par des systèmes comme Pi-0 ou GR00T N2 pour la manipulation en bras robotique, mais ici transposée à un engin de chantier à fort tonnage et six degrés de liberté d'action, un segment encore peu couvert par une littérature VLA dominée par les manipulateurs et les humanoïdes. L'article ne précise ni affiliation institutionnelle claire, ni partenaire industriel, ni calendrier de déploiement pilote, ce qui le situe pour l'instant comme une preuve de concept académique plutôt qu'un produit prêt à l'emploi. Il ouvre néanmoins une piste concrète pour les fabricants d'équipements lourds et les fournisseurs de kits d'autonomie rétrofit, susceptibles de s'appuyer sur cette architecture hybride lidar-caméra pour renforcer la robustesse de leurs piles de perception, alors que la course à l'autonomie s'étend au-delà des humanoïdes vers les machines industrielles spécialisées.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

SAVLA : des modèles vision-langage-action sensibles à la symétrie pour la manipulation robotique

Un article publié le 16 septembre 2026 sur arXiv (2609.16641) présente SAVLA (Symmetry-Aware Vision-Language-Action), un modèle de manipulation robotique conditionnée par le langage. Contrairement aux modèles vision-langage-action classiques, qui n'apprennent leur compétence spatiale qu'à partir des démonstrations et échouent hors de la plage de poses couverte par celles-ci, SAVLA gèle un backbone vision-langage pré-entraîné et y ajoute une tête d'action équivariante par flow-matching ainsi qu'un module de canonicalisation qui ramène les vues obliques dans un repère de référence tout en faisant tourner les conditions géométriques en conséquence. Testé sur le benchmark simulé LIBERO face au modèle GR00T N1.5 de NVIDIA, SAVLA améliore de 5,1 points le taux de réussite moyen sur les quatre suites du benchmark, et fait passer le taux de réussite sous rotation sur LIBERO-Goal de 41,5% à 90,4%. Le résultat s'attaque à une faiblesse connue des VLA : leur généralisation géométrique limitée, qui oblige aujourd'hui les intégrateurs à multiplier les démonstrations pour couvrir chaque orientation possible d'objet ou de caméra sur une ligne de production. En codant la symétrie directement dans l'architecture plutôt qu'en la laissant émerger des données, SAVLA vise une robustesse aux changements de pose avec moins d'exemples, un argument pertinent pour réduire le coût de collecte de données avant tout déploiement industriel de bras ou d'humanoïdes pilotés par VLA. Le gain reste toutefois mesuré en simulation sur un benchmark académique, pas sur un robot physique en usine, ce qui en fait une preuve de concept méthodologique plutôt qu'une solution prête à l'emploi. SAVLA s'inscrit dans la vague des modèles VLA devenus le paradigme dominant du contrôle robotique par langage naturel, aux côtés de familles comme GR00T de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure. Le choix de GR00T N1.5 comme référence positionne directement SAVLA face à l'un des modèles de fondation les plus utilisés du secteur. La méthode puise dans des travaux antérieurs sur l'apprentissage équivariant, une approche distincte du tout-données qui domine l'entraînement actuel des VLA. L'article ne mentionne ni partenariat industriel ni test sur robot physique, la validation en conditions réelles restant l'étape suivante logique pour ce type de travail académique.

IA physiqueActu

1 source

2arXiv cs.RO

TAP-VLA : annotation tactile pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2606.29089) une méthode appelée TAP-VLA (Tactile Annotation Prompting for Vision-Language-Action models) visant à doter les modèles vision-langage-action du sens du toucher sans modifier leur architecture. Sur quatre tâches de manipulation à contacts complexes (vissage, insertion, assemblage de précision), TAP-VLA atteint un taux de succès de 78 %, contre moins de 50 % pour un fine-tuning purement visuel et pour les approches alternatives de fusion tactile, certaines de ces baselines ne faisant pas mieux qu'un résultat aléatoire. Le principe repose sur des capteurs visuo-tactiles capables de mesurer les champs de cisaillement (shear fields) à la surface de contact ; ces champs sont ensuite superposés sous forme de vecteurs spatialement alignés directement sur les images RGB multi-vues que le modèle consomme déjà, sans ajouter de modalité d'entrée distincte. L'enjeu est réel : les VLAs de génération actuelle, comme π0 de Physical Intelligence, OpenVLA ou RT-2 de Google DeepMind, offrent un raisonnement robuste sur les variations visuelles, sémantiques et spatiales grâce à leur pré-entraînement à grande échelle, mais restent aveugles aux forces de contact, pourtant centrales dans toute manipulation industrielle sérieuse (emboîtement de précision, vissage, gestion d'objets déformables). Intégrer le toucher comme nouvelle modalité d'entrée détériore précisément ce pré-entraînement, car les données tactiles sont absentes des corpus à grande échelle sur lesquels ces modèles sont construits, un problème de distribution shift bien documenté dans la littérature. TAP-VLA contourne l'obstacle en restant dans l'espace d'observation natif du modèle : pas de modification architecturale, pas de pré-entraînement tactile spécifique, surcoût computationnel négligeable. Ce travail s'inscrit dans une course active autour de l'embodied AI pour la manipulation de précision, où Physical Intelligence (π0, π0-FAST), Figure AI ou Apptronik cherchent à étendre les capacités de leurs humanoïdes et bras industriels au-delà du pick-and-place visuel. La question du sim-to-real pour les contacts reste l'un des derniers verrous majeurs avant un déploiement industriel à l'échelle. En évitant la refonte architecturale, TAP-VLA propose une voie d'intégration compatible avec les VLAs existants, ce qui simplifie son adoption par des équipes qui travaillent à partir de modèles déjà entraînés. La publication sur arXiv sans conférence associée indique que ce travail est encore en cours d'évaluation par les pairs ; aucun déploiement réel ou pilote industriel n'est annoncé à ce stade.

IA physiqueOpinion

1 source

3arXiv cs.RO

MotionVLA : un modèle vision-langage-action pour les robots humanoïdes

Une équipe de l'AIGeeksGroup a publié le 18 juin 2026 sur arXiv (2606.15142) MotionVLA, un modèle de type Vision-Language-Action conçu pour générer du mouvement humanoïde réaliste à partir d'images de scène et d'instructions textuelles. Le coeur de la contribution repose sur DSFT (Dual-Stream Frequency Tokenizer), un tokeniseur qui décompose le signal de mouvement en deux flux distincts : un flux Base capturant la sémantique de pose basse fréquence, et un flux Phys encodant la dynamique physique haute fréquence. Cette séparation s'appuie sur une analyse en transformée en cosinus discrète (DCT) du corpus HumanML3D, qui révèle un déséquilibre concret : cinq coefficients DCT suffisent à couvrir 93 % de l'énergie des positions articulaires, mais seulement 37 % de l'énergie des vélocités. Les deux flux sont compressés indépendamment par troncature DCT et encodage BPE, puis réinjectés dans un transformeur autorégressif basé sur Qwen3.5 2B. Sur les benchmarks HumanML3D et MBench, MotionVLA réduit l'écart de diversité avec les données réelles de plus de 50 % et améliore la cohérence mouvement-condition de 3,8 %. Ce résultat pointe une limite structurelle des approches à codebook unique, qui dominent actuellement la génération de mouvement humanoïde : en forçant des signaux hétérogènes dans un espace de quantification commun, ces méthodes sous-représentent systématiquement les composantes dynamiques hautes fréquences au profit de la géométrie de pose. Pour les équipes travaillant sur le contrôle de robots humanoïdes ou la synthèse d'animation procédurale, cela signifie que la qualité du mouvement généré peut sembler plausible en posture statique mais manquer de naturel en transition. L'architecture duale de MotionVLA, malgré un backbone léger de 2 milliards de paramètres, obtient des gains mesurables sans augmenter significativement le coût de calcul. MotionVLA s'inscrit dans un mouvement de recherche plus large qui adapte les VLA, initialement développés pour le contrôle robotique visuomoteur, à la génération de comportement humanoïde. Le modèle s'appuie sur Qwen3.5, la famille de modèles open-weight d'Alibaba, et le code source est disponible sur GitHub (AIGeeksGroup/MotionVLA). À ce stade, il s'agit exclusivement d'un résultat de recherche académique évalué sur des benchmarks synthétiques standard, sans déploiement industriel ni partenariat hardware annoncé. Les acteurs comme Figure AI, 1X, Agility Robotics ou Fourier Intelligence, qui investissent dans la génération de mouvement pour leurs humanoïdes, suivent de près ce type de travaux, même si le chemin du benchmark de laboratoire vers un déploiement sim-to-real reste non démontré ici.

IA physiqueOpinion

1 source

4arXiv cs.RO

Pointing-VLA : interfaces d'ancrage spatial typées pour la manipulation vision-langage-action

Des chercheurs ont publié le 23 août 2026 sur arXiv (2608.23138) Pointing-VLA, une architecture bâtie sur Embodied-R1 qui remplace les coordonnées textuelles et les jetons d'action opaques par des têtes de réseau dédiées prédisant directement des points normalisés, des cartes d'ancrage fonctionnel des objets (OFG) et des trajectoires visuelles ; un contrat d'exécution assigne la prise (PICK) à l'OFG et la dépose (PLACE) au pointage. Sur le banc Bridge/WidowX, sous exécution CuRobo avec gestion des collisions, le système atteint un score état de l'art de 72,9% de réussite moyenne sur quatre tâches, sans réglage spécifique. Transféré à NORA-1.5, il réduit de plus de 20 fois le temps de contrôleur en préservant la performance, avec des têtes typées 6,68 à 6,90 fois plus rapides que le décodage textuel d'Embodied-R1. Couplé à une politique π0.5, il porte le taux de réussite autonome sur robot réel de 52,7% à 80,7% sur trois contextes visuels. Le résultat vise un point de friction connu des modèles VLA : la plupart expriment encore les cibles spatiales via des coordonnées textuelles générées token par token, une interface lente et fragile entre raisonnement multimodal et exécution robotique. En la remplaçant par des têtes géométriques inspectables, Pointing-VLA promet aux intégrateurs un gain de latence important sans perte de fiabilité. Le saut de 52,7% à 80,7% en conditions réelles touche directement l'écart persistant entre démonstrations en environnement contrôlé et déploiement effectif, un enjeu central pour qui veut commercialiser des politiques VLA plutôt que les montrer en vidéo ; ces chiffres restent issus des propres bancs d'essai des auteurs et demandent confirmation sur des scénarios industriels plus variés. Le travail s'inscrit dans la lignée des modèles vision-langage-action comme GR00T N2, Helix ou Pi-0, qui traduisent des instructions en langage naturel en commandes motrices pour bras et humanoïdes. Pointing-VLA se positionne en alternative aux interfaces par coordonnées textuelles héritées des grands modèles de langage, s'appuyant sur Embodied-R1 et démontrant sa portabilité vers NORA-1.5 et son intégration comme guidage pour π0.5. Il s'agit à ce stade d'une contribution de recherche publiée sur arXiv, validée sur Bridge/WidowX et sur des déploiements physiques de prise-dépose, sans annonce de partenariat industriel ni de calendrier de commercialisation, mais ouvrant la voie à des évaluations sur d'autres politiques et plateformes robotiques.

IA physiqueActu

1 source