Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Any3D-VLA : améliorer la robustesse des modèles VLA grâce à des nuages de points diversifiés
RecherchearXiv cs.RO6sem

Any3D-VLA : améliorer la robustesse des modèles VLA grâce à des nuages de points diversifiés

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Les modèles VLA (Vision-Language-Action) qui pilotent aujourd'hui les robots manipulateurs reposent quasi-exclusivement sur des images 2D comme entrée visuelle. Une équipe de chercheurs publie sur arXiv (arXiv:2506.00807v2) Any3D-VLA, une architecture d'entraînement qui intègre explicitement des nuages de points 3D pour améliorer la robustesse spatiale de ces modèles. L'approche fusionne trois sources de nuages de points hétérogènes, données de simulation, capteurs de profondeur réels (LiDAR, RGB-D), et estimation par modèle monoculaire, avec les représentations 2D existantes, dans un pipeline d'entraînement unifié. Les expériences couvrent à la fois des environnements simulés et des déploiements réels, et montrent des gains de performance mesurables sur des tâches de manipulation.

L'intérêt technique est double. D'abord, le papier démontre empiriquement que "lever" l'entrée visuelle en nuage de points produit des représentations complémentaires aux features 2D, plutôt que redondantes, ce qui valide une hypothèse souvent discutée dans la communauté VLA. Ensuite, Any3D-VLA s'attaque directement aux deux verrous pratiques qui ont jusqu'ici freiné l'adoption du 3D dans ce domaine : la rareté des données 3D annotées et le domain gap lié aux différences de calibration entre environnements et aux biais d'échelle de profondeur. En traitant ces deux obstacles dans un seul framework, le travail suggère une voie vers des VLA plus robustes au sim-to-real transfer, un problème central pour le déploiement en conditions industrielles réelles.

Les VLA sont au cœur d'une course intense depuis la publication de RT-2 (Google DeepMind, 2023) et l'essor de modèles comme Pi-0 (Physical Intelligence), OpenVLA, ou RoboVLMs. La plupart restent limités par leur dépendance aux caméras RGB standard, ce qui crée des angles morts en cas d'occlusion ou de scènes encombrées. Any3D-VLA ne propose pas encore un produit déployé : il s'agit d'une contribution de recherche avec code et page projet publics. La prochaine étape logique serait une intégration dans des pipelines de fine-tuning utilisés par des acteurs comme Physical Intelligence ou les équipes robotique de Figure AI, qui cherchent précisément à réduire le nombre de démonstrations réelles nécessaires grâce à un meilleur transfert depuis la simulation.

Dans nos dossiers

FigurePhysical Intelligence — π0OpenVLA / RT-XarXiv cs.RO

À lire aussi

StressDream : piloter des modèles du monde vidéo pour évaluer et améliorer la robustesse des politiques
1arXiv cs.RO 

StressDream : piloter des modèles du monde vidéo pour évaluer et améliorer la robustesse des politiques

StressDream est une méthode proposée par des chercheurs dans un preprint arXiv (2606.00267, juin 2026) pour orienter les modèles du monde vidéo (video world models, WMs) vers des scénarios rares mais plausibles lors de l'évaluation et de l'amélioration de politiques robotiques. Le principe : au lieu de tirer des millions d'échantillons depuis un WM diffusion pour espérer tomber sur un cas d'échec critique, StressDream optimise directement le bruit initial du processus de diffusion à l'inférence, guidé par une consigne textuelle (par exemple "l'agent rate la tâche"). Deux objectifs complémentaires structurent l'optimisation : un objectif sémantique, où un modèle vision-langage (VLM) fournit des gradients en raisonnant sur la vidéo générée, et un objectif de plausibilité qui empêche le bruit optimisé de dériver hors distribution (OOD), évitant ainsi des imaginations irréalistes. La méthode est validée sur des benchmarks en conduite autonome et en manipulation robotique. L'enjeu est de taille pour les équipes de validation pré-déploiement. L'évaluation nominale des politiques, c'est-à-dire simuler ce qui se passe en moyenne, rate systématiquement les événements à fort impact mais faible probabilité : collision, lâcher d'objet, blocage de bras. Or ces cas sont précisément ceux qui bloquent la mise en production. StressDream propose de les cibler chirurgicalement sans explosion combinatoire du budget de simulation. C'est une forme de stress-test automatisé, piloté par langage naturel, applicable à n'importe quel WM diffusion existant, ce qui en fait un outil d'intégration potentiellement direct dans les pipelines d'évaluation de politique comme ceux utilisés par des laboratoires développant des VLAs (Vision-Language-Action models). Les video world models ont connu une montée en puissance rapide depuis 2023, notamment avec des travaux comme DIAMOND (Micheli et al.), UniSim ou DreamerV3, portés en partie par leur utilisation dans la robotique humanoïde et la conduite autonome. La difficulté de trouver des échecs plausibles sans déploiement réel est un frein reconnu à la certification de politiques autonomes. StressDream s'inscrit dans une dynamique plus large visant à combler le gap entre simulation et réel en enrichissant la diversité des scénarios simulés, sans pour autant halluciner des situations impossibles. Les auteurs publient des résultats vidéo sur junwon.me/StressDream, mais aucune intégration industrielle ni partenariat de déploiement n'est annoncé à ce stade.

RechercheOpinion
1 source
StereoPolicy : améliorer les politiques de manipulation robotique grâce à la perception stéréoscopique
2arXiv cs.RO 

StereoPolicy : améliorer les politiques de manipulation robotique grâce à la perception stéréoscopique

Une équipe de chercheurs a présenté StereoPolicy, un cadre d'apprentissage de politiques visuomotrices déposé sur arXiv (2605.09989) qui exploite des paires d'images stéréoscopiques synchronisées pour améliorer la précision des robots manipulateurs. Contrairement aux approches dominantes basées sur la vision monoculaire, StereoPolicy traite chaque image indépendamment via des encodeurs visuels 2D pré-entraînés, puis fusionne les représentations au sein d'un module baptisé Stereo Transformer. Cette architecture extrait implicitement des indices de disparité et de correspondance spatiale, sans nécessiter de reconstruction 3D explicite ni de calibration de caméra. Évalué sur trois benchmarks de simulation, RoboMimic, RoboCasa et OmniGibson, le système surpasse systématiquement les baselines RGB, RGB-D, nuage de points et multi-vues. Les auteurs ont également validé l'approche sur des robots réels, dans des configurations de manipulation tabulaire et de manipulation bimane mobile. L'intérêt principal de StereoPolicy réside dans sa modularité: le framework s'intègre directement avec des politiques à base de diffusion et des politiques VLA (vision-language-action) pré-entraînées, ce qui en fait un composant additionnel plutôt qu'une refonte architecturale. Pour les intégrateurs et les équipes robotique, cela signifie que des systèmes existants basés sur des modèles comme Pi-0 ou GR00T pourraient bénéficier de la perception stéréo sans repartir de zéro. La vision monoculaire, omniprésente dans les déploiements actuels, souffre d'une absence d'indices de profondeur fiables dans les scènes encombrées ou géométriquement complexes, un problème que la stéréo adresse naturellement à faible surcoût matériel. Ce résultat renforce l'hypothèse que les représentations 2D pré-entraînées, aussi puissantes soient-elles, restent limitées sans ancrage géométrique explicite. StereoPolicy s'inscrit dans la dynamique actuelle de l'imitation learning robotique, portée par des travaux comme ACT, Diffusion Policy et les VLA multimodaux. La plupart des systèmes en production s'appuient encore sur des caméras monoculaires ou des capteurs RGB-D de type RealSense ou ZED, qui ajoutent complexité et coût. Les caméras stéréo passives, technologie mature présente depuis des décennies en vision par ordinateur, avaient été quelque peu éclipsées par la montée en puissance des encodeurs 2D profonds. Ce papier, une préprint arXiv, pas encore un produit déployé, rouvre la question de leur rôle dans les pipelines modernes d'apprentissage par imitation. Les prochaines étapes naturelles seront d'évaluer StereoPolicy dans des environnements industriels réels et de tester sa robustesse aux variations d'éclairage et de texture, deux limites classiques de la vision stéréo passive.

RechercheOpinion
1 source
Une méthode pratique pour améliorer la corrélation simulation-réel dans l'évaluation des modèles VLA
3arXiv cs.RO 

Une méthode pratique pour améliorer la corrélation simulation-réel dans l'évaluation des modèles VLA

Une équipe de chercheurs a publié en juin 2026 sur arXiv (arXiv:2606.10366) une étude systématique visant à quantifier et améliorer la corrélation entre évaluation en simulation et déploiement réel pour les politiques de type VLA (Vision-Language-Action). Ces politiques, qui combinent perception visuelle, compréhension du langage naturel et génération d'actions motrices, sont au coeur des robots généralistes actuels. L'étude couvre plusieurs plateformes de simulation, plusieurs politiques VLA, plusieurs familles de tâches manipulatoires, et plusieurs facteurs de perturbation contrôlés. Les métriques retenues sont la cohérence du classement des politiques entre simulation et réel, la corrélation de performance absolue, et les patterns d'échec induits par perturbation. Les auteurs examinent également à quel moment le fine-tuning d'une politique sur données simulées améliore réellement les performances en monde réel, et comment le volume de données post-entraînement influence cet alignement. Ce travail s'attaque à un verrou identifié de longue date dans la robotique apprise : les benchmarks en simulation, malgré des progrès significatifs en réalisme et diversité ces deux dernières années, ne sont pas encore adoptés comme proxies fiables pour l'évaluation hors-lab. En pratique, cela signifie que les équipes d'intégration et les labs reproduisent des évaluations coûteuses en monde réel à chaque itération de politique, faute de pouvoir faire confiance aux scores simulés. L'étude identifie quels signaux simulés restent alignés avec le déploiement réel et lesquels divergent, donnant aux praticiens une grille de lecture concrète pour calibrer leur utilisation de la simulation dans le pipeline de développement. Le problème du sim-to-real gap accompagne la robotique apprise depuis les travaux fondateurs sur le domain randomization (OpenAI, 2017-2019), mais il devient critique à mesure que les VLA cherchent à passer à l'échelle industrielle. Des acteurs comme Physical Intelligence (Pi-0), Google DeepMind (RT-X, GR00T N2 côté Nvidia), ou encore Figure AI avec Figure 03 s'appuient tous sur des pipelines simulation-réel pour accélérer l'entraînement. En proposant un cadre unifié pour mesurer, interpréter et améliorer l'utilité de la simulation pour les VLA, ce papier vise à fournir une référence méthodologique commune, à la fois pour les concepteurs de simulateurs et pour les praticiens. Les prochaines étapes logiques incluent l'intégration de ces recommandations dans des benchmarks publics existants tels que RoboVerse ou LIBERO.

UEImpact indirect : ce cadre méthodologique pourrait réduire les coûts d'évaluation réelle répétée pour les équipes R&D européennes travaillant sur des politiques VLA.

RechercheOpinion
1 source
Améliorer la stabilité des robots mobiles sur terrain accidenté grâce à la surveillance des vibrations
4Robotics Business Review 

Améliorer la stabilité des robots mobiles sur terrain accidenté grâce à la surveillance des vibrations

Des ingénieurs spécialisés en robotique mobile publient un retour d'expérience terrain démontrant que la surveillance vibratoire permet de prédire les instabilités d'un véhicule terrestre non habité (UGV) avant que les capteurs visuels ne les détectent. Lors d'un essai avec un UGV de taille intermédiaire sur sol accidenté - quelques pierres, légère inclinaison - l'engin a basculé malgré une image caméra jugée correcte et un scan lidar ne signalant aucun danger. Des tests comparatifs ont ensuite couvert trois surfaces : terre compacte (signal vibratoire stable, faible amplitude), gravier meuble (signal chaotique, pics haute fréquence) et sable mou (oscillations lentes, basse fréquence). La distinction est opérationnelle : les pics haute fréquence indiquent des impacts avec roches ou débris susceptibles de provoquer un transfert de charge brutal, tandis que les oscillations basse fréquence signalent une perte progressive de sustentation (roue qui s'enfonce ou glisse). Dans un test de type rover, une couche de sable masquait des roches enchâssées invisibles aux caméras et au lidar : l'IMU a détecté les pics vibratoires correspondants avant que le robot n'atteigne physiquement la zone critique. Ce que ces résultats remettent en cause, c'est la domination des architectures de navigation purement visuelles - caméras, lidar, SLAM - dans les stacks robotiques actuels. Ces systèmes cartographient l'espace mais ne prédisent pas la réponse mécanique du sol à la charge : un terrain peut paraître compact et se comporter comme de la poudre sous le poids d'un UGV de plusieurs dizaines de kilos. La surveillance vibratoire, fondée sur des capteurs inertiels (IMU) et accéléromètres embarqués, apporte une rétroaction proprioceptive : le robot ressent le terrain plutôt que de seulement le voir. Pour un intégrateur ou un COO industriel déployant des AMR ou des UGV en milieu extérieur non structuré, l'argument économique est direct - réduire les incidents de basculement sans alourdir la pile de perception externe ni ajouter de capteurs coûteux. La valeur tient dans l'exploitation analytique de signaux déjà présents sur toute plateforme équipée d'un IMU standard. Ces travaux s'inscrivent dans une tendance active depuis plusieurs années en robotique quadrupède - Boston Dynamics Spot, ANYmal d'ANYbotics, recherches de DeepMind sur la locomotion adaptative - mais encore peu transposée aux UGV à roues. Les approches équivalentes sont explorées par Clearpath Robotics (Husky, Warthog), AGCO pour l'agriculture autonome, et des spécialistes du tout-terrain comme Neobotix ou Robopec en Europe. En France, le LAAS-CNRS dispose d'un historique de recherche sur la navigation tout-terrain qui rejoint cette problématique. Il convient de noter que l'article ne mentionne ni produit commercialisé ni timeline de déploiement : il s'agit d'un retour d'expérience méthodologique, pas d'une annonce produit. Les prochaines étapes naturelles seraient l'intégration de ces signaux vibratoires dans des contrôleurs adaptatifs temps réel et leur fusion formelle avec les planificateurs de trajectoire existants, notamment pour les applications de livraison autonome et d'inspection en milieu dégradé.

UELes intégrateurs européens de robots mobiles tout-terrain, notamment Neobotix et Robopec, et le LAAS-CNRS disposent d'une base de recherche directement exploitable pour intégrer la surveillance vibratoire dans leurs stacks de navigation UGV extérieur.

RecherchePaper
1 source