InfrastructurearXiv cs.RO 28 juillet 2026

Real2Sim2Real pour la manipulation vision-langage-action : un pipeline basé sur AMD ROCm

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2607.22997v1) une pile logicielle de bout en bout entièrement basée sur ROCm, l'écosystème ouvert d'AMD, pour entraîner et déployer des modèles vision-langage-action (VLA) en robotique de manipulation. L'architecture couvre trois niveaux de matériel AMD : silicium d'entraînement en datacenter, cartes Radeon PRO pour la simulation et le rendu, et puces Ryzen AI pour le calcul embarqué. Quatre démonstrations illustrent la pile : un pipeline sim-to-real entraîné avec le modèle SmolVLA et déployé sur un bras robotique Franka ; une tâche de sélection d'objet guidée par le langage baptisée « one-of-three » ; un pipeline real-to-sim qui associe des reconstructions de scènes réelles par 3D Gaussian Splatting (3DGS) au moteur physique Genesis pour générer des données d'entraînement synthétiques ; et un entraînement par renforcement à grande échelle pour la locomotion de robots quadrupèdes et humanoïdes, benchmarké sur plusieurs plateformes matérielles. L'ensemble fonctionne nativement sous ROCm et PyTorch sur des GPU RDNA4 (Radeon AI PRO R9700) et RDNA3.5 (Radeon PRO W7900), et les pipelines sont reproductibles gratuitement sur la Radeon Cloud Platform.

L'enjeu dépasse la simple démonstration technique : la quasi-totalité des pipelines VLA publiés jusqu'ici, de SmolVLA à Pi-0 en passant par GR00T N2 ou Helix, s'entraînent et se déploient sur des écosystèmes CUDA de Nvidia, aujourd'hui quasi incontournable dans l'IA physique. En montrant qu'un pipeline sim-to-real complet, du rendu 3DGS à l'inférence embarquée, tient sur ROCm sans réécriture lourde, les auteurs ouvrent une alternative matérielle crédible pour les intégrateurs et laboratoires cherchant à diversifier leurs fournisseurs de calcul ou à réduire leurs coûts. Pour les décideurs B2B, le signal principal reste la reproductibilité gratuite via la Radeon Cloud Platform, qui abaisse la barrière d'entrée pour tester des politiques VLA sans investir dans du matériel Nvidia. Le papier demeure toutefois une preuve de faisabilité technique sur des tâches de manipulation limitées (un bras Franka, un tri à trois objets), sans démonstration de déploiement industriel à l'échelle ni de comparaison chiffrée de performance face aux stacks CUDA équivalentes.

Cette publication s'inscrit dans la course engagée par AMD pour rattraper son retard face à Nvidia sur le marché de l'IA, et plus spécifiquement sur celui, naissant, de l'IA physique évoqué par Lisa Su au CES 2026 et par Jensen Huang lors de la GTC Paris de juin 2025. Le choix des briques logicielles, SmolVLA (Hugging Face), Genesis (moteur physique open source) et 3D Gaussian Splatting, situe les auteurs dans la mouvance open source de la robotique généraliste, aux côtés d'acteurs comme Physical Intelligence (Pi-0) ou Nvidia lui-même avec GR00T. Aucun acteur français ou européen n'apparaît dans cette publication centrée sur l'infrastructure matérielle. Les auteurs annoncent code et pipelines reproductibles dès aujourd'hui sur la Radeon Cloud Platform, sans toutefois préciser de calendrier de commercialisation ni de partenariats industriels concrets à ce stade.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Grands modèles vision-langage-action (VLA) pour la manipulation robotique : une revue

Une équipe de chercheurs publie sur arXiv (référence 2508.13073, troisième version) une revue systématique consacrée aux modèles Vision-Language-Action (VLA) construits sur de grands modèles vision-langage (VLM) pour la manipulation robotique. Le travail propose une taxonomie en deux familles d'architectures : les modèles monolithiques, déclinés en conception à système unique ou à double système selon le degré d'intégration entre perception et action, et les modèles hiérarchiques, qui séparent explicitement la planification de l'exécution via des représentations intermédiaires interprétables. La revue couvre l'articulation de ces modèles avec l'apprentissage par renforcement, l'optimisation sans réentraînement, l'apprentissage à partir de vidéos humaines et les modèles du monde, et recense les jeux de données et benchmarks du domaine. Les auteurs publient une page de projet mise à jour en continu sur GitHub, sous le compte JiuTian-VL. Contrairement aux annonces produits qui rythment l'actualité de la robotique humanoïde, ce travail ne présente ni déploiement ni chiffre de performance vérifié : c'est un effort de mise en ordre académique, justifié par la fragmentation et les incohérences de taxonomie qui caractérisent aujourd'hui le champ des VLA. Pour les intégrateurs et décideurs B2B, l'intérêt est méthodologique plutôt qu'opérationnel : la distinction entre architectures monolithiques et hiérarchiques donne une grille pour décrypter des offres commerciales qui se réclament du "VLA" sans détailler leur conception interne. La revue rappelle aussi que plusieurs briques restent des chantiers ouverts, mémoire, perception 4D, adaptation efficace, coopération multi-agents, ce qui tempère l'idée qu'un modèle vision-langage-action généraliste serait déjà un problème résolu à l'échelle industrielle. Les VLA se sont imposés ces dernières années comme alternative aux méthodes robotiques à base de règles, jugées incapables de généraliser à des environnements non structurés, en s'appuyant sur des VLM pré-entraînés sur de vastes corpus image-texte. Cette revue s'inscrit dans une production académique croissante qui tente de cartographier un champ où de nombreux laboratoires publient des architectures concurrentes sans convention de classification commune, d'où l'objectif affiché de résoudre les incohérences des taxonomies existantes. Le document ne cite aucun système commercial ni partenaire industriel précis ; il est pensé comme une ressource vivante, régulièrement actualisée, utile pour situer les futures annonces de VLA propriétaires, qu'elles viennent de laboratoires de recherche ou de fabricants de robots humanoïdes, par rapport à l'état de l'art académique.

RecherchePaper

1 source

2arXiv cs.RO

NVIDIA Isaac Sim : une simulation GPU accélérée et évolutive pour la robotique

NVIDIA Isaac Sim s'est imposé comme une infrastructure centrale dans la recherche en robotique, et une étude de synthèse publiée sur arXiv (réf. 2606.03551) en propose la première analyse systématique. Contrairement aux simulateurs classiques comme Gazebo, PyBullet ou MuJoCo, Isaac Sim exploite l'accélération GPU pour permettre un entraînement parallèle à grande échelle et une modélisation physique haute fidélité. La plateforme intègre un pipeline de génération de données synthétiques qui pallie la rareté chronique des données d'entraînement de qualité, un verrou majeur pour le robot learning. Les auteurs analysent des études représentatives dans cinq grands domaines d'application et documentent les patterns d'usage dominants, notamment la génération de données et la simulation haute fidélité, sans se limiter à une liste de fonctionnalités marketing. L'enjeu industriel est significatif : la capacité à générer des données synthétiques crédibles et à entraîner des politiques en simulation massivement parallèle est aujourd'hui au coeur du débat sur le sim-to-real transfer. Pour les intégrateurs et les équipes R&D, une plateforme qui réduit le besoin de données réelles et compresse les cycles d'itération représente un avantage compétitif concret. Les auteurs pointent également les limites : la dépendance au matériel NVIDIA (GPU haut de gamme requis), des contraintes d'utilisabilité pratique, et des questions ouvertes autour de l'apprentissage en environnement ouvert (open-world learning), un domaine où aucun simulateur n'a encore apporté de réponse satisfaisante à l'échelle. Isaac Sim s'inscrit dans la stratégie plus large de NVIDIA dans la robotique, qui comprend le framework Isaac Lab, les modèles de fondation GR00T, et l'écosystème Omniverse. Face à lui, des alternatives open-source comme MuJoCo (DeepMind) ou Genesis gagnent du terrain, notamment pour leur accessibilité. L'étude identifie trois directions futures prioritaires : l'apprentissage physique en monde ouvert, les pipelines d'entraînement centrés sur la simulation, et la réduction des frictions d'adoption. Ces axes correspondent précisément aux blocages actuels pour industrialiser le déploiement de robots apprenants en dehors des labs.

UELes équipes R&D et laboratoires européens en robotique peuvent s'appuyer sur cette première analyse systématique pour arbitrer entre Isaac Sim et les alternatives open-source (MuJoCo, Genesis), notamment au regard de la dépendance au matériel NVIDIA haut de gamme.

InfrastructureOpinion

1 source

3arXiv cs.RO

Robot low-cost, banc de test ArmnetBench v0.1 pour évaluer des politiques de manipulation en parallèle

Des chercheurs ont publié ArmnetBench v0.1, un benchmark d'évaluation en conditions réelles pour les politiques de manipulation robotique, exécuté sur une flotte de bras low-cost SO-101 sous supervision humaine légère sur site. Cette première version compare 7 politiques sur 12 tâches, en configuration bras unique et bimanuelle. Chaque politique est entraînée ou affinée sur 50 démonstrations par tâche. Le benchmark comptabilise 2 518 rollouts de politiques et 600 démonstrations de référence, soit 3 118 épisodes au total, chacun annoté selon une échelle à trois niveaux (réussite, sous-optimal, échec). Les rollouts sont notés manuellement, tandis que les démonstrations sont par construction considérées comme réussies. L'ensemble des 3 118 épisodes est publié en deux formats standards, LeRobot v3.0 et RoboMeter, pour faciliter la réutilisation par la communauté. L'évaluation en conditions réelles reste le principal goulot d'étranglement du développement de politiques de manipulation généralistes : chaque rollout nécessite du matériel physique et un opérateur pour installer, réinitialiser et noter la tentative, ce qui limite fortement le volume de tests réalisables face aux simulateurs. En s'appuyant sur des bras SO-101 peu coûteux et une supervision réduite, ArmnetBench propose un compromis entre le coût d'un banc d'essai physique et la scalabilité recherchée pour comparer des politiques à grande échelle. Au-delà du classement, la valeur du jeu de données tient surtout à son étiquetage qualité par épisode : ces trajectoires annotées peuvent nourrir l'entraînement de modèles de récompense, de modèles du monde prédictifs, ou de politiques apprises sur des données de qualité mixte, un axe distinct de la simple mesure de performance. Ce travail s'inscrit dans la lignée des efforts communautaires autour de l'écosystème LeRobot et des bras robotiques abordables comme le SO-101, popularisés notamment par Hugging Face pour démocratiser la recherche en manipulation hors des laboratoires équipés de bras industriels coûteux. Il fait écho aux benchmarks existants bâtis en simulation ou sur du matériel plus onéreux, en offrant une alternative reproductible à bas coût. Les auteurs présentent ce classement initial comme un point de départ sous budget partagé plutôt qu'une évaluation définitive, cette v0.1 servant avant tout à valider l'infrastructure de la ferme de bras de bout en bout. Les suites attendues incluent l'élargissement du nombre de tâches et de politiques comparées, ainsi que l'exploitation des données mixtes pour entraîner de nouveaux modèles.

InfrastructureActu

1 source

4arXiv cs.RO

Planification à base d'agents en lots pour le service de politiques robotiques

Des chercheurs du Georgia Tech (laboratoire RL2) publient un article intitulé "Action Chunk Scheduling for Batched Robot Policy Serving" (arXiv:2608.00337v1), qui pose un problème encore peu formalisé dans la robotique : comment servir un même modèle de politique robotique, hébergé sur un GPU distant, à plusieurs robots simultanément. Les auteurs présentent Armory, un système de service ("serving") conçu pour cet usage et validé à la fois sur des flottes de robots simulés et sur des robots réels. Leurs expériences montrent que les heuristiques de scheduling classiques (les méthodes de batching habituelles en inférence LLM) fonctionnent correctement tant que tous les robots de la flotte sont identiques et consomment les actions au même rythme. Mais dès que les robots consomment leurs "action chunks" (blocs d'actions produits par les modèles Vision-Language-Action) à des vitesses différentes, ces heuristiques échouent : elles ne tiennent pas compte des contraintes en boucle fermée ("closed-loop") propres à l'exécution de politiques robotiques. Pour corriger ce défaut, l'équipe propose un nouvel algorithme de scheduling qui intègre cette hétérogénéité de rythme entre robots, avec un gain de débit système mesuré jusqu'à 18 % lors d'essais réels. Le code et les détails sont disponibles sur gatech-rl2.github.io/actionchunkscheduling. Le résultat touche un point aveugle du déploiement à grande échelle des modèles fondation pour la robotique (VLA type Pi-0, GR00T N2, Helix ou autres) : le calcul embarqué est limité en puissance et en encombrement, ce qui pousse naturellement vers une inférence déportée sur GPU distant, mutualisée entre plusieurs robots pour amortir les coûts. Or les architectures de batching héritées du monde LLM, pensées pour du texte asynchrone, ignorent la contrainte physique du temps réel robotique : un robot qui épuise son buffer d'actions avant d'être resservi s'arrête ou dégrade sa trajectoire. Ce papier démontre empiriquement que cette mécanique de service compte autant que la qualité du modèle lui-même pour faire fonctionner une flotte hétérogène en production, un enjeu direct pour les intégrateurs qui veulent mutualiser l'inférence entre robots de générations ou de tâches différentes plutôt que de multiplier les cartes embarquées. Ce travail s'inscrit dans la vague récente de modèles VLA génériques (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) qui cherchent à démontrer un contrôle robotique à l'échelle d'une flotte plutôt qu'à l'unité, un terrain où l'infrastructure de service devient aussi critique que l'entraînement. En formalisant le problème comme un scheduling explicite et en le testant sur du matériel réel plutôt que seulement en simulation, les auteurs positionnent Armory comme une brique d'infrastructure réutilisable, potentiellement comparable aux serveurs d'inférence LLM (type vLLM) mais adaptée aux contraintes temps réel de la robotique. L'article ne précise pas de partenariat industriel ni de déploiement commercial annoncé ; il s'agit pour l'instant d'un résultat de recherche académique, avec du code ouvert, plutôt que d'un produit prêt à l'emploi.

InfrastructureActu

1 source