Dossier IA physique & VLA — page 5

Main d'AnyDexRT : retargeting dextérique sans calibration guidé par peu de démonstrations humaines

Des chercheurs viennent de publier sur arXiv (arXiv:2607.08341, 10 juillet 2026) une nouvelle méthode baptisée AnyDexRT, conçue pour le retargeting cinématique des mains robotiques dextres en téléopération. Le retargeting consiste à traduire les mouvements de la main d'un opérateur humain en mouvements réalisables par une main robotique, une étape cruciale pour la téléopération et pour la collecte de démonstrations utilisées en apprentissage par imitation. Contrairement aux approches existantes, qui reposent souvent sur des objectifs conçus manuellement, un calibrage précis ou un appariement global des formes entre la main humaine et la main robotique, AnyDexRT ne nécessite aucune calibration préalable. La méthode combine un apprentissage auto-supervisé des correspondances entre le bout des doigts humains et robotiques avec un guidage humain en few-shot, c'est-à-dire à partir de très peu d'exemples, pour ancrer la correspondance dans les zones pertinentes pour la tâche. Un classificateur de contact affine ensuite spécifiquement les poses de préhension en pince. Cette approche répond à un problème concret et sous-estimé du secteur : la fragilité des pipelines de téléopération dès qu'on change de main robotique ou d'opérateur, ce qui limite la scalabilité de la collecte de données pour l'apprentissage par imitation, un goulot d'étranglement identifié dans le développement des modèles VLA (vision-langage-action) comme Pi-0 ou GR00T N2. En supprimant la calibration manuelle, AnyDexRT pourrait accélérer la production de démonstrations de qualité pour l'entraînement de politiques robotiques, un enjeu central pour les intégrateurs et laboratoires qui cherchent à faire passer leurs mains dextres de la démonstration en laboratoire à des déploiements plus robustes. Les auteurs rapportent des gains en qualité de retargeting et une réduction du réglage manuel sur des mains dextres variées et des tâches de téléopération réelles, sans toutefois préciser de métriques chiffrées vérifiables dans le résumé. Le travail s'inscrit dans la lignée des recherches sur le retargeting cross-embodiment, un axe actif face à la multiplication des mains robotiques commerciales aux morphologies différentes. Un site de projet accompagne la publication, mais aucun code, benchmark comparatif détaillé ni partenariat industriel n'est mentionné à ce stade : il s'agit d'une contribution académique, pas d'un produit prêt à déployer.

EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réelles

Des chercheurs du laboratoire RL2 de Georgia Tech publient EgoWAM, un cadre de "World Action Models" qui exploite des vidéos égocentriques humaines filmées en conditions réelles pour entraîner des politiques de manipulation robotique. Le problème identifié: le clonage de comportement classique mélange des éléments transférables comme les objets, les scènes et la sémantique des tâches, avec des facteurs propres à l'humain (morphologie, mouvements de tête, style gestuel) qui n'ont rien à voir avec un bras robotique. Les auteurs testent trois cibles de prédiction du monde différentes, à backbone de politique, tête d'action et mélange de données identiques: la prédiction de pixels bruts, des caractéristiques visuelles DINO, et le flux de mouvement 3D. Sur trois tâches bimanuelles réelles, la prédiction pixel se révèle peu efficace pour le transfert humain-robot, tandis que DINO améliore la généralisation hors distribution (nouveaux objets, nouvelles scènes) jusqu'à 4 fois, et le flux 3D augmente la performance en distribution de 20 à 30%. Le résultat tranche un débat central pour l'industrie robotique: peut-on utiliser la masse de vidéos humaines disponibles sur le web comme signal d'entraînement bon marché, à la manière dont les modèles VLA (vision-langage-action) type Pi-0 de Physical Intelligence ou GR00T de NVIDIA cherchent à le faire? EgoWAM montre que oui, mais pas en imitant les pixels tels quels: il faut une représentation qui abstrait l'apparence et isole les effets physiques indépendants de l'agent, en séparant le mouvement de caméra du changement réel de l'environnement. Pour les intégrateurs et laboratoires qui misent sur la vidéo à l'échelle pour réduire le coût de collecte de données robotiques, cela oriente concrètement le choix des représentations à privilégier plutôt que la simple accumulation de séquences pixel. Le travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique et des jeux de données égocentriques type Ego4D, en réponse aux limites connues du clonage de comportement pur. Le code, les tâches et les détails expérimentaux sont publiés sur gatech-rl2.github.io/egowam.github.io, sans annonce de déploiement industriel à ce stade: il s'agit d'un résultat de recherche contrôlé, pas d'un produit prêt à intégrer.

Cadre de contrôle par vision monoculaire pour la préhension

Des chercheurs présentent un système de préhension robotique piloté uniquement par une caméra RGB monoculaire, capable de manipuler aussi bien des objets rigides que déformables avec un seul pipeline de contrôle, sans capteur tactile ni pince spécialisée. Le framework combine détection d'objets en vocabulaire ouvert, segmentation d'image, assignation de points sensible aux contours, suivi de points en temps réel et estimation de profondeur monoculaire pour reconstruire la géométrie et le mouvement des objets à partir de la seule vision. Son élément central est un modèle qui estime la raideur attendue d'un objet à partir de sa description sémantique, fournissant un a priori pour choisir la stratégie de préhension avant tout contact. Pour les objets déformables, l'adaptation de la prise s'appuie sur une mesure de dissimilarité de type Procrustes calculée sur des points-clés suivis, utilisée comme indicateur visuel de déformation. Pour les objets rigides, l'écartement de la pince est réglé par la mise à l'échelle des distances entre points suivis. Le système a été testé sur un bras Franka Emika Research 3, en conditions réelles de prise et dépose, sur de la salade, de la mozzarella fraîche, des croissants, du papier essuie-tout et des bouteilles en plastique rigide. L'intérêt pratique tient à l'unification: la plupart des approches existantes traitent séparément le rigide et le souple, en s'appuyant souvent sur des capteurs tactiles, des modèles spécifiques par objet ou des pinces dédiées. Démontrer une préhension stable sur les deux catégories avec une seule pipeline vision, sans tactile, ouvre une piste économique et généralisable pour la manutention alimentaire et la manipulation domestique, deux domaines où la variabilité des objets rend coûteuse toute solution sur mesure. Le travail s'inscrit dans la lignée des recherches en préhension robotique cherchant à réduire la dépendance au capteur tactile au profit de la vision seule, à l'heure où les modèles vision-langage-action gagnent en popularité pour la manipulation généraliste. Les auteurs positionnent leur approche comme une alternative sensor-efficient à ces pipelines multimodaux plus lourds, la validation restant pour l'instant limitée à un jeu restreint d'objets en laboratoire.

RoboLight : un jeu de données à éclairage linéairement composable pour la manipulation robotique

Voici l'article traduit et résumé. RoboLight, présenté dans un article arXiv, est le premier jeu de données de manipulation robotique capturant des épisodes synchronisés sous des conditions d'éclairage systématiquement variées. Il comprend deux volets : RoboLight-Real, avec 2 800 épisodes réels collectés sur un dispositif calibré baptisé Light Cube, équipé de huit lampes LED RGB programmables et faisant varier trois dimensions indépendantes (couleur, direction, intensité), chaque dimension étant associée à une tâche dédiée impliquant des objets de géométries et matériaux différents pour créer des défis perceptifs ; et RoboLight-Synthetic, qui compte 196 000 épisodes générés par interpolation dans l'espace image HDR de RoboLight-Real, un volume potentiellement extensible à volonté en affinant la granularité d'interpolation. Toutes les images sont enregistrées au format HDR pour préserver la précision radiométrique. Les auteurs valident la qualité du jeu de données via une analyse qualitative et des déploiements de politiques en conditions réelles, en étudiant la difficulté des tâches, la diversité de distribution et l'efficacité des données synthétisées, avec trois cas d'usage représentatifs à l'appui. Pour l'industrie robotique, ce jeu de données cible un angle mort persistant des modèles vision-langage-action (VLA) et des politiques de manipulation apprises : leur fragilité face aux variations d'éclairage, un facteur rarement isolé et contrôlé dans les données d'entraînement existantes. En permettant de faire varier couleur, direction et intensité lumineuse de façon indépendante et reproductible, RoboLight offre un banc d'essai pour mesurer la robustesse réelle des politiques de perception, une question centrale pour tout déploiement industriel où l'éclairage n'est jamais parfaitement contrôlé, entrepôt, ligne de production, environnement extérieur. L'approche par interpolation HDR pour générer des données synthétiques à moindre coût illustre aussi une piste concrète pour réduire la dépendance à la collecte réelle, un goulot d'étranglement connu pour l'entraînement des modèles de manipulation à grande échelle. Le projet s'inscrit dans la lignée des efforts récents visant à combler l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un problème régulièrement pointé du doigt concernant les modèles VLA générique (dans la veine de Pi-0 ou GR00T N2). Contrairement à des jeux de données généralistes, RoboLight isole spécifiquement la variable lumineuse via un montage matériel dédié, ce qui le distingue des benchmarks existants qui ne contrôlent pas systématiquement ce paramètre. Les auteurs annoncent la publication en open source du jeu de données complet, ainsi que des conceptions logicielle et matérielle du système Light Cube, ce qui laisse présager une adoption possible comme outil de benchmark standard par la communauté robotique si la promesse de reproductibilité est tenue.

Pelican-VLA 0.5 : l'attention avant l'action améliore la généralisation

Pelican-VLA 0.5, un nouveau modèle VLA (vision-langage-action) présenté dans un rapport arXiv publié début juillet, unifie dans une seule architecture la compréhension vision-langage, la génération de trames futures et la prédiction d'action. Sa caractéristique centrale : sans annotations d'objets, sans masques de segmentation, sans supervision explicite de l'attention ni fine-tuning spécifique à la tâche, le module d'action du modèle se concentre spontanément sur l'objet pertinent pour l'instruction et sur sa zone de contact. Ce comportement se maintient sur des scènes inédites et sur des embodiments robotiques jamais vus à l'entraînement, et il est nettement plus marqué que chez les autres modèles VLA open source testés en comparaison. Les auteurs attribuent cette capacité à un module qu'ils nomment Reasoning Slots, inséré entre les étages de perception et d'action. Cette découverte touche un point sensible de l'industrie des VLA : jusqu'ici, obtenir qu'un modèle regarde le bon objet avant de le manipuler exigeait souvent une supervision lourde, annotations manuelles, masques de segmentation ou fine-tuning tâche par tâche, ce qui limite le passage à l'échelle et la généralisation à de nouveaux robots ou environnements. Si l'attention correcte émerge directement de l'architecture plutôt que de données d'entraînement coûteuses, cela réduit la dépendance à l'ingénierie de données et s'attaque directement à l'écart persistant entre démonstrations en laboratoire et déploiement réel, un sujet central pour les intégrateurs qui évaluent des piles VLA comme Pi-0, GR00T N2 ou Helix. Techniquement, les Reasoning Slots agissent comme un goulot d'étranglement compact qui force l'information visuelle pertinente pour la tâche à transiter par un nombre limité de canaux, ce qui induit une attention centrée sur la manipulation dès le pré-entraînement. Les auteurs montrent que ce mécanisme reste efficace même appliqué à des architectures de politique différentes, y compris un style Mixture-of-Transformers (MoT). Il s'agit pour l'instant d'un rapport de recherche déposé sur arXiv (arXiv:2607.06655v1), sans annonce de produit commercial ni de déploiement industriel associé.

Multi-agent : contrôle robotique par modèles vision-langage embarqués

Une équipe de recherche présente, dans un article publié sur arXiv (arXiv:2607.07403v1), une architecture multi-agents (MAS) pour le contrôle robotique conçue pour fonctionner entièrement en local, sans dépendre d'une infrastructure de calcul externe. Le système pilote un manipulateur mobile autonome polyvalent dans un entrepôt industriel simulé, où il exécute cinq catégories de tâches : inspection de sécurité, maintenance de l'entrepôt, recherche d'objets, vérification de la qualité des colis, et réponse aux demandes humaines. L'architecture s'appuie sur des modèles vision-langage (VLM) compacts, entre 3 et 20 milliards de paramètres, avec un fine-tuning appliqué spécifiquement pour améliorer la précision de l'inspection des colis. Un agent d'orchestration baptisé "Megamind" a été conçu pour limiter les pertes de contexte que subissent les petits modèles sur des tâches de planification à long horizon. Le système a été validé en configuration hardware-in-the-loop, sur un mini PC AMD Ryzen AI, combinant simulation et matériel embarqué réel. Ce travail s'attaque à trois limites récurrentes des VLM et des modèles vision-langage-action (VLA) appliqués à la robotique : l'explicabilité, la généralisation et les besoins en calcul. En s'appuyant sur des modèles compacts exécutés localement plutôt que sur des VLA massifs hébergés dans le cloud, l'approche promet une réduction des coûts d'infrastructure et une latence moindre, deux critères déterminants pour les intégrateurs industriels qui veulent déployer des robots autonomes sans dépendre d'une connectivité permanente. Les auteurs présentent leurs résultats comme une preuve qu'une architecture multi-agents entièrement embarquée constitue une alternative viable et économique aux déploiements dépendants du cloud, avec un potentiel de transfert vers le réel. Ces résultats restent toutefois obtenus en environnement simulé ; le passage à un robot physique en conditions réelles d'entrepôt demeure l'étape déterminante pour confirmer la promesse. L'essor de VLA comme Pi-0, GR00T N2 ou Helix a mis en évidence la dépendance de nombreux systèmes robotiques à des clusters de calcul distants, un frein pour les déploiements industriels à grande échelle. En misant sur des modèles plus petits orchestrés collectivement plutôt que sur un modèle monolithique unique, cette recherche se distingue des approches dominantes centrées sur des VLA de grande taille. Les chercheurs ont publié l'environnement de simulation en open source sous licence Apache 2.0, ouvrant la voie à des extensions et comparaisons par la communauté robotique. Les prochaines étapes attendues concernent la validation sur robot physique en entrepôt réel ainsi que l'élargissement des catégories de tâches couvertes par le système.

SPEAR : un simulateur d'IA incarnée photoréaliste pour la recherche

Voici l'article en français, sans titres ni séparateurs : Une équipe de recherche présente SPEAR (Simulator for Photorealistic Embodied AI Research), un nouveau simulateur conçu pour entraîner des agents incarnés (embodied agents) et générer des données visuelles synthétiques photoréalistes. Publié sur arXiv début juillet 2026, SPEAR se présente comme une bibliothèque Python capable de se connecter à n'importe quelle application Unreal Engine (UE) et de la piloter via une architecture de plugins modulaires. Elle expose plus de 14 000 fonctions UE uniques à Python, soit un gain d'un ordre de grandeur en fonctionnalités programmables par rapport aux simulateurs UE existants. Côté performance, une seule instance de SPEAR peut rendre des images photoréalistes en 1920x1080 directement dans un tableau NumPy à 73 images par seconde, également dix fois plus rapide que les plugins UE existants, tout en fournissant des modalités de vérité terrain inédites, comme la décomposition intrinsèque non diffuse, les IDs de matériaux ou les paramètres de shading physiquement basé (PBR). Pour un ingénieur en robotique ou en IA incarnée, l'enjeu dépasse la simple prouesse technique : la plupart des simulateurs photoréalistes actuels souffrent d'un compromis entre réalisme visuel et vitesse de rendu, ou entre flexibilité de programmation et généralité. En combinant vitesse élevée, richesse des modalités de sortie et contrôle programmatique fin de scènes UE complexes, SPEAR vise à réduire l'écart entre simulation et réalité (sim-to-real) pour l'entraînement d'agents visuels, un point critique pour la robotique mobile, les véhicules autonomes et les modèles vision-langage-action (VLA). Les chercheurs démontrent l'outil sur des cas variés : contrôle de multiples agents aux espaces d'action distincts (humains, voitures, robots) dans des projets UE existants, rendu d'environnements urbains à grande échelle, manipulation des systèmes de génération procédurale de contenu d'UE, rendu multi-vues synchronisé de visages humains détaillés, co-simulation avec le moteur physique MuJoCo, et édition de scènes en langage naturel via un assistant de code IA. SPEAR s'inscrit dans la lignée des simulateurs bâtis sur Unreal Engine comme AirSim ou CARLA, mais cherche à en dépasser les limites de généralité et de vitesse.

NVIDIA et Hugging Face apportent de nouveaux modèles et frameworks à LeRobot

NVIDIA et Hugging Face annoncent l'intégration d'Isaac GR00T 1.7 et du framework Isaac TeleOp dans LeRobot, la bibliothèque open-source de robotique de Hugging Face. Isaac GR00T 1.7 est présenté comme le premier modèle de fondation robotique open-source et commercialement exploitable, une architecture vision-langage-action (VLA) permettant de post-entraîner et déployer des politiques de contrôle sur des robots humanoïdes réels. Isaac TeleOp est un framework de collecte de données par téléopération, qui capture des démonstrations humaines depuis des dispositifs externes dans des formats standardisés et interopérables, facilitant le partage de jeux de données au sein de la communauté. Les deux entreprises annoncent également l'arrivée prochaine de NVIDIA Cosmos 3, un modèle de monde frontière pour l'IA physique, sans donner de date précise. LeRobot compte déjà plus de 15 millions de téléchargements pour son jeu de données ouvert, qui regroupe plus de 350 000 trajectoires réelles et simulées ainsi que 57 millions de préhensions ("grasps"), en complément des frameworks de simulation Isaac Sim et Isaac Lab, dont Isaac Lab-Arena, désormais référencé dans le LeRobot Environment Hub. Cette annonce illustre la tentative de NVIDIA de reproduire, dans la robotique, la dynamique qui a fait le succès de l'IA générative open-source: mutualiser modèles, données et outils pour accélérer l'innovation collective plutôt que de la laisser fragmentée entre acteurs isolés. Pour les intégrateurs et développeurs robotique, l'enjeu concret est l'accès à un pipeline standardisé bout-en-bout, de la collecte de données jusqu'au déploiement, sans avoir à recomposer des briques propriétaires coûteuses. Le rapprochement entre les 3 millions de développeurs robotique de NVIDIA et les 16 millions d'utilisateurs IA de Hugging Face vise à fluidifier le passage entre recherche en IA générale et applications physiques. Toutefois, l'ampleur réelle de l'adoption d'Isaac GR00T 1.7 sur des déploiements industriels reste à démontrer: l'annonce reste pour l'instant centrée sur la disponibilité des outils et des frameworks, pas sur des cas d'usage chiffrés en production, et la mention de Cosmos 3 relève encore de la feuille de route plutôt que d'un produit livré. Ce partenariat s'inscrit dans la continuité de la stratégie NVIDIA autour de sa plateforme Isaac dédiée à la robotique et à l'IA physique, engagée depuis plusieurs années à travers Isaac Sim et Isaac Lab pour la simulation, puis étendue à des modèles de fondation comme GR00T. Hugging Face, de son côté, a positionné LeRobot comme l'équivalent robotique de ses bibliothèques Transformers pour le NLP, avec pour ambition de devenir le hub de référence pour les datasets et modèles robotiques ouverts. Sur le plan concurrentiel, cette annonce se situe face aux approches propriétaires de modèles VLA développés par d'autres laboratoires, à l'image de Pi-0 (Physical Intelligence) ou GR00T N2 concurrencés indirectement par des architectures fermées comme Helix (Figure AI). Thomas Wolf, cofondateur et directeur scientifique de Hugging Face, présente cette intégration comme une étape pour ancrer un cycle collaboratif ouvert dans la robotique, avec Cosmos 3 comme prochaine brique pour générer et simuler des données lorsque la collecte réelle est trop coûteuse ou limitée.

Choisir quoi observer : représentations sémantico-géométriques adaptées à la tâche pour le contrôle visuomoteur

Une équipe de recherche propose une nouvelle interface d'observation pour les politiques visuomotrices en robotique, baptisée dans l'article « Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy » (arXiv:2603.07875v2). Le problème identifié est connu du secteur : les politiques apprises par démonstration à partir d'images RGB brutes surapprennent des détails visuels parasites (couleur des objets, fond de la scène) et deviennent fragiles dès que l'environnement change. La méthode proposée utilise SAM3 pour segmenter l'objet cible et le bras/pince du robot dans l'image, puis repeint ces éléments avec des couleurs sémantiques prédéfinies sur un fond constant, ce qui donne une observation dite L0. Pour les tâches nécessitant des indices géométriques plus fins, une couche supplémentaire injecte une carte de profondeur monoculaire générée par Depth Anything 3 dans les zones segmentées, produisant une observation combinée sémantique-géométrique appelée L1, qui reste une image standard à trois canaux. Les tests ont porté sur RoboMimic (tâche Lift), ManiSkill pour de la préhension d'objets YCB en environnement encombré, quatre tâches RLBench avec changements d'apparence contrôlés, et deux tâches réelles sur bras Franka (ReachX et CloseCabinet), avec deux architectures de politique : Flow Matching Policy et SmolVLA. L'intérêt principal tient à ce que la méthode ne nécessite ni modification ni réentraînement de la politique existante : elle agit uniquement en amont, sur l'observation fournie au modèle. Pour les intégrateurs et équipes de recherche confrontés au fossé classique entre démonstrations en simulation et déploiement réel, c'est une piste low-cost pour améliorer la robustesse face aux changements de fond ou de couleur d'objets, sans repasser par un cycle d'entraînement coûteux. Ce travail s'inscrit dans la lignée des recherches sur les politiques VLA (vision-langage-action) et leur généralisation hors distribution, un point faible régulièrement pointé dans les démonstrations de robots humanoïdes et bras manipulateurs. Il s'appuie sur des modèles de segmentation et de profondeur récents (SAM3, Depth Anything 3) plutôt que sur une architecture propriétaire, ce qui facilite potentiellement sa reproduction par d'autres laboratoires.

Q-Learning par transport optimal pour le pilotage et l'accélération de politiques de flux

Des chercheurs proposent une nouvelle méthode baptisée Optimal Transport Q-Learning (OTQL), destinée à affiner et accélérer les politiques robotiques basées sur des modèles de diffusion et de flow matching, très utilisées dans les modèles vision-langage-action (VLA). Publiée le 8 juillet sur arXiv, l'étude combine apprentissage par renforcement (RL) post-entraînement et transport optimal conditionné par l'avantage, pour corriger les comportements sous-optimaux de ces politiques sans recourir à la distillation, coûteuse en calcul. Avec un budget d'interaction limité à seulement 50 à 60 épisodes, la méthode fait grimper le taux de succès moyen de politiques mono-tâche de 36 % à 86 %, et celui d'un modèle VLA pré-entraîné de 38 % à 76 %, tout en réduisant de 70 % le nombre d'étapes d'inférence nécessaires pour générer une action. Les tests ont été menés à la fois en simulation et sur des tâches robotiques réelles. Ces résultats s'attaquent à deux limites bien connues des politiques de diffusion et de flow matching pour la robotique: leur dépendance à des démonstrations de haute qualité, souvent rares ou coûteuses à collecter, et leur lenteur d'inférence, qui freine leur déploiement temps réel sur des robots physiques. En démontrant qu'un nombre restreint d'épisodes d'expérience réelle suffit à corriger significativement les échecs sous décalage de distribution, OTQL apporte un début de réponse à l'écart persistant entre démonstrations en laboratoire et performance en conditions réelles, un problème central pour les intégrateurs qui cherchent à fiabiliser des modèles VLA du type de ceux utilisés dans les bras manipulateurs ou les humanoïdes actuels. La réduction de 70 % des étapes d'inférence est également notable pour les décideurs B2B, car elle touche directement au coût de calcul embarqué et à la latence, deux freins concrets à la commercialisation à grande échelle de politiques génératives sur robot. Les politiques de diffusion et de flow matching se sont imposées ces dernières années comme l'approche dominante pour capturer des distributions de trajectoires multimodales dans les tâches de manipulation robotique, notamment dans les architectures VLA. Mais leur adoption industrielle butait jusqu'ici sur deux verrous: l'accélération de l'inférence, généralement traitée par des méthodes de distillation gourmandes en ressources de simulation, et l'amélioration post-déploiement, qui nécessite habituellement de nouvelles données de démonstration coûteuses à produire. OTQL s'inscrit dans une lignée de travaux cherchant à exploiter le RL pour du post-entraînement léger plutôt que du réentraînement complet. Les auteurs ne précisent pas encore de calendrier de transfert vers des plateformes commerciales, mais la méthode ouvre une piste pour que les opérateurs de flottes robotiques affinent leurs politiques directement à partir de l'expérience de terrain, sans dépendre de nouveaux cycles de collecte de données coûteux.

GraspIT : un jeu de données comblant l'écart simulation-réel pour la génération validée de poses de préhension SE(3)

GraspIT, un nouveau dataset de prises robotiques présenté dans un article arXiv publié cette semaine, s'attaque au problème du transfert simulation-réel pour la préhension d'objets inédits. L'équipe a généré des scènes de table dans NVIDIA Isaac Sim, puis annoté chaque prise candidate via un test physique de glissement en quatre étapes, exécuté sur des instances virtuelles de bras Franka Panda, allant au-delà du simple critère de force-closure classique. Sur environ 2,3 millions de prises candidates, 83% obtiennent un score de qualité jugé bon (seuil de 0,50 ou plus), tandis que les 17% restants, qui passent le test de force-closure mais échouent au test de glissement, constituent des "hard negatives" utiles à l'entraînement. Une boucle réel-vers-simulation rétroprojette ensuite ces annotations sur 100 scènes réelles. Au total, le dataset livre environ 316 000 jeux d'images RGB-D annotées, couvrant 1035 scènes simulées et 100 scènes réelles, avec masques d'instance, poses en 6 degrés de liberté, propriétés physiques des objets et scores de qualité pour chaque prise. Les outils sont open source et conteneurisés via Docker. Cette publication comble un manque identifié par les auteurs eux-mêmes: aucun dataset existant ne combinait jusqu'ici observations photoréalistes, validation physique rigoureuse des prises et pont explicite entre simulation et monde réel. Pour les équipes de recherche en manipulation robotique, ce type de ressource conditionne directement la qualité des politiques apprises par imitation ou par renforcement, notamment pour les modèles vision-langage-action qui nécessitent de gros volumes de démonstrations fiables. Les négatifs difficiles générés par le test de glissement offrent en particulier un signal d'entraînement plus discriminant que les datasets fondés sur la seule force-closure, souvent trop permissifs. Le projet s'inscrit dans une littérature croissante cherchant à réduire l'écart sim-to-real, un obstacle persistant pour déployer en conditions réelles des politiques entraînées en simulation. La planification de trajectoires intégrée dans Isaac Sim permet en outre de streamer des démonstrations haute résolution pour l'apprentissage de politiques de manipulation sur table et le clonage comportemental, ouvrant la voie à des travaux de suivi sur des tâches de préhension plus complexes.

Diagnostiquer les échecs de transfert sémantique dans la composition de compétences VLA orchestrée par agents

Des chercheurs ont testé un système d'orchestration d'agents pour l'exécution de tâches robotiques longues sur le benchmark BEHAVIOR-1K, qui simule des tâches ménagères nécessitant l'enchaînement de plusieurs compétences comme la navigation, la saisie, la pose d'objets et l'ouverture de portes. Le système s'appuie sur des checkpoints de compétences basés sur le modèle vision-langage-action Pi-0.5, entraînés à partir de démonstrations nettoyées issues de BEHAVIOR-1K. Chaque compétence reçoit des arguments typés et un budget d'étapes, et un modèle vision-langage multi-vues vérifie si l'exécution doit continuer, réessayer ou replanifier. Les auteurs comparent deux conditions de départ : des instantanés "propres" pris à la frontière entre deux compétences, et des états "chaînés" issus réellement de l'exécution de la compétence précédente. Résultat : les compétences testées individuellement atteignent 77 à 100% de réussite depuis des instantanés propres, sous vérification validée par des humains. Mais une fois enchaînées dans des rollouts complets, ces mêmes compétences échouent fréquemment à partir des états chaînés, avec un taux de réussite de bout en bout proche de zéro. Cette étude pointe un problème central pour l'industrie robotique qui cherche à déployer des VLA généralistes : le "handoff sémantique" entre compétences. Un modèle peut valider parfaitement sa propre postcondition tout en laissant le robot, les objets ou la caméra dans un état dont la compétence suivante ne peut pas repartir. Cela contredit l'hypothèse implicite de nombreux pipelines actuels selon laquelle empiler des compétences individuellement performantes suffit à obtenir un comportement fiable sur le long horizon. Pour les intégrateurs et décideurs B2B qui évaluent des démonstrations VLA impressionnantes en isolation, ce travail rappelle que le taux de réussite d'une compétence seule ne prédit pas la robustesse en conditions réelles d'enchaînement, où l'état de départ est "sale" plutôt que propre. Le travail s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches ménagères longues, et s'appuie sur la famille Pi-0.5, une architecture vision-langage-action comparable à des approches comme GR00T N2 ou Helix développées ailleurs dans le secteur. Les auteurs analysent les traces d'exécution et attribuent les échecs à trois causes : le manque de préparation pour la compétence suivante, une mauvaise identification de la cible, et des erreurs de contrôle bas niveau. Plutôt que d'annoncer des résultats de succès, l'article transforme un taux de réussite quasi nul en diagnostic actionnable, plaidant pour que les futures bibliothèques de compétences VLA intègrent explicitement la robustesse aux états chaînés, largement sous-représentés dans les démonstrations propres utilisées à l'entraînement.

Tesollo lance le processus d'introduction en bourse tout en développant des mains humanoïdes

Tesollo Inc., société sud-coréenne basée à Incheon spécialisée dans les mains robotiques et effecteurs terminaux, a lancé les préparatifs de son introduction en bourse prévue pour l'an prochain et a bouclé son tour de série B. Les actionnaires existants POSCO Technology Investment, KB Investment et Enlight Ventures ont suivi lors de ce tour, rejoints par des investisseurs industriels stratégiques, Daesung Hi-Tech et HL Mando. Fondée en 2019, l'entreprise revendique des exportations vers 19 pays et affirme que ses ventes à l'international dépassent désormais ses ventes domestiques. Son PDG, Young-Jin Kim, présente l'IPO comme un moyen de crédibiliser l'entreprise auprès de clients internationaux et de renforcer sa capacité de production de masse. Sur le plan produit, Tesollo a présenté en mars le gripper à trois doigts DG-3 lors du salon AW 2026, complétant une gamme allant du parallèle DG-2F à la main à cinq doigts DG-5F. La version DG-5F-S, dotée d'actionneurs propriétaires, pèse moins d'un kilo et serait proposée à environ 60% du coût de son prédécesseur, tout en visant un niveau de précision comparable. L'entreprise a aussi montré ses mains DG-5F-M et DG-5F-S au Robotics Summit & Expo de Boston et à ICRA Vienne, avec des démonstrations de téléopération, de bin picking, de manipulation fine et d'un modèle vision-langage-action (VLA) dédié aux humanoïdes. Cette annonce s'inscrit dans un moment charnière pour la filière des mains robotiques, considérée comme le principal goulot d'étranglement des humanoïdes. La main humaine reste l'organe le plus complexe à répliquer mécaniquement, et les intégrateurs rapportent des taux de casse élevés sur les doigts et articulations en usage industriel. Le pari de Tesollo, la réparabilité modulaire plutôt que la seule performance brute, cible directement ce problème de fiabilité plutôt que la course à la dextérité pure. Pour les décideurs B2B et intégrateurs, la baisse de coût annoncée sur le DG-5F-S est significative si elle se confirme en conditions réelles, la publicité produit restant à vérifier hors démonstrations sélectionnées. Le contexte sectoriel reste dominé par l'absence de standard fiable: aucun fabricant n'a encore atteint un MTBR certifié de 10 000 heures, seuil considéré comme déterminant pour l'adoption industrielle et commerciale des mains robotiques. Une analyse d'ENGtechnica souligne que la densité de points de défaillance, actionneurs, capteurs, câbles tendineux, explique cette difficulté structurelle commune à tous les acteurs du secteur, dont Tesollo elle-même reconnaît avoir conçu ses produits en anticipant ce problème dès l'origine.

Robbyant lance LingBot-Depth 2.0 et LingBot-Vision pour une perception spatiale robotique avancée

Voici l'article en français, 3 paragraphes, ~220 mots : Robbyant, filiale d'IA incarnée d'Ant Group (maison mère d'Alipay), a dévoilé LingBot-Depth 2.0, un modèle de nouvelle génération dédié à la perception spatiale robotique, accompagné de LingBot-Vision, son modèle visuel fondation. Ces deux briques logicielles visent à doter les robots d'une compréhension fine de l'espace physique qui les entoure, condition préalable à une navigation autonome fiable. LingBot-Depth 2.0 succède à une première version dont Robbyant revendique le succès, sans toutefois détailler publiquement les métriques précises de précision de profondeur, la latence de traitement ou le matériel de référence compatible, éléments qui restent à confirmer par des tests indépendants. Cette annonce s'inscrit dans une course technologique où la perception spatiale constitue l'un des verrous majeurs freinant le déploiement des robots humanoïdes et des AMR en environnement réel : sans estimation de profondeur robuste, la manipulation fine et l'évitement d'obstacles restent fragiles hors laboratoire. En misant sur un modèle de vision fondation couplé à un module de profondeur dédié, Robbyant cherche à se positionner sur le segment logiciel de la pile robotique, plutôt que sur le hardware, un pari que suivent aussi des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2). Robbyant s'appuie sur les ressources cloud et IA d'Ant Group, groupe technologique chinois pesant lourd dans la fintech et l'IA, ce qui lui donne une capacité de calcul et de distribution significative face aux start-ups occidentales du secteur. Les prochaines étapes, notamment une éventuelle ouverture à des partenaires industriels ou une intégration dans des plateformes robotiques tierces, restent à préciser.

SoftVTBench : un benchmark visuo-tactile axé sur la sécurité pour la manipulation robotique d'objets déformables sous contraintes physiques

Des chercheurs viennent de publier SoftVTBench, un benchmark construit sous Isaac Sim pour évaluer la manipulation robotique d'objets déformables non plus seulement sur la réussite de la tâche, mais sur la sécurité physique de l'interaction. Le système simule les objets déformables par éléments finis (FEM) et combine vues RGB multiples, capteurs tactiles RGB avec suivi de marqueurs, proprioception et instructions en langage naturel. Il définit quatre suites de tâches croisant type d'objet (déformable versus rigide) et axe de variation (objet versus position spatiale), et distingue deux métriques : le Goal Success, qui mesure l'atteinte de l'objectif, et le Safety Success, plus strict, qui exige en plus l'absence de chute et un niveau de déformation maximal sous un seuil calibré par objet, mesuré via les états FEM cachés à la politique. Les auteurs testent des politiques basées sur pi0.5, le modèle vision-langage-action (VLA) de Physical Intelligence, dans ce protocole. Les résultats sont un signal d'alarme pour l'évaluation actuelle des politiques de manipulation : une part importante des trajectoires qui atteignent l'objectif violent en réalité les contraintes physiques de sécurité, ce que les benchmarks classiques, uniquement orientés succès, ne détectent pas. L'ajout du retour tactile change la donne : le Safety Success passe de 21,4% à 35,6% sur les tâches déformables centrées objet, avec une réduction mesurable de la déformation pendant l'exécution, sans dégrader le Goal Success. Pour les intégrateurs et chercheurs en robotique manipulant des objets souples (textile, alimentaire, emballage), cela confirme qu'un capteur tactile n'est pas un simple bonus de précision mais un levier direct de sécurité opérationnelle, et que les métriques de succès seules surestiment la fiabilité réelle d'une politique. SoftVTBench s'inscrit dans une littérature où les benchmarks de manipulation restent très majoritairement centrés sur la réussite de tâche, laissant un angle mort sur le comportement physique pendant l'exécution. En s'appuyant sur pi0.5, déjà positionné comme référence VLA face à des modèles comme GR00T N2 ou Helix, les auteurs proposent un protocole reproductible que d'autres équipes pourront réutiliser pour comparer leurs propres politiques visuo-tactiles sous contrainte physique, plutôt que sur le seul critère du taux de réussite.

InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle

Des chercheurs presentent InternVLA-A1.5, un modele unifie de manipulation robotique qui embarque a la fois les capacites semantiques d'un VLM preentraine et une prevision physique du futur, le tout dans une seule politique de controle. L'architecture conserve un backbone VLM natif qui continue de s'entrainer sur des taches de question-reponse visuelle et de prediction de sous-taches, auquel est attache un expert leger dedie a la generation continue d'actions. L'innovation cle porte sur la prevision du futur, reformulee comme un probleme de "latent-querying": un petit ensemble de jetons de prevision apprenables condense les elements du futur pertinents pour la tache en un code latent compact, sous la supervision d'un modele de generation video preentraine et gele, sans jamais apprendre de generation au niveau du pixel. La branche video est abandonnee au moment de l'inference, ce qui preserve le controle en temps reel. Preentraine sur 1,2 million d'episodes robotiques et 3 millions d'echantillons multimodaux, InternVLA-A1.5 obtient les meilleurs resultats globaux sur six benchmarks de simulation, et affiche en conditions reelles la generalisation compositionnelle la plus solide sur des combinaisons d'instructions inedites. Ce travail s'attaque a un probleme recurrent des modeles VLA unifies: entrainer conjointement comprehension semantique et prediction d'action tend a degrader les priors du VLM d'origine, cree des interferences entre objectifs heterogenes, et oblige souvent a reapprendre la prevision visuelle depuis zero en espace pixel, sans exploiter les modeles de generation video deja entraines. En evitant cette derniere etape couteuse tout en gardant un controle temps reel, l'approche laisse entrevoir, pour les integrateurs et les equipes de recherche en robotique, une voie pour combiner raisonnement de haut niveau et dynamique physique sans sacrifier la vitesse d'execution ni la robustesse face a des consignes formulees differemment de celles vues a l'entrainement, un point sensible pour tout deploiement commercial au-dela de la demo. Le papier s'inscrit dans la vague des modeles vision-langage-action generalistes portee ces deux dernieres annees par des acteurs comme Physical Intelligence avec pi-0, Nvidia avec GR00T N2, ou Figure AI avec Helix, tous confrontes au meme arbitrage entre semantique preservee et dynamique apprise. InternVLA-A1.5 reste pour l'instant une contribution de recherche publiee sur arXiv, evaluee sur benchmarks de simulation et experiences reelles limitees, et non un produit deploye a grande echelle; la suite logique serait une validation sur des plateformes robotiques tierces et des taches manufacturieres plus complexes pour confirmer que les gains de generalisation tiennent hors laboratoire.

74 yuans pour 3 heures : des robots à IA incarnée entrent dans les foyers chinois pour les tâches ménagères

En Chine, les robots à intelligence artificielle incarnée sortent des usines pour entrer dans les foyers, sous forme de location à l'heure pour des tâches ménagères. Plusieurs plateformes à la demande proposent désormais des robots humanoïdes ou à roues capables de nettoyer les sols, essuyer les surfaces, récupérer des objets ou effectuer de petites tâches de rangement, pour un tarif de départ de 74 yuans les trois heures, soit environ 25 yuans de l'heure (un peu plus de 3 euros). Ces machines s'appuient sur des modèles vision-langage-action pour naviguer de façon autonome dans un environnement domestique, éviter les obstacles, reconnaître des objets et répondre à des commandes vocales simples. C'est l'un des premiers déploiements commerciaux réels de l'IA incarnée en dehors du cadre industriel, après des investissements en R&D chiffrés en milliards de yuans. Ce tarif rend la main-d'œuvre robotique moins chère que le personnel de ménage humain dans les grandes villes chinoises, mais l'écart de capacités reste net : les retours d'utilisateurs montrent que ces robots gèrent correctement les tâches de nettoyage simples, tout en peinant face aux objets de forme irrégulière, aux instructions à plusieurs étapes et aux espaces exigus typiques des appartements chinois. Le compromis est assumé, fonctionnalités limitées contre accessibilité tarifaire, et il interroge la trajectoire des investissements massifs consacrés à l'IA incarnée en Chine. Des entreprises comme Unitree, AgiBot, Star Dynasty ou X Square Robot ont levé des fonds considérables pour des robots humanoïdes généralistes, alors que le premier vrai marché de masse concerne des robots de service bien plus spécialisés et modestes. Les défenseurs de l'approche avancent toutefois que ce déploiement réel, même limité, génère des données précieuses pour entraîner les modèles de nouvelle génération, des données que la simulation en laboratoire ne peut reproduire : agencements imprévus, objets variés, comportements d'utilisateurs divers. Cette stratégie rappelle celle des entreprises chinoises de conduite autonome, qui ont déployé des fonctions de conduite partiellement automatisée des années avant d'atteindre une autonomie complète, misant sur l'accumulation de données réelles plutôt que sur l'attente d'une technologie parfaite. Les analystes du secteur anticipent une expansion rapide du marché de la location de robots domestiques à mesure que les coûts baissent et que les capacités progressent, plusieurs acteurs chinois développant déjà des modèles de nouvelle génération optimisés pour l'environnement du foyer, avec une meilleure dextérité pour manipuler de petits objets et une compréhension plus fine des instructions complexes. Reste une question ouverte : ce modèle de facturation à la tâche, encore marginal, pourra-t-il générer des revenus suffisants pour justifier l'ampleur des investissements déjà engagés dans l'infrastructure de l'IA incarnée.

Rapport technique RhinoVLA

HuixiAI a publié un rapport technique sur RhinoVLA, un modèle vision-langage-action (VLA) conçu spécifiquement pour tourner en temps réel sur du matériel embarqué, en co-conception avec le SoC edge Huixi R1. Le modèle s'appuie sur un backbone Qwen3-VL optimisé pour limiter le nombre de tokens visuels et contextuels traités, identifiés par les auteurs comme le principal goulot d'étranglement en latence des VLA sur puce embarquée : dans les opérateurs de projection dominés par le calcul matriciel (GEMM), le coût croît linéairement avec le nombre de tokens en entrée. RhinoVLA associe ce backbone allégé à un Action Expert à sortie continue, ainsi qu'à une interface unifiée combinant un registre de vues (View Registry), un espace d'état-action physique à 72 dimensions et des adaptateurs LoRA propres à chaque instance de robot, pour aligner des observations et schémas d'action hétérogènes sous une politique commune. Résultat annoncé : des performances comparables à π0.5 à taille de paramètres équivalente, avec une inférence de bout en bout à 11,69 Hz sur le Huixi R1, au-dessus du seuil de 10 Hz jugé nécessaire pour un contrôle en boucle fermée temps réel. L'enjeu dépasse la simple performance brute : la plupart des VLA démontrés en laboratoire (π0, GR00T N2, Helix) tournent sur GPU serveur ou desktop, loin des contraintes de puissance et de latence d'un robot mobile ou d'un bras industriel autonome. En optimisant simultanément l'architecture du modèle et la compilation matérielle (précision mixte, encodage visuel parallélisé), RhinoVLA s'attaque directement au fossé entre démonstration et déploiement réel, un point sensible pour les intégrateurs qui évaluent la viabilité commerciale des VLA en usine ou en logistique plutôt qu'en simple preuve de concept. Le projet doit être publié en open source sur GitHub (HuixiAI/RhinoVLA), une démarche qui s'inscrit dans la compétition croissante autour des architectures VLA généralistes multi-robots, aux côtés des travaux de Physical Intelligence (π0, π0.5) et NVIDIA (GR00T). Le document constitue une version révisée (v2) d'un rapport déjà déposé sur arXiv, sans calendrier de déploiement industriel précisé à ce stade.

Apprentissage du pliage : solution primée au LeHome Challenge 2026 (1re en ligne, 2e hors ligne)

À l'occasion du LeHome Challenge 2026, compétition organisée dans le cadre de la conférence ICRA 2026 et dédiée au pliage bimanuel de vêtements, une solution individuelle a terminé première sur 62 équipes lors de la phase en ligne (simulation) et deuxième lors de la finale en conditions réelles. L'approche repose sur une politique vision-langage-action (VLA) améliorée par une boucle d'apprentissage par renforcement. L'originalité principale : le même réseau de neurones sert à la fois de politique d'action et de fonction de valeur, prédisant simultanément les actions à effectuer, la probabilité de succès, la progression de la tâche et quelques quantités futures pertinentes. Ces prédictions alimentent directement l'estimation de l'avantage (advantage estimation), la détection de défaillances en temps réel et la sélection de candidats lors de l'inférence. La manipulation de textiles déformables reste l'un des problèmes les plus difficiles de la robotique de manipulation, et ce résultat illustre qu'une politique VLA peut être affinée efficacement par renforcement pour des tâches structurées complexes. L'architecture unifiée, dans laquelle une seule tête prédit à la fois l'action et la valeur, réduit le coût d'inférence tout en fournissant un signal intrinsèque pour la détection de pannes, sans nécessiter de module de supervision séparé. L'écart entre la première place en simulation et la deuxième place réelle confirme que le sim-to-real demeure un défi opérationnel non résolu, même avec un pipeline d'alignement caméra dédié et de l'augmentation de données intensive. Le pipeline technique combine plusieurs briques existantes : AWR (Advantage Weighted Regression) et RECAP assemblés pour un VLA à flow-matching, un entraînement distribué asynchrone via HuggingFace Hub, une optimisation des hyperparamètres à l'inférence par Thompson sampling, et une collecte de données humain-dans-la-boucle (HIL) de type DAgger pour le transfert sim-to-real. Le travail se positionne explicitement comme une recette d'ingénierie réutilisable plutôt que comme une avancée algorithmique fondamentale, une distinction rare et honnête dans les publications de compétition. Dans un secteur où les systèmes VLA comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) s'imposent pour la manipulation dextre, cette contribution apporte un exemple concret de fine-tuning par renforcement sur des objets déformables, une classe de problèmes encore peu couverte par les benchmarks standards de manipulation.

LA4VLA : apprendre à agir sans vision par pré-entraînement langage-action

Des chercheurs ont publié sur arXiv (2606.27295, juin 2026) un cadre de pré-entraînement baptisé LA4VLA qui s'attaque à un défaut structurel des modèles Vision-Langage-Action (VLA) : en supervision conjointe visuelle et textuelle, le signal visuel écrase le signal langage, poussant les politiques de contrôle à exploiter des raccourcis visuels spécifiques à une scène plutôt qu'à exécuter des instructions généralisables. LA4VLA introduit une phase de pré-entraînement sans images : les trajectoires de démonstration existantes sont découpées en segments atomiques, chacun associé à une description textuelle bas-niveau, produisant LA4-33K, un dataset de 33 000 épisodes Langage-Action construits entièrement à partir de données existantes sans collecte robotique supplémentaire. Le modèle LA4VLA-1B (1 milliard de paramètres) est évalué selon trois paradigmes : pré-entraînement LA seul, séquentiel LA puis VLA, et mixte LA+VLA. Le pré-entraînement mixte améliore le taux de succès moyen de 17,8 points de pourcentage en simulation et de 45 points sur tâches réelles par rapport à l'absence de pré-entraînement. Ces résultats ont une portée directe pour les développeurs de politiques robotiques polyvalentes. Le problème des raccourcis visuels est bien documenté dans la littérature : les robots apprennent à reconnaître un arrangement de scène particulier plutôt qu'à interpréter une instruction générique, ce qui fragilise les politiques dès que l'environnement varie légèrement. Le gain de 45 points sur les tâches réelles, contre 17,8 en simulation, est particulièrement notable : il suggère que l'approche atténue précisément le sim-to-real gap, principal obstacle aux déploiements industriels. Pour les intégrateurs, la méthode permet de valoriser des datasets de démonstrations existants sans mobiliser de ressources robotiques supplémentaires, réduisant substantiellement le coût d'entrée vers des politiques plus robustes. Les modèles VLA ont connu une forte accélération depuis 2023, portée par des travaux comme RT-2 (Google DeepMind), OpenVLA ou π0 de Physical Intelligence, qui s'appuient tous sur un pré-entraînement visuel massif suivi d'un fine-tuning robotique. LA4VLA propose une direction complémentaire et orthogonale : renforcer le conditionnement langage indépendamment du flux visuel, en exploitant la structure sémantique des trajectoires plutôt que leur apparence. L'abstract ne mentionne ni affiliations institutionnelles précises ni partenaires industriels ; il s'agit d'une contribution académique validée en laboratoire, sans pilote commercial annoncé. La suite logique serait une évaluation sur des benchmarks standardisés comme LIBERO ou CALVIN, ainsi qu'une intégration dans des pipelines humanoïdes à manipulation complexe où la généralisation au langage est particulièrement critique.

Une entreprise américaine dévoile R-Noid, un robot humanoïde pour les usines, hôtels et entrepôts

Robot.com, société américaine, a annoncé le lancement commercial de R-Noid, un robot humanoïde destiné aux environnements industriels, logistiques, hospitaliers et de restauration. Proposé selon un modèle Robot-as-a-Service (RaaS), le système serait déployable en huit à douze semaines, de l'évaluation initiale du site jusqu'à l'opération autonome. R-Noid mesure 1,7 mètre, pèse 90 kilogrammes, et embarque deux bras à 7 degrés de liberté (7-DOF) capables de manipuler des charges allant jusqu'à 4 kilogrammes chacun, complétés par un torse articulé à 4-DOF offrant une portée verticale de 0 à 1,9 mètre. Sa base mobile holonome permet des déplacements omnidirectionnels sans modification des infrastructures existantes. Au lancement, le robot couvre 19 tâches réparties en cinq catégories : Restaurant Assistant, Packer, Picker, Folder et Host, comprenant notamment le montage de cartons, le picking en entrepôt, le transfert de pièces plastiques sur lignes de production, le support en cuisine et le pliage de linge. L'autonomie annoncée est d'environ trois heures sur batterie, avec la possibilité de fonctionner en continu branché au secteur, et une architecture d'effecteurs terminaux modulaire permet de changer d'outil selon la tâche. Ce qui distingue techniquement R-Noid, c'est l'empilement logiciel retenu. La manipulation est pilotée par pi-0.7, le modèle vision-langage-action (VLA) développé par Physical Intelligence, dont les travaux sur les politiques généralisées font référence dans la communauté robotique. La navigation et l'autonomie terrain reposent sur les Foundation Field Models (FFM) de FieldAI, conçus pour opérer sans cartographie préalable dans des environnements dynamiques. L'inférence embarquée est assurée par des modules NVIDIA Jetson, et la validation pré-déploiement passe par NVIDIA Isaac Sim. Ce choix d'assembler trois couches tierces spécialisées plutôt que de développer une stack propriétaire reflète une tendance croissante chez les intégrateurs humanoïdes. Reste que le RaaS humanoïde n'a pas encore fait ses preuves à l'échelle industrielle : l'annonce ne mentionne ni clients nommés ni volumes déployés, ce qui la place davantage du côté du lancement commercial que du déploiement réel en production. Robot.com s'inscrit dans une vague d'acteurs cherchant à industrialiser l'humanoïde en contournant la difficulté du hardware par un modèle de service. Ses concurrents directs incluent Figure AI avec le Figure 03 déployé chez BMW, Agility Robotics présent chez Amazon, 1X Technologies et Apptronik, tous positionnés sur les marchés industriels et logistiques. Du côté européen, Wandercraft développe Atalante X pour la rééducation médicale, et la française Enchanted Tools positionne Miroka sur l'hospitalité, segment également ciblé par la catégorie Host de R-Noid. Aucune tarification n'est communiquée. Les prochaines étapes seront déterminantes : Robot.com devra démontrer que ses délais de déploiement de huit à douze semaines tiennent en conditions réelles, et que pi-0.7 maintient ses performances hors des environnements contrôlés où les VLA ont jusqu'ici surtout été validés.

Bear Robotics acquiert Kinisi Robotics pour renforcer ses capacités d'IA physique

Bear Robotics a annoncé la signature d'un accord définitif pour acquérir Kinisi Robotics, une startup basée à Bristol, au Royaume-Uni. La clôture est attendue dans les prochains jours. L'opération transfère à Bear l'équipe d'ingénierie britannique de Kinisi, son robot humanoïde à roues KR1, ainsi que ses modèles d'IA propriétaires : un modèle vision-langage-action (VLA) et un modèle fondation pour la robotique (RFM). Ces systèmes combinent apprentissage par imitation, renforcement, contrôle agentique de tâches et vision par ordinateur pour la détection, la localisation et la segmentation d'objets. Le KR1 est un humanoïde sur base roulante, conçu pour la préhension, le tri et le déplacement d'objets dans des environnements industriels, logistiques et hôteliers. Fondée en 2017 par John Ha, Bear a déployé plus de 16 000 robots de service dans le monde, opérant déjà comme une flotte coordonnée via une orchestration multi-robots agentique sur une plateforme cloud unifiée. L'acquisition répond à un verrou technique persistant dans la robotique de service : les robots mobiles autonomes (AMR) naviguent efficacement, mais peinent dès qu'il s'agit de saisir, trier ou manipuler des objets physiques. En intégrant Kinisi, Bear franchit cette frontière entre navigation pure et manipulation physique, que la majorité des acteurs du secteur tentent encore de résoudre séparément. Ce qui donne du crédit à l'opération plutôt que d'en faire une annonce spéculative, c'est que Kinisi utilisait déjà le stack de navigation de production de Bear depuis ses débuts : les équipes se connaissent, le code tourne en conditions réelles, et Bear dispose d'une visibilité concrète sur la maturité de l'ingénierie de Kinisi. La synergie sur les données d'entraînement est également tangible : la flotte de 16 000 robots génère en continu des données issues de milliers de sites, tandis que les outils de capture de Kinisi permettent d'ajouter des exemples de manipulation à faible coût. C'est un avantage que des pure-players de l'humanoïde comme Figure AI (Figure 03), Physical Intelligence (pi-0), Agility Robotics (Digit) ou encore Boston Dynamics (Atlas) n'ont pas encore à cette échelle de déploiement commercial réel. Bear Robotics s'est fait connaître à partir de 2017 avec ses robots de livraison pour la restauration (Servi, Laboni), avant de s'étendre au nettoyage industriel, en construisant une chaîne de fabrication et une base de clients enterprise. Kinisi a été co-fondée par Brennand Pierce, lui-même co-fondateur originel de Bear, ce qui explique la proximité technique et culturelle des deux entités : Pierce rejoindra Bear à la clôture de la transaction. Aucun calendrier public de déploiement commercial du KR1 n'est encore annoncé, ni de prix ni de volume cible. La prochaine étape logique est l'intégration du KR1 dans la flotte existante pour des tâches de picking en environnement hospitality ou logistique, les données d'entraînement étant alimentées directement par la flotte en production. Côté Europe, aucun acteur comparable en termes de flotte déployée n'est positionné sur ce segment : Wandercraft (exosquelette médical) et Enchanted Tools (Miroka, hospitality) opèrent sur des verticales plus étroites.

EquiVLA : un cadre général pour les modèles VLA équivariants par rotation

Des chercheurs ont publié EquiVLA (arXiv:2606.19784), le premier cadre général pour rendre les modèles Vision-Langage-Action (VLA) équivariants par rotation SO(2) de bout en bout. Le système introduit deux composants modulaires : EquiPerceptor, qui extrait des représentations visuelles approximativement SO(2)-équivariantes à partir de features ViT gelées, et EquiActor, une tête d'action exactement SO(2)-équivariante basée sur un Diffusion Transformer à flow-matching. Instancié sur GR00T N1.5 (le modèle de manipulation généraliste de NVIDIA), EquiVLA atteint 92,6 % de succès moyen sur les quatre suites de benchmarks LIBERO contre 78,1 % pour la baseline, une longueur de séquence de 4,03 sur CALVIN ABCD→D contre 3,45, et améliore le taux de succès sur cinq tâches réelles avec le robot Mobile ALOHA de 54 % à 72 %. Le problème central qu'adresse EquiVLA est structurel : les VLA actuels manquent de biais inductifs géométriques, ce qui signifie qu'une politique entraînée dans une orientation donnée nécessite substantiellement plus de données pour généraliser à d'autres configurations rotationnelles. En imposant l'équivariance SO(2) de la caméra jusqu'aux séquences d'actions prédites, le framework réduit la dépendance aux données d'orientation. Pour un intégrateur ou un COO industriel, l'implication concrète est une meilleure robustesse opérationnelle sans retraining coûteux lorsqu'un poste de travail est réorganisé. Le gain de 18 points absolus sur LIBERO et le passage de 54 % à 72 % sur robot réel sont significatifs, même si ces résultats restent obtenus en conditions de laboratoire contrôlé et ne constituent pas encore un déploiement industriel. Les VLA sont devenus le paradigme dominant de la manipulation généraliste depuis RT-2 et PaLM-E, avec des modèles concurrents comme Pi-0 (Physical Intelligence), OpenVLA et GR00T N1.5 de NVIDIA, publié début 2025 comme modèle de référence pour la manipulation humanoïde. L'approche modulaire d'EquiVLA - les backbones vision-langage gelés restent intacts - facilite l'adoption sur des architectures existantes sans repartir de zéro. Ce papier est une contribution académique sans partenariat commercial annoncé ; les suites naturelles seraient d'étendre l'équivariance à SO(3) pour les manipulateurs à 6 DOF, et de valider la robustesse à grande échelle dans des environnements industriels moins structurés.

💬 Le vrai sujet ici, c'est pas le benchmark : c'est que si tu déplaces ton poste de travail de 90°, tu n'as plus à réentraîner ton robot. C'est précisément le genre de friction silencieuse qui rendait les déploiements industriels galères, et là ils y répondent de façon architecturale, sans toucher aux backbones existants. 72% sur robot réel c'est encore du labo, mais la direction est la bonne.

Une société américaine dévoile des humanoïdes et robots avec un nouvel écosystème pour l'intelligence incarnée

Faraday Future (FF), entreprise californienne principalement connue comme constructeur de véhicules électriques en difficulté, a présenté le 18 juin 2026 à son nouveau siège d'El Segundo (Californie) une gamme robotique baptisée "EAI Robot World", articulée autour de six séries de produits. La pièce maîtresse est le robot humanoïde Futurist, redessiné : 54 kg (14 % plus léger que son prédécesseur), 31 degrés de liberté (DOF), un couple au niveau du genou de 320 Nm et une vitesse de pointe annoncée à 17,7 km/h, alimenté par un double pack batterie promettant 6 heures d'autonomie. L'architecture logicielle repose sur un modèle Vision-Language-Action (VLA) couplé à un "World Model" pour la perception et la prise de décision autonome. Aucun tarif ni client n'ont été dévoilés pour le Futurist : FF a renvoyé au salon Automate 2026 à Chicago, le 22 juin. En revanche, le quadrupède FX Navi, 8 kg, 12 articulations motorisées, utilisant un smartphone (iOS ou Android) glissé dans un module tête comme unité de calcul, est disponible immédiatement à 1 990 dollars, ciblant la salle de classe et l'usage domestique. Deux formats supplémentaires ont été esquissés : Master Mini (~1 m, compétitions de robotique éducative) et Nova (~50 cm, robot compagnon enfant), sans date ni prix communiqués. La stratégie "one brain, multiple forms" de FF, qui consiste à partager une même couche d'intelligence VLA+World Model sur plusieurs facteurs de forme, est cohérente avec ce que font NVIDIA (GR00T N2) ou Physical Intelligence (pi-0) côté logiciel, et mérite d'être distinguée des approches produit unique. Toutefois, la prudence s'impose : les performances du Futurist (320 Nm, 17,7 km/h) sont comparables aux annonces récentes d'Unitree ou Figure AI, mais sans démonstration publique indépendante ni données de cycle réel, elles restent des chiffres de fiche technique. L'usage d'un smartphone comme cerveau du FX Navi réduit les coûts mais impose des contraintes de puissance de calcul qui limiteront les cas d'usage autonomes avancés. À ce stade, le Futurist est une annonce de produit, pas un déploiement ; le FX Navi, lui, est un produit livrable. Faraday Future porte un passif lourd : introduction en bourse via SPAC en 2021, multiples alertes de continuité d'exploitation, enquête de la SEC, et départ de son fondateur Jia Yueting dans le chaos. Ce pivot vers la robotique s'inscrit dans un mouvement plus large d'entreprises tech/EV cherchant un second souffle dans l'IA incarnée. Sur le segment humanoïde commercial, FF affronte Figure AI (Figure 03, déployé chez BMW), Tesla (Optimus Gen 3, production interne), Agility Robotics (Digit, partenariat Amazon), et en Europe Wandercraft ou Enchanted Tools, acteurs qui cumulent davantage de déploiements terrain. La prochaine échéance concrète est Automate 2026 le 22 juin, où FF devra fournir prix, volumes et clients réels pour le Futurist, faute de quoi l'annonce restera dans la catégorie teaser.

Quantification de l'incertitude pour les modèles VLA à base de flux

Des chercheurs de la TU Munich ont publié sur arXiv (2606.18043) une méthode pour quantifier l'incertitude des modèles vision-langage-action (VLA) basés sur le flow matching, une classe de modèles qui combine un backbone vision-langage avec une tête génératrice d'actions entraînée sur de larges corpus de données robotiques. Leur approche, baptisée Velocity-Field Disagreement (VFD), exploite le désaccord entre les champs de vitesse d'un petit ensemble de modèles pour estimer l'incertitude épistémique, c'est-à-dire l'incertitude liée au manque de données d'entraînement plutôt qu'au bruit intrinsèque du signal. S'appuyant sur ces estimations, ils proposent SAVE, un cadre d'apprentissage actif multitâche guidé par l'incertitude, validé sur le benchmark LIBERO. Résultat clé : SAVE nécessite au moins 22 % de démonstrations expertes en moins que les baselines pour adapter un VLA à de nouvelles tâches. Ce résultat adresse un problème concret qui freine le déploiement industriel des VLAs : sans mécanisme de confiance, un robot ne sait pas quand il risque d'échouer, ce qui est rédhibitoire dans des environnements non-stationnaires comme une ligne de production évolutive. La détection de défaillance en temps réel qu'offre VFD permettrait d'intégrer un circuit de supervision humain ciblé plutôt que systématique, réduisant directement le coût opérationnel. La réduction de 22 % des démonstrations nécessaires à l'adaptation représente aussi un argument économique fort : collecter des données téléopérées reste la goulot d'étranglement principal du passage à l'échelle des VLAs en production. Les VLAs ont émergé comme paradigme dominant en manipulation robotique depuis les travaux de Physical Intelligence (pi-0, basé sur flow matching), Google DeepMind (RT-2, OpenVLA) et Hugging Face (LeRobot). La limitation identifiée ici -- l'absence de calibration des prédictions -- est connue du secteur mais rarement traitée directement. Le groupe LSY de la TU Munich, spécialisé en apprentissage pour systèmes autonomes, positionne ce travail comme une brique de fiabilité applicable à tout VLA flow-based existant, sans réentraînement complet. Le projet dispose d'un site dédié (tum-lsy.github.io/uq_vla/) et la prochaine étape logique serait une validation sur hardware réel, les expériences actuelles restant confinées au benchmark simulé LIBERO.

La démonstration parfaite est un mauvais professeur : alignement robuste par segments de mouvement critiques

Une étude publiée sur arXiv le 16 juin 2026 (réf. 2606.15587) remet en cause un postulat fondamental de l'apprentissage par imitation en robotique : les démonstrations expertes fluides ne sont pas nécessairement les meilleures données d'entraînement. Pour des tâches de manipulation fine (insertion, empilement, alignement), les chercheurs montrent qu'un opérateur habile compresse précisément les instants décisifs de correction dans une fenêtre temporelle très courte, noyant la politique apprise sous des mouvements de transit redondants et lui fournissant trop peu de supervision aux moments où la précision est déterminante. Expérimentalement, une politique entraînée sur des démonstrations fluides standard plafonne à 50,0 % de taux de succès sur ces tâches. Ce résultat a des implications directes pour les équipes qui constituent des datasets pour entraîner des modèles vision-langage-action (VLA) comme Pi-0 ou GR00T N2. Deux axes de correction sont testés. Au niveau des données, ralentir la capture autour des moments d'alignement et rééchantillonner les segments critiques améliore les performances, mais l'essentiel du gain vient de l'élargissement de la couverture des états de récupération, pas d'un simple rééquilibrage des frames existantes. Au niveau de la représentation, les auteurs introduisent STAIR (Spatio-Temporal feature As an Interface for Robot learning), un module compact qui s'intercale entre le backbone vision-langage et le réseau d'action, en distillant les dynamiques de mouvement à court horizon déjà enregistrées dans chaque trajectoire. Entraîné uniquement sur des données fluides, STAIR atteint 62,2 % de succès, contre 64,4 % pour les démonstrations délibérément ralenties. Ces travaux s'inscrivent dans une vague de recherche qui remet en question la stratégie de collecte de données pour l'imitation learning, notamment dans le sillage des politiques de diffusion (Diffusion Policy, ACT) et des architectures VLA à grande échelle. L'idée que "plus de données expertes = meilleure politique" est directement challengée : la learnability machine peut diverger de l'efficacité humaine. La prochaine étape logique est de valider STAIR sur des tâches de contact plus complexes (vis, connecteurs électroniques) et sur des robots physiques déployés en dehors de l'environnement de laboratoire, ce que le papier ne montre pas encore. À surveiller lors des soumissions de conférences de fin 2026 (CoRL, ICRA).

OmniVTLA : modèles vision-tactile-langage-action avec perception tactile à alignement sémantique

Une équipe de chercheurs publie sur arXiv (référence 2508.08706, troisième révision) OmniVTLA, une architecture VLA (vision-langage-action) augmentée de perception tactile. Le modèle repose sur un encodeur tactile dual-path : un ViT préentraîné classique traite les capteurs tactiles basés sur la vision, tandis qu'un SA-ViT (semantically-aligned Vision Transformer) prend en charge les capteurs basés sur la force. Les auteurs publient parallèlement ObjTac, un dataset tri-modal de 135 000 échantillons couvrant 56 objets en 10 catégories, associant données textuelles, visuelles et tactiles. En environnement de laboratoire sur des tâches pick-and-place, OmniVTLA atteint 96,9 % de taux de réussite avec des pinces robotiques, soit +21,9 points sur la baseline VLA de référence, et 100 % avec des mains dextres (+6,2 points), tout en réduisant le temps d'exécution et en générant des trajectoires plus lisses. Ce résultat pointe une lacune structurelle des VLA de génération actuelle : pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI) reposent sur des fondations visuelles et langagières, mais restent aveugles au toucher, ce qui les met en échec sur toute tâche impliquant une manipulation fine, une surface glissante ou un objet déformable. OmniVTLA démontre qu'un encodeur tactile sémantiquement aligné peut compenser l'hétérogénéité des capteurs physiques, frein historique à l'intégration du toucher dans les architectures fondatrices. La mise à disposition publique d'ObjTac répond également à une pénurie documentée de données tactiles labellisées, qui limitait jusqu'ici la recherche dans ce domaine. Depuis pi-0 en octobre 2024 et GR00T N2 présenté en mars 2025, les architectures VLA multimodales s'imposent comme la direction principale pour généraliser la manipulation robotique, mais la perception tactile y reste systématiquement absente, faute de données standardisées et d'harmonisation entre capteurs optiques (GelSight, DIGIT) et piézo-résistifs. OmniVTLA tente de combler ce vide via SA-ViT, entraîné sur ObjTac pour apprendre une représentation tactile unifiée transférable. Il s'agit toutefois d'un preprint arXiv en environnement contrôlé : les performances hors-labo, la robustesse à la variabilité des objets réels et la généralisation à des tâches d'assemblage complexe n'ont pas encore été démontrées. ObjTac est disponible en open access, ce qui ouvre la voie à une réplication indépendante et à de futurs benchmarks communautaires sur la perception tactile.

FTP-1 : une politique fondation généraliste pour la manipulation en contact, compatible tous capteurs tactiles

Des chercheurs ont publié sur arXiv (arXiv:2606.13102) FTP-1, une politique tactile fondatrice généraliste préentraînée sur environ 3 000 heures de données de manipulation tactile agrégées depuis 26 sources distinctes, couvrant des démonstrations humaines et robotiques sur 21 capteurs différents. L'architecture repose sur des encodeurs hétérogènes qui projettent des signaux tactiles de natures variées -- images, tableaux de valeurs, états discrets -- en tokens latents unifiés et conscients de la morphologie, traités ensuite par un Transformer tactile partagé. Lors des expériences de fine-tuning sur 5 configurations matérielles distinctes, FTP-1 améliore les performances en manipulation riche en contacts de +17,2 % sur les capteurs vus à l'entraînement, et atteint un gain de +31 % sur deux configurations de capteurs jamais rencontrées lors du préentraînement. Ces chiffres sont issus d'un preprint académique et n'ont pas encore été soumis à évaluation par les pairs. Le résultat clé ici n'est pas la performance absolue mais la généralisation hors distribution. Depuis plusieurs années, les politiques tactiles restent prisonnières de leur hardware : un modèle entraîné sur un capteur GelSight ne transfère pas sur un capteur BioTac ou un réseau de pression matriciel. FTP-1 casse cette contrainte en proposant un point de départ partagé au niveau modèle, analogue à ce que les grands modèles de vision-langage-action (VLA) comme Pi-0 ou OpenVLA ont fait pour la manipulation visuelle. Pour un intégrateur industriel ou un laboratoire robotique, cela signifie potentiellement réduire le coût de collecte de données par capteur cible, en capitalisant sur un préentraînement généraliste plutôt que de repartir de zéro à chaque changement de gripper ou de skin tactile. Le chantier des politiques tactiles généralisables reste neuf. Les approches précédentes, comme celles développées autour des capteurs DIGIT (Meta) ou des grippers instrumentés de Stanford et MIT, sont restées cantonnées à des benchmarks monosenseurs. FTP-1 s'inscrit dans la tendance plus large des foundation models appliqués à la robotique physique, portée notamment par Physical Intelligence (Pi-0), Google DeepMind (RoboVLMs) et Figure AI. Aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade ; les poids préentraînés, les données et le code d'entraînement sont mis à disposition publiquement sur le site du projet, ce qui pourrait accélérer l'adoption par la communauté académique et les startups robotiques cherchant une base tactile mutualisée.

💬 Le +31% sur les capteurs jamais vus pendant l'entraînement, c'est ça le vrai chiffre à retenir. Depuis des années, chaque politique tactile restait coincée sur son hardware, impossible de capitaliser d'un gripper à l'autre sans tout recommencer de zéro. Là on a enfin une base commune open-source pour le toucher, et ça c'est du concret.

La robotique ne connaîtra pas de moment Llama bien défini

Depuis le début de l'année 2025, les modèles robotiques ouverts se multiplient. Google DeepMind a publié les résultats d'Open X-Embodiment, projet qui a mutualisé des données de manipulation sur des dizaines d'institutions et de morphologies différentes : les expériences RT-X montrent qu'entraîner un modèle sur plusieurs types de robots améliore le transfert, plutôt que de forcer chaque système à apprendre uniquement sur ses propres données. DeepMind a ensuite scindé sa pile en deux sorties distinctes : Gemini Robotics 1.5, un VLA (vision-langage-action) qui convertit entrées visuelles et instructions en commandes moteur, et Gemini Robotics-ER 1.6, positionné plus haut dans la pile, dédié au raisonnement spatial, à la planification et aux appels d'outils. NVIDIA a poussé dans la même direction avec ses releases GR00T et ses modèles Isaac, disponibles notamment via LeRobot sur Hugging Face. OpenVLA, modèle open source à 7 milliards de paramètres entraîné sur 970 000 épisodes de manipulation issus d'Open X-Embodiment, illustre le niveau de maturité désormais accessible. Côté capital, Crunchbase recense près de 14 milliards de dollars investis dans la robotique en 2025 : Skild AI a levé 1,4 milliard pour un modèle multi-morphologie, Physical Intelligence négocie un tour d'un milliard à une valorisation supérieure à 11 milliards, Advanced Machine Intelligence de Yann LeCun a clôturé à 1,03 milliard, et Wayve a bouclé une série D à 1,2 milliard pour la conduite autonome. La comparaison avec Llama, le modèle open source de Meta qui a permis à d'innombrables équipes de déployer un LLM capable sans payer la facture d'entraînement, est séduisante mais trompeuse. Une politique robotique ne transfère pas comme un fichier de poids logiciel : elle nécessite une pile de contrôle locale qui convertit les sorties du modèle en mouvements réels, dans l'enveloppe de sécurité de la cellule, via le contrôleur installé. Le dépôt openpi de Physical Intelligence illustre ce delta concretement : une équipe qui dispose du modèle doit encore faire tourner l'inférence (8 Go de VRAM minimum), affiner sur ses propres données robotiques via LoRA (22,5 Go) ou en full fine-tuning (70 Go), puis valider le résultat sur la machine cible. L'accès aux modèles élargit ce que les robots peuvent tenter ; l'avantage concurrentiel reste dans la capacité à transformer ce comportement en travail fiable en production, avec des journaux de pannes exploitables par un technicien des mois après la mise en service. Le problème structurel qui sépare la robotique du logiciel pur est ce que les praticiens nomment le "site drift" : la dérive entre le robot qui passe la recette d'usine et le robot qui opère dans le process réel du client. La géométrie caméra et la compliance de l'end-effector évoluent après livraison, les références de fixation bougent avec le process client, et la contamination s'accumule sur plusieurs semaines de production jusqu'à rendre les comportements de récupération peu fiables. La randomisation de domaine en simulation couvre de nombreuses variations, mais pas la dérive propre à chaque site. Un quadrupède en banc d'essai peut exécuter un virage à droite proprement et rater son symétrique gauche : les jambes ont atterri dans des régions servo différentes et chargé le corps différemment, si bien que la même commande produit deux résultats distincts. Le code était symétrique ; la mécanique de contact, non. C'est précisément là que s'arrête l'analogie avec Llama : distribuer le modèle était la partie accessible, transformer ce modèle en travail supporté sur des systèmes en clientèle reste la frontière que les 14 milliards de venture capital engagés en 2025 n'ont pas encore résolue.

CLASP : sélection et composition de compétences robotiques pilotées par le langage avec apprentissage paramétré par la tâche

Des chercheurs ont publié sur arXiv (2606.08169) CLASP, une architecture modulaire permettant à un bras manipulateur à 7 degrés de liberté d'exécuter des tâches robotiques à partir de commandes en langage naturel, avec seulement 2 à 5 démonstrations kinesthésiques par compétence. Le système repose sur deux briques : des primitives de mouvement noyau paramétrées par tâche (TP-KMPs), héritées des méthodes d'imitation de données, et un modèle vision-langage (VLM) préentraîné, utilisé sans fine-tuning. Lors de la phase d'apprentissage, le VLM génère des schémas de compétences décrivant les paramètres nécessaires et les préconditions d'exécution. À l'exécution, il sélectionne la compétence adaptée, résout les liaisons de paramètres, et compose des comportements inédits via une pondération par covariance. Lorsqu'aucune compétence existante ne suffit, le système identifie automatiquement la lacune et sollicite une démonstration ciblée. Les taux de succès rapportés vont de 73,3 % à 100 % selon les scénarios testés (sélection, composition, apprentissage actif). Ce résultat est notable parce qu'il attaque un problème structurel du déploiement industriel : les modèles vision-langage-action (VLA) de nouvelle génération, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, atteignent des performances impressionnantes mais exigent des volumes de données d'entraînement massifs, difficilement compatibles avec les contraintes de production réelle. À l'inverse, les méthodes d'imitation efficaces en données, comme les TP-GMMs de Stefan Calinon, restent rigides face à des instructions non anticipées. CLASP propose une voie intermédiaire : déléguer le raisonnement symbolique au VLM sans le ré-entraîner, et garder la motricité dans un espace probabiliste compact. La boucle d'apprentissage actif intégrée est particulièrement pertinente pour les intégrateurs industriels : le robot peut signaler ce qu'il ne sait pas faire plutôt que d'échouer silencieusement. Les primitives de mouvement paramétrées par tâche ont une longue trajectoire académique, popularisées notamment par les travaux de Calinon et Billard depuis les années 2010. CLASP s'inscrit dans la vague actuelle qui cherche à greffer la compréhension du langage sur ces méthodes sans sacrifier leur frugalité en données, une direction également explorée par des équipes comme celles de CMU, ETH Zurich ou l'INRIA en France. La validation reste limitée à un manipulateur en laboratoire, les scénarios présentés sont sélectionnés, et les taux de succès ne sont pas contextualisés par rapport à la complexité des tâches ni à la variabilité environnementale. La prochaine étape évidente serait une évaluation sur des tâches de manipulation non structurées, voire un transfert vers une plateforme mobile ou humanoïde.

Surmonter le goulot d'étranglement perceptuel dans la décision vision-langage par génération de plans focalisés

Un preprint arXiv (identifiant 2606.04046, publié début juin 2026) présente SceneDiver, une méthode visant à réduire les hallucinations visuelles dans les modèles de vision-langage (VLM) et les modèles vision-langage-action (VLA) appliqués à la manipulation robotique et à la navigation incarnée. Le problème central : ces modèles peinent à distinguer les objets pertinents pour la tâche des distracteurs environnants, ce qui dégrade leurs décisions dans des scènes encombrées. SceneDiver adopte une approche grossière-à-fine en deux temps : construction d'abord d'un graphe de scène global pour saisir l'environnement dans sa totalité, puis décomposition itérative de la tâche en sous-problèmes via un cycle reconnaissance-compréhension-analyse. Pour les VLA, qui opèrent en contrôle réactif à faible latence, un adaptateur léger (lightweight adapter) distille cette capacité de focalisation sans pénaliser les temps d'inférence. Les auteurs rapportent une réduction substantielle des hallucinations sur les benchmarks standards d'IA incarnée, et publient le code en open source. Ce travail pointe un blocage fondamental pour le déploiement industriel des VLA : même des modèles performants en planification ou en contrôle moteur échouent face à des scènes encombrées parce qu'ils focalisent sur les mauvais objets. La solution naïve, pointer directement sur l'objet critique en une seule étape, s'avère insuffisante selon les auteurs, car identifier quoi regarder requiert d'abord une compréhension globale de la scène. Pour les intégrateurs, l'adaptateur léger proposé offre une voie d'amélioration de la robustesse sans nécessiter de ré-entraîner le modèle de base, ce qui constitue un argument pratique non négligeable. Ce goulot d'étranglement perceptuel est un sujet de recherche actif depuis que des VLA comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI) ont commencé à être déployés hors laboratoire. Ces modèles restent fragiles face à la variabilité des environnements réels, ce que le secteur désigne comme le "demo-to-reality gap". SceneDiver demeure une contribution académique préliminaire, non encore évaluée par les pairs, et l'absence de détails précis sur les benchmarks utilisés dans le résumé rend la comparaison directe difficile avec d'autres approches comme OpenVLA ou SpatialVLM. La mise à disposition du code en open source est toutefois un signal positif pour la reproductibilité ; une validation sur matériel réel et une intégration dans des stacks comme LeRobot de Hugging Face constitueraient les prochaines étapes naturelles.

Les budgets de preuves visuelles pour des VLA plus généralisables : voir moins, spécifier davantage

Une équipe de chercheurs a publié début juin 2026 (arXiv:2606.02735) un framework baptisé S2, pour "See Less, Specify More", destiné à améliorer la généralisation des modèles vision-langage-action (VLA). S2 repose sur deux mécanismes complémentaires : "Specify More" reformule chaque trajectoire d'entraînement avec des instructions affinées au niveau de la sous-tâche, tout en préservant l'objectif global original, tandis que "See Less" impose un budget explicite de preuves visuelles, forçant le modèle à agir à partir d'un contexte visuel suffisant pour la tâche plutôt que d'un champ de vision non contraint. Le système a été évalué sur huit tâches réelles de manipulation sur deux plateformes robotiques : le TX-G2, une variante compatible AgiBot G2, et le Toyota HSR. Le résultat principal : le taux de succès moyen par sous-tâche passe de 54,2 % à 79,0 % par rapport au modèle de référence pi0.5 de Physical Intelligence. Ces résultats s'attaquent à l'un des verrous les plus documentés du domaine VLA : la dégradation des performances sous distracteurs visuels, changements d'apparence ou tâches sémantiquement similaires. Le problème identifié est ce que les auteurs nomment "supervision aliasing" : des instructions trop grossières créent une ambiguïté que le modèle doit résoudre seul, dégradant l'apprentissage. S2 contourne ce problème sans annotation de régions ou de masques, ce qui est notable en termes de coût de labellisation. La compatibilité avec des planificateurs VLM standards via le mécanisme d'in-context learning facilite également l'intégration dans des pipelines existants, sans refonte architecturale. S2 s'inscrit dans une course serrée autour des VLA généralisables. pi0.5, développé par Physical Intelligence (ex-startup fondée par des chercheurs de Google DeepMind et Stanford), constitue ici la baseline battue. La plateforme AgiBot G2, produite par la startup chinoise éponyme, gagne en visibilité comme banc d'essai de référence pour la manipulation humanoïde. Les concurrents directs incluent les approches OpenVLA (Stanford), Octo (Berkeley), et les travaux VLA de Google DeepMind autour de RT-2 et ses successeurs. L'absence de déploiement industriel annoncé maintient S2 dans la catégorie "résultat de recherche prometteur" plutôt que "produit embarqué", mais le gain de 25 points de succès sur des tâches réelles justifie une attention soutenue de la part des intégrateurs robotiques.

IA incarnée et chaîne de pensée : vers une manipulation robotique généralisable

Une équipe de chercheurs publie en juin 2026 (arXiv:2606.03784) une réévaluation du chain-of-thought incarné (CoT) appliqué aux modèles vision-langage-action (VLA) pour la manipulation robotique généraliste. Pour mener cette étude à grande échelle, les auteurs ont constitué le plus grand corpus de ce type jamais assemblé : 978 743 trajectoires, 226,3 millions d'échantillons et 2 592,5 heures de données robot. Leur modèle ERVLA atteint 86,9 % de succès sur LIBERO-Plus et 53,2 % sur VLABench, surpassant les baselines de référence, notamment sur les tâches de désambiguïsation sémantique et d'exécution à longue portée en environnement réel. Le code, les données et les checkpoints seront prochainement disponibles en accès ouvert. Le principal apport théorique porte sur la manière d'intégrer le raisonnement linguistique dans une politique robotique. Les auteurs établissent que le CoT explicite, utilisé comme préfixe autorégressif avant chaque action, accumule des erreurs au fil des étapes et génère un couplage instable entre raisonnement et commande motrice. De même, le raisonnement de haut niveau seul, sans ancrage dans des descriptions concrètes comme les trajectoires d'effecteur terminal ou les positions dans l'espace image, n'apporte que des gains marginaux. ERVLA résout cette tension via une stratégie de "reasoning-dropout" : le modèle assimile des traces de raisonnement riches pendant l'entraînement, mais prédit les actions directement à l'inférence, sans décodage CoT. Ce découplage améliore la montée en échelle avec le volume de préentraînement et stabilise l'exécution. C'est un signal clair pour les équipes travaillant sur des politiques généralisables : la valeur du langage réside dans ce qu'il apprend au modèle, pas dans ce qu'il verbalise au moment du déploiement. Ces travaux s'inscrivent dans une compétition intense autour des fondations VLA capables de généraliser hors de leur distribution d'entraînement, aux côtés de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. La mise à disposition de 2 592 heures de données robotiques en accès ouvert constitue en elle-même une contribution notable dans un secteur où la pénurie de données reste un verrou majeur. Aucun déploiement industriel n'est mentionné : ERVLA est à ce stade un résultat de recherche académique, avec des validations sur robot réel mais sans pipeline de production annoncé.

RoboSemanticBench : évaluer l'ancrage sémantique dans la prédiction d'actions des modèles VLA

Un article pré-publié sur arXiv (2606.02277, juin 2026) introduit RoboSemanticBench (RSB), un benchmark conçu pour tester si les modèles vision-langage-action (VLA) exploitent réellement la compréhension sémantique dans leurs prédictions de mouvement. Le protocole est délibérément simple : un robot reçoit une question à choix multiples, arithmétique ou de culture générale, observe des blocs physiques correspondant aux réponses candidates, et doit saisir le bloc associé à la bonne réponse. RSB propose deux configurations, à quatre et dix choix, couvrant l'arithmétique contrôlée, la compréhension mathématique de niveau primaire, ainsi que le raisonnement de bon sens et factuel. Les résultats obtenus sur plusieurs modèles VLA représentatifs sont sévères : si la majorité des politiques testées parviennent à saisir des blocs de manière fiable, le taux de sélection du bloc sémantiquement correct se situe, après correction du succès de préhension, à des niveaux proches du hasard, voire inférieurs. Ce résultat remet en question une hypothèse fondatrice de l'architecture VLA : l'idée que la compréhension sémantique acquise lors du pré-entraînement du backbone (modèle de langage ou vision-langage) se transfère naturellement vers la prédiction d'action. Ce que RSB révèle, c'est que le fine-tuning par imitation sur des distributions d'actions spécifiques à une tâche suffit à masquer ce transfert : les modèles apprennent des raccourcis visuels ou des associations instruction-action sans ancrer leurs gestes dans la signification réelle des instructions. Pour les intégrateurs et industriels qui déploient des systèmes VLA dans des environnements à haute variabilité sémantique (picking, tri, assemblage configurable), ce diagnostic a des implications directes : la performance en évaluation standard ne garantit pas une généralisation sémantique robuste en conditions réelles. Les modèles VLA ont connu une montée en puissance rapide depuis RT-2 (Google DeepMind, 2023), avec des successeurs comme OpenVLA, Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), tous reposant sur l'hypothèse que des backbones vision-langage pré-entraînés fournissent une compréhension du monde directement exploitable pour la manipulation robotique. RSB constitue le premier benchmark structuré autour de la dissociation entre compétence sémantique au niveau du backbone et compétence sémantique au niveau de l'action, une distinction que les évaluations classiques par taux de succès en manipulation ne capturent pas. Les auteurs ne proposent pas de correctif immédiat, mais leur protocole ouvre la voie à des méthodes de fine-tuning ou d'évaluation capables de préserver, voire de restaurer, la capacité sémantique dans la chaîne décision-action.

LEGS : affinage de VLA sans téléopération pour la loco-manipulation humanoïde dans un monde Gaussian Splatting incarné

Des chercheurs présentent LEGS (Loco-manipulation via Embodied Gaussian Splatting), un simulateur hybride qui combine un avant-plan en maillage 3D avec un arrière-plan photoréaliste en Gaussian Splatting 3D (3DGS) pour entraîner des politiques vision-langage-action (VLA) sur humanoïdes sans téleopération humaine. Un générateur procédural de primitives de mouvement produit automatiquement des démonstrations annotées à grande échelle, tandis qu'une calibration colorimétrique à deux étapes aligne le rendu simulé avec la caméra réelle du robot. Sur un Unitree G1, sur trois tâches de saisie-dépose de difficulté croissante et avec trois architectures VLA (ψ₀, π₀.5 et GR00T N1.6), une politique entraînée exclusivement sur données LEGS égale ou dépasse, selon les auteurs, une politique entraînée sur démonstrations téleopérées. La couverture d'une nouvelle scène coûterait plus de quinze fois moins qu'une collecte par téleopération, une affirmation à vérifier hors du cadre expérimental : les résultats restent au stade de préprint arXiv (2606.01458) non soumis à revue par les pairs. Le résultat le plus structurant est la réduction effective du fossé simulation-réalité pour la loco-manipulation humanoïde corps entier, un problème que les simulateurs à maillage seul n'avaient pas résolu jusqu'ici. L'ablation le confirme : supprimer le fond 3DGS au profit d'un environnement mesh-only dégrade significativement les transferts, établissant le rendu photoréaliste comme facteur déterminant et non accessoire. Sous variations combinées d'apparence d'objet et de scène (scénario LEGS-AUG), la politique LEGS maintient son taux de succès tandis que la politique téleopérée échoue entièrement, ce qui valide empiriquement que les VLA nécessitent une diversité visuelle synthétique pour généraliser. Pour les intégrateurs et équipes robotiques, cela ouvre une voie scalable vers de nouveaux environnements industriels sans mobiliser d'opérateurs dédiés. LEGS s'appuie sur la technique 3DGS, popularisée en 2023 pour la reconstruction photoréaliste de scènes à partir d'images, et l'adapte en fond simulé pour l'entraînement de politiques. Les architectures testées incluent π₀.5 de Physical Intelligence et GR00T N1.6 de NVIDIA, deux acteurs centraux de l'espace VLA humanoïde, aux côtés desquels Boston Dynamics, Figure AI, Agility Robotics et Tesla Optimus avancent sur leurs propres pipelines de données synthétiques. Le Unitree G1, l'un des humanoïdes commerciaux les plus accessibles du marché, ancre les expériences dans un contexte potentiellement déployable. Les suites logiques incluent l'extension au-delà du pick-and-place, la publication du code et des données, et des tests en environnements industriels réels pour valider la robustesse hors laboratoire.

Apprendre la manipulation robotique à partir de vidéos humaines : un état de l'art sur l'apprentissage VLA à grande échelle avec données centrées sur l'humain

Une équipe de chercheurs a publié en juin 2026 sur arXiv (identifiant 2606.00054) un état de l'art sur l'utilisation de vidéos humaines pour entraîner des modèles Vision-Langage-Action (VLA) appliqués à la manipulation robotique. Le papier recense et structure les travaux existants en quatre familles d'approches selon le type d'information extraite : les représentations d'action latentes (encodage des changements entre frames successives), les modèles du monde prédictifs (prévision des frames futures), la supervision 2D explicite (extraction de cues dans le plan image) et la reconstruction 3D explicite (récupération de géométrie ou de mouvement). Les auteurs identifient en parallèle trois verrous ouverts : la structuration de vidéos non annotées en épisodes d'entraînement exploitables, l'ancrage des supervisions vidéo en actions exécutables malgré l'hétérogénéité des embodiments et des points de vue, et la conception de protocoles d'évaluation prédictifs des performances de déploiement réel. L'enjeu derrière cette consolidation est direct : collecter des démonstrations robotiques à grande échelle coûte cher, prend du temps et reste intimement lié à un hardware spécifique. Les vidéos humaines, elles, sont disponibles en quantité quasi illimitée sur internet et capturent une richesse d'interactions physiques et sémantiques inaccessible autrement. Si les méthodes recensées parviennent à combler l'écart d'embodiment, elles pourraient réduire drastiquement le coût de généralisation des VLA, aujourd'hui l'un des principaux freins à leur déploiement industriel. Ce survey arrive à un moment où le gap entre démo de laboratoire et transfert réel reste le problème n°1 du secteur : aucune approche n'y répond complètement, mais la taxonomie proposée clarifie où en est la recherche. Le contexte est celui d'une accélération des VLA generalistes depuis 2024, portée par des modèles comme pi-0 (Physical Intelligence), OpenVLA (UC Berkeley), GR00T N2 (NVIDIA) ou Octo. Ces architectures ont montré une capacité de généralisation prometteuse mais toutes dépendent encore massivement de données de téléopération humaine, coûteuses à acquérir. Ce survey s'inscrit dans un effort collectif pour identifier des alternatives scalables, et les ressources compilées sont accessibles publiquement sur GitHub. Les prochaines étapes naturelles incluent des benchmarks standardisés croisant vidéos humaines et transfert zero-shot vers des robots industriels, un angle encore peu exploré par les acteurs européens comme Enchanted Tools ou Wandercraft, qui pourraient y trouver un levier de différenciation.

Point de vue : les bons modèles de récompense incarnés ont besoin de données de mauvais comportements

Un article de position déposé sur arXiv en juin 2026 (arXiv:2606.01036) soulève un problème structurel dans l'entraînement des robots fondationnels : les modèles de récompense embarqués (embodied reward models), centraux dans toute boucle d'apprentissage par renforcement, sont quasi-exclusivement entraînés sur des comportements réussis. Les auteurs ont évalué trois modèles de récompense de l'état de l'art et constatent qu'ils sur-récompensent systématiquement trois catégories de comportements qu'un évaluateur humain pénaliserait : interactions non sécurisées avec l'environnement, exécution de mauvaise qualité, et stratégies de raccourci qui satisfont l'apparence d'une tâche sans en remplir l'objectif réel. La cause pointée est le manque chronique de données négatives dans les datasets robotiques existants : comportements ratés, sous-optimaux ou dangereux, coûteux à collecter et systématiquement filtrés ou retenus par les équipes. Ce biais a des implications directes pour tout déploiement de robot généraliste en environnement industriel. Un modèle de récompense qui valide des comportements non sécurisés ou des raccourcis fonctionne comme un juge défaillant au coeur même de la boucle d'entraînement, produisant des systèmes validés en simulation mais problématiques en production. Les auteurs montrent qu'une exposition modeste à de vraies données de comportements négatifs améliore l'alignement avec les préférences humaines et réduit les faux positifs coûteux, argument pour une action corrective accessible à court terme plutôt qu'un problème structurel insoluble. La problématique s'impose avec l'essor des modèles vision-langage-action (VLA) tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure. Dans ce contexte, collecter des données d'échec reste plus contraignant qu'en NLP : chaque trajectoire ratée mobilise du matériel physique et présente un risque opérationnel réel. Les auteurs appellent la communauté à quatre actions concrètes : publier les données négatives aujourd'hui retenues, construire des moteurs de génération synthétique de mauvais comportements, déployer des systèmes d'évaluation physique décentralisés, et créer des benchmarks dédiés à l'évaluation fine des reward models. Aucun partenaire institutionnel ni calendrier opérationnel n'est annoncé dans le document, ce qui en fait pour l'instant un manifeste académique sans engagement opérationnel identifié.

Défaillances silencieuses en IA physique : revue de littérature sur l'autorisation d'actions en temps réel pour les systèmes autonomes

Un article de revue de littérature déposé sur arXiv le 2 juin 2026 (identifiant 2606.00090) pose un problème de sécurité systémique pour les systèmes d'IA physique : les modèles de fondation, modèles vision-langage-action (VLA) et modèles du monde qui pilotent des robots, véhicules, drones et machines industrielles peuvent émettre des commandes physiquement dangereuses tout en paraissant confiants, plausibles et sémantiquement corrects. Les auteurs nomment ce phénomène "silent failure" (défaillance silencieuse) : une action physiquement conséquente est déclenchée avant qu'un contrôleur matériel en aval détecte une anomalie, sous l'effet d'une dérive de capteur, d'une occlusion, d'une erreur d'estimation d'état, d'un glissement de distribution, d'affordances hallucinées ou d'hypothèses physiques invalides. Ces défaillances ne sont capturées ni par la modération de contenu classique des systèmes d'IA, ni par les normes de sécurité robotique traditionnelles. L'enjeu industriel est direct : là où les intégrateurs s'appuient sur des couches de sécurité fonctionnelle (normes ISO 10218, IEC 61508) pensées pour des automates déterministes, les VLA introduisent un générateur d'actions opaque dont les sorties ne respectent aucune enveloppe formellement vérifiable. La revue synthétise un écart récurrent : sur l'ensemble des corpus analysés, modèles de fondation incarnés, simulation robotique, benchmarks de sécurité embodied, contrôle sûr, assurance runtime, estimation d'incertitude, vérification formelle et évaluation de guardrails, aucun flux technique ne fournit à lui seul une frontière d'autorisation complète entre le modèle boîte noire et l'exécution physique. Cela signifie que les déploiements actuels de robots humanoïdes ou d'AGV pilotés par des LLM reposent sur des garde-fous fragmentés dont la couverture n'est pas évaluée de manière unifiée. Pour combler ce vide, les auteurs proposent une formalisation bornée du problème, une définition rigoureuse de la "défaillance physique silencieuse", une taxonomie des fonctions de guardrail runtime, et des critères d'évaluation permettant de comparer ces guardrails comme mécanismes d'assurance. Le papier ne décrit pas de système déployé ni de résultats expérimentaux : c'est une revue structurante, dont l'utilité principale est de fournir un cadre commun à une communauté fragmentée entre labs robotique, sécurité IA et contrôle formel. Les acteurs comme Boston Dynamics (Spot + foundation models), Figure, 1X ou Apptronik, qui poussent vers des déploiements industriels de robots à base de VLA, sont implicitement concernés, tout comme les équipes de recherche travaillant sur Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La prochaine étape naturelle serait une validation empirique de la taxonomie proposée sur des benchmarks embodied existants comme RoboSuite ou Open-X Embodiment.

Mélange d'horizons dans le découpage en actions

Des chercheurs ont publié sur arXiv (réf. 2511.19433v2) une approche baptisée Mixture of Horizons (MoH) qui s'attaque à un verrou technique dans les modèles vision-langage-action (VLA) utilisés pour la manipulation robotique. Le problème identifié est le suivant : la longueur du "chunk d'action" (le nombre de pas d'action prédits en une seule passe, appelé horizon) conditionne fortement les performances, mais aucune valeur fixe n'est optimale. Un horizon long donne une meilleure prévision globale du mouvement mais dégrade la précision fine ; un horizon court améliore le contrôle local mais échoue sur les tâches longues. MoH découpe le chunk d'action en plusieurs segments à horizons différents, les traite en parallèle via un transformeur d'action partagé, et fusionne les sorties avec une porte linéaire légère. Appliqué aux politiques pi-0, pi-0.5 (Physical Intelligence) et pi-reg, MoH atteint 99 % de taux de succès moyen sur le benchmark LIBERO en seulement 30 000 itérations d'entraînement, un nouveau state-of-the-art. Le mode d'inférence dynamique, qui sélectionne les actions stables par consensus inter-horizons, délivre un débit 2,5 fois supérieur aux baselines. L'intérêt principal de MoH est sa nature plug-and-play : il s'intègre sans modification architecturale majeure dans tout module d'action à attention complète, avec un surcoût d'entraînement et d'inférence minimal. Pour les équipes qui déploient des VLA en manipulation industrielle ou sur des plateformes humanoïdes, cela signifie qu'elles peuvent améliorer significativement la robustesse sur des tâches mixtes (gestes fins + séquences longues) sans changer leur infrastructure. Le gain de débit est particulièrement pertinent pour le temps réel embarqué, où la latence de prédiction est un facteur limitant concret. Ce travail s'inscrit dans l'essor des VLA issus des travaux de Physical Intelligence (pi-0, sorti fin 2024) et d'OpenVLA, qui ont démontré que le préentraînement multimodal peut accélérer la généralisation en manipulation. Le benchmark LIBERO, issu de recherches en imitation learning, sert de référence standard pour évaluer la transfer et la composition de tâches. Les concurrents directs dans l'espace VLA incluent RoboVLMs de Google DeepMind, OpenVLA-OFT, et les travaux de Carnegie Mellon sur ACT/Diffusion Policy. MoH reste à ce stade une contribution de recherche académique, sans déploiement industriel annoncé, mais sa compatibilité plug-and-play le rend directement utilisable par les équipes qui entraînent déjà sur pi-0 ou des architectures dérivées.

💬 Le problème de l'horizon d'action, c'est un classique en robotique, et personne n'avait vraiment trouvé de sortie propre avant ça. MoH répond avec la bonne idée au bon moment : plusieurs horizons en parallèle, une porte de fusion légère, et tu gardes toute ton infra existante. 99 % sur LIBERO, 2,5x de débit, plug-and-play sur pi-0, bon, sur le papier c'est difficile de trouver à redire.

VLAConf : confiance calibrée dans la réussite des tâches pour les modèles VLA

Des chercheurs ont publié fin mai 2026 sur arXiv (référence 2605.29605) VLAConf, un framework de détection de confiance pour les modèles Vision-Langage-Action (VLA) appliqués à la manipulation robotique. Le principe repose sur un module léger ("confidence head") branché sur les représentations internes d'un VLA préentraîné et figé, capable de calculer en un seul passage (single forward pass) un score d'anomalie à chaque étape de la trajectoire. Le système intègre également un mécanisme de "step-conditioned modeling" qui encode la phase d'exécution le long du rollout. Les performances sont évaluées sur le benchmark LIBERO, référence académique pour la manipulation multi-tâches, et validées sur robot physique. L'enjeu est direct pour le déploiement industriel des VLA : anticiper l'échec d'une tâche avant qu'il ne survienne est une condition nécessaire pour les applications à risque, de la chaîne de montage au laboratoire pharmaceutique. Les méthodes existantes souffrent de deux limitations majeures. Les approches par ensembles requièrent des échantillonnages répétés qui pénalisent fortement le temps d'inférence. Les méthodes basées sur les probabilités de tokens d'action sont incompatibles avec les espaces d'action continus, ce qui exclut de facto les VLA les plus récents comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). VLAConf contourne ces deux obstacles en un seul forward pass, sans modifier l'architecture du modèle hôte, ce qui lui confère une portabilité inter-architectures notable. Les auteurs revendiquent une nette supériorité sur les baselines en termes de qualité du signal de confiance et d'efficacité à l'inférence, bien que les marges précises ne soient pas détaillées dans le résumé disponible. Les VLA connaissent une accélération marquée depuis 2024 : pi-0 de Physical Intelligence, OpenVLA (Berkeley) et GR00T N2 de NVIDIA ont chacun proposé des approches pour généraliser la manipulation en monde ouvert. La robustesse à l'échelle reste cependant le principal frein au déploiement commercial, et la confiance calibrée en constitue une composante critique. VLAConf se positionne comme une brique d'infrastructure transversale, là où ses prédécesseurs restaient cantonnés aux sorties discrètes. Le code source est rendu public. Ce travail est académique, sans partenariat commercial annoncé.

Embodied3DBench : évaluation de l'intelligence spatiale incarnée à bas niveau des modèles vision-langage

Une équipe de chercheurs a publié le 29 mai 2026 Embodied3DBench, un benchmark conçu pour évaluer les capacités de perception spatiale bas niveau des modèles de vision-langage (VLMs) dans des environnements 3D incarnés. Le benchmark couvre 6 catégories de tâches réparties en deux groupes : la compréhension structurelle spatiale (ancrage d'objets, prédiction de relations spatiales, correspondance multi-vues) et la perception orientée interaction (prédiction d'affordances, prédiction de points de saisie, prédiction de trajectoires). Il totalise 12 sous-catégories et plus de 21 000 paires questions-réponses annotées. Treize modèles de pointe ont été évalués sur ce corpus. En parallèle, les auteurs ont synthétisé un dataset d'entraînement à grande échelle de 1,3 million de paires QA pour tenter de combler les lacunes identifiées. Les résultats révèlent une dissociation nette dans les capacités des VLMs actuels : ces modèles affichent des performances raisonnables sur le raisonnement spatial de haut niveau, notamment les relations de position entre objets, mais restent très fragiles dès qu'il s'agit de perception orientée interaction, c'est-à-dire prédire où saisir un objet, anticiper une trajectoire de manipulation, ou estimer l'affordance d'une surface. Pour les équipes qui développent des modèles vision-langage-action (VLA) destinés à la manipulation robotique, ce résultat est structurant : il indique que les fondations perceptuelles nécessaires au déploiement réel restent insuffisantes dans les architectures actuelles, y compris les plus récentes. Le fine-tuning sur le dataset de 1,3M paires améliore significativement les scores bas niveau, ce qui suggère que le problème est en partie un déficit de données d'entraînement ciblées plutôt qu'une limite architecturale fondamentale. Ce travail s'inscrit dans un effort plus large de la communauté robotique pour doter les VLMs de capacités d'interaction physique, au-delà de la simple description de scènes. Des systèmes comme Pi-0 (Physical Intelligence), OpenVLA ou GR00T N2 (NVIDIA) reposent sur ces mêmes briques perceptuelles pour passer de la compréhension sémantique à l'action motrice. Jusqu'ici, l'évaluation de ces capacités bas niveau manquait d'un cadre standardisé : la plupart des benchmarks existants (ScanQA, EmbodiedScan) ciblent la compréhension de scènes plutôt que la manipulation. Embodied3DBench comble ce vide méthodologique en proposant à la fois un protocole d'évaluation reproductible et un levier de progression via son dataset synthétique. L'article est disponible en preprint (arXiv:2605.29074) et le code devrait être rendu public prochainement.

FineVLA : alignement fin des instructions pour des politiques VLA pilotables

Une équipe de recherche a publié fin mai 2026 FineVLA, un framework ouvert destiné à améliorer la précision des instructions données aux modèles Vision-Langage-Action (VLA) en robotique. Le problème central adressé : les datasets robotiques existants associent les trajectoires à des instructions de haut niveau ("saisir l'objet"), sans préciser les détails d'exécution critiques comme le bras actif, la direction d'approche ou la zone de contact. Pour y remédier, l'équipe a unifié 972 247 trajectoires issues de 10 datasets open-source couvrant 85 000 tâches, puis construit FineVLA-Data, un sous-ensemble de 47 159 trajectoires annotées finement et vérifiées humainement. Le benchmark d'évaluation comprend 500 vidéos, 10 816 faits atomiques et 1 030 questions en VQA. En simulation RoboTwin, la meilleure configuration atteint 86,8 % / 82,5 % de succès ; en manipulation bimanuelle réelle, 62,7 / 100, contre 49,9 pour une politique entraînée uniquement sur des instructions brutes. Ces résultats contredisent une hypothèse fréquente dans la communauté VLA : que l'ajout de supervision fine-grained dégraderait les performances sur les tâches de haut niveau. Les expériences montrent l'inverse, avec un gain de +1,4 à +8,1 points de taux de succès selon les configurations. Le ratio optimal se situe entre FG:Raw = 1:2 et 1:1, suivant une courbe en U inversé. Les gains les plus nets en contrôle orientable portent sur la posture (+23 points), la couleur (+18) et la direction d'approche (+18), trois dimensions que les instructions globales n'adressent tout simplement pas. Cela valide l'idée que la précision linguistique au niveau de l'exécution est un levier sous-exploité dans la chaîne sim-to-real. FineVLA s'inscrit dans une course aux politiques robotiques généralisables où s'affrontent notamment Pi-0 de Physical Intelligence, OpenVLA (Berkeley), et les travaux de Google DeepMind autour de RT-2 et ses dérivés. L'originalité ici n'est pas un nouveau backbone mais une infrastructure de données et d'annotation : un annotateur VLM spécialisé robotique pour passer à l'échelle, et un pipeline de construction de dataset reproductible. Le projet est open-source avec une page dédiée (finevla.xlang.ai), ce qui facilite l'adoption par d'autres labos. Prochaine étape logique : tester la généralisation hors distribution et l'intégration dans des stacks industrielles où la précision des consignes opérateur est précisément un point de friction non résolu.

💬 Le vrai enseignement, c'est que dire au robot "saisir l'objet" et lui préciser le bras actif, l'angle d'approche, la zone de contact, ce n'est tout simplement pas la même chose en résultats. +23 points sur la posture, +18 sur la direction d'approche, ça ne vient pas d'un nouveau backbone mais juste d'instructions mieux rédigées. Reste à voir si ça tient hors distribution, mais l'infra d'annotation open-source, c'est ce qui peut faire avancer tout le monde en même temps.

PGDG : génération de données physiquement ancrée pour l'apprentissage robuste de politiques bimanuelles à partir d'une seule démonstration

Une équipe de chercheurs présente PGDG (Physically Grounded Data Generation), un cadre qui permet d'entraîner une politique de manipulation bimanuelles robuste à partir d'une seule démonstration humaine. Déposé sur arXiv en mai 2026 (réf. 2605.21710), le système attaque un problème structurant du behavior cloning : tout écart par rapport à la trajectoire apprise plonge le robot dans des états hors distribution, sans signal de récupération disponible dans les données d'entraînement. PGDG génère automatiquement, sans annotation humaine supplémentaire, un ensemble compact de trajectoires physiquement plausibles couvrant ces comportements de récupération manquants. Il alterne entre un échantillonneur ancré en physique et un curateur de données qui oriente progressivement l'exploration vers les modes sous-représentés, complété par un reétiquetage d'actions correctives sur les états risqués. Sur la tâche RotateBox-Pitch, manipulation bimanuelles par contact, le taux de succès passe de 38 % à 93 % en simulation et de 35 % à 82 % en transfert zéro-shot vers le robot réel. Appliqué au fine-tuning de GR00T, le modèle de fondation vision-langage-action de NVIDIA, la méthode améliore le taux de succès de 46 % à 77 %. Le résultat le plus notable pour les intégrateurs est le transfert zéro-shot : la politique entraînée exclusivement sur données synthétiques fonctionne directement sur le robot physique, sans adaptation terrain. Ce résultat valide empiriquement que la génération ancrée en physique peut combler le sim-to-real gap pour les tâches en contact, historiquement le talon d'Achille de la manipulation dextère. La compatibilité avec GR00T (un VLA) ouvre également une voie pour enrichir les modèles de fondation à faible coût de collecte : une démonstration unique remplace les centaines typiquement requises en téléopération, ce qui modifie le calcul économique pour tout projet de déploiement à grande variété de configurations. Ce travail s'inscrit dans la course à l'efficacité des données en robotique manipulatrice. L'augmentation spatiale classique, premier concurrent direct, est systématiquement surpassée sur les quatre tâches testées. Les approches alternatives misent soit sur la collecte massive comme ACT/ALOHA (des milliers de démonstrations), soit sur le pré-entraînement multi-tâche à grande échelle comme pi-0 de Physical Intelligence. PGDG se distingue par son paradigme "une démonstration suffit", potentiellement attractif dès que la diversité des pièces ou des configurations rend la collecte par tâche prohibitive. La validation reste pour l'instant en environnement laboratoire ; une évaluation sur des tâches industrielles réelles constituerait la prochaine étape logique.

💬 Une démo au lieu de mille, et le robot fonctionne directement sur le physique sans adaptation terrain. Le sim-to-real sur de la manipulation par contact, c'était le blocage structurel depuis des années, et là ils sortent 82% en zéro-shot sur le robot réel, c'est pas un résultat qu'on voit souvent. Reste à tenir hors labo.

Apprentissage par renforcement efficace pour les VLA par masquage probabiliste de séquences

Une équipe de chercheurs propose dans un preprint arXiv (2605.16154, mai 2026) une modification algorithmique baptisée Probabilistic Chunk Masking (PCM), conçue pour réduire le coût computationnel de l'entraînement par renforcement (RL) des politiques vision-langage-action (VLA). Testée sur trois benchmarks LIBERO, PCM atteint les mêmes taux de réussite finale que l'algorithme GRPO standard tout en réduisant le temps d'entraînement d'un facteur 2,38x en temps réel, les mises à jour de gradient de 4,8x, et la mémoire d'activation de pointe de 60 %. Elle y parvient en ne rétropropageant que moins de 20 % des chunks de trajectoire, sans recourir à un modèle de récompense ni à un critic appris. Le résultat le plus structurant de ce travail n'est pas le speedup lui-même, mais la remise en cause d'une hypothèse dominante dans la communauté : l'idée que le goulot d'étranglement du RL pour VLA se situe dans la collecte de rollouts (via simulateurs ou world models). Les mesures des auteurs montrent que le calcul de gradient représente 78 % du temps CPU par étape, contre seulement 21 % pour la collecte. GRPO distribue uniformément le signal d'apprentissage sur toute la trajectoire, y compris les phases que le modèle maîtrise déjà après pré-entraînement et fine-tuning supervisé. PCM corrige cela en concentrant le budget de gradient sur les phases où les rollouts réussis et échoués divergent réellement, proxy mesurable de la variance de gradient par phase. Pour les équipes qui entraînent des VLA sur robot physique avec des budgets GPU contraints, ce type d'optimisation change concrètement ce qui est faisable en interne. Le contexte immédiat est l'essor du post-training RL pour VLA, une tendance portée notamment par Physical Intelligence avec π0, par les travaux OpenVLA, et par l'adaptation de GRPO (initialement développé par DeepSeek pour les LLM) à la manipulation robotique. PCM s'insère comme brique orthogonale à ces approches : elle ne modifie ni l'architecture ni le schéma de récompense, ce qui facilite son intégration dans des pipelines existants. Le papier reste un preprint académique sans déploiement annoncé, mais sa reproductibilité sur LIBERO et l'absence de composants supplémentaires en font un candidat sérieux pour être adopté rapidement par les laboratoires qui expérimentent le RL sur VLA.

OpenFrontier : navigation générale guidée par des frontières vision-langage

Des chercheurs ont publié sur arXiv (identifiant 2503.05377) OpenFrontier, un cadre de navigation robotique en monde ouvert conçu pour fonctionner sans entraînement ni fine-tuning spécifique à la tâche. Le principe central : reformuler la navigation comme une succession d'identifications et d'atteintes de sous-objectifs éparses, en sélectionnant des "frontières visuelles" comme ancres sémantiques. Ces frontières, zones situées à la limite du champ perceptif du robot, servent de relais entre les instructions en langage naturel et les décisions de déplacement. OpenFrontier s'intègre à des modèles vision-langage (VLN) et vision-langage-action (VLA) existants sans reconstruction 3D dense de l'environnement ni collecte de données à grande échelle. Les auteurs rapportent des performances zero-shot sur plusieurs benchmarks de navigation standardisés et un déploiement expérimental sur un robot mobile réel. Ce résultat est notable parce que les approches end-to-end conditionnées sur le langage naturel exigent habituellement soit un entraînement interactif, soit des milliers de trajectoires annotées, soit une adaptation au robot cible. OpenFrontier contourne ces verrous en exploitant les frontières visuelles comme points d'ancrage pour les priors sémantiques du modèle, réduisant la charge computationnelle (pas de carte 3D sémantique dense) et le besoin en données d'entraînement. Pour un intégrateur de robots mobiles autonomes (AMR) ou un décideur industriel, cela ouvre la perspective de déploiements en environnement non structuré sans cycle de fine-tuning propre à chaque site. La performance zero-shot annoncée reste cependant à confronter à des conditions opérationnelles réelles : les benchmarks utilisés sont des environnements de laboratoire contrôlés, non des entrepôts ou espaces publics. OpenFrontier s'inscrit dans une dynamique de recherche qui cherche à transférer les capacités des grands modèles vision-langage vers la navigation mobile sans les contraintes classiques de l'apprentissage par renforcement. Des approches concurrentes comme SayNav, VLMaps ou les politiques VLA de Physical Intelligence (pi0) requièrent soit des environnements annotés, soit des datasets de démonstrations humaines, soit les deux. La méthode des frontières visuelles comme ancres sémantiques est plus légère, mais reste contrainte aux scénarios où la limite perceptive du robot capture les objectifs sémantiques pertinents. En l'état, OpenFrontier est un preprint académique et non un produit commercialisé : les validations en monde réel décrites correspondent à des tests expérimentaux contrôlés, pas à un déploiement industriel à l'échelle.

💬 L'idée de traiter les bords du champ de vision comme des ancres sémantiques au lieu de construire une carte 3D complète, c'est simple et ça coupe court à des années de galère en intégration terrain. Zéro fine-tuning par site, zéro dataset de trajectoires annotées, pour un déployeur d'AMR c'est exactement ce qu'on attendait. Reste que c'est un preprint testé en labo, et qu'un entrepôt avec des chariots élévateurs c'est une autre planète.

Moore Threads et Guangyun Intelligence s'associent pour bâtir une base d'IA physique souveraine avec calcul national et simulation

Moore Threads et Guangyun Intelligence ont annoncé un partenariat stratégique, selon le média financier chinois IPO Zaozhidao. L'accord associe les GPU polyvalents de Moore Threads et son cluster de calcul intelligent Kua'e à la plateforme de simulation propriétaire de Guangyun Intelligence, articulée autour d'une approche intégrée "solve-measure-generate" (résolution, mesure, génération). L'objectif commun est de produire à grande échelle des données synthétiques haute-confiance pour le développement de l'IA incarnée (embodied AI). Aucun chiffre de volume de données, de puissance de calcul déployée ni de tarification n'a été communiqué dans l'annonce. Ce partenariat cible un verrou structurel de la robotique humanoïde : la rareté des données physiques réelles, leur coût de collecte, la couverture insuffisante des scénarios, et la difficulté à reproduire de façon stable des processus physiques complexes lors des campagnes de collecte sur robot réel. La synthèse de données de haute qualité s'impose comme voie de contournement, mais elle se heurte à des besoins en calcul en croissance exponentielle liés à l'explosion combinatoire du rendu. Le pipeline proposé, de la trajectoire réelle à la modélisation en simulation puis à l'augmentation de données, ambitionne notamment de résoudre la simulation physique de la préhension de corps souples (flexible body grasping), un défi technique clé pour les applications de manipulation industrielle. L'annonce s'inscrit dans la course chinoise à la souveraineté en IA physique. Moore Threads, fondé en 2020, positionne ses GPU comme alternative domestique aux puces Nvidia dans un contexte de restrictions américaines à l'exportation. Guangyun Intelligence se spécialise dans la simulation pour la robotique incarnée. Ce type de boucle fermée entre calcul souverain et production de données synthétiques robotiques trouve des équivalents directs dans l'écosystème occidental, notamment NVIDIA Isaac Sim, la plateforme open-source Genesis, ou les pipelines internes de Figure AI et Physical Intelligence. La portée réelle de ce partenariat reste à démontrer : l'annonce relève du cadre stratégique, sans déploiement documenté ni résultat public à ce stade.

Modèle JODA : dynamique articulaire composable pour objets articulés

Une équipe de chercheurs a déposé en mai 2026 sur arXiv (arXiv:2605.09954) JODA, un cadre de modélisation des dynamiques d'articulation pour objets articulés (composable Joint Dynamics for Articulated Objects), destiné à combler l'absence de comportements mécaniques fins dans les simulateurs robotiques et les environnements d'IA incarnée. La méthode encode la dynamique d'un joint sous la forme d'un champ à trois canaux couvrant son degré de liberté : forces conservatives (ressorts, butées de fin de course), frottement sec (holding friction, detents, snap-latching) et amortissement (soft-close). Ces composantes sont instanciées par interpolation cubique par morceaux avec contraintes de forme (PCHIP), produisant une représentation compacte, interprétable et compatible avec la simulation différentiable. Pour inférer ces paramètres depuis des observations visuelles, JODA utilise un modèle vision-langage (VLM) qui propose des primitives dynamiques structurées, composées en un champ unifié, éditable manuellement ou affiné par descente de gradient. Le problème que JODA adresse est central en robotique de manipulation : le fossé simulation-réalité (sim-to-real gap). Les environnements comme MuJoCo, Isaac Sim ou Habitat modélisent la géométrie et la cinématique des objets articulés, mais ignorent les effets mécaniques de second ordre qui conditionnent le comportement tactile réel : résistance variable selon la position, crans d'arrêt, fermeture amortie, encliquetage. Pour un robot manipulant un tiroir de cuisine ou une vanne industrielle, ces dynamiques sont déterminantes. Une simulation plus fidèle devrait améliorer le transfert de politiques entraînées sur données synthétiques vers l'environnement physique, un enjeu clé pour les architectures VLA (Vision-Language-Action) en cours de déploiement à grande échelle. Les approches existantes ignorent généralement ces dynamiques ou s'appuient sur des paramètres scalaires fixes (raideur constante, amortissement linéaire), sans capturer ni la non-linéarité du frottement ni les comportements multi-stables. JODA se distingue par sa représentation paramétrique interprétable couplée à un pipeline d'inférence fondé sur un VLM, ouvrant la voie à une annotation semi-automatique d'actifs 3D à grande échelle. Le code et les assets d'exemple seront publiés uniquement à la parution de l'article, ce qui place JODA au stade de preprint sans validation externe à ce jour. La méthode s'inscrit dans une dynamique plus large d'enrichissement des simulateurs robotiques par des propriétés physiques extraites de données multimodales, un axe de recherche actif chez Google DeepMind, Meta FAIR et dans le domaine des jumeaux numériques industriels.

VEGA : alignement par ancrage de l'encodeur visuel pour les modèles VLA à conscience spatiale

Des chercheurs proposent VEGA (Visual Encoder Grounding Alignment), publié sur arXiv (2605.10485) en mai 2026, un cadre d'alignement destiné à corriger un défaut structurel des modèles vision-langage-action (VLA) : leurs encodeurs visuels, préentraînés sur des images 2D, manquent de perception géométrique 3D. VEGA aligne la sortie de l'encodeur visuel du VLA directement avec les features spatiales de DINOv2-FiT3D, une variante de DINOv2 (Meta) affinée via supervision par 3D Gaussian Splatting multi-vues. L'alignement repose sur un projecteur léger entraîné par perte cosinus en parallèle de la prédiction d'action standard, puis éliminé à l'inférence pour ne pas alourdir le runtime. Sur benchmarks de simulation et tâches réelles de manipulation, VEGA établit un nouvel état de l'art parmi les méthodes d'ancrage spatial implicite. L'enjeu opérationnel est direct : la manipulation fine exige une compréhension géométrique de la scène, pas uniquement sémantique. Les approches existantes alignaient déjà les VLA avec des modèles 3D-aware, mais au niveau des tokens LLM, là où spatial et linguistique sont déjà mélangés, limitant la généralisation. En remontant l'alignement à l'encodeur visuel, VEGA évite cette contamination sémantique et produit un ancrage plus interprétable. Pour un intégrateur ou un fabricant de bras manipulateurs, le ratio est favorable : gain de précision spatiale sans surcoût à l'inférence, et compatibilité avec des architectures VLA existantes sans refonte. Cette contribution s'inscrit dans la course aux VLA comme couche de contrôle universelle : Physical Intelligence (π0, π0.5), Google DeepMind et NVIDIA (GR00T N2), Figure AI (Helix) ou Unitree reposent tous sur des architectures de ce type. La faiblesse du raisonnement 3D dans les VLA reste un frein documenté au passage démo-vers-déploiement, et plusieurs équipes y travaillent via sim-to-real et foundation models 3D. VEGA choisit une voie minimaliste : pas de pipeline 3D à l'inférence, juste un alignement ciblé à l'entraînement. Aucun déploiement industriel ni partenariat commercial n'est mentionné, c'est une contribution académique, mais sa légèreté architecturale la rend directement intégrable dans des projets en cours.

VLA-GSE : améliorer l'ajustement fin efficace en paramètres des VLA avec des experts généralisés et spécialisés

Une équipe de chercheurs publie VLA-GSE (Generalized and Specialized Experts) sur arXiv en mai 2026 (arXiv:2605.06175), une méthode d'affinage efficace en paramètres (PEFT) pour les modèles vision-langage-action (VLA). Ces modèles, construits sur des dorsales visuelles et linguistiques pré-entraînées comme celles d'OpenVLA ou pi-0, souffrent d'oubli catastrophique lorsqu'on les affine entièrement sur des données de contrôle robotique. VLA-GSE répond à ce problème via une décomposition spectrale de la dorsale gelée : les composantes singulières dominantes alimentent des experts généralisés partagés entre toutes les tâches, tandis que les composantes résiduelles disjointes alimentent des experts spécialisés routés selon la tâche. Seuls 2,51 % des paramètres totaux sont entraînables. Sur le benchmark LIBERO-Plus, la méthode atteint 81,2 % de taux de succès moyen en zéro-shot, surpassant à la fois l'affinage complet (FFT) et LoRA, tout en préservant des performances comparables à LoRA sur les benchmarks de compréhension multimodale. Ce résultat remet en question une hypothèse implicite du secteur : préserver les connaissances pré-entraînées et adapter efficacement au contrôle robotique seraient deux objectifs incompatibles. La décomposition spectrale permet d'allouer la capacité d'adaptation là où elle est nécessaire sans écraser les représentations visuelles-sémantiques acquises. Pour les équipes R&D et les intégrateurs travaillant sur des robots manipulateurs, cela signifie qu'un modèle de fondation peut être spécialisé sur un domaine restreint avec un budget computationnel réduit sans sacrifier la généralisation. La robustesse observée face à plusieurs changements de distribution (environnement, objets, éclairage) renforce la crédibilité de l'approche, même si les expériences sur plateformes physiques restent limitées dans les résultats publiés. Les modèles VLA constituent depuis 2023-2024 un axe de recherche majeur, portés notamment par OpenVLA (UC Berkeley), pi-0 (Physical Intelligence) et GR00T N1/N2 (NVIDIA). La stratégie dominante jusqu'ici reposait sur un affinage complet coûteux ou sur LoRA standard, qui peine à capturer la complexité des politiques de contrôle. VLA-GSE se positionne entre ces deux extrêmes avec un ratio paramètres/performance favorable. Le code source est disponible sur GitHub (YuhuaJiang2002/VLA-GSE), facilitant la reproduction. Les prochaines étapes logiques incluent des validations sur des plateformes physiques variées, notamment des bras à 6-7 DOF et des robots mobiles manipulateurs, ainsi qu'une comparaison directe avec des approches concurrentes comme SpatialVLA en conditions de déploiement réel.