Dossier Physical Intelligence — π0

Action QFormer : structuration des représentations guidée par la supervision des actions dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2607.14635v1) une étude sur les modèles vision-langage-action (VLA), remettant en question la manière dont la supervision par action est utilisée pour entraîner ces systèmes. Traditionnellement traitée comme un simple objectif d'apprentissage en aval pour prédire les actions, cette supervision agit en réalité comme une force qui remodèle les représentations multimodales héritées des modèles vision-langage préentraînés. Les auteurs montrent que cet effet est double : il est indispensable pour construire des représentations compatibles avec l'action, mais lorsqu'il est appliqué trop directement sur le flux multimodal hérité, il déstabilise aussi les capacités de traitement du langage et d'ancrage des objets. Pour résoudre cette tension, l'équipe introduit Action QFormer, une interface à base de requêtes conditionnées par les instructions, qui réorganise les informations multimodales héritées en représentations orientées action avant la génération des commandes. En navigation zero-shot sim-to-real, cette architecture fait bondir le taux de réussite moyen des tâches en boucle fermée de 18,8% à 56,3%, la justesse de génération d'action à instruction fixe de 22,5% à 75,5%, et réduit quasiment à zéro les générations d'instructions hors distribution. Ce résultat touche un point sensible du secteur robotique : l'écart persistant entre démonstrations impressionnantes et performances réelles en conditions variables, souvent attribué au fossé sim-to-real. En multipliant par trois le taux de succès en navigation zero-shot, Action QFormer suggère que les gains de performance des VLA ne viendront pas uniquement de backbones préentraînés plus puissants, à la manière de Pi-0, GR00T N2 ou Helix, mais aussi de la façon dont l'information multimodale héritée est sélectionnée et organisée avant d'être exposée à la supervision par action. Pour les intégrateurs et équipes de recherche robotique, ce travail envoie un signal clair : le simple passage à l'échelle des données d'action ou le fine-tuning direct sur des architectures VLM existantes comporte un risque de dégradation silencieuse des capacités de compréhension du langage et de perception, un compromis rarement documenté dans les communications commerciales. Ce travail s'inscrit dans la lignée des modèles VLA apparus depuis RT-2 et OpenVLA, qui adaptent des architectures vision-langage préentraînées à la prédiction directe d'actions robotiques, approche depuis reprise par des laboratoires comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Figure AI avec Helix. La question de la préservation des capacités multimodales sous supervision d'action rejoint des préoccupations déjà observées ailleurs dans le secteur, où l'écart entre vidéos de démonstration sélectionnées et déploiement réel reste un sujet de vigilance éditoriale. Les auteurs positionnent Action QFormer comme une brique architecturale plutôt qu'un produit fini, validée pour l'instant sur des tâches de navigation en environnement simulé puis réel ; la suite logique serait son extension à des tâches de manipulation avec davantage de degrés de liberté, ainsi que sa validation sur des backbones VLA de plus grande échelle.

HRIBench : évaluation de la collaboration homme-robot centrée sur l'interaction

Ce papier arXiv (2607.13056v1) présente HRIBench, un benchmark diagnostique conçu pour évaluer la collaboration homme-robot centrée sur l'interaction, plutôt que la seule manipulation isolée. Contrairement aux benchmarks VLA (vision-language-action) existants, qui testent des compétences de manipulation déconnectées de toute interaction humaine, HRIBench modélise les tâches collaboratives sous forme de scénarios structurés intégrant rôles des agents, dépendances temporelles, contraintes de coordination et distributions de comportement humain. Trois rôles sont définis : Instructeur, Collaborateur et Intrus, couvrant respectivement la communication d'intention, la coordination conjointe et la robustesse face à une intervention humaine imprévue. Le benchmark comprend 13 tâches conditionnées par rôle et plus de 650 épisodes d'évaluation générés à partir de trajectoires d'interaction et de variations de scène diverses. Les chercheurs ont testé des politiques adaptées à partir de GR00T, pi0.5 et ACT selon un protocole unifié, avec des métriques allant au-delà du simple taux de réussite : synchronisation, réactivité, respect du protocole et sécurité. Les résultats montrent que les politiques robotiques actuelles, malgré de bonnes capacités de manipulation pure, peinent nettement dès qu'il s'agit de coordination temporelle et de comportement sensible à l'intention humaine, un angle mort largement ignoré par les benchmarks existants. Ce constat vient nuancer l'idée que les modèles VLA généralistes seraient déjà prêts pour une collaboration homme-robot fluide en environnement partagé, un enjeu central pour tout déploiement industriel où humains et robots opèrent côte à côte. Fait notable, un fine-tuning sur les données HRIBench améliore systématiquement les performances collaboratives, et en conditions réelles, les données de simulation générées par le benchmark font passer le taux de réussite de GR00T N1.5 sur une tâche physique de 0,10 à 0,43. HRIBench s'inscrit dans une dynamique de recherche cherchant à combler l'écart entre benchmarks de manipulation pure et exigences réelles de la cohabitation homme-robot, à mesure que des politiques comme GR00T (NVIDIA), pi0.5 (Physical Intelligence) ou ACT gagnent en usage comme bases pour l'apprentissage robotique généraliste. Les auteurs positionnent leur travail comme un outil diagnostique réutilisable, avec des pistes explicites de fine-tuning ciblé pour renforcer la coordination et la sécurité, plutôt qu'un simple classement de performances brutes.

L'IA générative face aux imitations : une étude sur les interfaces d'information par étape pour l'affinement des modèles VLA

Voici l'article traduit et résumé. Une équipe de recherche a mené une étude empirique comparant différentes interfaces d'information de stade pour l'affinement de politiques Vision-Langage-Action (VLA) sur des tâches de manipulation robotique longue durée. Le problème adressé : une instruction unique de haut niveau (par exemple "range la vaisselle") peut recouvrir plusieurs étapes d'action distinctes, et les chercheurs ont testé si fournir explicitement cette information de progression améliore la performance. Ils ont utilisé des annotations d'action segmentées comme représentation intermédiaire entre l'instruction complète et les segments d'action du modèle VLA, avec un module de suivi de progression qui détecte l'étape active. Deux interfaces ont été comparées à une politique utilisant seulement l'instruction complète : un texte décrivant l'étape courante, et un "Ordinal Stage-State" (un index ordinal normalisé intégré à l'état du robot). Les tests ont été menés sur GR00T N1.6, le modèle VLA de NVIDIA, sur le benchmark LIBERO-10, selon deux protocoles d'entraînement (affinement direct et affinement en continuation depuis un modèle de référence entraîné sur l'instruction complète). Les résultats nuancent une hypothèse répandue dans le secteur robotique, celle qu'ajouter une information de contexte explicite (ici, l'étape en cours) améliore mécaniquement la performance d'une politique VLA. En affinement direct, l'instruction complète seule obtient le meilleur taux de succès moyen (57,45%), devant l'Ordinal Stage-State (54,36%) et le texte d'étape courante (50,24%) : l'information de stade n'apporte donc pas de gain automatique. En revanche, en configuration de continuation depuis un modèle pré-entraîné, l'Ordinal Stage-State dépasse les deux autres approches sur les trois essais appariés (53,75% contre 50,00% et 49,07%). Pour les intégrateurs et équipes de recherche travaillant sur des politiques génératives pour la manipulation longue durée, ce résultat suggère que le bénéfice d'un signal de progression dépend fortement du format de représentation choisi et du régime d'entraînement, un point souvent négligé dans les communications marketing autour des modèles "world-aware" ou "task-decomposition". Cette étude s'inscrit dans un contexte de compétition croissante autour des architectures VLA pour les robots humanoïdes et bras manipulateurs, où NVIDIA (avec sa famille GR00T), Physical Intelligence (Pi-0) et d'autres laboratoires cherchent à améliorer la généralisation des politiques sur des tâches multi-étapes. LIBERO-10, benchmark standard de manipulation à long horizon, sert ici de terrain de comparaison contrôlé. Les auteurs soulignent que l'effet observé varie selon la représentation d'interface et l'arrangement d'entraînement, ouvrant la voie à des travaux futurs sur la conception de signaux de progression plus robustes, potentiellement transférables à d'autres familles de modèles VLA au-delà de GR00T N1.6.

Vision qui prime sur le langage : évaluer et corriger les échecs contrefactuels dans les VLA

Des chercheurs viennent de documenter un défaut structurel des modèles Vision-Language-Action (VLA), ces systèmes censés traduire une instruction en langage naturel en commande robotique. Dans un article mis à jour sur arXiv (2602.17659v2), l'équipe montre que face à des instructions peu représentées dans les données d'entraînement, les VLA ignorent souvent le langage et se rabattent sur des raccourcis visuels : ils répètent l'action la plus fréquemment apprise ou saisissent l'objet le plus vu pendant l'entraînement, sans tenir compte de la consigne réelle. Ce phénomène, baptisé "échec contrefactuel", est évalué grâce à un nouveau benchmark, LIBERO-CF, premier du genre à tester la fidélité au langage en assignant des instructions alternatives sur des scènes visuellement plausibles issues de LIBERO. Pour y remédier, les auteurs proposent Counterfactual Action Guidance (CAG), une méthode d'inférence à double branche qui combine la politique VLA standard avec un module Vision-Action non conditionné par le langage, permettant une comparaison contrefactuelle au moment de choisir l'action. Sur LIBERO-CF, CAG améliore le modèle π0.5 de 9,7% en fidélité au langage et 3,6% en taux de réussite sur les tâches sous-représentées, sans entraînement supplémentaire ; associé à un modèle VA dédié, les gains montent à 15,5% et 8,5%. En conditions réelles, la méthode réduit les échecs contrefactuels de 9,4% et améliore la réussite des tâches de 17,2% en moyenne. Cette découverte pèse directement sur la crédibilité des VLA comme π0, GR00T N2 ou Helix pour un usage industriel : elle confirme qu'un robot peut sembler compétent en démonstration tout en étant en réalité biaisé par ses données, un écart classique entre performance affichée et robustesse réelle. Pour un intégrateur, cela signifie qu'une consigne inhabituelle en environnement de production risque d'être mal exécutée sans erreur visible, un risque de sécurité et de fiabilité difficile à détecter sans benchmark dédié. L'approche s'inscrit dans un effort plus large de la recherche VLA pour renforcer l'ancrage langage-action, jusqu'ici dominé par l'augmentation du volume de démonstrations plutôt que par des corrections architecturales. L'atout de CAG est de ne nécessiter ni données supplémentaires ni modification des modèles pré-entraînés, ce qui facilite son adoption en complément d'architectures existantes. Les auteurs annoncent des expériences étendues à divers VLA, ouvrant la voie à une adoption comme brique standard d'évaluation et de correction avant déploiement réel.

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Voici l'article en français : Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

Mistral AI lance Robostral Navigate

Reformuler ce communiqué en article journalistique neutre, en signalant que les chiffres proviennent uniquement de la communication Mistral, sans donnée sim-to-real indépendante. --- Mistral AI a présenté Robostral Navigate, un modèle de navigation robotique construit selon une architecture Vision-Language-Action : une caméra RGB classique et des instructions en langage naturel remplacent la combinaison habituelle LiDAR, caméras de profondeur, centrale inertielle et cartographie SLAM. Le modèle compte 8 milliards de paramètres, une taille pensée pour tourner sur des plateformes embarquées à ressources limitées plutôt que sur des clusters distants. Selon Mistral, l'entraînement s'est appuyé sur près de 400 000 trajectoires générées dans plus de 6 000 environnements simulés, couvrant bureaux, entrepôts, usines et logements. En fonctionnement, le pipeline doit interpréter le flux vidéo, comprendre la consigne, localiser la cible, planifier une trajectoire, éviter les obstacles fixes et mobiles, et corriger sa position en continu, l'ensemble devant tenir dans un budget de quelques dizaines de millisecondes par cycle de décision. L'intérêt pour les fabricants de robots mobiles tient d'abord au coût : une caméra RGB se chiffre en dizaines d'euros contre plusieurs centaines, voire milliers d'euros pour un LiDAR industriel, ce qui allège aussi bien la facture matérielle que l'intégration logicielle. Sur le fond, Robostral Navigate teste à l'échelle de la navigation pure une hypothèse déjà explorée côté manipulation par les modèles VLA : qu'un système entraîné majoritairement en simulation puisse généraliser à des environnements réels variés sans empiler les capteurs. C'est une promesse à vérifier plutôt qu'un résultat acquis, les chiffres de 400 000 trajectoires et 6 000 environnements provenant uniquement de la communication de Mistral, sans benchmark tiers ni donnée publiée sur l'écart sim-to-real en conditions réelles. Pour les intégrateurs et décideurs industriels, la question qui reste ouverte est celle de la robustesse hors simulation, dans des lieux encombrés, mal éclairés ou changeants. Mistral AI, jusque-là identifiée aux grands modèles de langage (Mistral Large, Mixtral) et positionnée comme l'alternative européenne face à OpenAI et Google, franchit ici son premier pas affiché vers la Physical AI, terrain déjà occupé par NVIDIA avec GR00T N2, Figure AI avec Helix, ou Physical Intelligence avec Pi-0. L'entreprise française n'a pas communiqué de calendrier de déploiement industriel ni de partenariat matériel identifié à ce stade ; Robostral Navigate reste, en l'état des informations disponibles, une annonce de capacité logicielle plutôt qu'un produit livré ou testé en flotte réelle.

DexVerse : un référentiel modulaire pour la manipulation dextre multi-tâche et multi-incarnation

Un consortium de chercheurs présente DexVerse, un benchmark modulaire à grande échelle pour la manipulation dextre multi-tâches et multi-embodiments. L'ensemble couvre 100 tâches réparties sur des compétences variées : saisie et déplacement d'objets, interaction avec des objets articulés, usage fonctionnel d'outils, coordination bimanuelle, contrôle non préhensile, comportements riches en contact, exécution multi-objectifs et tâches longues à plusieurs étapes. Le système prend en charge 3 bras robotiques et 6 mains dextres différentes, et reste extensible à de nouvelles tâches, de nouveaux actifs et de nouveaux embodiments. Pour tester la généralisation visuomotrice, DexVerse propose des variations visuelles paramétrables (textures, arrière-plans, éclairage, points de vue caméra). Les auteurs fournissent aussi une interface de téléopération en réalité virtuelle ainsi que 3 180 démonstrations avec observations synchronisées : données proprioceptives, images RGB, profondeur, nuages de points et états. Quatre méthodes représentatives ont été évaluées sur 19 tâches : Diffusion Policy, DP3, OpenVLA et π0.5. Les résultats révèlent des difficultés importantes de généralisation entre tâches et de robustesse visuomotrice, même pour ces politiques d'apprentissage jugées à la pointe. Pour l'industrie robotique, ce constat vient nuancer l'enthousiasme actuel autour des modèles VLA (vision-langage-action) présentés comme des solutions généralistes prêtes à l'échelle : DexVerse montre que la performance chute nettement dès que les conditions visuelles ou la nature de la tâche s'écartent du contexte d'entraînement. C'est un signal utile pour les intégrateurs et décideurs B2B qui évaluent des politiques de manipulation dextre avant déploiement industriel : la démonstration en laboratoire ne garantit pas la robustesse en conditions réelles variables. DexVerse s'inscrit dans une lignée de benchmarks robotiques cherchant à dépasser les évaluations sur tâche isolée, un manque identifié dans les jeux d'essai existants, limités en diversité de tâches, de couverture d'embodiments ou de variation visuelle contrôlable. En couvrant simultanément plusieurs bras, plusieurs mains et un large éventail de conditions, il se positionne comme un terrain d'essai de référence pour comparer des approches comme Diffusion Policy ou les modèles de la famille π face à des architectures VLA telles qu'OpenVLA. La page du projet est disponible à l'adresse ycyao216.github.io/DexVerse.site, laissant présager de futures évaluations élargies et l'ajout d'autres méthodes et tâches.

Diagnostiquer les échecs de transfert sémantique dans la composition de compétences VLA orchestrée par agents

Des chercheurs ont testé un système d'orchestration d'agents pour l'exécution de tâches robotiques longues sur le benchmark BEHAVIOR-1K, qui simule des tâches ménagères nécessitant l'enchaînement de plusieurs compétences comme la navigation, la saisie, la pose d'objets et l'ouverture de portes. Le système s'appuie sur des checkpoints de compétences basés sur le modèle vision-langage-action Pi-0.5, entraînés à partir de démonstrations nettoyées issues de BEHAVIOR-1K. Chaque compétence reçoit des arguments typés et un budget d'étapes, et un modèle vision-langage multi-vues vérifie si l'exécution doit continuer, réessayer ou replanifier. Les auteurs comparent deux conditions de départ : des instantanés "propres" pris à la frontière entre deux compétences, et des états "chaînés" issus réellement de l'exécution de la compétence précédente. Résultat : les compétences testées individuellement atteignent 77 à 100% de réussite depuis des instantanés propres, sous vérification validée par des humains. Mais une fois enchaînées dans des rollouts complets, ces mêmes compétences échouent fréquemment à partir des états chaînés, avec un taux de réussite de bout en bout proche de zéro. Cette étude pointe un problème central pour l'industrie robotique qui cherche à déployer des VLA généralistes : le "handoff sémantique" entre compétences. Un modèle peut valider parfaitement sa propre postcondition tout en laissant le robot, les objets ou la caméra dans un état dont la compétence suivante ne peut pas repartir. Cela contredit l'hypothèse implicite de nombreux pipelines actuels selon laquelle empiler des compétences individuellement performantes suffit à obtenir un comportement fiable sur le long horizon. Pour les intégrateurs et décideurs B2B qui évaluent des démonstrations VLA impressionnantes en isolation, ce travail rappelle que le taux de réussite d'une compétence seule ne prédit pas la robustesse en conditions réelles d'enchaînement, où l'état de départ est "sale" plutôt que propre. Le travail s'inscrit dans la lignée de BEHAVIOR-1K, benchmark de tâches ménagères longues, et s'appuie sur la famille Pi-0.5, une architecture vision-langage-action comparable à des approches comme GR00T N2 ou Helix développées ailleurs dans le secteur. Les auteurs analysent les traces d'exécution et attribuent les échecs à trois causes : le manque de préparation pour la compétence suivante, une mauvaise identification de la cible, et des erreurs de contrôle bas niveau. Plutôt que d'annoncer des résultats de succès, l'article transforme un taux de réussite quasi nul en diagnostic actionnable, plaidant pour que les futures bibliothèques de compétences VLA intègrent explicitement la robustesse aux états chaînés, largement sous-représentés dans les démonstrations propres utilisées à l'entraînement.

DynaWM : un modèle du monde guidé par un VLA de base pour la manipulation d'objets en mouvement

DynaWM, un nouveau modèle du monde ("world foundation model") piloté par des architectures vision-langage-action (VLA), vient d'être présenté dans un preprint publié sur arXiv début juillet 2026. Le système cible un point faible connu des modèles VLA actuels : la manipulation d'objets en mouvement. Techniquement, DynaWM combine trois briques, un encodeur d'actions basé sur Mamba-3 qui traite les séquences d'actions produites par le modèle VLA de base, un encodeur visuel V-JEPA 2.1 qui exploite l'historique d'observations multi-vues, et un encodeur d'état proprioceptif du bras robotique, le tout conditionnant un transformeur à diffusion par flow-matching qui régénère des trajectoires d'action adaptées au mouvement de l'objet. Les auteurs ont aussi construit deux jeux de données : le benchmark DynaGrasp-32, qui couvre six catégories de tâches (variation de vitesse, de trajectoire, manipulation multi-objets), et DynaGrasp-1600, soit 32 scénarios, 1 600 démonstrations et environ 1,53 million d'images. Sur des checkpoints VLA finement réglés, DynaWM améliore les taux de réussite de 7,19 à 45,31 points de pourcentage selon le modèle de base (SmolVLA, X-VLA, Pi-0, Pi-0.5) ; sur des checkpoints seulement grossièrement réglés, les gains grimpent à 26 voire 44 points. L'enjeu dépasse la simple performance chiffrée : la plupart des modèles du monde existants sont fine-tunés directement dans l'architecture VLA, ce qui dégrade souvent les capacités du modèle pré-entraîné. En gardant le VLA de base intact et en ajoutant un module de guidage séparé, DynaWM évite ce compromis, un argument qui parle directement aux équipes de recherche en robotique confrontées à la fragilité des VLA lors du fine-tuning. Pour les intégrateurs, cela touche un cas d'usage concret : le tri ou la préhension d'objets sur convoyeur, en environnement non statique, un scénario encore largement absent des démonstrations spectaculaires de préhension immobile. Le travail s'inscrit dans la lignée des modèles VLA généralistes comme Pi-0, Pi-0.5, SmolVLA ou X-VLA, utilisés ici comme bases de comparaison, ainsi que des travaux sur les modèles du monde en robotique et sur l'encodeur visuel auto-supervisé V-JEPA de Meta. À ce stade, il s'agit d'un résultat de recherche académique évalué sur benchmark simulé et jeu de données maison, sans déploiement industriel annoncé ; la suite logique serait une validation sur bras robotiques réels et une comparaison avec d'autres approches de manipulation dynamique comme GR00T N2 ou Helix.

Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement

Voici l'article traduit et résumé : Une équipe de recherche a mis en évidence une faille critique dans les modèles Vision-Language-Action (VLA), ces systèmes qui permettent à des robots d'exécuter des tâches de manipulation à partir d'instructions en langage naturel. Le problème, baptisé "cécité linguistique", survient lorsque le robot continue d'exécuter une action visuellement plausible même quand l'instruction textuelle contredit explicitement la scène observée : le modèle privilégie alors ce qu'il voit au détriment de ce qu'on lui dit. Pour quantifier ce phénomène, les chercheurs ont créé ICBench, un benchmark diagnostique dérivé du jeu de données LIBERO, qui injecte des contradictions contrôlées entre instruction et environnement visuel. Testés sur trois architectures VLA de référence, Pi-0, Pi-0.5 et OpenVLA OFT, les modèles réussissent fréquemment leur tâche malgré des instructions logiquement impossibles, preuve d'un biais visuel marqué dans la génération d'action. Face à ce constat, l'équipe propose IGAR (Instruction-Guided Attention Recalibration), un mécanisme appliqué au moment de l'inférence, sans réentraînement ni modification architecturale, qui rééquilibre l'attention du modèle pour restaurer le poids de l'instruction linguistique. Cette découverte fragilise un postulat central du secteur robotique actuel : que les modèles VLA génèrent des actions réellement pilotées par le langage, condition indispensable pour des robots généralistes capables de suivre des consignes fiables en environnement industriel ou domestique. Un robot qui ignore silencieusement une instruction contradictoire, sans signaler d'erreur, représente un risque direct pour les intégrateurs et les décideurs B2B qui envisagent de déployer ces modèles sur des lignes de production ou en logistique, où une mauvaise interprétation peut coûter cher en sécurité ou en qualité. IGAR intéresse particulièrement car il s'agit d'un correctif applicable sans réentraînement aux modèles existants. Sur 30 tâches issues de LIBERO, IGAR réduit sensiblement les exécutions erronées face à des instructions contradictoires hors distribution, tout en préservant les performances de base sur les tâches normales. Les chercheurs ont aussi validé l'approche sur un bras robotique Franka réel, où IGAR a effectivement empêché des manipulations déclenchées par des instructions incohérentes, un test important puisqu'il dépasse la simple simulation. Ce travail s'inscrit dans une tendance plus large d'audit critique des modèles VLA, où la question du "sim-to-real" et de la robustesse aux cas limites reste largement sous-explorée face à l'engouement commercial entourant Pi-0, GR00T N2 ou Helix.

Rapport technique RhinoVLA

HuixiAI a publié un rapport technique sur RhinoVLA, un modèle vision-langage-action (VLA) conçu spécifiquement pour tourner en temps réel sur du matériel embarqué, en co-conception avec le SoC edge Huixi R1. Le modèle s'appuie sur un backbone Qwen3-VL optimisé pour limiter le nombre de tokens visuels et contextuels traités, identifiés par les auteurs comme le principal goulot d'étranglement en latence des VLA sur puce embarquée : dans les opérateurs de projection dominés par le calcul matriciel (GEMM), le coût croît linéairement avec le nombre de tokens en entrée. RhinoVLA associe ce backbone allégé à un Action Expert à sortie continue, ainsi qu'à une interface unifiée combinant un registre de vues (View Registry), un espace d'état-action physique à 72 dimensions et des adaptateurs LoRA propres à chaque instance de robot, pour aligner des observations et schémas d'action hétérogènes sous une politique commune. Résultat annoncé : des performances comparables à π0.5 à taille de paramètres équivalente, avec une inférence de bout en bout à 11,69 Hz sur le Huixi R1, au-dessus du seuil de 10 Hz jugé nécessaire pour un contrôle en boucle fermée temps réel. L'enjeu dépasse la simple performance brute : la plupart des VLA démontrés en laboratoire (π0, GR00T N2, Helix) tournent sur GPU serveur ou desktop, loin des contraintes de puissance et de latence d'un robot mobile ou d'un bras industriel autonome. En optimisant simultanément l'architecture du modèle et la compilation matérielle (précision mixte, encodage visuel parallélisé), RhinoVLA s'attaque directement au fossé entre démonstration et déploiement réel, un point sensible pour les intégrateurs qui évaluent la viabilité commerciale des VLA en usine ou en logistique plutôt qu'en simple preuve de concept. Le projet doit être publié en open source sur GitHub (HuixiAI/RhinoVLA), une démarche qui s'inscrit dans la compétition croissante autour des architectures VLA généralistes multi-robots, aux côtés des travaux de Physical Intelligence (π0, π0.5) et NVIDIA (GR00T). Le document constitue une version révisée (v2) d'un rapport déjà déposé sur arXiv, sans calendrier de déploiement industriel précisé à ce stade.

Z-1 : apprentissage par renforcement efficace pour les modèles vision-langage-action

Des chercheurs présentent Z-1, un framework de post-entraînement par apprentissage par renforcement (RL) pour les modèles Vision-Language-Action (VLA) à base de flow matching, décrit dans un article publié sur arXiv (2606.31846v1). Construit sur l'architecture π0.5 de Physical Intelligence, Z-1 s'appuie uniquement sur les démonstrations publiques RoboCasa pour la phase de fine-tuning supervisé (SFT), puis applique une stratégie de Group Relative Policy Optimization (GRPO) tâche par tâche sur 24 tâches standard du benchmark RoboCasa. Pour rendre cette optimisation en ligne plus stable et efficace, les auteurs combinent quatre techniques: construction de rollouts à préfixe partagé, branchement arborescent des trajectoires, calibration des récompenses tenant compte de la complétion des tâches, et entraînement conjoint sélectif du modèle vision-langage et de l'"Action Expert". Résultat: un taux de réussite moyen de 80,6% sur les 24 tâches, soit un gain de 13,2 points par rapport au modèle SFT de départ, et une performance supérieure aux meilleurs modèles publiés jusqu'ici. L'enjeu dépasse le simple gain de benchmark. La grande majorité des politiques VLA actuelles restent bridées par le behavior cloning ou le SFT sur données figées, une approche qui plafonne dès que le robot rencontre une situation absente des démonstrations. En montrant qu'un post-entraînement RL structuré peut améliorer significativement une politique flow-based sans données de démonstration privées supplémentaires, Z-1 apporte un argument concret en faveur du RL comme étape standard après le SFT, plutôt qu'une simple option de recherche. Pour les équipes qui entraînent des VLA pour la manipulation robotique, cela suggère une voie pour corriger les échecs récurrents d'une politique sans repasser par une collecte de données coûteuse. Le travail s'inscrit dans la lignée des modèles génération π (π0, π0.5 de Physical Intelligence) et fait écho aux efforts similaires chez GR00T N2 (NVIDIA) ou Helix (Figure AI), qui cherchent tous à faire passer les VLA du stade de la démonstration à celui d'une robustesse exploitable en conditions réelles. GRPO, popularisé dans l'entraînement de modèles de langage, est ici adapté aux contraintes du contrôle continu. Les auteurs présentent Z-1 comme une preuve de concept méthodologique, sans annoncer de déploiement matériel ni de calendrier commercial.

ELASTIC : passage à l'échelle adaptatif du calcul en temps de test pour l'apprentissage efficace de politiques de contrôle génératives

Un nouvel article de recherche publié sur arXiv (identifiant 2606.31132) présente ELASTIC, un algorithme conçu pour optimiser le calcul mobilisé au moment de l'exécution par les politiques de contrôle génératives, notamment les diffusion policies et les modèles vision-langage-action (VLA) de type flow-based. Ces politiques peuvent allouer davantage de ressources selon deux axes : la mise à l'échelle séquentielle, qui augmente le nombre d'étapes de débruitage pour affiner une action, et la mise à l'échelle parallèle, qui échantillonne plusieurs actions candidates pour explorer différents modes de la distribution. ELASTIC formule ce choix comme un meta-processus de décision markovien : une meta-politique observe l'état du robot et décide, à chaque itération de débruitage, combien d'étapes séquentielles et d'échantillons parallèles allouer, entraînée par apprentissage par renforcement sans accès aux données d'entraînement de la politique de base. Sur des benchmarks de manipulation simulés avec des diffusion policies, ELASTIC domine au sens de Pareto les approches à budget fixe ou à échelle unique. En conditions réelles, avec le modèle VLA pi-0.5, la méthode égale les performances d'un "best-of-10" (dix tentatives échantillonnées) tout en réduisant la latence de 34%. L'enjeu dépasse la seule performance de laboratoire : l'allocation de calcul test-time reste aujourd'hui largement empirique, fixée à la main selon la tâche. Un mécanisme qui adapte automatiquement l'effort de calcul, par exemple en explorant davantage lors d'une phase de saisie éloignée de l'objet puis en resserrant la précision près du contact, s'attaque directement au compromis latence/fiabilité qui freine le déploiement industriel des VLA. Pour les intégrateurs, cela ouvre la voie à des politiques capables de s'exécuter plus vite sans sacrifier le taux de réussite, un point critique pour des cycles de production. Le travail s'inscrit dans la lignée des recherches sur le test-time scaling, déjà popularisé en robotique par les diffusion policies et par des modèles comme GR00T N2 ou Pi-0 de Physical Intelligence, dont pi-0.5 sert justement de base expérimentale ici. Les auteurs ne précisent pas de calendrier de déploiement industriel ; il s'agit pour l'instant d'un résultat de recherche destiné à orienter la conception des futures architectures VLA plutôt qu'un produit prêt à intégrer.

Où regardent les humains lors des démonstrations à des robots : analyse du comportement visuel dans les tâches de prise-et-dépose

Une équipe de chercheurs publie sur arXiv (référence 2506.05808v2) une étude expérimentale portant sur le comportement oculaire des opérateurs humains lors de sessions de téleopération robotique, dans le cadre spécifique de tâches de saisie et de dépose (pick-and-place). Le protocole expérimental compare plusieurs dispositifs de démonstration, des interfaces qui émulent l'incarnation et les conditions visuelles d'un robot, et mesure précisément où le regard humain se fixe pendant l'exécution. Les résultats montrent que certaines propriétés des dispositifs provoquent un déplacement systématique de l'attention visuelle : l'opérateur cesse de regarder les indices liés à l'objectif de la tâche (les objets à manipuler) pour se concentrer sur les indices de supervision du contrôle (l'effecteur terminal, c'est-à-dire la pince ou le bras du robot). Ce n'est pas un effet marginal, il est suffisamment prononcé pour mesurer son impact en aval sur les modèles d'apprentissage. L'enjeu pour les équipes qui construisent des pipelines d'imitation learning est direct. L'apprentissage par imitation, qui fonde une part croissante des architectures VLA (Vision-Language-Action) comme Pi-0, GR00T N2 ou OpenVLA, repose sur des volumes massifs de données de démonstration humaine, dont le coût de collecte est élevé. Une hypothèse structurante du domaine est que le regard humain encode des informations cognitives de haut niveau, priorité aux objets, anticipation de la trajectoire, que les modèles peuvent exploiter pour généraliser. Or cette étude montre que, selon le dispositif utilisé, ce signal se dégrade au point de faire chuter les performances des modèles gaze-based en dessous des baselines sans information oculaire. En d'autres termes, le choix du matériel de collecte de données n'est pas neutre : il peut silencieusement empoisonner le signal superviseur. Ce travail s'inscrit dans un débat actif autour de la qualité versus la quantité des données de démonstration, dans un secteur où Physical Intelligence, Hugging Face (LeRobot) et des laboratoires comme Stanford (ALOHA) ou Berkeley (DROID) investissent massivement dans des infrastructures de collecte standardisées. La question de quel dispositif utiliser, manette, bras maître, interface VR, exosquelette, n'avait jusqu'ici été abordée que sous l'angle ergonomique ou de la fidélité de contrôle. Cette étude introduit une nouvelle dimension : l'effet du dispositif sur la qualité du signal cognitif implicite, avec des implications directes pour la conception des futures campagnes de collecte de données à grande échelle.

TAP-VLA : annotation tactile pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2606.29089) une méthode appelée TAP-VLA (Tactile Annotation Prompting for Vision-Language-Action models) visant à doter les modèles vision-langage-action du sens du toucher sans modifier leur architecture. Sur quatre tâches de manipulation à contacts complexes (vissage, insertion, assemblage de précision), TAP-VLA atteint un taux de succès de 78 %, contre moins de 50 % pour un fine-tuning purement visuel et pour les approches alternatives de fusion tactile, certaines de ces baselines ne faisant pas mieux qu'un résultat aléatoire. Le principe repose sur des capteurs visuo-tactiles capables de mesurer les champs de cisaillement (shear fields) à la surface de contact ; ces champs sont ensuite superposés sous forme de vecteurs spatialement alignés directement sur les images RGB multi-vues que le modèle consomme déjà, sans ajouter de modalité d'entrée distincte. L'enjeu est réel : les VLAs de génération actuelle, comme π0 de Physical Intelligence, OpenVLA ou RT-2 de Google DeepMind, offrent un raisonnement robuste sur les variations visuelles, sémantiques et spatiales grâce à leur pré-entraînement à grande échelle, mais restent aveugles aux forces de contact, pourtant centrales dans toute manipulation industrielle sérieuse (emboîtement de précision, vissage, gestion d'objets déformables). Intégrer le toucher comme nouvelle modalité d'entrée détériore précisément ce pré-entraînement, car les données tactiles sont absentes des corpus à grande échelle sur lesquels ces modèles sont construits, un problème de distribution shift bien documenté dans la littérature. TAP-VLA contourne l'obstacle en restant dans l'espace d'observation natif du modèle : pas de modification architecturale, pas de pré-entraînement tactile spécifique, surcoût computationnel négligeable. Ce travail s'inscrit dans une course active autour de l'embodied AI pour la manipulation de précision, où Physical Intelligence (π0, π0-FAST), Figure AI ou Apptronik cherchent à étendre les capacités de leurs humanoïdes et bras industriels au-delà du pick-and-place visuel. La question du sim-to-real pour les contacts reste l'un des derniers verrous majeurs avant un déploiement industriel à l'échelle. En évitant la refonte architecturale, TAP-VLA propose une voie d'intégration compatible avec les VLAs existants, ce qui simplifie son adoption par des équipes qui travaillent à partir de modèles déjà entraînés. La publication sur arXiv sans conférence associée indique que ce travail est encore en cours d'évaluation par les pairs ; aucun déploiement réel ou pilote industriel n'est annoncé à ce stade.

FADA : adaptation de domaine few-shot par alignement des dynamiques pour le contrôle humanoïde

Des chercheurs du LECAR Lab (Learning, Computing and Autonomous Robots) ont publié le 30 juin 2026 sur arXiv (référence 2506.28476) un préprint décrivant FADA, un cadre d'adaptation en quelques exemples pour le contrôle de robots humanoïdes. L'architecture, baptisée Planner-IDM (Planner–Inverse Dynamics Model), fonctionne en trois étapes : entraînement d'une politique oracle avec accès à des informations privilégiées (état complet du simulateur), distillation de ce comportement dans un modèle étudiant déployable via DAgger, puis fine-tuning ciblé du seul module IDM à partir d'environ deux minutes de données collectées dans l'environnement réel. La supervision ne requiert ni démonstrations expertes ni signal de récompense : uniquement les paires (actions, observations) enregistrées lors de ces brefs rollouts. Les expériences montrent que FADA surpasse les baselines d'adaptation in-context et d'adaptation end-to-end sur des tâches whole-body à haute précision exécutées sur robot physique. L'enjeu pratique est réel : le "dynamics mismatch", écart entre les dynamiques simulées et celles du domaine cible dues aux variations de terrain, de charge utile ou de réponse actionneur, reste l'un des principaux freins au déploiement industriel des humanoïdes. Les approches actuelles forcent un compromis inconfortable entre la randomisation de domaine (zero-shot, mais sous-spécialisée) et le recalibrage complet du modèle ou le ré-entraînement de politique (précis, mais coûteux en données et en temps). Deux minutes de rollouts pour aligner un IDM représentent un point d'équilibre opérationnellement crédible pour des intégrateurs qui ne peuvent pas interrompre une ligne de production plusieurs heures. Cela dit, les vidéos hardware présentées sur le site du projet sont sélectionnées par les auteurs ; aucune évaluation statistique robuste sur variété de terrains ou charges n'est encore disponible dans ce préprint non relu par les pairs. Le sim-to-real gap est un problème structurel que l'ensemble de l'écosystème humanoïde, Figure (02/03), Tesla Optimus, Boston Dynamics Atlas, Physical Intelligence (pi-zero), tente de résoudre, principalement par randomisation massive en simulation ou par apprentissage en contexte (in-context RL). FADA s'inscrit dans une troisième voie, plus proche des travaux sur l'adaptation rapide de politiques (MAML, RMA) mais appliquée à l'architecture Planner-IDM. Le LECAR Lab, affilié à l'Université de Californie San Diego, capitalise ici sur des travaux antérieurs en locomotion et manipulation whole-body. Prochaine étape attendue : validation sur une plus large variété de dynamiques et de morphologies robotiques, ainsi qu'une soumission à conférence (ICRA ou CoRL) pour passer le filtre de la revue par les pairs.

Fiez-vous à vos instincts : RL à l'inférence guidé par la confiance pour les modèles VLA

Des chercheurs ont publié le 30 juin 2026 sur arXiv (ref. 2506.29892) un framework d'apprentissage par renforcement baptisé T²VLA (Test-time VLA), conçu pour améliorer les modèles Vision-Language-Action sans recourir à aucun signal de récompense externe. Le principe central repose sur une observation empirique : dans les VLA à actions discrètes, les trajectoires générées avec un niveau de confiance interne plus élevé ont statistiquement une probabilité nettement supérieure de réussir la tâche. T²VLA exploite cette propriété en utilisant la similarité de chaque trajectoire produite avec des démonstrations expertes à haute confiance comme signal de récompense intrinsèque. Le framework intègre un mécanisme appelé Confidence-Driven Dual Expert Bootstrapping, qui arbitre dynamiquement entre un Local Pseudo-Expert (favorisant l'exploration locale) et un Global Expert Pool (garantissant la stabilité de l'entraînement). Les expériences portent sur les benchmarks LIBERO et RoboTwin, deux environnements de référence en manipulation robotique simulée, et couvrent plusieurs architectures VLA dont OpenVLA-OFT et la série pi (pi-0, pi-0.5). L'intérêt pratique de T²VLA est de supprimer le principal frein au déploiement du RL pour les robots incarnés : la nécessité d'instrumenter l'environnement avec des détecteurs de succès ou des fonctions de récompense prédéfinies. En robotique industrielle ou logistique, concevoir ces signaux externes est coûteux, fragile, et souvent impossible hors d'un laboratoire contrôlé. Le fait que le modèle puisse s'auto-améliorer à partir de ses propres évaluations internes représente un changement de paradigme potentiellement significatif pour le sim-to-real : les résultats publiés montrent que T²VLA dépasse les baselines supervisées et s'approche des performances d'un RL oracle (disposant des vraies récompenses), ce qui suggère que le signal intrinsèque capture bien la qualité des trajectoires. Il convient néanmoins de noter que les évaluations restent pour l'instant confinées à des environnements simulés, et l'écart sim-to-real sur du matériel réel n'est pas abordé dans ce papier. T²VLA s'inscrit dans une dynamique plus large autour des VLA généralistes, portée notamment par Physical Intelligence (pi-0), DeepMind (RT-2), et les équipes autour d'OpenVLA. Ces modèles combinent vision, langage et contrôle moteur dans une architecture unifiée, mais leur amélioration post-déploiement butait jusqu'ici sur la nécessité d'un retour environnemental explicite. Le framework proposé est décrit comme agnostique à l'architecture, ce qui facilite théoriquement son intégration sur les VLA existants. Les auteurs ne mentionnent pas de partenaire industriel ni de timeline de déploiement réel, et le travail reste au stade de preuve de concept académique sur simulateurs ; des validations sur robots physiques et en conditions de variabilité industrielle seront déterminantes pour confirmer la portée opérationnelle de l'approche.

Apprentissage de dynamiques transférables : des modèles d'action aux modèles du monde

Des chercheurs ont publié en juin 2026 un préprint arXiv (2606.29501) décrivant A2World, un modèle de monde diffusion multi-vues conditionné par les actions, pré-entraîné sur de larges volumes de données de manipulation robotique avec annotations d'actions réelles. L'idée centrale est que prédire comment une action modifie visuellement une scène, plutôt que simplement générer des vidéos plausibles, force le modèle à capturer des dynamiques d'interaction réutilisables. Ce pré-entraînement produit ce que les auteurs appellent des "priors de dynamiques transférables". À partir des mêmes poids pré-entraînés, deux variantes sont dérivées : A2World-sim, adapté en simulateur spécialisé par tâche ou environnement, et A2World-policy, un modèle de prédiction jointe vidéo-action conditionné par des instructions visuelles. Les expériences sont validées sur des benchmarks de simulation et en conditions réelles, sans que les auteurs ne publient de métriques quantitatives précises dans le résumé. L'enjeu concret pour les équipes de robotique industrielle est le coût des données de rollout réel : A2World-sim vise à remplacer les passages physiques sur robot par des déroulements dans le modèle de monde, permettant une évaluation de politique à grande échelle et des analyses contrefactuelles ("que se passerait-il si...") sans mobiliser de hardware. C'est le noeud dur du problème sim-to-real : les simulateurs classiques (Isaac Sim, MuJoCo) échouent sur la fidélité visuelle et de contact, tandis qu'un modèle de monde appris sur des données réelles devrait, en théorie, hériter de la physique implicite du monde réel. A2World-policy s'inscrit dans la lignée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, en conditionnant la prédiction d'action sur le flux visuel et des instructions en langage naturel. Il s'agit toutefois d'un préprint non revu par les pairs, et les métriques présentées (benchmarks de simulation) restent à confirmer sur des déploiements réels à l'échelle. Ce travail s'inscrit dans une dynamique de recherche active sur les modèles de monde pour la robotique, portée depuis 2023-2024 par des approches comme UniSim (Google), RoboDreamer, ou Genie, qui toutes cherchent à découpler l'apprentissage de politique du coût de la collecte de données physiques. Physical Intelligence (pi-0, pi-0.5), Figure AI (Figure 02/03) et 1X Technologies misent sur des architectures VLA similaires pour la généralisation multi-tâches. La contribution spécifique d'A2World est de partager les poids pré-entraînés entre le simulateur et le modèle de politique, plutôt que de les traiter comme deux systèmes distincts. Les prochaines étapes attendues dans ce type de travaux sont la publication de benchmarks ouverts, une comparaison directe contre des rollouts réels, et, pour les acteurs industriels, la question de savoir si ces approches tiennent sur des environnements non structurés hors laboratoire.

BMW Group déploie le robot humanoïde Figure 03 après les tests de la version précédente

BMW Group a annoncé le déploiement de Figure 03, le dernier robot humanoïde de Figure AI, dans son usine de Spartanburg, en Caroline du Sud. Ce déploiement fait suite à un pilote de onze mois avec le modèle précédent, Figure 02, qui a participé à la production de plus de 30 000 véhicules BMW X3 en 2025. Dans cet atelier de carrosserie, Figure 02 insérait des pièces en tôle pour le processus de soudage, une tâche à la fois cadencée et physiquement contraignante. Figure 03 se voit confier une nouvelle mission en logistique : trier des composants arrivant en vrac dans de grands conteneurs, les placer dans des chariots de séquençage, puis les acheminer vers des points de collecte pour une livraison en flux tiré ("just in sequence") aux opérateurs d'assemblage. Le nouveau modèle introduit plusieurs évolutions techniques : mains dotées de capteurs tactiles et de caméras palmaires pour plus de précision, recharge sans fil pour une meilleure disponibilité opérationnelle, composants souples pour la sécurité de coopération homme-robot, et un module audio de communication vocale bidirectionnelle. L'annonce valide un argument central du débat sur les humanoïdes industriels : le passage du laboratoire à la production réelle est possible. Onze mois de fonctionnement en atelier de carrosserie constituent une référence concrète dans un secteur dominé jusqu'ici par des démonstrations contrôlées. Pour les intégrateurs et décideurs industriels, le cas BMW-Figure AI déplace la question de "est-ce que ça marche ?" vers "à quelle cadence et à quel coût peut-on scaler ?". L'usage logistique de séquençage choisi pour Figure 03 est particulièrement significatif : il est répétitif, non structuré (flux de pièces non triées) et à fort impact sur la fluidité de la chaîne d'assemblage. C'est exactement le type de tâche où les robots sur AGV classiques atteignent leurs limites. Cependant, ni BMW ni Figure AI n'ont communiqué de chiffres sur la cadence horaire, le taux d'erreur ou le coût opérationnel, ce qui rend difficile toute comparaison rigoureuse avec des solutions d'automatisation alternatives. Figure AI, fondée par Brett Adcock et basée à San José en Californie, avait initié son partenariat avec BMW comme premier déploiement industriel public à grande échelle, face à des concurrents comme Tesla (Optimus), Boston Dynamics (Atlas), Agility Robotics (Digit) ou encore Physical Intelligence avec son modèle de politique Pi-0. BMW, de son côté, diversifie ses expérimentations robotiques : l'entreprise teste également AEON, le robot humanoïde à roues d'Hexagon AB, dans son usine de Leipzig depuis décembre 2025, avec un déploiement pilote prévu à partir de l'été 2026. Spartanburg reste le site de référence pour la fabrication série, tandis que Leipzig sert de terrain d'essai pour des architectures de mobilité alternatives. Les prochaines étapes pour Figure 03 concerneront la scalabilité du cas d'usage logistique et son extension potentielle à d'autres halls de production BMW en Europe ou en Amérique du Nord.

X Square Robot boucle quatre levées consécutives et atteint 2,8 milliards de dollars de valorisation grâce à ses modèles fondation d'IA physique

X Square Robot, startup pékinoise fondée en 2023 et spécialisée dans l'IA incarnée pour environnements réels, vient de boucler quatre tours de financement consécutifs dont une Série C portant sa valorisation à 2,8 milliards de dollars (20 milliards de yuans). IDG Capital a participé à la Série C, tandis que HongShan et Xiaomi ont soutenu l'entreprise sur plusieurs tours antérieurs. Surtout, Meituan, Alibaba et ByteDance ont chacun conduit un tour précédent, faisant de X Square Robot la seule société d'IA incarnée en Chine à avoir obtenu un lead investment des quatre plus grands groupes tech nationaux. En avril 2026, la société a dévoilé WALL-B, un modèle fondation basé sur son architecture "World Unified Model" (WUM) : contrairement aux approches VLA modulaires qui assemblent des composants vision, langage et action distincts, WALL-B entraîne l'ensemble perception-langage-action-prédiction physique dans un réseau unique. Deux modèles complémentaires ont été mis en open source : WALL-OSS-0.5, qui atteint plus de 80 % de complétion autonome sur 4 des 17 tâches testées en conditions réelles sans fine-tuning post-entraînement, et WALL-WM, un modèle de prédiction monde alignant données langagières, visuelles et gestuelles autour d'événements physiques significatifs. Sur le terrain, X Square Robot a déployé ses robots en partenariat avec 58.com pour un service de nettoyage assisté par IA à Shenzhen et Pékin, les machines opérant aux côtés d'agents humains dans des immeubles résidentiels réels. Depuis mai 2026, un programme "X Family Member" place des robots en foyers volontaires jusqu'à un mois en tant qu'assistants domestiques. La valorisation à 2,8 milliards de dollars positionne X Square Robot parmi les startups d'IA incarnée les mieux capitalisées de Chine, dans une course mondiale où Figure AI, Physical Intelligence et Agility Robotics mobilisent des montants comparables aux États-Unis. L'architecture unifiée de WALL-B constitue un pari architectural distinct des approches modulaires dominantes comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le score de 80 % sur 4 tâches sélectionnées parmi 17 sans post-training est encourageant, mais l'échantillon invite à la prudence : les 13 tâches restantes ne sont pas documentées, ce qui laisse le demo-to-reality gap partiellement ouvert. Les déploiements effectifs chez 58.com et en appartements résidentiels donnent néanmoins plus de crédit à ces métriques que les démonstrations habituelles en laboratoire contrôlé. Fondée en 2023, X Square Robot s'inscrit dans un écosystème chinois de robotique humanoïde incluant Unitree Robotics, Fourier Intelligence et AgiBot, face aux acteurs américains Figure AI (valorisé 2,6 Md$ fin 2024), Boston Dynamics et Physical Intelligence. La présence simultanée de Meituan, Alibaba et ByteDance au capital signale des débouchés ciblés dans la logistique, la livraison et les services à domicile, secteurs que ces groupes cherchent activement à automatiser. La mise en open source de WALL-OSS-0.5 et WALL-WM suit une stratégie classique d'adoption académique et industrielle avant commercialisation. Les fonds levés seront alloués au développement technologique core et à la recherche fondamentale en intelligence incarnée, avec pour horizon déclaré des systèmes robotiques polyvalents capables d'opérer dans des environnements non structurés du quotidien.

L'injection directe d'un point 3D ancré dans la tête d'action débloque la généralisation spatiale et des tâches

Des chercheurs ont publié fin juin 2026 (arXiv:2606.27663) une méthode légère pour améliorer la généralisation des modèles Vision-Language-Action (VLA) en manipulation robotique. Le module proposé représente le signal d'ancrage spatial en 3D, calcule son déplacement relatif au préhenseur, et injecte l'embedding résultant directement dans la tête d'action via une normalisation de couche adaptative (AdaLN). Concrètement, c'est un MLP à deux couches qui n'exige aucune modification du backbone préentraîné ni du pipeline d'entraînement. Sur le benchmark LIBERO-PRO, appliqué à GR00T-N1.6 de NVIDIA, le taux de succès moyen passe de 31,2 à 77,5 points sous perturbation de tâche (+46,3 points) et de 28,1 à 60,2 points sous perturbation de position (+32,1 points). Des gains comparables sont mesurés sur π0.5 de Physical Intelligence, ce qui valide l'approche sur deux architectures distinctes. Les VLA souffrent de deux formes structurelles de fragilité à l'inférence : la généralisation spatiale, lorsqu'un objet cible se trouve à une position non vue à l'entraînement, et la généralisation de tâche, lorsqu'une instruction légèrement reformulée dans un contexte visuel familier fait chuter la politique. Les approches précédentes par prompting textuel ou visuel avec coordonnées 2D en pixels s'avèrent insuffisantes. Ce travail identifie le vrai levier : ni la richesse du prompt, ni l'ajout de capteurs, mais la représentation 3D de l'ancrage et son point d'injection en bout de chaîne, directement dans la tête d'action. Pour les intégrateurs industriels, cela signifie qu'un VLA déjà déployé peut théoriquement être augmenté de ce module sans réentraînement complet, ouvrant la voie à des adaptations sur des lignes de production à géométrie variable. Ce résultat s'inscrit dans une course intense à la généralisation en manipulation dextère. Physical Intelligence a sorti π0 puis π0.5 sur des données multi-tâches à grande échelle ; NVIDIA déploie GR00T N1.6 et prépare GR00T N2 pour des capacités humanoïdes. D'autres méthodes d'ancrage spatial comme SpatialVLA ou RoboPoint cherchaient déjà à résoudre ce problème via des coordonnées 2D ou des cartes de profondeur ; ce travail tranche le débat en faveur de la 3D injectée en bout de chaîne. À ce stade, c'est un résultat de recherche validé uniquement en simulation sur LIBERO-PRO ; le passage au réel, sur des robots physiques en environnement industriel, reste à démontrer.

💬 Deux couches de MLP bien placées, et ton VLA passe de 31 à 77% de succès sous perturbation de tâche. Le vrai insight du papier, c'est que le problème venait pas du manque de données ou de capteurs, mais de l'endroit où injecter le signal 3D dans la chaîne. Bon, c'est encore de la simulation, mais comme preuve de concept validée sur GR00T et π0.5 en même temps, c'est difficilement contestable.

LA4VLA : apprendre à agir sans vision par pré-entraînement langage-action

Des chercheurs ont publié sur arXiv (2606.27295, juin 2026) un cadre de pré-entraînement baptisé LA4VLA qui s'attaque à un défaut structurel des modèles Vision-Langage-Action (VLA) : en supervision conjointe visuelle et textuelle, le signal visuel écrase le signal langage, poussant les politiques de contrôle à exploiter des raccourcis visuels spécifiques à une scène plutôt qu'à exécuter des instructions généralisables. LA4VLA introduit une phase de pré-entraînement sans images : les trajectoires de démonstration existantes sont découpées en segments atomiques, chacun associé à une description textuelle bas-niveau, produisant LA4-33K, un dataset de 33 000 épisodes Langage-Action construits entièrement à partir de données existantes sans collecte robotique supplémentaire. Le modèle LA4VLA-1B (1 milliard de paramètres) est évalué selon trois paradigmes : pré-entraînement LA seul, séquentiel LA puis VLA, et mixte LA+VLA. Le pré-entraînement mixte améliore le taux de succès moyen de 17,8 points de pourcentage en simulation et de 45 points sur tâches réelles par rapport à l'absence de pré-entraînement. Ces résultats ont une portée directe pour les développeurs de politiques robotiques polyvalentes. Le problème des raccourcis visuels est bien documenté dans la littérature : les robots apprennent à reconnaître un arrangement de scène particulier plutôt qu'à interpréter une instruction générique, ce qui fragilise les politiques dès que l'environnement varie légèrement. Le gain de 45 points sur les tâches réelles, contre 17,8 en simulation, est particulièrement notable : il suggère que l'approche atténue précisément le sim-to-real gap, principal obstacle aux déploiements industriels. Pour les intégrateurs, la méthode permet de valoriser des datasets de démonstrations existants sans mobiliser de ressources robotiques supplémentaires, réduisant substantiellement le coût d'entrée vers des politiques plus robustes. Les modèles VLA ont connu une forte accélération depuis 2023, portée par des travaux comme RT-2 (Google DeepMind), OpenVLA ou π0 de Physical Intelligence, qui s'appuient tous sur un pré-entraînement visuel massif suivi d'un fine-tuning robotique. LA4VLA propose une direction complémentaire et orthogonale : renforcer le conditionnement langage indépendamment du flux visuel, en exploitant la structure sémantique des trajectoires plutôt que leur apparence. L'abstract ne mentionne ni affiliations institutionnelles précises ni partenaires industriels ; il s'agit d'une contribution académique validée en laboratoire, sans pilote commercial annoncé. La suite logique serait une évaluation sur des benchmarks standardisés comme LIBERO ou CALVIN, ainsi qu'une intégration dans des pipelines humanoïdes à manipulation complexe où la généralisation au langage est particulièrement critique.

Les modèles d'action du monde permettent un apprentissage par imitation continu avec rejeu génératif récurrent

Publiés en juin 2026 sur arXiv (référence 2606.27374), des chercheurs présentent REGEN (Recurrent Generative Replay), un cadre d'apprentissage continu par imitation fondé sur les World Action Models (WAMs). Contrairement aux modèles de politique classiques qui se contentent de prédire les actions du robot, les WAMs génèrent également des observations visuelles futures, combinant ainsi deux capacités distinctes dans un seul modèle. REGEN exploite cette dualité en interrogeant récursivement le WAM pour synthétiser des trajectoires de pseudo-replay, conditionnées uniquement sur les instructions des tâches antérieures et les observations de la tâche courante. Testée en simulation et en manipulation réelle, l'approche réduit l'oubli catastrophique de 50 % en comparaison au fine-tuning séquentiel classique, tout en s'approchant des performances des méthodes dites "privileged" qui, elles, conservent l'accès aux démonstrations humaines originales. L'enjeu industriel est direct : l'oubli catastrophique constitue l'un des verrous majeurs au déploiement continu de robots en environnement réel. Dès qu'un système est refiné sur une nouvelle tâche, il dégrade ses capacités acquises précédemment. Les solutions actuelles imposent de conserver les démonstrations humaines originales, ce qui soulève des contraintes de stockage, de coût de collecte et parfois de confidentialité des données opérationnelles. REGEN casse cette dépendance : le robot répète mentalement ses tâches passées sans jamais avoir besoin des vidéos source. Cela ouvre la voie à des déploiements adaptatifs dans des cellules de production ou d'entrepôt où les tâches évoluent en continu. Le gain de 50 % reste cependant partiel, et les auteurs reconnaissent que leur méthode n'atteint pas encore le niveau des méthodes ayant accès aux données réelles. Le travail s'inscrit dans la dynamique des world models appliqués à la robotique, un axe de recherche en forte accélération depuis 2023 porté par des acteurs comme Physical Intelligence (avec π0), Google DeepMind, ou NVIDIA (GR00T N2). L'originalité de REGEN réside dans l'usage génératif du WAM pour l'apprentissage continu, plutôt que pour la planification ou le sim-to-real. Les auteurs identifient deux goulots d'étranglement principaux : la dégradation visuelle sur les horizons longs et l'incohérence entre actions générées et observations synthétisées, deux limites qui dessinent clairement l'agenda de recherche pour les prochaines itérations. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné ; il s'agit à ce stade d'une contribution académique, non d'un produit déployé.

PAMAE : mélange d'experts d'action sensible aux phases pour des politiques VLA fiables par flow matching

Des chercheurs ont publié le 27 juin 2026 sur arXiv (2606.27144) un module baptisé PAMAE (Phase-Aware Mixture-of-Experts Action Experts), conçu pour améliorer la fiabilité des politiques d'action dans les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique multi-étapes. Le principe est simple : remplacer l'expert d'action unique partagé des architectures VLA à flow-matching par un mélange sparse d'experts spécialisés, sans toucher au backbone VLA pré-entraîné. Un routeur "phase-aware" oriente dynamiquement la génération d'actions vers l'expert approprié selon la phase d'exécution en cours, grâce à une tête de prédiction de phase légère et un objectif d'alignement de routage. L'entraînement se déroule en deux temps : d'abord un échauffement standard sous la loss de flow-matching, puis une optimisation du routage phase-cohérent sous supervision auxiliaire. Sur des benchmarks de simulation de manipulation multi-étapes, PAMAE affiche jusqu'à 9,2 % de gain en taux de succès par rapport à des baselines VLA solides. Ce résultat est notable parce qu'il s'attaque à un goulot d'étranglement concret des VLA à flow-matching : la tendance à lisser les comportements de contrôle à travers toutes les phases d'exécution avec un seul expert, ce qui nuit aux transitions critiques (saisie, repositionnement, insertion). L'approche "plug-and-play" est stratégiquement importante pour les intégrateurs -- elle évite le coût d'un réentraînement complet du backbone et reste compatible avec des fondations VLA existantes comme Pi-0 ou OpenVLA. Le gain de 9,2 % en simulation est mesuré sur des tâches multi-étapes, là où les architectures à expert unique échouent le plus souvent, ce qui rend la comparaison pertinente. Cela dit, la validation reste exclusivement en simulation, et le transfert sim-to-real n'est pas encore démontré : le "reality gap" demeure le vrai test pour ce type d'amélioration. Les VLA à flow-matching sont apparus comme une alternative aux politiques de diffusion classiques (Diffusion Policy, ACT) en combinant ancrage multimodal fort et généralisation, notamment via des modèles comme Pi-0 de Physical Intelligence ou les travaux de OpenVLA. L'idée des Mixture-of-Experts (MoE) pour les politiques de robot n'est pas nouvelle -- elle est empruntée au monde des LLMs (Mixtral, Switch Transformer) -- mais son application phase-conditioned dans un pipeline VLA end-to-end constitue une contribution originale. Côté concurrents, des approches comme HiRT, RoboVLMs ou les travaux de DeepMind sur RT-2 et ses successeurs explorent des trajectoires similaires pour améliorer la robustesse sur les tâches longues. La prochaine étape naturelle pour PAMAE serait une évaluation sur robot réel (plateforme Franka, UR5 ou bras humanoïde) et une comparaison directe avec des politiques récentes comme Pi-0.5 ou GR00T N2 de NVIDIA, dont les résultats terrain commencent à circuler.

Découplage de la sémantique et de l'ancrage géométrique : prompts visuels spatiaux pour l'apprentissage par imitation guidé par le langage

Une équipe de chercheurs présente SVP-IL dans un préprint publié sur arXiv le 25 juin 2026 (arXiv:2606.25360), une architecture destinée à l'apprentissage par imitation conditionné par le langage naturel en robotique de manipulation. Le constat de départ est précis : les modèles Vision-Language-Action (VLA) de bout en bout actuels couplent dans un même réseau le raisonnement sémantique et le contrôle spatial, ce qui génère un goulot d'étranglement d'alignement quand les données d'entraînement sont rares. SVP-IL découple ces deux fonctions : un modèle fondation vision-langage analyse les instructions textuelles pour produire des masques géométriques zero-shot, traduits en "Spatial Visual Prompts" (SVP), qui sont ensuite injectés dans un générateur d'actions continu via une fusion légère au niveau des features. Résultats sur des tâches à ambiguïté linguistique élevée : avec seulement 50 à 100 démonstrations, le taux de succès moyen passe de 24,0 % à 39,5 %, et atteint 67,8 % sur les benchmarks standards. Des expériences en environnement physique non structuré ont validé la robustesse de l'approche hors laboratoire. L'enjeu industriel de ce résultat est le coût de collecte de données. Les VLA monolithiques comme RT-2, OpenVLA ou π0 (Physical Intelligence) exigent des milliers à des dizaines de milliers de démonstrations pour généraliser à de nouvelles tâches ou de nouveaux environnements, ce qui rend leur déploiement chez les intégrateurs robotiques coûteux et lent. SVP-IL ramène ce seuil à 50-100 démos, soit une réduction d'un ou deux ordres de grandeur, tout en surpassant l'état de l'art sur les tâches à désambiguïsation difficile. Pour un COO industriel ou un intégrateur, cela signifie un temps de mise en service radicalement plus court pour chaque nouvelle cellule de travail. L'approche valide aussi l'hypothèse que le couplage sémantique-spatial n'est pas une nécessité architecturale mais un choix de conception contournable. Les architectures VLA ont émergé à partir de 2022-2023 avec les travaux de Google DeepMind (RT-2), avant d'être popularisées par des modèles open-source et des acteurs comme Physical Intelligence avec π0 ou l'initiative GR00T N2 de NVIDIA. La tendance dominante reste le paradigme monolithique de bout en bout, considéré comme plus simple à scaler. SVP-IL conteste cette hypothèse en montrant qu'un découplage explicite donne de meilleurs résultats en régime de faibles données, sans compromis sur la généralisation. Le préprint ne mentionne pas de partenaire industriel ni de calendrier de déploiement, ce qui en fait pour l'instant une contribution académique ouverte, sans produit shipé associé. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux multi-DOF (bras industriels 6-7 axes, manipulateurs mobiles) et une intégration avec des pipelines de collecte de données synthétiques pour réduire encore davantage le besoin en démonstrations humaines.

Prior Reinforce : manipulation dynamique conditionnée par objectif avec peu d'essais

Des chercheurs présentent dans l'arXiv 2505.21916 (version 3, juin 2026) Prior Reinforce (P.R.), un cadre d'apprentissage pour la manipulation dynamique conditionnée par objectif en faible nombre d'essais. La méthode opère en deux phases : elle apprend d'abord un manifold de mouvements structuré à partir d'un petit jeu de démonstrations via un modèle de diffusion conditionnel, puis adapte ces mouvements vers de nouveaux objectifs par optimisation guidée par le retour d'expérience dans un espace de conditions de basse dimension. Sur des tâches réelles comme le lancer de basketball dans un panier (mouvement open-loop rapide et précis), P.R. atteint de nouveaux objectifs en dix essais terrain au total, avec robustesse au bruit de perception et aux incertitudes matérielles. L'intérêt de cette contribution tient à un verrou bien identifié : la manipulation dynamique agile reste résistante aux méthodes dominantes (apprentissage par renforcement à grande échelle, imitation learning classique, modélisation dynamique précise) parce que de faibles variations de trajectoire y produisent de larges écarts d'issue, rendant le signal d'apprentissage rare et bruité. En séparant génération de mouvement et adaptation par résultat, P.R. contourne le besoin d'un modèle dynamique précis et réduit drastiquement le coût d'acquisition : dix essais réels là où les approches RL standard en exigent souvent plusieurs milliers. Pour un intégrateur ou un opérateur industriel, cela se traduit par une reconfiguration rapide sur site sans phase de simulation extensive ni budget d'essais prohibitif. La manipulation dynamique constitue l'un des derniers angles morts des politiques visuomotrices récentes : les VLA (Vision-Language-Action) et les diffusion policies (Diffusion Policy de Chi et al., 2023, π0 de Physical Intelligence) excellent sur les tâches précises et quasi-statiques, mais peinent sur les mouvements balistiques à forte vitesse. P.R. s'inscrit dans un courant de travaux cherchant à marier la richesse des modèles génératifs de trajectoires avec l'efficacité de l'adaptation en ligne, une direction également explorée par des équipes comme celles de Stanford (SAILOR) ou de l'ETH Zurich. Le projet est hébergé sur adap-robotics.github.io ; aucun partenaire industriel ni calendrier de déploiement n'est mentionné, ce qui situe ce travail clairement au stade de la preuve de concept académique.

💬 Dix essais terrain pour apprendre à lancer un ballon dans un panier, c'est le genre de chiffre qui fait mal à tous ceux qui tournent encore avec des boucles RL à plusieurs milliers d'itérations. Ce qui compte ici, c'est moins la démo en elle-même que ce qu'elle révèle : les grandes politiques visuomotrices du moment (VLA, diffusion policies) sont excellentes sur les gestes précis et lents, mais les mouvements balistiques rapides restent leur angle mort presque intouché. P.R. n'est encore qu'une preuve de concept académique, mais la direction est bonne.

Des milliards investis dans l'IA incarnée, mais le déploiement en usine reste hors de portée

Au premier semestre 2026, le secteur chinois de la robotique embodied AI a absorbé 46 milliards de yuans (environ 6,2 milliards d'euros) répartis sur 288 opérations de financement impliquant 226 entreprises, selon les données d'IT Juzi. La concentration est massive : les cinq premiers acteurs (Qianxun Intelligence, Xiwang Sunrise, Xinghaitu, Zibianliang Robot et Jijia Vision) ont capté 17,1 milliards de yuans, soit 37 % du total, et le top 20 emporte 70 % des fonds. Qianxun Intelligence seule a levé 4,5 milliards de yuans en quatre tours en quatre mois. Le profil des investisseurs change : les grandes rondes au-dessus du milliard de yuans sont désormais pilotées à plus de 40 % par des industriels et des entités publiques (Baidu, ByteDance, Xiaomi, Meituan, SAIC, fonds gouvernementaux), le capital d'État participant à 42 % des transactions à plusieurs centaines de millions. Ce flux d'argent masque un écart criant entre vitrine et déploiement réel. Le cas Daluo est emblématique : valorisée à plus de 20 milliards de yuans, ayant levé 5,4 milliards, la société n'a vendu que 1,4 million de yuans de produits sur les sept premiers mois de 2025 tout en enregistrant 84,25 millions de pertes nettes. La cause structurelle identifiée par le secteur est le manque de données d'interaction physique de qualité : on estime à 500 000 heures seulement le volume mondial de données réelles utilisables pour entraîner des robots, contre des milliards de tokens texte pour les LLM. Les réponses sont proportionnelles : Xinghaitu a lancé une campagne "un million d'heures" à Yizhuang, Qianxun Intelligence a déployé 300 000 points de collecte à l'échelle nationale, JD.com vise 10 millions d'heures sous deux ans. Les résultats restent modestes : un responsable algorithmique a reconnu que des dizaines de millions de yuans investis pour collecter 100 000 heures n'avaient amélioré la capacité des modèles que de 5 %. Le secteur reste en phase de recherche appliquée, loin d'une industrialisation. L'état de l'art interne, estimé sur 100 points par un praticien du domaine, place les bras industriels à 50, les châssis à roues à 40, les quadrupèdes à 30, les humanoïdes bipèdes à 15, les mains dextères à 5, et l'IA embarquée de support à 3. Les approches VLA (Vision-Language-Action) et World Model convergent techniquement mais sans consensus sur la feuille de route. Les acteurs occidentaux comme Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) font face aux mêmes verrous de sim-to-real et de données, mais le déploiement à l'échelle usine reste introuvable partout. Malgré l'étiquette "année de la production de masse" accolée à 2026, aucun robot polyvalent fiable ne s'est encore imposé commercialement dans des environnements industriels non contrôlés.

Humanoid Everyday : un jeu de données robotique complet pour la manipulation humanoïde en monde ouvert

Une équipe de recherche a publié sur arXiv (identifiant 2510.08807v2) Humanoid Everyday, un jeu de données massif dédié à l'apprentissage de la manipulation par les robots humanoïdes en conditions ouvertes. Le dataset compile 10 300 trajectoires et plus de 3 millions de frames couvrant 260 tâches réparties en 7 catégories larges : manipulation dextère d'objets, interaction humain-humanoïde, actions intégrant de la locomotion bipède, et d'autres scénarios du quotidien. Les données sont multimodales, RGB, profondeur, LiDAR, retour tactile, accompagnées d'annotations en langage naturel. La collecte repose sur un pipeline de télé-opération supervisée par des humains, optimisé pour maximiser le débit tout en maintenant la qualité des démonstrations. Les auteurs publient simultanément une plateforme d'évaluation cloud permettant à des équipes extérieures de déployer leurs propres politiques de contrôle et d'obtenir des métriques comparables dans un environnement standardisé. Ce dataset comble un vide structurel dans la recherche robotique : la quasi-totalité des benchmarks existants (Open X-Embodiment, DROID, BridgeData V2) ciblent des bras fixes, et les rares datasets humanoïdes disponibles se limitent à des environnements contrôlés, un faible nombre de tâches, et excluent généralement la locomotion et l'interaction avec des personnes. Pour un intégrateur ou un décideur industriel, la portée pratique est double : des données hétérogènes permettent d'entraîner des politiques plus généralisables, notamment des architectures VLA (vision-language-action) ; la plateforme d'évaluation cloud offre pour la première fois un cadre reproductible pour comparer des méthodes d'apprentissage par imitation ou par renforcement sur des tâches humanoïdes réalistes. L'article analyse aussi les performances de plusieurs politiques de référence, en identifiant leurs forces et limites par catégorie. La publication intervient dans un contexte de forte concurrence autour des données d'entraînement pour humanoïdes. Physical Intelligence (Pi-0, π0.5), NVIDIA (GR00T N2), Unitree et Figure AI misent chacun sur des datasets propriétaires pour différencier leurs politiques de contrôle. Côté recherche ouverte, AgiBot World et RH20T ont posé des jalons, mais restent limités dans leur couverture humanoïde. Humanoid Everyday est rendu entièrement public, dataset, code de collecte et plateforme d'évaluation inclus, ce qui en fait une ressource directement exploitable par des laboratoires et startups sans accès à des infrastructures de collecte massives. Les auteurs présentent cette release comme un socle pour de futurs agents incarnés généralistes, sans préciser d'échéancier pour des suites expérimentales.

💬 Le vrai sujet ici, c'est pas juste le volume (10 300 trajectoires, bon), c'est que les benchmarks humanoïdes existants ignoraient presque tous la locomotion et l'interaction avec des humains réels depuis le début. Des acteurs comme Pi-0 ou GR00T N2 misaient sur leurs données propriétaires comme avantage concurrentiel, et une release open-source de cette ampleur vient rogner ce levier directement. Reste à voir si ça tient face à des politiques entraînées en conditions réelles, mais pour des labos sans infrastructure de collecte massive, ça change le rapport de force.

Mouvement primitif en robotique : une étude approfondie

Publiée sur arXiv sous l'identifiant 2601.02379v2, une revue encyclopédique sur les movement primitives en robotique recense et compare l'ensemble des cadres théoriques développés ces trente dernières années pour représenter les trajectoires de contrôle de robots à partir de démonstrations humaines. Ces primitives de mouvement, blocs élémentaires de motion analogues aux phonèmes du langage, permettent à un système autonome de décomposer un geste complexe en segments réutilisables et recombinables. Les approches couvertes incluent les Dynamic Movement Primitives (DMP), formulés comme des systèmes dynamiques de type amortisseur-ressort, les Probabilistic Movement Primitives (ProMP) couplant statistiquement plusieurs démonstrations, et les extensions neuronales adaptées aux espaces d'état de haute dimension. La revue présente ces frameworks en ordre chronologique, évalue leurs forces et faiblesses, et identifie des applications concrètes : saisie d'objets, mouvements balistiques, enchaînements de tâches en manipulation robotique. Pour les praticiens (intégrateurs, équipes R&D en manipulation, COO industriels), cette synthèse positionne les primitives de mouvement comme une couche intermédiaire critique entre démonstration brute et politique généraliste de bout en bout. Elles permettent le transfert de compétences motrices sans rejeu complet des données d'entraînement et restent interprétables, contrairement aux architectures VLA (Vision-Language-Action) comme π0 de Physical Intelligence ou OpenVLA. La revue souligne en particulier des défis non résolus que ces dernières n'ont pas encore surmontés à l'échelle industrielle : segmentation automatique des démonstrations, passage à l'échelle en environnements non structurés, et couplage de contraintes en temps réel. Les primitives de mouvement ont émergé au début des années 2000 avec les travaux d'Auke Ijspeert, Jun Nakanishi et Stefan Schaal sur les DMP, puis étendues par Paraschos et al. avec les ProMP en 2013. Le champ s'est depuis fragmenté en nombreuses variantes sans synthèse unifiée. Face aux approches purement neuronales (ACT, Diffusion Policy) popularisées par les groupes de Sergey Levine et Chelsea Finn, les primitives se repositionnent comme solution modulaire et interprétable. Les auteurs identifient leur intégration dans des architectures de type foundation model pour la robotique comme prochaine étape structurante, un axe qui mobilise des acteurs aux États-Unis (Boston Dynamics AI Institute, CMU) comme en Europe (DLR, LAAS-CNRS).

Bien partir pour bien arriver : exécution asynchrone par sélection du bruit initial

Des chercheurs ont publié sur arXiv (2606.19774) une méthode baptisée PAINT, destinée à éliminer les discontinuités de mouvement dans les robots contrôlés par des politiques basées sur le flow matching. Le problème ciblé est l'exécution asynchrone dans le cadre de l'action chunking : pendant qu'un robot exécute une séquence d'actions prédéfinie (le "chunk" courant), la politique génère le chunk suivant ; si cette génération prend trop de temps, les deux séquences se raccordent mal, créant des à-coups visibles. PAINT résout ce problème non pas en corrigeant la trajectoire de génération en cours, mais en sélectionnant le bruit initial optimal avant que la génération commence, requalifiant ainsi le problème de guidage de trajectoire en problème de sélection de bruit. La méthode utilise une inversion d'Euler backward pour identifier ce bruit de départ, puis applique une règle de "repainting" pour construire le chunk final cohérent avec le préfixe déjà exécuté. Aucun gradient, aucun réentraînement ni modification de la politique existante ne sont requis. Les auteurs rapportent des améliorations sur 12 benchmarks simulés et 6 tâches de manipulation réelles, couvrant des bras simples, des systèmes bimanaux et des robots humanoïdes. L'enjeu pour les équipes robotique est concret : une méthode training-free s'applique directement à n'importe quelle politique flow-based déjà entraînée, sans coût de réentraînement. Pour les déploiements industriels, où l'action chunking est prisé précisément parce qu'il améliore la cohérence temporelle des mouvements, les discontinuités aux frontières de chunks sont un frein réel à la cadence de production. PAINT adresse ce goulot sans toucher à l'architecture ni aux poids du modèle. La validation sur des embodiments variés, du bras simple à l'humanoïde, renforce la généralité revendiquée, même si les 12 benchmarks simulés restent des conditions contrôlées dont la portée terrain reste à confirmer sur des lignes de production réelles. L'action chunking a été popularisé par ACT (Zhao et al., 2023) et le Diffusion Policy (Chi et al., 2023), avant d'être adopté dans des modèles VLA plus récents comme π0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les méthodes concurrentes pour gérer la latence asynchrone s'appuient sur un guidage ou recadrage de la trajectoire de génération, approches qui nécessitent des gradients ou des modifications du modèle. PAINT se positionne comme une alternative légère dans cet espace. Aucun partenariat industriel ni calendrier de déploiement n'est annoncé ; la publication reste au stade de la recherche académique, avec un site de démonstration accessible.

Apporte ma tasse ! Personnalisation des modèles vision-langage-action par prompting visuel attentionnel

Des chercheurs ont publié en décembre 2024 (arXiv:2512.20014) une méthode appelée Visual Attentive Prompting (VAP), conçue pour permettre aux modèles Vision-Language-Action (VLA) de répondre à des consignes personnalisées du type "apporte ma tasse". Le problème adressé est précis : un VLA classique, même performant sur des instructions génériques, échoue à identifier un objet spécifique parmi plusieurs visuellement identiques sans avoir été entraîné sur cet objet. VAP fonctionne sans ré-entraînement (training-free), c'est son argument central. Il prend quelques images de référence de l'objet cible, effectue une détection en vocabulaire ouvert dans la scène, compare les embeddings visuels pour localiser l'instance correcte, puis injecte cette localisation directement dans le flux d'entrée du VLA : surlignage de l'objet et réécriture de l'instruction. Les auteurs ont construit deux benchmarks en simulation (Personalized-SIMPLER et Personalized-VLABench) et un benchmark réel sur table pour valider l'approche sur plusieurs robots et tâches. VAP surpasse les politiques génériques et les baselines par apprentissage de tokens, à la fois en taux de succès global et en taux de manipulation du bon objet. L'enjeu industriel derrière ce travail est la personnalisation au niveau de l'instance, un verrou jusqu'ici sous-traité dans la recherche VLA. Pour un intégrateur ou un COO déployant des robots en environnement résidentiel ou hospitalier, la capacité à distinguer "la tasse de Paul" de "la tasse de Marie" sans pipeline d'apprentissage dédié par utilisateur représente un gain opérationnel significatif. VAP démontre que l'attention sélective top-down, couplée à une mémoire visuelle non-paramétrique, peut combler l'écart entre compréhension sémantique et contrôle au niveau de l'instance, un problème que les approches fondées sur le langage seul ne résolvent pas. L'absence de ré-entraînement est un avantage de déploiement réel, même si les benchmarks restent à l'échelle tabletop, loin de la chaîne logistique. Ce travail s'inscrit dans la dynamique post-RT-2 et post-OpenVLA : les VLA généralistes (π0 de Physical Intelligence, GR00T N2 de NVIDIA, ou encore les approches Octo et RoboFlamingo) excellent sur des distributions larges mais restent aveugles à la sémantique d'instance. VAP propose une surcouche légère compatible avec n'importe quel VLA gelé, ce qui le positionne comme un adaptateur potentiel pour des systèmes existants plutôt qu'un modèle concurrent. Les prochaines étapes naturelles incluent des tests hors tabletop (manipulation mobile, environnements encombrés), l'évaluation à plus grande échelle d'objets personnels, et l'intégration dans des frameworks open-source comme LeRobot d'Hugging Face. Aucun partenariat industriel ni timeline de commercialisation n'est mentionné dans la publication.

💬 Le vrai verrou des robots en environnement réel, c'est pas la compréhension du langage, c'est la sémantique d'instance : distinguer "ma tasse" de "ta tasse" sans ré-entraîner le modèle pour chaque utilisateur. VAP règle exactement ça, avec quelques photos de référence et une surcouche légère compatible avec n'importe quel VLA existant. Reste à voir ce que ça donne hors tabletop, mais comme brique vers des robots vraiment personnalisables en déploiement réel, c'est ce qui manquait.

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

ROBOSHACKLES : un jeu de données de sécurité pour la prévention des blessures humaines dans les modèles fondation incarnés

Une équipe de chercheurs publie ROBOSHACKLES, un jeu de données de 10 000 clips vidéo robotiques conçu pour évaluer la sécurité des modèles de fondation embarqués (EFMs, Embodied Foundation Models) face aux risques de blessures humaines. Disponible sur HuggingFace, le dataset est construit à partir d'observations réelles du corpus DROID, un jeu de téléopération robotique existant. Le pipeline suit quatre étapes : compréhension de scène, édition d'image orientée dangers, génération de prompts temporels décrivant l'évolution attendue, puis synthèse en un seul passage via le modèle vidéo Wan2.7. Les clips couvrent six catégories de risques : deux de dommages directs (contact physique avec un humain) et quatre de dommages indirects (situations domestiques dangereuses créées par le robot). L'évaluation de six EFMs représentatifs selon un critère de refus d'action donne un résultat sans équivoque : 100% de taux de génération d'actions dangereuses dans tous les scénarios testés. Ce chiffre interpelle directement les intégrateurs et décideurs industriels envisageant le déploiement de robots à base d'EFMs en environnements mixtes. Il expose un angle mort structurel : contrairement aux LLMs textuels, les EFMs ne disposent pas encore de mécanismes d'alignement de sécurité pour anticiper les séquences d'actions dangereuses avant leur exécution physique. La difficulté est méthodologique : collecter des données réelles de robots blessant des humains est éthiquement et légalement impossible, ce qui explique l'absence de benchmarks dans ce domaine jusqu'ici. ROBOSHACKLES propose une voie scalable via la synthèse vidéo, pour entraîner des modèles à refuser des actions à risque et à anticiper les dangers en amont de l'exécution. Les EFMs sont au cœur d'une compétition intense entre les principaux acteurs : Physical Intelligence avec π0, Google DeepMind avec RT-2, NVIDIA avec GR00T N2, et plusieurs implémentations open-source comme OpenVLA. Ces modèles combinent compréhension multimodale, raisonnement sur les états futurs et génération d'actions directement exécutables sur le robot, un paradigme qui accélère la commercialisation mais expose à des risques que le RLHF classique ne couvre pas. ROBOSHACKLES s'inscrit dans un effort émergent de safety spécifique à la robotique physique, avec pour suites logiques son intégration dans des pipelines de refusal learning et son extension à des scénarios industriels à plus haute énergie cinétique.

HALOMI : apprentissage de la loco-manipulation humanoïde avec perception active à partir de démonstrations humaines

Une équipe de chercheurs vient de publier sur arXiv (réf. 2606.18772) HALOMI, un framework permettant à un humanoïde d'apprendre la "loco-manipulation" -- navigation et manipulation d'objets combinées -- à partir de démonstrations humaines captées en conditions réelles. Le système étend l'Universal Manipulation Interface (UMI) avec une perception égocentrique double : caméras en vue subjective (ego-view) et au niveau du poignet (wrist-view), enregistrant simultanément les trajectoires tête-mains de l'opérateur. La validation s'effectue sur le Unitree G1, humanoïde équipé d'un cou motorisé, sur cinq catégories de tâches réelles : navigation, préhension, manipulation bimane, coordination corps entier, et comportements dynamiques incluant lancer d'objets et accroupissement profond. HALOMI atteint un taux de réussite moyen de 85 % sur les trois tâches évaluées quantitativement. Ce résultat cible l'un des obstacles fondamentaux du retargeting humain-humanoïde : au-delà du sim-to-real gap, il existe un "human-to-humanoid gap" dans la perception égocentrique et l'exécution motrice. HALOMI l'attaque sur deux fronts : un alignement de la vue subjective, et une adaptation de trajectoire dite "controller-aware" qui intègre les contraintes dynamiques propres au robot. Le contrôleur de suivi tête-main opère dans un espace latent appris (manifold contraint), ce qui le rend plus robuste face aux cibles hors distribution -- écueil classique du retargeting direct. Le 85 % est à nuancer : les tâches qualitatives comme le lancer dynamique n'ont pas de métriques publiées, et les conditions expérimentales exactes (nombre d'essais, variabilité de scène) restent non précisées dans le papier. HALOMI s'inscrit dans la tendance qui exploite les démonstrations humaines pour réduire le coût de collecte de données sur robot, dans la lignée directe d'UMI (Stanford, 2023), et en parallèle des approches Vision-Language-Action comme Pi-Zero (Physical Intelligence) ou GR00T N2 (NVIDIA). La particularité ici est l'accent mis sur la perception active : le cou motorisé du G1 est un élément fonctionnel du pipeline, pas un détail cosmétique. Le Unitree G1, commercialisé autour de 16 000 dollars, s'est imposé comme banc de test académique commun depuis 2024. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné dans le papier : HALOMI reste pour l'heure une contribution de recherche, sans annonce de commercialisation.

GCNGrasp-VP : planification de vue guidée par les affordances pour une préhension efficace orientée tâche

Une équipe de recherche publie ce mois-ci sur arXiv (référence 2606.19091) GCNGrasp-VP, un framework destiné à améliorer la saisie orientée tâche en robotique de manipulation, en particulier lorsque l'objet cible est partiellement masqué. Le système repose sur deux composants : GCNGrasp-v2, un modèle de préhension qui évalue simultanément la qualité d'une prise et prédit un champ d'affordance en temps constant, et Affordance-VP, un planificateur de points de vue qui utilise ce champ d'affordance comme métrique de gain d'information pour repositionner la caméra du robot vers les zones fonctionnellement pertinentes. Les auteurs rapportent une validation en environnement réel sur des scénarios mono-objet, avec une latence de calcul annoncée à l'échelle de la milliseconde et une correction de point de vue obtenue en un seul déplacement caméra. Le code et les modèles sont rendus publics sur GitHub. L'intérêt technique de cette approche réside dans la dissociation entre perception active et reconstruction de scène. Les méthodes existantes de view planning s'appuient généralement sur une reconstruction 3D complète avant de décider où observer, ce qui introduit une latence incompatible avec les contraintes de cycle industriel. GCNGrasp-VP contourne ce goulot en substituant la carte d'affordance à l'incertitude géométrique comme critère d'exploration, ce qui réduit le nombre d'ajustements nécessaires à un seul dans les tests publiés. Pour les intégrateurs travaillant sur des cellules de picking ou d'assemblage, c'est un angle pertinent : gérer les occlusions partielles sans recourir à un système de vision multi-caméras fixe ou à une reconstruction volumétrique coûteuse. Ce travail s'inscrit dans une tendance plus large vers les modèles de préhension sémantiquement informés, où la notion d'affordance, popularisée par des travaux comme GCNGrasp original et les approches VLA (Vision-Language-Action) de type pi-zero ou GR00T, commence à descendre au niveau de la planification perceptuelle. La contribution reste pour l'instant un preprint non peer-reviewed, validé sur des scénarios mono-objet en laboratoire. Les benchmarks sur des configurations multi-objets avec occlusions sévères, ou dans un contexte industriel réel, n'ont pas encore été publiés. Aucun partenaire industriel ni calendrier de déploiement n'est mentionné.

💬 Ce qui est malin ici, c'est de remplacer la reconstruction 3D complète par une carte d'affordance pour guider la caméra. Un robot qui cherche à voir ce qu'il veut saisir plutôt que de tout reconstruire avant d'agir, c'est un vrai changement de logique dans la perception active, et ça ramène les ajustements caméra à un seul dans les tests. Bon, c'est un preprint sur scénarios mono-objet, donc on garde la tête froide.

Luo Jianlán : le vrai Scaling Law de la robotique naît dans la boucle fermée du déploiement réel

Luo Jianlan, ancien doctorant à l'université de Berkeley sous la direction de Sergey Levine - figure fondatrice de l'intelligence incarnée - et ex-chercheur chez Google X puis DeepMind, a rejoint il y a quatorze mois l'Institut de Shanghai pour l'apprentissage et l'intelligence (创智学院) et Zhiyuan Robotics (AgiBot) en qualité de directeur scientifique. Il détaille dans une interview publiée par 36Kr Hardware trois jalons techniques développés depuis son retour : SOP (Scalable Online Post-training), une infrastructure de retour de données en temps réel depuis les robots terrain vers le cloud d'entraînement ; LWD (Learning While Deploying), qui supprime la frontière rigide entraînement/déploiement pour permettre une évolution continue des robots dans des épiceries ou entrepôts réels ; et τ0-WM, un world model codéveloppé avec l'Institut de Shanghai, qui utilise la prédiction vidéo non pas comme fin en soi mais comme simulateur physique conditionné par l'action - comparant plusieurs trajectoires candidates avant exécution pour éviter, par exemple, de faire tomber un objet fragile positionné en bordure de table. La contribution principale de Luo est son refus d'appliquer mécaniquement la Scaling Law des grands modèles de langage aux robots incarnés. Selon lui, la majorité des "modèles fondamentaux incarnés" actuellement annoncés par des équipes chinoises relèvent en réalité du mid-training ou du fine-tuning appliqué à des bases open-source existantes, faute de données d'interaction hétérogènes en volume suffisant. Or la diminution de la loss curve sur données statiques ne prédit pas le taux de succès en déploiement physique : un robot qui mémorise des données ne maîtrise pas pour autant les perturbations et les cas rares du monde réel. Le vrai marqueur de maturité du secteur, selon Luo, est le moment où l'augmentation du parc de robots déployés entraîne une réduction mesurable du coût d'adaptation à de nouveaux scénarios - ce qu'il appelle le déclenchement du flywheel de données. Ce seuil n'est pas encore atteint, et aucune équipe ne sait le quantifier précisément. Pour les intégrateurs et les décideurs industriels, cela signifie que les performances en démo laboratoire restent peu prédictives des performances terrain. Zhiyuan Robotics s'impose comme l'un des acteurs phares de l'humanoïde en Chine, dans un secteur qui a progressivement déplacé son attention de la course aux degrés de liberté hardware vers la question de l'intelligence embarquée. Luo cite Physical Intelligence (PI) - la startup américaine issue de chercheurs de Google et DeepMind, connue pour son modèle π0 - avec une formule devenue un adage dans le milieu : "sur le papier, PI n'a jamais gagné ; dans la réalité, PI n'a jamais perdu", illustrant le découplage persistant entre métriques académiques et performances terrain. Zhiyuan vise à valider son flywheel de données dans des environnements semi-structurés réels - épiceries, supermarchés, entrepôts - sur une fenêtre de 12 à 18 mois. Le pari de τ0-WM est que la planification par simulation interne est la clé du passage de la démo au déploiement fiable à grande échelle, là où les modèles VLA (Vision-Language-Action) standards émettent une commande directe sans anticipation des conséquences physiques.

Alibaba dévoile Qwen-Robot : trois modèles fondation pour l'IA incarnée

Alibaba a publié mardi une suite robotique composée de trois modèles fondamentaux : Qwen-RobotNav, Qwen-RobotManip et Qwen-RobotWorld. Qwen-RobotNav étend les capacités vision-langage à la robotique mobile en unifiant quatre tâches au sein d'un même framework : suivi d'instructions, navigation orientée objectif, tracking de cible et conduite autonome. Qwen-RobotManip standardise l'espace état-action et représente le mouvement de l'effecteur terminal sous forme de poses incrémentielles dans le référentiel caméra, une approche conçue pour faciliter la généralisation multi-plateforme. Ce modèle a été entraîné sur plus de 38 100 heures de données entièrement open source. Qwen-RobotWorld, le troisième composant, fonctionne comme un world model généraliste : il prédit des états futurs physiquement cohérents via une interface en langage naturel, couvrant simultanément la navigation, la conduite et la manipulation depuis un seul modèle. L'approche modulaire mais unifiée est la proposition de valeur centrale de cette suite. Un world model unique opérant sur trois domaines d'action représente une architecture qui, si elle tient ses promesses en conditions réelles, réduirait significativement les coûts d'intégration pour les équipes robotiques industrielles. L'utilisation de données entièrement open source pour Qwen-RobotManip est un signal notable dans un secteur où les datasets propriétaires constituent souvent un avantage concurrentiel défensif : Alibaba positionne ainsi Qwen-Robot davantage comme une infrastructure partagée que comme un produit fermé. Réserve importante cependant : l'annonce ne s'accompagne d'aucun benchmark public (RLBench, LIBERO, CARLA) ni de déploiement physique documenté. Il s'agit d'une publication de modèles, pas d'un produit shipé. L'équipe Qwen d'Alibaba est reconnue pour ses modèles multimodaux (Qwen2.5-VL, QwQ), mais ce lancement marque son entrée explicite dans l'embodied AI. Le terrain est disputé : Google DeepMind pousse ses dérivés de RT-2, Physical Intelligence a publié Pi-0 et Pi-0.5, Hugging Face soutient l'initiative LeRobot, et NVIDIA propose GR00T N2 comme backbone pour les robots humanoïdes partenaires. Côté chinois, Unitree, Agibot et Zhiyuan Robot accélèrent eux aussi leurs pipelines VLA (vision-language-action). La prochaine étape pour Alibaba sera de démontrer des résultats sur des plateformes matérielles réelles ; faute de quoi, Qwen-Robot restera un framework académique parmi d'autres dans une course déjà très chargée.

Alibaba lance Qwen-Robot, sa première famille de modèles d'IA incarnée

Alibaba a publié mardi la suite Qwen-Robot, sa première famille de modèles d'IA incarnée, destinée à relier les grands modèles de langage à l'action robotique dans le monde physique. La suite comprend trois modèles : Qwen-RobotNav pour la navigation visuo-langagière, entraîné sur 15,6 millions d'échantillons en unifiant instruction following, navigation par cible et suivi d'objets ; Qwen-RobotManip pour la manipulation robotique via une architecture VLA (Visual Language Action) basée sur un backbone Qwen3.5-4B VL couplé à une tête de diffusion par flow matching, entraîné sur plus de 38 100 heures de données issues exclusivement de sources open source ; et Qwen-RobotWorld, un modèle de monde prédit des futurs physiquement cohérents pour la manipulation, la conduite et la navigation via une interface en langage naturel. La démonstration centrale met en scène un robot quadrupède Unitree Go2 sur hardware NVIDIA Jetson Thor, équipé d'une unique caméra basse résolution : sans cartographie préalable, il navigue dans un appartement inconnu en suivant des instructions verbales, avec une latence d'inférence de 196 millisecondes. Alibaba a également présenté Qwen-RobotClaw, un framework agent permettant aux modèles Qwen VLM d'appeler les outils Qwen-Robot pour gérer des tâches longues et la mémoire de contexte, et mis en open source Chat2Robot, une plateforme d'évaluation navigateur supportant Qwen-RobotManip sur 50 tâches via le dataset RoboTwin-Clean. Pour les intégrateurs et décideurs industriels, deux points méritent attention. L'entraînement de Qwen-RobotManip exclusivement sur des données open source est un choix architectural significatif : il abaisse les barrières de reproduction et contourne le verrou des données propriétaires qui bloque nombre d'acteurs du secteur. La latence de 196 ms sur Jetson Thor illustre la viabilité de l'inférence embarquée pour la navigation, même si cette performance a été mesurée dans un environnement contrôlé et non en production industrielle. La robustesse à grande échelle reste à démontrer : les vidéos présentées constituent une preuve de concept, pas un déploiement validé. L'architecture Qwen-RobotClaw adresserait un problème concret si elle tient ses promesses en production : la gestion de tâches multi-étapes sans reprogrammation manuelle, qui reste le verrou central de l'adoption robotique en environnements non structurés. Alibaba entre tardivement dans l'espace des modèles de fondation robotiques face à des acteurs déjà positionnés : Physical Intelligence (pi0, levée de 400 M$ en 2024), Figure AI (Figure 03, partenariat BMW), Google DeepMind et NVIDIA avec GR00T N2. En Chine, Unitree (fournisseur du Go2 de la démo), Zhiyuan Robot et Agibot développent leurs propres stacks logicielles embarquées. En Europe, Enchanted Tools et Pollen Robotics avancent sur des plateformes collaboratives, mais sans modèle VLA de cette envergure à ce stade. Les prochaines étapes annoncées incluent l'extension de Chat2Robot à de nouvelles plateformes et tâches robotiques, ainsi qu'une intégration commerciale potentielle via Alibaba Cloud.

SoK : Sécurité et vie privée des robots à base de modèles fondation

Une équipe de chercheurs a publié sur arXiv (référence 2606.16788) un article de type "Systematization of Knowledge" (SoK) qui dresse un panorama structuré des risques de sécurité et de confidentialité introduits par les modèles de fondation dans les systèmes robotiques. Le travail systématise 96 études antérieures et propose un cadre d'analyse à quatre couches baptisé F-E-S-G : la couche Modèle de fondation (F), la couche Système incarné (Embodied system, E), la couche Écosystème de support (S), et la couche Impact de gouvernance (G). À chaque couche correspond une taxonomie fine qui encode, pour chaque étude analysée, la cible visée, le stade du cycle de vie, le mécanisme d'attaque ou de défense, le niveau d'accès système requis, et les effets observés. L'intérêt de ce travail réside moins dans les vulnérabilités individuelles qu'il recense que dans les "defense mismatches" qu'il met en évidence : les mécanismes de robustesse conçus pour les modèles de langage ou de vision en contexte purement numérique ne s'appliquent pas directement à des pipelines d'exécution incarnés. Quand un robot piloté par un modèle VLA (Vision-Language-Action) interprète une instruction en langage naturel pour saisir un objet, une attaque adversariale ou une injection de prompt ne produit plus une réponse textuelle erronée mais un mouvement physique potentiellement dangereux. Pour un intégrateur industriel ou un COO déployant des flottes humanoïdes, cette propagation du risque à travers les quatre couches constitue un angle mort opérationnel que les grilles d'évaluation actuelles ne capturent pas. Le genre "SoK" est une convention bien établie dans la communauté sécurité, notamment via la conférence IEEE S&P, et signale une tentative de structurer un champ de recherche fragmenté. Cette publication arrive à un moment de transition dans la robotique commerciale : après des années de démos contrôlées, plusieurs acteurs (Figure, Apptronik, Unitree côté américain, Wandercraft et Enchanted Tools côté européen) engagent des déploiements en environnement réel avec des VLAs comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'absence de cadre normatif unifié, que ni l'EU AI Act ni les standards ISO robotiques actuels ne couvrent explicitement, donne à cette méta-analyse une pertinence directe pour les équipes réglementaires et les organismes de certification appelés à évaluer ces systèmes hybrides IA-robotique.

Pilotage de politique d'inférence par vision et toucher

Des chercheurs ont publié sur arXiv (réf. 2606.14981, juin 2026) ViTaL, un framework de pilotage à l'inférence combinant vision et toucher pour affiner les politiques de manipulation robotique. Le principe : plutôt que de ré-entraîner un modèle génératif pré-entraîné, ViTaL intervient au moment de l'exécution en vérifiant et corrigeant les séquences d'actions candidates avant qu'elles ne soient jouées. Le système repose sur une optimisation bi-niveaux, un niveau haut visuel qui sélectionne le comportement global à longue portée, et un niveau bas tactile qui édite en diffusion la séquence retenue pour satisfaire les contraintes de contact locales. Un monde latent visuo-tactile appris permet d'évaluer des récompenses tactiles futures via un verifieur conditionné en texte, sans avoir besoin de capteur physique au moment de la prédiction. Sur trois tâches réelles de manipulation à contact riche (assemblage, insertion, dépose sous contrainte), ViTaL améliore le taux de succès global de 51 % par rapport à la politique de base, dépasse les approches unimodales (vision seule) d'au moins 33 %, et surpasse la fusion multimodale naïve d'au moins 20 %. Ces résultats pèsent dans un débat central de la robotique de manipulation : la vision seule suffit-elle à piloter des robots en environnement de contact ? ViTaL répond non, et quantifie l'écart. Pour les intégrateurs et les équipes R&D travaillant sur l'assemblage industriel ou la manipulation d'objets déformables, la démonstration que l'information tactile peut être injectée à l'inférence sans retraining complet est directement exploitable, elle ouvre une voie vers des politiques génériques adaptables à de nouveaux contextes de contact via du "steering" léger. L'édition par diffusion guidée par le toucher est particulièrement notable : elle permet de préserver le comportement global appris tout en rectifiant les micro-interactions, ce qui réduit le risque de régression comportementale souvent observé lors du fine-tuning. ViTaL s'inscrit dans la vague des approches "inference-time compute" appliquées à la robotique, popularisées par les travaux sur les VLA (Vision-Language-Action models) et les politiques de diffusion de type π0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'idée de vérifier les actions à l'exécution plutôt qu'au train-time est également explorée par des équipes comme Covariant et Figure AI, mais sans capteurs tactiles intégrés dans la boucle de correction. La spécificité de ViTaL est de traiter le retour tactile comme une source de supervision temporelle courte portée, complémentaire à la vision longue portée. L'article reste un preprint et les tâches testées sont de complexité modérée ; une validation sur des scénarios industriels réels (tolérance sub-millimétrique, variabilité de pièces) sera nécessaire pour confirmer la généralisation.

Récupérer plutôt que réentraîner : étendre les modèles vision-langage-action (VLA) à de nouvelles tâches au moment de l'inférence

Des chercheurs ont publié en juin 2026 (arXiv:2606.15631) une méthode permettant d'étendre un modèle VLA (Vision-Language-Action) à de nouvelles tâches sans réentraînement par tâche. Le principe : remplacer le fine-tuning par de la récupération d'exemples (retrieval) au moment du déploiement. La politique est entraînée une seule fois sur des démonstrations appariées entre deux embodiments, le robot cible et un embodiment moins coûteux, typiquement une vidéo de main humaine, puis gelée définitivement. Pour ajouter une nouvelle tâche, il suffit d'indexer des démonstrations supplémentaires dans un pool de récupération : aucune mise à jour de paramètres n'est nécessaire. À chaque pas de contrôle, la politique gelée conditionne ses actions sur des trajectoires récupérées dynamiquement. Un fine-tuning reste nécessaire uniquement lors du passage à un embodiment entièrement inconnu, pas pour chaque nouvelle tâche. La méthode a été validée sur les benchmarks PushT et RoboTwin 2.0, ainsi que sur un robot réel. Ce résultat s'attaque directement au principal frein au déploiement industriel des politiques VLA : le coût d'adaptation par tâche. Aujourd'hui, intégrer une nouvelle tâche dans un système VLA exige des démonstrations téléopérées et un fine-tuning intensif en calcul, une barrière réelle pour les intégrateurs devant couvrir des dizaines de SKU ou de postes de travail. Remplacer ce cycle par une simple indexation de données change radicalement l'équation économique. L'effet est notable sur des backbones VLA standard, mais il est surtout prononcé avec Cosmos Policy, le world-action model (WAM) de NVIDIA basé sur la génération vidéo : le retrieval fournit la progression macroscopique de la tâche, tandis que l'objectif de prédiction d'images futures du WAM renforce la cohérence des actions conditionnées. Cela suggère que les modèles de robotique générative de prochaine génération sont particulièrement bien positionnés pour tirer parti de cette approche. Le retrieval-augmented generation (RAG) est une technique établie en traitement du langage naturel ; son application aux politiques de contrôle robotique est plus récente. Les modèles VLA actuels, π0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, offrent une bonne généralisation mais exigent toujours un fine-tuning par tâche pour être fiables en production. RoboTwin 2.0 est un benchmark récent pour la manipulation bimanuale. L'aspect cross-embodiment, qui utilise des vidéos de main humaine comme source bon marché, est également structurant : il ouvre la possibilité de collecter des données de déploiement sans robot. Les prochaines étapes naturelles incluent des expériences à plus grande échelle de pools de démonstrations et une intégration avec des systèmes de récupération dense type FAISS pour des catalogues de tâches industrielles larges.

AVA-VLA : améliorer les modèles vision-langage-action avec l'attention visuelle active

Des chercheurs de LiAuto-DSR, division R&D de Li Auto (constructeur automobile chinois), publient sur arXiv (réf. 2511.18960, quatrième révision) AVA-VLA, un cadre algorithmique ciblant une limite structurelle des modèles Vision-Language-Action (VLA). Le diagnostic central : les VLA existants traitent chaque observation visuelle indépendamment à chaque pas de temps, modélisant la manipulation robotique comme un processus markovien (MDP) alors que la réalité est un processus partiellement observable (POMDP). AVA-VLA introduce un état récurrent servant d'approximation neurale de la croyance de l'agent sur l'historique de la tâche, couplé à un module d'attention visuelle active (AVA) qui réattribue dynamiquement des poids aux tokens visuels selon l'instruction courante et l'historique d'exécution. Les auteurs revendiquent l'état de l'art sur LIBERO et CALVIN, deux benchmarks académiques standards en manipulation robotique simulée, ainsi qu'un transfert vers des tâches de manipulation bimanuelle en conditions réelles, sans que les métriques terrain soient détaillées dans l'abstract. L'apport architectural est notable : les VLA phares actuels, OpenVLA, π0 de Physical Intelligence et GR00T N2 de NVIDIA, traitent l'observation visuelle sans mémoire explicite du contexte passé. Conditionner l'attention visuelle à l'historique d'exécution couvre un angle mort structurel sur les tâches séquentielles longues, là où des actions antérieures modifient la scène sans être immédiatement visibles dans l'image courante. Pour les intégrateurs industriels, cela suggère des bras manipulateurs plus robustes sur des workflows multi-étapes sans remise à zéro du contexte. Réserve : la formulation "transfers effectively" manque de quantification, et LIBERO comme CALVIN restent des environnements largement simulés. Le secteur des VLA s'est considérablement densifié depuis mi-2024 : π0 en octobre 2024, GR00T N2 en mars 2025, et une constellation de variantes académiques (RoboVLMs, OpenVLA-OFT) alimentent la littérature. L'approche récurrente d'AVA-VLA prolonge des travaux classiques sur la résolution de POMDP à base de LSTM, réinterprétés ici dans le paradigme VLA moderne. LiAuto, principalement connu pour ses véhicules hybrides à autonomie étendue, affiche à travers DSR des ambitions en robotique de manipulation. Le code source n'est pas encore publié et aucun déploiement terrain n'est annoncé : il s'agit pour l'instant d'une contribution de recherche académique dont la portée industrielle reste à confirmer hors simulation.

PhysVLA : vers un modèle VLA physiquement ancré pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2606.13886, juin 2026) PhysVLA, un module d'inférence plug-and-play conçu pour corriger en temps réel les actions générées par n'importe quel modèle VLA (Vision-Language-Action) existant, sans rétro-entraînement ni accès aux poids. Le système intercepte les commandes produites par le backbone VLA et applique deux couches de correction successives : une machine à états finis sensible à la phase de la tâche (approche, saisie, transport, dépôt), puis un filtre sélectif basé sur les équations d'Euler-Lagrange qui ne s'active que lorsqu'un oracle de dynamique détecte une incohérence cinodynamique. Le surcoût de calcul est inférieur à 1 ms par pas de contrôle. Évalué sur quatre architectures distinctes (OpenVLA, OpenVLA-OFT, Force-VLA, Generalist-VLA) sur le benchmark LIBERO-Spatial avec un bras Franka Panda 7-DOF, PhysVLA améliore le taux de succès absolu jusqu'à 17 points, la stabilité jusqu'à 19 points, et l'efficacité de trajectoire jusqu'à 15 %, sans régression sur aucune tâche. Sur un sweep cross-simulateur (Robosuite Lift), la robustesse au jerk de trajectoire progresse d'un facteur 10. La validation sur un bras physique Agilex Piper (tâche pick-and-place réelle) confirme le transfert sim-to-real sans rétro-entraînement, avec une amélioration du taux de succès allant jusqu'à 50 %. L'intérêt industriel de cette approche tient à son caractère composable et backbone-agnostique. Les VLA actuels apprennent à imiter des démonstrations comportementales sans contraindre explicitement la physique des corps rigides ni les contacts, ce que les chercheurs nomment un "physics gap". Les correcteurs temporels classiques (temporal smoothing) masquent le problème sans le résoudre, et introduisent leurs propres échecs. PhysVLA propose une solution d'intégration légère pour les équipes qui déploient des VLA existants en production : pas de réentraînement, pas d'accès aux poids, un wrapper autour du modèle gelé. Pour un intégrateur ou un OEM, cela signifie potentiellement améliorer des systèmes déjà en ligne sans toucher aux pipelines de formation, ce qui réduit le risque et le coût de mise à niveau. PhysVLA s'inscrit dans la montée en puissance des approches de contrôle physique fondé pour les VLA généralistes, une problématique que des laboratoires comme Physical Intelligence (avec π0), Stanford (OpenVLA) ou Google DeepMind travaillent activement. Le papier positionne explicitement son framework comme complémentaire à ces backbones plutôt que concurrent. Il reste à ce stade un prototype de recherche validé en laboratoire sur deux plateformes matérielles (Franka Panda et Agilex Piper) ; aucun déploiement industriel ni partenariat commercial n'est annoncé. Les prochaines étapes naturelles seraient une validation sur des benchmarks plus larges (RoboMimic, DROID) et sur des robots à plus haute cinématique, notamment des humanoïdes où la gestion des contacts et de la dynamique des corps rigides est critique.

Exosquelette universel de manipulation : politiques corps entier compliantes avec retour de couple en temps réel

Des chercheurs ont publié sur arXiv (2606.14218) l'UME, Universal Manipulation Exoskeleton, un exosquelette du membre supérieur combinant retour de couple haptique en temps réel et enregistrement des signaux de couple articulaire pour la téléopération robotique. Léger, portable, équipé d'une IMU, il supporte la manipulation mobile et pilote trois bras commerciaux via un algorithme de reciblage universel : OpenArm 7DoF, Franka 7DoF et X-ARM 6DoF. Les politiques apprises à partir de données UME atteignent des taux de succès élevés sur des tâches bimanuelle, longue-horizon et en occultation visuelle : retournement de carton guidé par la force, poussage en aveugle, manipulation en espace contraint. La précision haptique est telle que des opérateurs peuvent extraire des objets cinématiquement contraints les yeux bandés. L'enjeu n'est pas l'exosquelette lui-même, mais les données qu'il produit : la quasi-totalité des pipelines de collecte pour l'apprentissage par imitation capture des positions articulaires sans les couples de force, cantonnant les politiques apprises à un mode position pur sans compliance active. L'UME comble cette lacune et ouvre la voie à des politiques réactives aux contacts non anticipés, condition nécessaire pour des robots opérant en environnement domestique ou aux côtés d'humains. La compatibilité avec trois cinématiques différentes et le faible coût de fabrication annoncé sont des arguments concrets pour les intégrateurs. Les taux de succès présentés restent néanmoins à confirmer au-delà des démonstrations sélectionnées pour la publication. Les systèmes de téléopération bimanuelle comme ALOHA (Stanford/UC Berkeley) ont établi des standards pour la collecte de données visuomotrices, mais sans retour de couple systématique. Les exosquelettes haptiques commerciaux existants (HaptX, Shadow Robot) intègrent ce retour à des coûts rédhibitoires pour la recherche académique. L'UME se positionne comme une alternative bas coût, avec code et données annoncés publics sur ume-exo.github.io, ce qui pourrait enrichir l'entraînement de modèles de politiques visuomotrices (VLA) comme pi-zero (Physical Intelligence) ou OpenVLA avec des signaux de force jusqu'ici absents des datasets standards. Il s'agit à ce stade d'un travail purement académique, sans partenaire industriel ni calendrier de déploiement annoncé.

Sommet en robotique : un panel fait le point sur la conception des robots humanoïdes

Lors du Robotics Summit & Expo 2026, tenu à Boston au Thomas B. Menino Convention & Exhibition Center devant quelque 3 900 participants, un panel de haut niveau a fait le point sur l'état réel du développement des robots humanoïdes. Alberto Rodriguez, directeur du comportement robot pour Atlas chez Boston Dynamics, y a révélé que l'entreprise a engagé le déploiement de l'ordre de 25 000 humanoïdes Atlas dans des usines, avec un objectif de capacité de production portée à 30 000 unités par an d'ici 2028. Boston Dynamics a conduit une première démonstration en conditions réelles en usine en 2025, architecture entièrement pilotée par les données, puis a présenté Atlas au CES de janvier 2026 pendant une semaine complète. Pour 2026, la société prévoit un retour en usine pour une démonstration plus complète, de bout en bout, connectant le robot au système d'information de l'usine et gérant les exceptions opérationnelles. Du côté d'Agility, dont la marque commerciale s'est récemment stabilisée sous le nom Agility (ex-Agility Robotics), les déploiements du robot Digit avancent avec Amazon, GXO, Schaeffler, Toyota et Mercado Libre, marquant une sortie effective de la phase pilote. Ce que ce panel signale clairement pour les intégrateurs et décideurs industriels, c'est que le vrai verrou n'est plus mécanique ni même algorithmique, mais stratégique. Rodriguez a posé le problème avec précision : sauf pour de rares applications à très grand volume et très stable, presque tous les postes de travail sont des cas uniques. Le défi du passage à l'échelle repose sur trois axes simultanés, hardware, modèles de comportement, et stratégie d'intégration, et l'échec sur l'un suffit à rendre le déploiement économiquement non viable. La décision de Boston Dynamics de commencer par la logistique en manufacturing, un environnement qui exige de la généralité sans imposer encore les contraintes de timing et de sécurité de la ligne d'assemblage, illustre une approche pragmatique et graduée. Ces chiffres de déploiement engagés, 25 000 unités, sont une donnée de marché rare dans un secteur habitué aux annonces sans livraisons. Boston Dynamics, filiale de Hyundai depuis 2021, a traversé une longue période de recherche pure avant de commercialiser Atlas dans sa version électrique présentée en 2024, succédant aux plateformes hydrauliques historiques. Le marché des humanoïdes reste en pleine effervescence : Figure AI avec Figure 03, Tesla avec Optimus Gen 3 sur sa propre ligne de production, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, et des acteurs émergents comme 1X Technologies ou Apptronik positionnent tous leurs solutions sur des créneaux différents, de l'assemblage léger à la manutention lourde. Côté Europe, Enchanted Tools (France) et Wandercraft restent focalisés sur des niches spécifiques, assistance et rééducation, sans viser encore le marché industriel général. Les prochaines étapes à surveiller : la publication par ASTM International (représenté dans le panel par Aaron Prather) de standards de sécurité pour la cohabitation humains-humanoïdes, et les résultats concrets des déploiements Agility/Amazon, dont les métriques opérationnelles restent pour l'instant non publiques.

Améliorer les politiques généralistes robotiques grâce au pilotage par inversion de flux

Des chercheurs ont soumis en juin 2026 un article (arXiv:2606.13675) présentant le Flow Reversal Steering (FRS), une méthode pour améliorer les politiques robotiques généralistes entraînées par flow matching. Plutôt que de commander directement un tel modèle sur des tâches difficiles, FRS part d'actions sous-optimales mais plausibles, les fait passer en sens inverse à travers la politique de flow pour retrouver leurs bruits latents, puis les projette vers les modes d'action les plus proches dans l'espace comportemental du généraliste. Évaluée sur plusieurs tâches de manipulation en simulation et en conditions réelles, la méthode produit des gains allant jusqu'à 95 points de pourcentage de taux de succès via distillation par behavioral cloning, avec un temps d'entraînement de la politique auxiliaire inférieur à une minute. FRS convertit aussi des instructions sémantiques grossières - formulées par un humain ou un VLM (vision-language model) - en actions motrices précises, sans fine-tuning supplémentaire du modèle de base. L'enjeu est direct pour le secteur robotique : les politiques généralistes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) accumulent une large palette de compétences sur des corpus diversifiés, mais peinent à les mobiliser quand les instructions directes échouent sur des tâches nouvelles. FRS comble ce fossé en exploitant la réversibilité propre aux flow matching models, transformant des intentions floues en actions exécutables sans données de démonstration supplémentaires. La capacité à amorcer l'apprentissage par renforcement à partir de connaissances sémantiques est particulièrement notable : la méthode progresse sur plusieurs tâches où le RL standard reste bloqué. Cela trace une voie concrète pour réduire le gap entre simulation et déploiement réel, un verrou persistant pour les intégrateurs industriels. Ce travail s'inscrit dans la dynamique des VLA (vision-language-action models) qui cherchent à relier guidance sémantique et politique de bas niveau. Physical Intelligence (Pi-0, Pi-0.5), Google DeepMind (Gemini Robotics, RT-X) et Berkeley (OpenVLA) explorent des architectures similaires, mais le mécanisme de flow reversal est spécifique aux modèles de flow matching et se distingue des approches par diffusion classique. L'article reste à ce stade un preprint non évalué par les pairs, sans déploiement annoncé sur plateforme commerciale. Les suites naturelles seraient une validation sur des robots industriels ou mobiles et une intégration dans des frameworks ouverts comme LeRobot (Hugging Face) ou OpenPI.

💬 Le truc malin ici, c'est d'exploiter la réversibilité des flow matching models pour remonter d'actions ratées jusqu'aux modes comportementaux les plus proches, sans données de démonstration supplémentaires. 95 points de gain sur certaines tâches, moins d'une minute d'entraînement, c'est le genre de chiffres qui font lever un sourcil. Reste à voir si ça tient en dehors de la simulation, mais si LeRobot l'intègre, les équipes robotique françaises vont avoir quelque chose de sérieux à tester.

GAE : libérer le potentiel physique des VLM grâce à un expert d'action généralisable

Des chercheurs ont publié GAE (Generalizable Action Expert), un modèle généraliste conçu pour découpler la planification cognitive des modèles de vision-langage (VLM) de la génération d'actions robotiques précises. L'architecture repose sur une interface géométrique parcimonieuse : le VLM prédit des waypoints 3D discrets codant l'intention de haut niveau, tandis que GAE traduit ces repères en trajectoires d'action continues en s'appuyant sur des observations en nuage de points en temps réel. Le module est pré-entraîné sur un corpus de 150 000 trajectoires issues à la fois de simulations et de robots réels, via un schéma baptisé APPF (Action Pre-training, Pointcloud Fine-tuning), qui sépare explicitement l'apprentissage de la dynamique d'action du grounding géométrique. Une fois pré-entraîné, GAE est gelé et réutilisé tel quel sur de nouvelles tâches, seul le VLM amont nécessitant un fine-tuning léger. L'enjeu architectural est le découplage raisonnement-action, un point de friction documenté dans les approches VLA bout-en-bout comme Pi-0 de Physical Intelligence ou OpenVLA, où raisonner et agir partagent les mêmes poids et contraignent mutuellement la généralisation. En faisant de GAE un expert réutilisable et figé, les auteurs réduisent le coût d'adaptation à de nouveaux domaines visuels, angles de caméra et instructions en langage naturel. Les résultats rapportés vont dans ce sens, bien que le protocole d'évaluation comparatif reste à préciser dans la version finale, et que les expériences soient menées en laboratoire sans déploiement industriel annoncé. Cet article s'inscrit dans une vague de recherche post-RT-2 qui cherche à dépasser les limites des architectures monolithiques vision-langage-action. Les approches concurrentes incluent Pi-0 et Pi-0.5 (Physical Intelligence), Octo (UC Berkeley), RoboFlamingo, OpenVLA et RoboVLMs. La représentation intermédiaire par waypoints 3D rappelle des travaux sur les keyposes ou UniPi, mais étendue aux nuages de points pour une robustesse accrue aux variations de point de vue. La préprint arXiv:2510.03896, déposé en octobre 2024 et mis à jour en v2, n'est associé ni à un partenariat industriel ni à un produit commercialisé : il s'agit d'une contribution de recherche académique, pas d'un système shipé.