Dossier IA physique & VLA — page 6

PHANES AI intègre le toucher aux modèles fondation de robots : TouchWorld, un modèle tactile pour la manipulation dextérique

PHANES AI, start-up fondée par Yang Shuo, professeur à l'Institut de technologie de Harbin (campus de Shenzhen), a publié un nouveau modèle de fondation tactile baptisé TouchWorld, conçu pour la manipulation dextre en robotique. L'objectif est de combler une faille des modèles vision-langage-action (VLA) actuels: ceux-ci peuvent voir qu'un doigt robotique touche un bouton, mais ne peuvent pas savoir s'il a réellement été enfoncé. TouchWorld attribue au toucher un double rôle. En mode prédictif, avant d'exécuter une action, le modèle anticipe non seulement l'image visuelle attendue en fin de sous-tâche, mais aussi une carte tactile précisant quel doigt devrait ressentir une pression, à quel endroit et avec quelle intensité, une référence physique que la vision seule ne peut fournir. En mode réactif, une fois le contact établi, le modèle lit en continu les signaux tactiles et l'état des articulations pour appliquer des micro-corrections de position, de force de préhension et d'angle du poignet, sans nécessiter une replanification par la politique de haut niveau. Sur six tâches réelles (arrosage de plantes, nettoyage de table, insertion de prise, insertion de tasse, récurage de poêle, prise de mouchoir), TouchWorld atteint 65,0% de réussite en conditions normales et 57,2% en présence de perturbations comme le déplacement de la cible ou une interférence de préhension, soit 15,7 et 16,0 points de plus que la meilleure référence testée. Chaque tâche a été entraînée sur 200 trajectoires de téléopération et évaluée sur 100 essais robotiques réels. Cette approche répond à un problème concret pour l'industrie: les modèles VLA actuels échouent souvent en silence lorsqu'un contact physique ne se passe pas comme prévu, un angle mort critique pour des applications comme l'assemblage de précision ou la manipulation d'objets fragiles. En traitant le signal tactile comme un flux séparé plutôt que comme une modalité fondue dans le pipeline visuel, PHANES AI défend l'idée que la densité d'information et la vitesse de traitement du toucher sont trop différentes de celles de la vision pour partager une même architecture sans que le signal tactile ne soit noyé. Si les résultats se confirment à plus grande échelle, ce découplage pourrait devenir un standard pour les robots humanoïdes ou les bras industriels appelés à manipuler des objets déformables ou mal positionnés, un domaine où la démonstration en laboratoire peine souvent à se traduire en fiabilité réelle. Yang Shuo, né en 1998, est déjà professeur titulaire et directeur de thèse à HIT Shenzhen, l'un des plus jeunes professeurs titulaires de Chine. Lauréat de la bourse doctorale Google (un des neuf récipiendaires mondiaux) et finaliste du prix du meilleur article à ICLR, il est rentré en Chine à 26 ans pour fonder PHANES AI, qui réunit désormais une équipe couvrant les données, la modélisation, le contrôle robotique et le matériel. L'entreprise s'inscrit dans une compétition mondiale sur les modèles de fondation pour la manipulation dextre, aux côtés d'acteurs comme les équipes derrière Pi-0 ou GR00T N2, avec pour différenciation affichée le traitement natif du signal tactile plutôt qu'un simple ajout de capteurs.

Dexmal veut booster la productivité de l'IA incarnée avec le modèle DM0.5, DexOS et une stratégie MaaS en trois étapes

Dexmal, entreprise chinoise spécialisée en IA incarnée, a dévoilé une gamme complète de produits robotiques articulée autour du modèle fondation DM0.5, du robot universel Apex et de trois plateformes de support : le système d'exploitation DexOS, la plateforme de services MaaS et le framework d'apprentissage par renforcement DFOL 2.0. La stratégie suit un modèle en trois étages : d'abord un modèle fondation généraliste, puis des outils pour développeurs (post-entraînement, MaaS, OS), enfin des solutions sectorielles complètes. DM0.5 compte 4 milliards de paramètres entraînés sur 150 000 heures de données multi-sources, soit quatre fois plus de données et deux fois plus de paramètres que DM0, son prédécesseur. Il affiche une latence d'inférence de 50 ms, une efficacité d'inférence améliorée de 25 %, et un taux de réussite de 42 % sur le benchmark RoboChallenge Table30 V2, où il se classe premier avec un score total de 60,1. Sur l'évaluation LIBERO, il atteint 99,1 % de performance globale. Par rapport à DM0, la réussite en navigation zero-shot progresse de 31 %, en few-shot de 45 %, et après fine-tuning de 20 %, pour un coût de fine-tuning réduit de 60 %, permettant un déploiement de niveau expert sur une seule carte RTX 4090 grand public en 18 heures. Le robot Apex propose des effecteurs terminaux interchangeables en moins de 60 secondes, une perception à 360 degrés via double LiDAR, une charge utile de 3 kg par bras, une précision millimétrique et un remplacement de batterie à chaud en 30 secondes, avec un MTBF ciblé au-delà de 1 000 heures. Cette annonce illustre la tentative de Dexmal de combler l'écart, souvent négligé par les démonstrations spectaculaires, entre la capacité d'un modèle et son déploiement industriel réel. DexOS, présenté comme le premier système d'exploitation générique pour l'IA incarnée, découple les modèles du matériel afin que les intégrateurs puissent piloter des robots de marques différentes avec quelques lignes de Python, une approche qui rappelle la logique d'abstraction matérielle déjà tentée par d'autres acteurs de la robotique humanoïde. DFOL 2.0, qui s'appuie sur le modèle du monde DW0.5 comme simulateur haute fidélité, réduirait de 60 % les besoins en données réelles et de 40 % le coût global d'entraînement, un argument central pour les intégrateurs cherchant à limiter le temps de collecte de données sur robot physique. Les chiffres avancés, notamment le classement sur RoboChallenge et les gains de généralisation, restent des métriques internes à confirmer par des tests indépendants. Dexmal s'inscrit dans un écosystème chinois de l'IA incarnée en pleine consolidation, en partenariat avec des fabricants de corps robotiques comme Tiangong, Huaqin et Shihe, ainsi qu'avec les fondeurs de puces Pingtouge (Alibaba), Moore Threads et Cambricon. Le PDG Tang Wenbin a présenté ce lancement comme le franchissement du "dernier kilomètre" séparant les lois d'échelle des modèles d'une productivité réelle, un positionnement qui fait écho aux ambitions affichées par des concurrents comme Physical Intelligence avec Pi-0, ou NVIDIA avec GR00T N2, dans la course à des modèles vision-langage-action généralistes et déployables à grande échelle.

Adaptation de la planification avec pensées vision-langage entrelacées

Une équipe de recherche présente APIVOT (Adaptive Planning with Interleaved Vision-Language Thoughts), un planificateur pour robots basé sur un modèle vision-langage (VLM), détaillé dans un article publié sur arXiv le 8 juillet 2026 (référence 2607.08024v1). Le système cible la planification à long horizon, c'est-à-dire des tâches robotiques composées de plusieurs étapes successives, comme des scénarios de cuisine impliquant la manipulation d'objets dans un espace contraint. Sa particularité est d'alterner de façon adaptative entre deux types de raisonnement: du texte pour décomposer les objectifs, sélectionner les objets pertinents et séquencer les actions, et des représentations visuelles générées pour imaginer les états futurs de la scène et vérifier en interne si un plan est géométriquement réalisable, notamment en cas d'espace libre limité ou de risque de collision entre objets. Sur des tâches de cuisine à long horizon, APIVOT surpasse à la fois des VLM généralistes et les frameworks de planification existants, avec l'écart de performance le plus marqué dans les environnements les plus contraints spatialement. Ce résultat s'inscrit dans un débat central pour l'industrie robotique: les modèles vision-langage-action (VLA) et les grands VLM généralistes savent-ils vraiment raisonner sur la géométrie d'une scène, ou se contentent-ils d'un raisonnement sémantique de surface qui échoue dès que l'espace se complique. En montrant qu'un module de vérification visuelle interne améliore concrètement le taux de succès et l'efficacité du raisonnement, APIVOT apporte un argument en faveur d'architectures hybrides plutôt que de VLM purement textuels pour la planification robotique, un enjeu direct pour les intégrateurs qui déploient des bras ou robots mobiles autonomes dans des environnements encombrés. L'article se positionne explicitement par rapport aux VLM généralistes et aux frameworks de planification antérieurs, utilisés comme lignes de base de comparaison, sans toutefois nommer de plateforme robotique commerciale précise ni d'acteur industriel. Il s'agit à ce stade d'une contribution de recherche évaluée en simulation ou en environnement contrôlé de cuisine, sans indication de déploiement produit ni de partenariat industriel annoncé; les auteurs présentent le "modality selection" adaptatif comme la piste principale à explorer pour les futurs systèmes de planification robotique.

Immersion sociale en réalité virtuelle avec des humanoïdes assistés par LLM

Des chercheurs présentent un système de téléopération immersive pour robots humanoïdes combinant casque Apple Vision Pro et modèle de langage, testé sur un robot Unitree H1 équipé de mains dextres. L'opérateur reçoit un flux vidéo à la première personne directement depuis les caméras du robot, pilote ses déplacements par commandes vocales en langage naturel converties en instructions de haut niveau par un module LLM, et contrôle les bras et les doigts du robot par suivi du poignet et des mains, retranscrit via cinématique inverse et régulation PD. Le système enregistre en parallèle des données multimodales : images RGB égocentriques, commandes vocales et texte, états articulaires, mouvements des mains et signaux de regard, en vue d'un futur entraînement par apprentissage par imitation. Les auteurs rapportent que des utilisateurs novices, après une brève familiarisation, atteignent 80% de réussite sur des tâches de manipulation d'objets et 70% sur une tâche d'interaction sociale consistant à se faire passer un cube avec le robot. L'intérêt de ces travaux tient moins à la performance brute qu'à la démonstration d'une interface de téléopération accessible à des non-experts, sans entraînement lourd ni contrôle bas niveau exigeant. C'est un signal pertinent pour le secteur : la plupart des démonstrations de téléopération humanoïde restent réservées à des opérateurs entraînés maniant des contrôleurs spécialisés, ce qui freine leur adoption pour l'assistance à distance ou la collecte de données d'entraînement à grande échelle. En couplant retour visuel immersif, langage naturel et capture de mouvement fine, cette approche illustre une piste concrète pour réduire la charge cognitive et physique de l'opérateur, un frein connu au déploiement commercial des humanoïdes téléopérés. Il faut toutefois noter que les taux de réussite annoncés, 70 à 80%, restent modestes face aux standards industriels et proviennent d'un nombre d'essais limité en laboratoire, loin d'un déploiement réel. Ce travail s'inscrit dans la lignée des systèmes de téléopération immersive qui se sont multipliés avec l'essor des VLA (modèles vision-langage-action) comme Pi-0 ou GR00T N2, où la collecte de démonstrations humaines de haute qualité est un goulot d'étranglement majeur pour l'apprentissage. Le choix du Vision Pro comme interface, plutôt que des combinaisons de capture de mouvement traditionnelles, reflète une tendance plus large du secteur à exploiter le matériel grand public pour réduire les coûts de téléopération, une direction également explorée par plusieurs laboratoires américains et chinois. Il s'agit ici d'une publication de recherche académique arXiv, sans partenaire industriel ni calendrier de commercialisation annoncé : les prochaines étapes attendues porteraient sur l'exploitation des données multimodales collectées pour entraîner des politiques autonomes, transformant à terme cette téléopération assistée en un système capable d'agir de façon plus indépendante.

TouchWorld : un modèle fondation tactile, prédictif et réactif, pour la manipulation dextérique

Une équipe de recherche présente TouchWorld, un modèle fondationnel tactile conçu pour la manipulation dextre, dans un article publié sur arXiv (2607.07287v1) début juillet 2026. Le système repose sur une politique hiérarchique en trois couches : une couche de planification vision-langage qui découpe la tâche en sous-objectifs et prédit des sous-buts tactiles, une politique visuo-tactile conditionnée par objectif qui génère des séquences d'actions nominales, et une politique de raffinement conditionnée par le toucher qui corrige en temps réel à partir du retour tactile et proprioceptif haute fréquence. Évalué sur six tâches de manipulation dextre longues et riches en contacts, TouchWorld atteint 65,0% de réussite en conditions propres et 53,7% sous perturbations humaines, soit 15,7 et 18,5 points de plus que la meilleure référence testée. L'apport principal tient à la séparation des échelles de temps : la plupart des politiques existantes traitent le toucher comme un simple flux d'observation basse fréquence, mélangé dans la même boucle que le raisonnement de tâche et la génération d'action. TouchWorld découple ce retour rapide (glissement, désalignement, force, stabilité de prise) du raisonnement sémantique lent porté par la vision et le langage. Pour les intégrateurs et chercheurs en robotique, cela répond directement à une limite connue des architectures vision-langage-action : leur capacité de généralisation sémantique ne suffit pas à gérer les micro-corrections de contact nécessaires en manipulation fine, un écart souvent cité entre démonstrations impressionnantes et robustesse réelle en conditions perturbées. L'article s'inscrit dans la lignée des travaux récents sur les modèles de fondation tactiles et les politiques visuo-tactiles pour la robotique, un axe de recherche encore jeune comparé aux modèles vision-langage-action purement visuels. Les auteurs ne précisent pas d'affiliation ni de calendrier de déploiement dans le résumé ; il s'agit à ce stade d'un travail de recherche évalué en environnement contrôlé, sans indication de transfert vers un produit ou un déploiement industriel.

RoboSnap : génération de scènes réel-vers-simulation en un seul essai pour l'apprentissage et l'évaluation généralisables de robots

RoboSnap transforme une simple image RGB en environnement de simulation prêt pour l'entraînement robotique, selon un article publié sur arXiv (2607.06699v1). L'équipe de recherche propose une architecture en couches qui sépare la zone d'interaction physique de l'arrière-plan visuel : les objets au premier plan, ceux avec lesquels le robot interagit, sont reconstruits avec une attention particulière à la stabilité de collision, tandis que le fond est restitué par Gaussian splatting 3D pour préserver un rendu fidèle sous des angles de vue inédits. Les tests ont porté sur des scènes issues du jeu de données DROID ainsi que sur des tâches robotiques réelles, montrant une reproduction fiable des trajectoires dans les scènes recréées. Pour accompagner ces travaux, les auteurs publient DROID-Sim, un jeu de données compagnon construit à partir de 564 scènes réelles extraites de DROID. L'enjeu dépasse la simple reconstruction visuelle. Le passage du réel à la simulation ("real-to-sim") est un goulot d'étranglement connu pour l'entraînement des politiques robotiques par apprentissage : générer des environnements à la fois physiquement stables et visuellement réalistes reste coûteux en temps et en ingénierie. RoboSnap promet de générer une scène simulable à partir d'une seule photo, ce qui pourrait accélérer la production de données synthétiques d'entraînement et faciliter l'évaluation reproductible de politiques, un point sensible dans un secteur où les benchmarks physiques réels sont difficiles à standardiser. Les auteurs revendiquent une corrélation significative entre performances en simulation et en conditions réelles, un indicateur clé pour juger si un tel pipeline peut réellement remplacer des tests physiques répétés. Ce travail s'inscrit dans une vague plus large de recherches sur le "real-to-sim" et les architectures vision-langage-action (VLA), où des approches comme Gaussian splatting gagnent du terrain face aux méthodes de reconstruction 3D classiques, jugées plus lentes ou moins fidèles visuellement. L'article, encore au stade de prépublication non revue par les pairs, ne précise pas de calendrier de mise à disposition du code ou du jeu de données DROID-Sim, ni de partenariat industriel. Les prochaines étapes attendues concernent l'extension à des scènes plus complexes et la validation sur davantage de plateformes robotiques.

FORGE : généraliser l'utilisation fonctionnelle d'outils par raisonnement sur trajectoires de points clés

Une équipe de recherche publie sur arXiv (arXiv:2607.05780) un système baptisé FORGE, conçu pour résoudre un problème concret de la robotique manipulatrice : un robot entraîné à utiliser un outil précis échoue généralement à transférer cette compétence à un objet différent partageant pourtant la même fonction, par exemple utiliser une pierre ou une chaussure pour planter un clou comme le ferait un humain. Les chercheurs ont testé plusieurs représentations intermédiaires (images d'affordance, vidéos de démonstration humaine, trajectoires de points-clés en 2D) et retiennent les trajectoires de points-clés comme le meilleur compromis entre expressivité fonctionnelle et capacité à être traduites en actions robotiques. FORGE fonctionne en deux étapes distinctes : d'abord prédire des trajectoires de points-clés génériques à partir de données sans action associée, puis les ancrer en commandes motrices concrètes grâce à un nombre limité de démonstrations. Sur un banc d'essai de sept outils dédié à une tâche de type "frapper pour enfoncer", la méthode dépasse les approches de référence sur des outils jamais vus, en simulation comme en conditions réelles, avec plus du double du taux de réussite moyen. Cette avancée cible un verrou connu des politiques d'apprentissage par imitation et des modèles vision-langage-action (VLA) : la plupart généralisent mal dès qu'un outil change de forme, même si sa fonction reste identique. Pour les intégrateurs qui envisagent des robots humanoïdes ou des bras manipulateurs en environnement non structuré, où l'outil disponible n'est pas toujours celui prévu, cette capacité d'improvisation fonctionnelle est un prérequis pour sortir de la démonstration contrôlée et aller vers un déploiement réel. FORGE s'inscrit dans une tendance de recherche plus large visant à découpler le raisonnement de haut niveau de l'exécution motrice, une logique que l'on retrouve dans des systèmes comme GR00T N2, Pi-0 ou Helix, qui cherchent tous à réduire la dépendance à des démonstrations robotiques coûteuses en s'appuyant sur des données vidéo ou des données sans action. Il s'agit ici d'un travail académique publié en préprint, sans partenaire industriel identifié ni déploiement annoncé : la prochaine étape logique serait d'étendre la validation au-delà de ce banc d'essai de sept outils vers des tâches de manipulation plus variées.

LingBot-Vision d'Ant Group : 12 premières mondiales, un modèle de 1,1 milliard de paramètres bat DINOv3 (7 milliards)

Ant Group, via sa division robotique LingBot, a dévoilé LingBot-Depth 2.0, un modèle de perception spatiale construit sur un nouveau modèle de vision baptisé LingBot-Vision, présenté comme le premier modèle de fondation vision nativement conçu pour la perception spatiale en IA incarnée. L'entreprise revendique douze résultats inédits sur des benchmarks publics et privés, une affirmation à prendre avec précaution puisqu'elle émane de son propre communiqué. Avec environ 1,1 milliard de paramètres, soit environ un septième des 7 milliards de DINOv3 de Meta, et moins d'un tiers de son volume d'entraînement, LingBot-Vision affirme surpasser DINOv3 sur le benchmark d'estimation de profondeur NYUv2. Le modèle cible trois défauts classiques de l'estimation de profondeur: le flou des contours, la détection des petits objets et le bruit sur les longues distances. LingBot-Depth 2.0 revendique une clarté de contours suffisante pour de la planification de trajectoire de bras robotique au millimètre près, une meilleure détection des câbles et fils fins, un filtrage du bruit pour les obstacles distants, et des cartes de profondeur stables face aux surfaces réfléchissantes, objets transparents, obscurité et environnements encombrés. Le modèle et son code sont disponibles en open source sur Hugging Face, ModelScope et GitHub, avec un rapport technique publié sur arXiv. Ant Group a aussi noué un partenariat avec ORBBEC, fabricant chinois de capteurs 3D, dont le laboratoire Depth Vision Lab a validé le modèle; la collaboration produit un nouveau dispositif de collecte EGO-RGBD, une intégration SDK pour le matériel ORBBEC, et une future caméra intégrée sans réglage algorithmique complexe. La sortie illustre un pari de plus en plus partagé en IA incarnée: les modèles de vision entraînés sur des images web généralistes, comme DINOv3, reconnaissent des objets mais ignorent leur géométrie précise, ce qui limite leur usage pour des robots devant saisir, éviter ou manipuler des objets réels. En intégrant la compréhension spatiale dès l'entraînement, LingBot-Vision s'attaque à l'écart entre perception "de spectateur" et perception "d'acteur", un enjeu central pour les modèles vision-langage-action qui pilotent bras robotiques et humanoïdes. Le passage du papier de recherche à un partenariat matériel concret avec ORBBEC, plutôt qu'une simple démonstration, est le signal le plus tangible pour les intégrateurs: un début de commercialisation réelle plutôt qu'un prototype isolé. Gérer nativement les cas difficiles, surfaces réfléchissantes, câblage fin, objets transparents, est précisément ce qui bloque aujourd'hui le déploiement en environnement réel non contrôlé. Ant Group, mieux connu pour Alipay, a multiplié ces derniers mois les investissements en robotique et IA incarnée via LingBot, dans un contexte de compétition intense entre laboratoires chinois et américains sur les modèles de fondation pour robots. La comparaison affichée avec DINOv3, modèle phare de Meta, positionne explicitement l'entreprise face aux géants américains sur la perception, pendant que d'autres acteurs, Figure AI avec Figure 03, Tesla avec Optimus, Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2 ou Google DeepMind avec Helix, se concentrent davantage sur les modèles d'action et le contrôle moteur. LingBot-Vision se positionne ainsi comme une brique de perception complémentaire, potentiellement intégrable en amont de ces systèmes. Le partenariat avec ORBBEC laisse présager un déploiement progressif dans les prochains mois, avec l'arrivée annoncée d'une caméra grand public intégrant directement le traitement 3D, un jalon qui déterminera si les gains annoncés sur benchmarks se traduisent en performance réelle chez les intégrateurs industriels.

HIVE lève 15 millions de dollars pour développer une IA physique destinée aux machines industrielles

HIVE, startup de physical AI basée à Londres avec des bureaux en Norvège, a annoncé une levée de 15 millions de dollars en pre-série A menée par SuperSeed, avec la participation de Veriten, Skyfall et Nysnø, ainsi que des investisseurs providentiels comme Børge Hald, fondateur de Medallia, et Jørn Lyseggen, fondateur de Meltwater. L'entreprise, dirigée par le cofondateur et PDG Christoffer Jørgensvaag, développe ce qu'elle appelle un "silicon brain", une couche d'intelligence unifiée qui permet à des engins industriels existants de percevoir leur environnement, de décider et d'agir de façon autonome. Concrètement, HIVE ne construit pas de nouveaux robots mais rétrofite des véhicules déjà en service, chargeuses sur pneus, engins d'entrepôts, de lignes de production ou de chantiers, en y ajoutant capteurs et caméras. Un déploiement est déjà opérationnel sur Vikafjellet, un des cols de montagne les plus exposés de Norvège, où le déminage des zones d'avalanche nécessitait auparavant d'attendre plusieurs heures la validation d'un géologue avant d'envoyer une équipe. Avec le silicon brain installé, l'opérateur de la société Presis Vegdrift peut désormais engager une chargeuse immédiatement, pilotée à distance depuis une salle de supervision sécurisée plutôt que depuis la cabine exposée. L'approche de HIVE tranche avec la course aux robots humanoïdes qui domine l'actualité physical AI: plutôt que de fabriquer une nouvelle plateforme robotique, l'entreprise mise sur le rétrofit de flottes industrielles déjà amorties, un pari pertinent pour les intégrateurs et décideurs B2B qui cherchent un retour sur investissement rapide sans remplacer leur parc machine. Le modèle commercial repose sur une boucle d'apprentissage par renforcement mutualisée entre toutes les machines déployées: chaque heure d'exploitation alimenterait cette boucle, avec un objectif affiché de réduction de 80% du coût de l'heure-machine productive. Ce chiffre, non encore audité indépendamment, reste à confirmer à l'échelle, mais illustre la logique de mutualisation des données propre aux acteurs de la conduite autonome industrielle. HIVE a construit ses premiers déploiements en Scandinavie avant d'entamer une expansion aux États-Unis, actuellement en cours. Le positionnement de l'entreprise la distingue des laboratoires centrés sur les modèles vision-langage-action pour robots humanoïdes, comme Physical Intelligence avec Pi-0 ou NVIDIA avec GR00T, en se concentrant plutôt sur l'autonomie de véhicules lourds déjà présents sur le terrain, mines, chantiers, entrepôts. Les prochaines étapes annoncées incluent le renforcement de l'équipe fondatrice, recrutée récemment à l'international, et l'extension des déploiements commerciaux auprès de partenaires industriels nouveaux et existants.

MOSAIC : planification de manipulation centrée sur les compétences par simulation physique

Le fossé entre le nombre potentiellement infini de compétences robotiques disponibles et l'incapacité des robots à les enchaîner de façon fiable sur des tâches longues reste un problème central en robotique. Une équipe de chercheurs présente MOSAIC, une méthode de planification centrée sur les compétences qui s'appuie sur la simulation physique pour estimer, avant exécution, la probabilité de succès de chaque compétence dans un contexte donné. Plutôt que d'explorer pas à pas un espace de séquences quasi infini, comme le font les méthodes incrémentales classiques, ou de raisonner sur des représentations symboliques simplifiées mais fragiles et coûteuses à construire à la main, MOSAIC combine deux familles complémentaires de compétences: les Générateurs, qui identifient des « îlots de compétence », c'est-à-dire des zones où une action donnée réussit de façon démontrable, et les Connecteurs, qui relient ces trajectoires entre elles en résolvant des problèmes aux limites. L'équipe a testé l'approche sur des tâches de manipulation longues et complexes, en simulation comme sur un robot réel, en mobilisant un ensemble hétérogène d'outils: modèles de diffusion génératifs, algorithmes classiques de planification de mouvement et modèles spécialisés en manipulation. Le papier, une version révisée publiée sur arXiv, est accompagné d'un site de démonstrations (skill-mosaic.github.io). L'enjeu dépasse la seule performance algorithmique. Le planning long-horizon par composition de compétences est considéré depuis des années comme un verrou pour des robots véritablement généralistes, capables d'assembler des briques génériques pour résoudre des tâches nouvelles sans reprogrammation dédiée. En concentrant l'effort de recherche sur les régions où chaque compétence est réellement fiable, plutôt que de faire confiance à une couverture uniforme de l'espace des possibles, MOSAIC apporte une réponse concrète à la fragilité chronique des approches symboliques et à l'explosion combinatoire des méthodes purement incrémentales, un sujet sensible à l'heure où l'industrie mise massivement sur les modèles vision-langage-action pour la généralisation. Cette contribution s'inscrit dans la lignée des travaux de planification tâche-et-mouvement (TAMP), où la tension entre robustesse symbolique et flexibilité des méthodes apprises est documentée de longue date. L'essor récent des politiques de diffusion et des modèles génératifs comme briques de bas niveau change la donne: MOSAIC propose justement un cadre capable d'orchestrer ce type d'outils hétérogènes sans passer par une couche symbolique rigide. La publication d'une troisième version sur arXiv suggère un travail encore en cours de révision, avec des démonstrations concrètes disponibles pour les équipes de recherche souhaitant évaluer la méthode sur leurs propres bancs d'essai.

Apprentissage robotique dextérique à grande échelle via des interactions homme-robot à distance en réalité augmentée

Des chercheurs publient une nouvelle méthode d'apprentissage pour robots manipulateurs dexterity, combinant téléopération à distance en réalité augmentée (AR) et apprentissage par renforcement. Le système fonctionne en deux phases: d'abord un entraînement par clonage comportemental (behavior cloning) à partir de démonstrations collectées via une interface AR permettant à un opérateur humain de piloter à distance un bras-main robotique; ensuite un raffinement par apprentissage par renforcement enrichi de contrastive learning, avec une tête de projection dédiée pour accélérer la convergence. Un système de récompense événementiel a été ajouté pour renforcer la sécurité des interactions. Les auteurs ont validé leur approche à la fois en simulation physique sous PyBullet et lors d'expériences réelles sur robot, en comparant les résultats à plusieurs méthodes de référence. Les démonstrations vidéo sont disponibles sur le site des auteurs (cyberyyc.github.io). Cette publication s'inscrit dans un axe de recherche central pour la robotique dexterity: comment collecter efficacement des données de démonstration de qualité, le principal goulot d'étranglement des politiques de manipulation apprises. La téléopération AR répond directement à ce problème en rendant la collecte de données à distance plus rapide et moins coûteuse que les setups de téléprésence classiques. Plus significatif encore, les auteurs affirment que leur combinaison BC puis RL contrastif règle un problème connu et documenté du RL appliqué à la manipulation robotique: l'effondrement de politique (policy collapse), où l'agent converge vers un comportement dégénéré. Si les gains de vitesse d'entraînement et de taux de réussite se confirment au-delà du cadre académique, la méthode pourrait intéresser les équipes travaillant sur des politiques de manipulation généralistes, dans la lignée des approches VLA comme Pi-0 ou GR00T N2. L'article s'inscrit dans la vague de travaux combinant téléopération immersive et apprentissage par imitation puis renforcement, une direction explorée par plusieurs laboratoires académiques et industriels depuis l'essor des politiques vision-langage-action. Contrairement aux démonstrations commerciales de Figure ou Optimus, ce travail reste à un stade de recherche, validé en simulation et sur banc d'essai, sans annonce de déploiement industriel ni de partenaire commercial.

Vert pour avancer, rouge pour s'arrêter : ancrage visuel par segmentation sémantique pour la navigation VLA

Une équipe de recherche propose une méthode pour améliorer la fiabilité des modèles vision-langage-action (VLA) utilisés en navigation robotique, en s'appuyant sur la segmentation sémantique en temps réel. Le système utilise SegFormer pour colorer l'image perçue par le robot: en vert les zones traversables, en rouge les zones à éviter, avant de transmettre cette image enrichie au modèle de navigation OmniVLA. Deux variantes ont été testées, une segmentation appliquée uniquement à l'observation courante, et une seconde appliquée conjointement à l'observation et à l'image ou l'instruction cible. Sur le jeu de données Grand Tour, cette technique de "grounding" visuel réduit l'erreur moyenne de trajectoire au point de passage le plus éloigné de 27 à 44%, un gain qui varie selon la longueur de l'instruction donnée au robot. Les auteurs montrent aussi, via une analyse d'erreur normalisée, que le bénéfice provient surtout d'un raccourcissement de 30% de la longueur de trajectoire prédite, plutôt que d'un raisonnement spatial réellement amélioré par unité de distance. Pour les intégrateurs et ingénieurs qui déploient des robots mobiles guidés par instructions en langage naturel, ce résultat est notable car il ne nécessite aucun réentraînement du modèle VLA existant, seulement une couche de traitement d'image ajoutée en amont, peu coûteuse en calcul. Les auteurs sont transparents sur les limites: le gain est quasi nul pour les instructions basées sur une image cible plutôt qu'un texte, et la méthode ne compense pas l'absence de signal d'entraînement pour des instructions hors distribution. Cela confirme un écart connu du secteur entre performance démonstrative et robustesse réelle des modèles de navigation par langage. OmniVLA s'inscrit dans la famille grandissante des modèles vision-langage-action pour la navigation, aux côtés d'approches comme Pi-0 ou GR00T N2 développées pour la manipulation et le déplacement robotique. Le travail présenté ici, une première évaluation empirique du grounding visuel appliqué spécifiquement à ces politiques de navigation, ouvre la voie à des ajouts similaires et légers sur d'autres architectures VLA sans passer par un réentraînement complet, une piste pratique pour fiabiliser des déploiements réels en environnement encombré ou ambigu.

Yisheng Technology, fondée par un professeur de HKU, lève des centaines de millions pour un système mémoriel robotique

La startup chinoise TranscEngram (忆生科技), fondée en septembre 2023 par le professeur Yi Ma, doyen fondateur de la faculté d'informatique et de science des données de l'Université de Hong Kong, avec ses cofondateurs Gao Shenghua et Yang Yanchao, vient de boucler un tour d'amorçage de plusieurs centaines de millions de yuans. Parmi les investisseurs figurent Sino Biopharmaceutical (filiale du groupe CP), Pudong Chuangtou, Zhangjiang Kechuang, Zhangjiang Hi-Tech, Hongxin Electronics, Yunhui Capital, Volcan Capital et Jinduo Capital. Les fonds financeront un modèle de contrôle incarné explicable, un modèle du monde physique, un pipeline de données de mouvement humanoïde multimodal, ainsi que des centres de R&D et de production à Qianhai (Shenzhen) et Zhangjiang (Shanghai). L'architecture maison, baptisée "cerveau plus cervelet", combine une mémoire visuelle pour la perception spatiale et une mémoire musculaire pour le contrôle moteur haute fréquence, déclinée en quatre produits : EngramTeleOp pour la téléopération (latence inférieure à 10 ms, prise en main en cinq minutes, essais longue distance entre Shanghai et Shenzhen), EngramEgo pour la capture de mouvement à la première personne via des capteurs portables légers, EngramControl pour la mémoire de mouvement réutilisable, et EngramNav pour la navigation et la mémoire d'environnement. Selon l'entreprise, cette approche générative dépasserait de plus de trois fois les modèles VLA classiques sur des tâches multiples (préparation de café, pliage de linge, préparation de thé), avec plus de 95% de réussite pour un modèle unique. TranscEngram a déjà testé ses briques avec les groupes AgiBot, Fourier, Galbot et Robotera, et cible désormais l'hôtellerie haut de gamme ainsi que l'assemblage flexible dans l'aérospatial, notamment avec un fabricant de pièces d'avion d'origine Airbus. Cette levée illustre une bataille de fond dans la robotique humanoïde : dépasser les modèles vision-langage-action (VLA) actuels, jugés trop rigides face à un changement de tâche ou d'outil, au profit de systèmes capables de transférer une compétence d'un corps à un autre (pince, main habile, bras de longueurs différentes) sans réentraînement lourd. Yi Ma justifie ce pari par une critique frontale des grands modèles de langage en vogue, qu'il compare à des encyclopédies statiques incapables de s'auto-corriger au contact du monde physique, d'où leurs hallucinations selon lui. Les chiffres de performance avancés, un gain de trois fois et un taux de réussite de 95%, restent toutefois des mesures internes non vérifiées de façon indépendante, portant sur un nombre de tâches limité probablement choisi par l'entreprise ; ils relèvent davantage de la promesse que du produit éprouvé en environnement industriel réel. Le pari, s'il tient, viserait un vrai point de friction du secteur : le coût du redéploiement à chaque nouvelle tâche ou changement de gamme, un problème particulièrement sensible dans l'assemblage aérospatial où les lignes changent fréquemment de configuration. TranscEngram s'inscrit dans la vague de financements de l'IA incarnée en Chine, aux côtés d'acteurs comme AgiBot, Fourier, Galbot ou UBTech, et fait écho aux ambitions affichées par les Américains Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix sur les modèles de fondation pour la robotique. Yi Ma, lauréat du prix Marr et fellow IEEE, ACM et SIAM, revendique des collaborations avec Emmanuel Candès et Yann LeCun pour asseoir la crédibilité scientifique du projet. La suite proche passe par deux pilotes commerciaux, l'hôtellerie haut de gamme (blanchisserie, fabrication de cartes, service en chambre) et l'assemblage flexible dans l'aérospatial avec ce fabricant lié à Airbus, tandis qu'un centre de données dédié dans le Sichuan doit accélérer la collecte de données tactiles pour les mains habiles. Aucun calendrier de déploiement commercial précis n'a pour l'instant été communiqué.

Embodied.cpp : un moteur d'inférence portable pour modèles d'IA incarnée sur robots hétérogènes

Des chercheurs publient sur arXiv (référence 2607.02501v1) un runtime d'inférence baptisé Embodied.cpp, conçu pour exécuter des modèles d'IA incarnée directement sur des robots physiques. Écrit en C++, il cible spécifiquement les modèles vision-langage-action (VLA) et les modèles monde-action (WAM), deux familles d'architectures qui équipent aujourd'hui la plupart des humanoïdes et bras robotiques pilotés par apprentissage. Le système s'organise en cinq couches, des adaptateurs d'entrée jusqu'aux adaptateurs de déploiement, en passant par la construction de séquences, l'exécution du backbone et des modules de tête interchangeables. Les auteurs l'ont testé sur deux modèles VLA, HY-VLA et pi0.5, obtenant des taux de réussite de tâches en boucle fermée de 100,0% et 91,0% respectivement. Sur un benchmark préliminaire de modèle WAM utilisant un bloc Transformer LingBot-VA, la mémoire consommée par bloc chute de 312,2 MiB à 88,1 MiB. Cette publication s'attaque à un problème très concret pour les intégrateurs robotiques: le déploiement des modèles d'IA incarnée reste aujourd'hui fragmenté entre piles Python spécifiques à chaque modèle, hypothèses matérielles disparates et code de liaison écrit à la main pour chaque robot. Les runtimes d'inférence existants sont pensés pour du serving requête-réponse classique, pas pour les contraintes réelles du contrôle robotique: exécution multi-fréquence dans une boucle fermée, inférence batch-1 en priorité latence sur du matériel hétérogène, et interfaces au-delà du simple flux de tokens. Si les résultats se confirment à plus grande échelle, un runtime portable unique capable de faire tourner plusieurs familles de VLA et de WAM sur des appareils edge variés réduirait significativement le travail d'ingénierie nécessaire pour passer d'un prototype en simulation à un déploiement réel sur robot, un des goulots d'étranglement les plus cités du secteur. Le travail s'inscrit dans la course actuelle autour des modèles génériques de contrôle robotique, aux côtés d'architectures comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia, qui cherchent toutes à unifier perception, langage et action dans un seul modèle déployable sur du matériel varié. En proposant une couche d'abstraction backend commune plutôt qu'un modèle de plus, Embodied.cpp se positionne comme brique d'infrastructure plutôt que comme concurrent direct, un signe que la standardisation de l'inférence embarquée devient un enjeu aussi important que la performance des modèles eux-mêmes.

ManipArena : évaluation exhaustive en conditions réelles de la manipulation robotique généraliste orientée raisonnement

Le laboratoire à l'origine de ce papier arXiv (identifiant 2603.28545, version 2, soumission de type remplacement) présente ManipArena, un cadre d'évaluation standardisé pour la manipulation robotique en conditions réelles. Le benchmark couvre 20 tâches distinctes, s'appuie sur 10 812 trajectoires expertes et 13,5 millions d'images, pour un total d'environ 188 heures de fonctionnement robotique cumulées sur des scénarios de manipulation de table et de manipulation mobile. Le protocole combine variation de tâches définie par schéma, essais stratifiés en distribution, en décalage visuel et hors distribution sémantique, notation par crédit partiel au niveau des sous-tâches, annotations linguistiques à trois niveaux de granularité, signaux moteurs bas niveau, et environnements simulés jumeaux reconstruits à partir de scènes physiques réelles. Les chercheurs ont utilisé ce dispositif pour évaluer sept configurations de manipulation de table, couvrant à la fois des modèles vision-langage-action (VLA) et des modèles dits world-action. L'enjeu dépasse la simple création d'un nouveau jeu de tests. Les benchmarks en simulateur, bien que reproductibles et faciles à mettre à l'échelle, ne capturent pas fidèlement l'écart entre simulation et réel, ce dernier étant causé par le bruit de perception, la dynamique de contact, la latence et les erreurs de calibration. À l'inverse, les évaluations sur robots physiques existantes sont dispersées entre plateformes, scènes et règles de notation différentes, ce qui rend toute comparaison rigoureuse quasi impossible. Résultat clé de l'étude: les performances mesurées sur robot réel ne dépendent pas seulement de l'architecture du modèle, mais aussi de sa provenance, du régime de fine-tuning, de l'échantillonnage des données d'entraînement et de la granularité des annotations. Pour les intégrateurs et décideurs industriels, ce constat invite à relativiser fortement les annonces de performance basées uniquement sur des démonstrations vidéo ou des scores en simulation. Ce travail s'inscrit dans la course actuelle autour des modèles généralistes de contrôle robotique (VLA et world-action), un domaine où les affirmations de généralisation restent difficiles à vérifier faute de méthodologie commune. En proposant un référentiel reproductible avec attribution fine des échecs, ManipArena vise à devenir un outil diagnostique de référence pour mesurer les véritables limites de capacité de ces modèles, plutôt qu'un simple classement de plus.

IA incarnée : jeu de données de graphes de scène spatiaux pour l'évaluation de modèles vision-langage sur des trajectoires de manipulation robotique

Traduction avec le style demandé, en 3 paragraphes fluides sans titres. Une équipe de recherche présente EmbodimentSemantic, un jeu de données et un benchmark conçus pour évaluer la capacité des modèles vision-langage-action (VLA) à comprendre l'organisation spatiale des scènes en robotique manipulatrice. Le dataset représente chaque scène sous forme de graphe orienté objet-relation-objet, où chaque triplet encode une relation spatiale précise (support, contenance, ordre, occlusion, profondeur) entre deux objets. Il combine des observations réelles collectées avec le bras robotique low-cost SO101, accompagnées de graphes de scène générés automatiquement, ainsi qu'un benchmark simulé bâti sur l'environnement LIBERO comptant plus de 60 000 images de manipulation et plus de 120 000 graphes de scène spécifiques à chaque caméra, couvrant à la fois des vues à la troisième personne et des vues embarquées au poignet. Dans ce volet simulé, les relations de référence sont dérivées automatiquement de la géométrie MuJoCo, des coordonnées monde, des projections caméra et des contraintes de visibilité, ce qui garantit une annotation fiable sans intervention humaine. Ce travail met le doigt sur une faiblesse structurelle des systèmes VLA actuels: si ces modèles savent reconnaître des objets et suivre des instructions en langage naturel, ils peinent à représenter explicitement comment ces objets sont disposés les uns par rapport aux autres, en particulier sur les relations dépendantes de la profondeur ou du point de vue. Les expériences menées sur des VLM open source et commerciaux montrent que les modèles prédisent souvent des relations plausibles mais échouent sur la structure spatiale exacte, un écart qui rejoint le constat plus large d'un fossé entre démonstrations impressionnantes et robustesse réelle en conditions de manipulation. Pour les intégrateurs et équipes R&D, ce résultat suggère que l'injection explicite de graphes de scène dans les prompts des politiques VLA pourrait améliorer le contrôle en aval, une piste que les auteurs testent directement dans leurs expériences. EmbodimentSemantic s'inscrit dans la lignée des efforts récents visant à combler l'écart entre perception sémantique et contrôle moteur chez les modèles de type Pi-0, GR00T N2 ou Helix, qui reposent tous sur une compréhension fine de la géométrie de la scène pour planifier des trajectoires de manipulation fiables. En proposant un cadre unifié et reproductible pour diagnostiquer le grounding spatial, à la fois en environnement réel low-cost et en simulation contrôlée, les auteurs offrent un outil de benchmarking que les laboratoires de robotique pourront utiliser pour comparer objectivement leurs architectures VLA sur ce point précis, plutôt que de se fier aux seules démonstrations vidéo souvent sélectives des annonces commerciales.

Robot park de 90 000 pieds carrés : une entreprise américaine forme des humanoïdes en conditions réelles

Apptronik, entreprise texane basée à Austin, a inauguré Robot Park, une installation de collecte de données et d'entraînement de près de 8 400 m² (90 000 pieds carrés) dédiée à l'accélération du développement de ses robots humanoïdes Apollo. Sur ce site, des unités Apollo 2, la dernière génération de la plateforme, déclinées en version bipède et en version à base roulante, exécutent en continu des tâches représentatives de la logistique, de la fabrication et du commerce de détail, générant ainsi les données réelles nécessaires à l'entraînement de modèles d'IA incarnée. Ce dispositif s'inscrit dans le partenariat de recherche entre Apptronik et Google DeepMind : les données issues d'Apollo 2, combinant téléopération et fonctionnement autonome, alimentent directement les modèles Gemini Robotics de DeepMind tout en améliorant la plateforme commerciale d'Apptronik. Le concept de Robot Park a également été étendu au-delà d'Austin, avec des flux de collecte similaires mis en place chez des clients et partenaires comme Mercedes-Benz et l'opérateur logistique GXO. Apollo 2 sert de « cheval de trait » du programme depuis plus d'un an déjà. Pour l'industrie robotique, cette annonce illustre un déplacement de l'enjeu compétitif : la course aux humanoïdes ne se joue plus seulement sur la démonstration de capacités motrices, mais sur la capacité à produire, à grande échelle et en continu, des données d'usage réel exploitables par des modèles VLA (vision-langage-action). En s'associant à un laboratoire du calibre de Google DeepMind, Apptronik cherche à sécuriser un accès privilégié à des capacités d'IA de pointe plutôt que de tout développer en interne, une stratégie qui tranche avec l'approche plus verticale de concurrents comme Figure AI ou Tesla avec Optimus. Le fait que des clients industriels comme Mercedes-Benz ou GXO participent directement à la collecte de données, sur leurs propres sites, est également un signal notable : il suggère un passage progressif du pilote isolé vers des déploiements multi-sites, même si l'ampleur réelle de l'autonomie atteinte par Apollo 2, par opposition à la téléopération, reste à documenter précisément par Apptronik. Fondée en 2016 et essaimée des travaux de robotique de l'université du Texas à Austin, Apptronik s'est fait connaître avec son premier robot Apollo avant de lancer cette version 2, pensée dès l'origine comme un outil de collecte de données autant que comme un produit commercial. La société évolue dans un secteur de plus en plus dense, aux côtés de Figure AI, Tesla, Boston Dynamics ou encore 1X, chacun misant sur des partenariats logiciels ou une intégration verticale pour combler l'écart entre démonstrations spectaculaires et déploiements industriels réels. Le PDG et cofondateur Jeff Cardenas a présenté l'initiative comme une « boucle d'apprentissage continu » avec l'équipe robotique de Google DeepMind, laissant entendre que d'autres extensions du modèle Robot Park, chez de nouveaux clients ou sur de nouveaux sites, devraient suivre dans les prochains mois.

Le Fil IA fondée par des anciens de Tsinghua lève des centaines de millions de yuans : « on ne veut pas de l'étiquette modèle du monde »

La startup chinoise Liqing Zhineng (厘清智能, "Clarity Intelligence"), fondée en avril 2026 à Pékin, a bouclé un tour d'amorçage de plusieurs centaines de millions de yuans (soit plusieurs dizaines de millions d'euros), révélé début juillet par le média chinois Zhinen Yongxian. Le tour réunit Shunwei Capital, Sequoia Chine, Hillhouse Ventures, FreeS Fund, Xinglian Capital, le fonds d'amorçage des alumni de Tsinghua, SEE Fund, ainsi que des investisseurs industriels comme AgiBot (智元机器人), Linker Hand (灵心巧手) et Century Golden Resources. L'équipe, adossée au laboratoire de Li Yiming, professeur assistant à l'école d'intelligence artificielle de Tsinghua et ancien chercheur Vision & Robotics chez Nvidia (bourse Nvidia 2024, dix lauréats dans le monde), compte une cinquantaine de membres d'une moyenne d'âge de 23 ans. Le produit central est une infrastructure baptisée "Physical AI Infra", construite autour de deux briques maison : un pipeline de collecte de données visant à passer de la centaine de milliers d'heures habituelle du secteur à plusieurs millions, voire dizaines de millions d'heures, via notamment des gants tactiles propriétaires dont le coût unitaire est ramené du niveau du dollar à celui du yuan ; et un moteur physique différentiable permettant une boucle "réel vers simulation vers réel", capable de modéliser des matériaux complexes (fluides, corps mous, déformations élastoplastiques). L'ensemble cible des gestes fins comme couper, visser, brancher, mélanger, presser ou enfiler, avec un objectif de portabilité entre différentes mains articulées et bras robotiques, pour des usages en usine, retail, hôtellerie, restauration et assistance médicale. Le positionnement de Li Yiming tranche avec l'engouement actuel pour les "world models" (modèles du monde), qu'il juge être la notion la plus galvaudée de 2026, tant les acteurs vidéo, 3D ou VLA (vision-langage-action) s'en réclament dès qu'ils touchent à la simulation physique. Sa thèse : le modèle du monde n'est qu'un composant technique parmi d'autres, sans valeur isolé du reste de la chaîne (données, matériel, déploiement) ; ce qui compte, c'est un système capable de généraliser à travers robots et scénarios. Il affirme ainsi pouvoir entraîner des politiques avec environ 1% du volume de données réelles habituellement nécessaire, en calibrant les transitions d'état du modèle de monde sur un petit échantillon de données réelles puis en laissant le robot s'entraîner par renforcement en simulation, l'exemple cité étant l'apprentissage de la découpe d'une pomme sans détruire des centaines d'exemplaires. Ces chiffres, avancés par le fondateur lui-même sans validation indépendante, restent à confirmer sur des déploiements réels plutôt que sur des démonstrations internes. Le parcours de Li Yiming inclut un doctorat à NYU avec des travaux co-signés avec Saining Xie (cofondateur et chercheur en chef d'AMI Labs), ainsi que plusieurs publications distinguées à CVPR et NeurIPS en collaboration avec Nvidia. La feuille de route affichée prévoit la sortie d'un modèle du monde généralisable à plusieurs scénarios B2B d'ici fin 2026, puis un passage à l'échelle commerciale visé pour 2028, avec pour ambition de livrer aux clients une solution matériel-logiciel intégrée plutôt qu'un simple modèle. Ce pari sur une intégration verticale complète, de la collecte de données au moteur physique en passant par le matériel de capture, reste rare en Chine où la plupart des équipes de robotique physique se concentrent sur un seul maillon de la chaîne ; il positionne Liqing Zhineng en concurrence indirecte avec les autres poids lourds chinois de l'IA incarnée comme AgiBot, qui figure aussi parmi ses investisseurs.

Robot humanoïde à partir de vidéos humaines : apprentissage zéro-shot avec des corps alignés sur l'humain

Des chercheurs présentent Human-as-Humanoid, un système qui permet d'entraîner des robots humanoïdes directement à partir de vidéos humaines, sans passer par la téléopération classique. Le framework s'appuie sur PrimeU, un humanoïde à 60 degrés de liberté (DoF) pour le haut du corps conçu pour reproduire l'anatomie humaine. La méthode combine des vidéos synchronisées en vue égocentrique (depuis les yeux du démonstrateur) et exocentrique (vue extérieure) : la première fournit une observation alignée sur ce que "verra" le robot en déploiement, la seconde permet de reconstruire précisément le mouvement humain. Ce mouvement est ensuite converti, via une cinématique inverse (IK) en plusieurs étapes, en séquences d'actions directement exploitables par le contrôleur du robot, avant d'entraîner un modèle vision-langage-action (VLA) avec une supervision tenant compte de la cinématique directe (FK) pour préserver la géométrie du poignet et des doigts. Les auteurs rapportent un gain de débit de collecte de données de 4,8 à 7,2 fois supérieur à la téléopération humanoïde classique. L'enjeu dépasse le simple gain de vitesse : la vraie difficulté pour les VLA humanoïdes à haut DoF, c'est le manque chronique de données action-observation de qualité, la téléopération restant lente et coûteuse à grande échelle. En montrant que des politiques entraînées uniquement sur des vidéos humaines converties généralisent à un déploiement réel sans démonstration robotique dédiée à la tâche cible, cette étude appuie l'hypothèse que le goulot d'étranglement des données humanoïdes peut être contourné par les vidéos humaines abondantes sur le web, plutôt que résolu uniquement par plus de téléopération ou plus de simulation. Ce travail s'inscrit dans une lignée de recherches (Pi-0, GR00T N2, Helix) qui cherchent à exploiter des sources de données hétérogènes pour les VLA robotiques, l'originalité ici étant l'alignement explicite entre morphologie humaine et robot via PrimeU. Les auteurs valident leur chaîne de conversion à trois niveaux (récupération du mouvement, espace d'action du robot, déploiement réel), mais les résultats restent circonscrits à quelques tâches de manipulation testées en laboratoire, sans indication de volumes de déploiement industriel à ce stade.

X Square Robot porte sa valorisation à 2,8 milliards de dollars après quatre levées de fonds consécutives

Voici l'article traduit et synthétisé : X Square Robot, société chinoise spécialisée en IA incarnée basée à Shenzhen, a bouclé quatre tours de financement consécutifs s'achevant par une série C, portant sa valorisation à plus de 2,8 milliards de dollars. Fondée en 2023 par Wang Qian, l'entreprise a vu IDG participer à ce dernier tour, tandis que HongShan et Xiaomi l'ont soutenue à plusieurs reprises lors des levées précédentes. Les fonds serviront à renforcer la recherche fondamentale et les technologies cœur, dans l'optique de progresser vers une IA incarnée généraliste. En avril 2026, la société a dévoilé WALL-B, un modèle de fondation construit sur une architecture baptisée World Unified Model : contrairement aux approches VLA (vision-langage-action) modulaires classiques, ce système entraîne perception, langage, action et prédiction physique au sein d'un réseau unique, censé renforcer la compréhension multimodale et le raisonnement spatial. X Square a aussi ouvert en open source WALL-OSS-0.5 et WALL-WM, ce dernier modèle traitant les données par « événements » pour améliorer l'apprentissage croisé entre modalités. Sur 17 tâches robotiques réelles testées sans post-entraînement, WALL-OSS-0.5 afficherait un taux de réussite autonome supérieur à 80% sur quatre d'entre elles seulement, un chiffre à nuancer puisqu'il ne concerne qu'une minorité des tâches évaluées. Cette levée intervient alors que la robotique incarnée chinoise multiplie les annonces de financement spectaculaires, dans un contexte où le marché reste partagé entre démonstrations soignées et déploiements réels limités. Le pari de X Square consiste à tester son système directement dans des foyers, via un partenariat avec la plateforme 58.com pour un service de nettoyage assisté par IA à Shenzhen et Pékin, et via le programme « X Family Member », lancé en mai 2026, où des robots vivent jusqu'à un mois chez des familles volontaires pour effectuer des tâches domestiques variées. Si l'entreprise présente cela comme une sortie du cadre des démonstrations scénarisées, l'exercice reste à des échelles encore restreintes et la robustesse réelle hors environnement contrôlé demande à être confirmée sur la durée. X Square s'inscrit dans une compétition mondiale où s'affrontent les modèles fondation pour la robotique, qu'il s'agisse de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, ainsi que des rivaux chinois comme Unitree, AgiBot ou UBTech, tous engagés dans une course au déploiement domestique et industriel. La stratégie d'intégration verticale de X Square, mêlant modèles propriétaires, pipeline de données automatisé et déploiements terrain, vise à accélérer l'itération produit. Les prochaines étapes attendues concernent l'extension du programme familial et l'élargissement des partenariats industriels et logistiques, domaines où la société dit également opérer en parallèle du marché domestique.

DIM-WAM : modélisation monde-action avec mémoire d'événements historiques diversifiés

Des chercheurs du CASIA (Institute of Automation de l'Académie des sciences chinoise) ont publié fin juin 2026 sur arXiv un préprint décrivant DiM-WAM, un modèle de type "world-action model" augmenté d'une mémoire multi-échelle conçue pour les tâches de manipulation robotique à longue séquence. Sur le benchmark RMBench, l'architecture fait passer le taux de succès moyen de 28,4 % (baseline LingBot-VA) à 69,8 %, dépassant nettement la baseline à mémoire explicite Mem-0 qui plafonnait à 42,0 %. Sur quatre tâches réelles exécutées sur bras Franka, DiM-WAM améliore le succès par étape de 70,7 % à 91,5 % et le succès complet de tâche de 52,5 % à 80,0 %, soit un gain absolu de 27,5 points. Ce résultat est notable car il attaque directement l'un des points d'échec systématiques des modèles vision-langage-action actuels : l'oubli des événements antérieurs lors de séquences longues. Contrairement aux architectures VLA classiques qui se limitent à un contexte court (quelques frames récentes), DiM-WAM maintient plusieurs banques mémoire mises à jour par fusion basée sur la similarité, et conditionne conjointement la dénoisation vidéo et la génération d'action sur ce contexte historique long. Un signal d'entraînement inédit, la "progress supervision", pousse les tokens mémoire à encoder non seulement les événements passés mais aussi l'étape courante de la tâche et ses implications sur la suite. Pour un intégrateur industriel, cela adresse un prérequis concret : permettre à un robot de reprendre une séquence après une interruption ou de conditionner une action sur un état observé plusieurs secondes plus tôt. Les world-action models constituent une évolution récente des VLA, inspirée des travaux sur la prédiction vidéo (world models) appliqués à la robotique, avec des architectures comme celles de Physical Intelligence (Pi-0) ou DreamerV3 adaptés au contrôle. DiM-WAM se positionne dans ce champ en ajoutant la dimension mémoire longue, un problème que le domaine reconnaît mais peu de travaux ont quantifié en conditions réelles. La validation sur Franka, robot académique standard à 7 DOF, reste modeste en échelle (quatre tâches, environnement contrôlé), et le preprint n'annonce pas de déploiement industriel ni de partenariat commercial. Les prochaines étapes probables incluent une évaluation sur des benchmarks plus larges comme SimplerEnv ou des plateformes humanoïdes, et une ouverture du code source évoquée via la page projet.

💬 28 % à 70 % de taux de succès sur des séquences longues, c'est pas un artefact de benchmark, c'est enfin quelqu'un qui s'attaque au vrai problème : un robot qui oublie ce qu'il vient de faire n'a aucune valeur en contexte industriel réel. La "progress supervision" est l'idée maline du lot, parce qu'elle force la mémoire à encoder non pas juste le passé mais où en est la tâche à l'instant T. Reste à voir si ça tient au-delà du Franka en environnement contrôlé, mais le signal est là.

RoboRouter : sélection de politiques sans entraînement pour la manipulation robotique

Des chercheurs ont publié RoboRouter (arXiv:2603.07892, version 4), un système de routage intelligent entre politiques robotiques hétérogènes pour les tâches de manipulation. Plutôt que d'entraîner une nouvelle politique monolithique, RoboRouter maintient un pool de politiques existantes -- modèles vision-langage-action (VLA), politiques vision-action (VA) et approches compositionnelles par code -- et sélectionne automatiquement la meilleure pour chaque nouvelle tâche. Le mécanisme repose sur une représentation sémantique de la tâche, une recherche dans l'historique d'exécutions similaires, puis une prédiction directe sans trial-and-error. Le retour structuré après chaque exécution affine les décisions suivantes. En simulation et en conditions réelles, RoboRouter améliore le taux de succès moyen de plus de 3 points en simulation et de 13 points en environnement réel par rapport aux politiques individuelles, sans dégradation de la vitesse d'exécution. Intégrer une nouvelle politique dans le système ne requiert qu'une évaluation légère, sans coût de réentraînement. Ce résultat a une portée concrète pour les intégrateurs. Le problème central de la manipulation robotique est que chaque paradigme excelle sur sa distribution d'entraînement mais généralise mal hors distribution. RoboRouter contourne ce mur non pas en cherchant un meilleur modèle universel, mais en exploitant les forces complémentaires de politiques spécialisées existantes. Le gain de 13 % en réel est notable car le sim-to-real gap ronge habituellement les gains obtenus en simulation. L'absence de réentraînement signifie que le système peut absorber de nouveaux modèles au fil du temps -- une propriété utile à mesure que les VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) sortent des cycles de recherche pour entrer en déploiement. Ce travail prend place dans un contexte de prolifération rapide des paradigmes de contrôle robotique. Les équipes de Figure (Figure 03), Tesla (Optimus Gen 3) ou 1X parient sur l'unification via un seul grand modèle entraîné à grande échelle. RoboRouter incarne une thèse adverse: l'hétérogénéité contrôlée, avec un orchestrateur léger, peut surpasser la politique unique sans le coût computationnel associé. Les auteurs ne précisent pas de déploiement industriel annoncé ni de partenariats, ce qui place cette contribution dans le registre recherche applicable plutôt que produit shipé. Les prochaines étapes naturelles seraient l'évaluation sur des benchmarks standardisés plus larges (LIBERO, RoboSuite) et l'intégration de politiques récentes à mesure qu'elles sont rendues publiques.

Génération d'actions robotiques continues et cohérentes par correspondance de flux sensible aux fréquences

Une équipe de recherche propose FAFM (Frequency-Aware Flow Matching), une méthode de génération d'actions robotiques présentée en préprint arXiv (2606.20135, juin 2026), qui reformule le problème du flow matching pour la manipulation robotique dans le domaine fréquentiel. Le principe : plutôt que de prédire directement des séquences d'actions discrètes (des "chunks"), FAFM applique une transformée en cosinus discrète (DCT) sur ces séquences pour les convertir en coefficients fréquentiels, effectue le flow matching sur ces coefficients, puis reconstruit des actions continues via expansion en base cosinus. Pour garantir la cohérence temporelle, la méthode ajoute une contrainte de type Sobolev sur la dérivée temporelle du premier ordre, ce qui pénalise les changements brusques et atténue les erreurs hautes fréquences. L'approche s'applique sans paramètres réseau supplémentaires, aussi bien aux politiques de flow matching autonomes qu'aux modèles vision-langage-action (VLA). Les résultats sont validés sur les benchmarks LapGym, LIBERO et évitement d'obstacles, ainsi qu'en déploiement réel sur un bras Franka. L'intérêt industriel est direct : la fragmentation des fréquences de contrôle est un problème concret lors de l'agrégation de données de démonstration provenant de robots différents (certains à 10 Hz, d'autres à 50 Hz), et les méthodes actuelles de diffusion policy ou de flow matching standard y sont explicitement vulnérables. Les actions temporellement incohérentes qui en résultent dégradent la stabilité du contrôle en boucle fermée, un facteur bloquant pour le déploiement en production. Le fait que FAFM améliore simultanément le taux de succès, la fluidité du mouvement, la robustesse aux biais mécaniques et la vitesse de convergence sans modifier l'architecture existante est une proposition de valeur claire pour les intégrateurs : pas de refonte du pipeline, pas de surcoût computationnel. La compatibilité avec les VLA est également notable, car ces modèles dominent les annonces récentes (pi-0 de Physical Intelligence, GR00T N2 de NVIDIA) et souffrent précisément de ce type d'artefacts temporels à l'inférence. Le flow matching s'est imposé ces dix-huit derniers mois comme alternative crédible à la diffusion policy (Chi et al., 2023, Columbia), avec des temps d'inférence plus courts et une meilleure expressivité multimodale. Les travaux récents de Physical Intelligence (pi-0, pi-0.5) et de Figure AI ont largement adopté ce paradigme pour leurs politiques générales. FAFM s'inscrit dans une tendance de raffinement de ces fondations plutôt que de rupture : on optimise la stabilité et la généralisation inter-fréquences, deux verrous identifiés lors des premiers déploiements industriels à grande échelle. La validation sur Franka reste modeste en termes de diversité de tâches, et le code est disponible sous revue anonyme, ce qui signifie que la méthode n'est pas encore auditée par la communauté. Les prochaines étapes naturelles seraient une validation sur des plateformes humanoïdes multi-articulées et sur des datasets hétérogènes à grande échelle, là où la question des fréquences mixtes est la plus aiguë.

SC3-Eval : évaluer les modèles fondation pour la robotique via la génération vidéo auto-cohérente

Une équipe de chercheurs a publié fin juin 2026 SC3-Eval (arXiv:2606.18610), un cadre d'évaluation des politiques de manipulation robotique basé sur la génération vidéo cohérente. Le principe : plutôt que de rouler une politique en conditions réelles, un modèle fondamental vidéo pré-entraîné simule les trajectoires du robot et prédit si la tâche aboutit. SC3-Eval repose sur trois mécanismes de cohérence complémentaires. La cohérence dynamique avant-inverse entraîne simultanément le modèle à prédire les images à partir des actions et à récupérer les actions à partir des images, ancrant les rollouts à un espace d'action physiquement plausible. La cohérence multi-vue oblige le modèle à reconstruire chaque caméra depuis les autres, maintenant la cohérence spatiale sur de longs épisodes. Enfin, à l'inférence, un signal d'incertitude par chunk d'actions interrompt les rollouts dont les images générées divergent des actions demandées. Évalué sur sept politiques vision-langage-action (VLA) réelles, SC3-Eval atteint une corrélation de Pearson de 0,929 avec les résultats terrain et un MMRV de 0,119, surpassant trois baselines vidéo existantes. Ce résultat a une portée pratique immédiate : évaluer une politique de manipulation en conditions réelles est coûteux, lent et difficile à paralléliser. Un corrélat simulé à 0,929 constitue un substitut crédible pour filtrer les candidats politiques avant déploiement physique, réduisant potentiellement les cycles d'itération de plusieurs semaines à quelques heures. Fait notable, SC3-Eval reproduit fidèlement les modes d'échec observés en réel, permettant un diagnostic fin au niveau tâche plutôt qu'un classement agrégé, ce qui est plus actionnable pour un intégrateur. Le cadre se généralise par ailleurs à des tâches hors distribution d'entraînement, un point critique pour les équipes qui développent des politiques généralistes. Ce travail s'inscrit dans la vague d'adoption des modèles VLA commerciaux et de recherche, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix, OpenVLA, dont l'évaluation standardisée reste un goulot d'étranglement reconnu. Les approches alternatives passent par des simulateurs physiques classiques (MuJoCo, Isaac Sim) ou des rollouts réels coûteux ; les world models vidéo comme UniSim ou IRASim avaient amorcé cette direction mais se heurtaient à la dérive autorégressiveet à l'incohérence multi-caméras que SC3-Eval adresse directement. Le code et les données ne sont pas encore publiés au moment de la préprint, ce qui limite l'adoption immédiate. La prochaine étape logique sera de valider la méthode sur des plateformes humanoïdes à plus haute dimensionnalité, où le coût d'évaluation réelle est encore plus prohibitif.

Autonomique déploie des robots semi-humanoïdes et de l'IA chez un équipementier automobile canadien de rang 1

Autonomique Inc., startup californienne fondée en 2024 et issue des laboratoires de SRI International (Menlo Park), annonce le passage en déploiement industriel de sa plateforme d'IA physique chez F&P Manufacturing, équipementier automobile Tier 1 canadien basé à Tottenham, Ontario, spécialisé dans les systèmes de chassis et de suspension. La société ne commercialise pas de robot propre mais une couche logicielle hardware-agnostique conçue pour ajouter dextérité et raisonnement à des bras industriels existants, issus notamment de Denso, Staubli et RealMan Robotics. Son PDG, Vikrant Tomar, docteur en IA et ancien fondateur de Fluent.ai, insiste sur la distinction entre démonstration et production : les métriques annoncées (temps de cycle, précision, réduction de rebuts) restent à ce stade déclaratifs, sans données publiques indépendantes pour les valider. Le déploiement chez F&P est présenté comme un pilote progressant vers une industrialisation, non comme un rollout à l'échelle déjà opérationnel. L'intérêt technique réside dans l'architecture dite "généraliste-spécialiste" : plutôt qu'un unique modèle vision-langage-action (VLA) monolithique, la plateforme orchestre dynamiquement des compétences déterministes (apprentissage par renforcement en ligne pour les insertions de précision, par exemple) et des modèles VLA plus flexibles pour gérer les anomalies ou les tâches non prévues. Cette approche répond à une critique structurelle du secteur : les VLA génériques peinent à tenir les cadences et la répétabilité exigées en production réelle. Si Autonomique tient ses promesses chez F&P, ce serait un signal concret que le sim-to-real gap peut être comblé sur des workflows multi-étapes en environnement industriel contraint, sans recours à des end-effectors coûteux comme les mains robotiques polyarticulées. Autonomique s'appuie sur des licences de technologies SRI, dont le système de télé-opération déjà utilisé par l'armée américaine pour le déminage et par des laboratoires pharmaceutiques en salles blanches, ce qui donne à sa base de données d'entraînement une provenance inhabituelle pour une startup robotique. Ses concurrents directs dans le segment "software layer for industrial arms" incluent Covariant (racheté par Amazon), Machina Labs ou Physical Intelligence (Pi-0), tandis que des acteurs comme 1X Technologies ou Figure AI ciblent l'humanoïde complet, segment qu'Autonomique juge prématuré pour la production. Les prochaines étapes annoncées : extensions de partenariats avec Holiday Robotics et Rainbow Robotics, discussions en cours avec des développeurs d'humanoïdes, et réplication du blueprint F&P sur d'autres lignes et sites. Aucun acteur européen ou français n'est impliqué à ce stade.

💬 La couche logicielle sur bras existants, c'est le seul modèle qui colle vraiment avec la réalité des usines : pas besoin de remplacer le hardware. L'architecture généraliste-spécialiste d'Autonomique (déterminisme pour les tâches de précision, VLA pour gérer les exceptions) s'attaque enfin au problème que personne n'avait résolu proprement en prod réelle. Reste à valider les chiffres sur la durée, parce que pour l'instant c'est Autonomique qui parle d'Autonomique.

WireCraft : un benchmark de simulation pour la manipulation industrielle de câbles flexibles

Une équipe de recherche a publié sur arXiv (ref. 2606.18097) WireCraft, un benchmark de simulation dédié à la manipulation industrielle d'objets linéaires déformables (DLO), typiquement les câbles et faisceaux électriques omniprésents dans les lignes d'assemblage. Le benchmark couvre trois familles de tâches représentatives du câblage industriel réel : l'insertion de connecteurs, le routage de clips et la mise en place de goulottes (channel seating). Il intègre deux modèles physiques complémentaires pour simuler le comportement des câbles, l'un articulé et l'autre véritablement déformable, et les trajectoires de référence proviennent à la fois de la simulation et d'un bras UR5 physique. Les auteurs ont évalué trois familles de politiques de contrôle : apprentissage par renforcement (RL), apprentissage par imitation (IL) et politiques vision-langage-action (VLA). Sous conditions de RL avec état privilégié (accès direct aux variables d'état internes de la simulation), chaque famille de tâches est résolue avec un taux de succès supérieur à 82 %, confirmant que les tâches sont bien posées et non artificiellement impossibles. Ces résultats exposent un écart critique entre manipulation sous état privilégié et manipulation guidée uniquement par la vision, un problème central pour tout intégrateur cherchant à déployer des cellules robotisées sur des opérations de câblage. Le vrai verrou identifié par WireCraft n'est pas la phase d'approche, mais la transition entre atteindre un connecteur et exécuter l'alignement en contact riche, où les politiques visuelles (RL vision, IL et VLA) échouent de façon significative. Cela contredit implicitement plusieurs narratifs optimistes autour des VLA polyvalents : malgré des performances impressionnantes sur des objets rigides, ces architectures peinent dès que la géométrie est déformable et que le retour d'état est limité à la perception visuelle. Pour un COO industriel ou un intégrateur, le message est pragmatique : les câbles ne sont pas encore un problème résolu, même en simulation propre avec des benchmarks bien construits. Le manque de benchmarks partagés et reproductibles pour les DLO freine depuis longtemps la comparaison objective des approches dans ce domaine. Les benchmarks existants sont généralement liés à du matériel propriétaire ou traitent des objets déformables génériques sans les contraintes de fixation propres au câblage industriel. WireCraft comble cette lacune avec des assets configurables en difficulté et des protocoles d'évaluation communs. Le code, les données et les outils seront mis en open source après acceptation de l'article. Côté concurrence, des acteurs comme OpenAI (avec ses travaux sur la manipulation déformable) ou des laboratoires comme Physical Intelligence (pi) avec Pi-0 poussent également sur la manipulation généraliste, mais aucun benchmark industriel câble de ce type n'était encore disponible publiquement. La prochaine étape naturelle sera le sim-to-real transfer systématique : WireCraft pose les rails, mais la question de savoir quelle architecture franchira le gap reste entièrement ouverte.

ACE-Ego-0 : unification des données égocentrées humaines et robotiques pour le préentraînement VLA

Pré-publiée sur arXiv en juin 2026 (identifiant 2606.17200), ACE-EGO-0 est un cadre de pretraining pour modèles Vision-Langage-Action (VLA) qui exploite conjointement 4 530 heures de données robotiques et de simulation, et 1 480 heures de vidéos égocentrées humaines converties en pseudo-trajectoires robot. Le pipeline automatise la transformation de vidéos à la première personne en séquences d'actions au format démonstration téléopérée, en représentant les mouvements dans l'espace caméra plutôt que dans un référentiel corporel. Pour atténuer le bruit inhérent à ces pseudo-labels, un objectif d'entraînement reliability-aware concentre la supervision sur les segments les plus fiables via une perte auxiliaire dédiée. Évalué sur RoboCasa GR1 TableTop (robot humanoïde GR1 de Fourier Intelligence) et RoboTwin 2.0, ACE-EGO-0 atteint les meilleures performances publiées sur les deux benchmarks et démontre, selon les auteurs, un transfert vers la manipulation bimanuelle en conditions réelles. L'apport central est la résolution d'un problème structurel : les divergences d'espaces d'action, de morphologie et de dynamiques temporelles entre humains et robots rendaient jusqu'ici l'entraînement conjoint instable ou contre-productif. En unifiant la représentation via des actions caméra-space et un time-aligned action chunking avec morphology conditioning, les auteurs montrent que des jeux de données égocentrés existants comme Ego4D ou EPIC-Kitchens peuvent fournir un signal complémentaire valide à grande échelle. Pour les équipes R&D en robotique, l'implication pratique est directe : réduire significativement le coût de collecte de trajectoires robot, l'un des principaux goulots d'étranglement du déploiement VLA à l'échelle industrielle. La course aux politiques robotiques généralisables s'est accélérée depuis Pi-0 de Physical Intelligence (novembre 2024), OpenVLA et RT-2 de Google DeepMind. Des travaux antérieurs comme Dobb-E ou Human2Robot avaient déjà exploré les données humaines égocentrées comme supervision complémentaire, mais sans framework unifié à cette échelle ni évaluation systématique. ACE-EGO-0 propose une recette reproductible évaluée sur deux benchmarks de référence, dont RoboTwin 2.0, particulièrement pertinent car la manipulation bimanuelle reste un défi ouvert pour les humanoïdes commerciaux tels que Figure 03, Optimus Gen 3 ou Unitree H1. La prépublication ne mentionne ni partenaire industriel ni déploiement annoncé : ACE-EGO-0 est pour l'instant une contribution de recherche, pas un produit livrable.

LaST₀ : raisonnement spatio-temporel latent en chaîne pour les modèles VLA robotiques

Des chercheurs ont proposé LaST₀ (Latent Spatio-Temporal Chain-of-Thought), un framework pour modèles Vision-Langage-Action (VLA) appliqués à la manipulation robotique, publié en janvier 2026 sur arXiv (2601.05248, v4). Évalué sur 10 tâches réelles couvrant la manipulation sur table, la manipulation sur base mobile et la manipulation dextre, le système améliore le taux de succès moyen de respectivement 13 %, 14 % et 14 % par rapport aux meilleures méthodes VLA actuelles. L'architecture repose sur un design Mixture-of-Transformers dual : un "expert raisonnement" opérant à basse fréquence pour l'inférence latente, et un "expert action" générant des commandes motrices à haute fréquence, les deux modules fonctionnant à des cadences hétérogènes pour permettre un basculement adaptatif. Le raisonnement intermédiaire s'effectue dans un espace latent compact encodant la dynamique visuelle future, la structure 3D de la scène et les états proprioceptifs du robot, sans passer par du texte en langage naturel. L'enjeu central est le compromis latence/raisonnement qui freine le déploiement industriel des VLA. Les approches qui génèrent des traces de raisonnement en langage naturel avant d'agir, comme certaines variantes de Pi-0 (Physical Intelligence) ou OpenVLA, introduisent une latence d'inférence incompatible avec les cycles rapides de la manipulation robotique. LaST₀ court-circuite ce goulot en déplaçant le raisonnement dans un espace latent plus dense informationnellement, plus rapide à générer, et capable de capturer des attributs physiques difficiles à verbaliser comme la friction ou la compliance des objets. Les gains mesurés sur des environnements réels, et non en simulation, constituent un signal notable : le sim-to-real gap n'est pas le seul obstacle, et la représentation interne du raisonnement importe autant que la qualité des données d'entraînement. Les VLA ont émergé comme architecture dominante pour la généralisation en robotique depuis les travaux de Google sur RT-2 (2023), puis se sont accélérés avec Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI en 2025. Le débat structurant du secteur oppose raisonnement explicite de type LLM et politiques réactives de type diffusion. LaST₀ propose une troisième voie, un système dual à fréquences hétérogènes combinant les deux sans les latences du premier ni les limites de généralisation du second. La publication reste pour l'instant purement académique, sans pilote industriel annoncé, mais l'architecture est directement transposable aux manipulateurs commerciaux et aux plateformes humanoïdes existantes.

Penser moins, agir tôt : raisonnement latent renforcé avec sortie anticipée dans les modèles VLA

Une équipe de recherche publie sur arXiv (identifiant 2606.15099, juin 2026) AVA-VLA (Adaptive Variable Alignment VLA), un cadre d'inférence pour modèles vision-langage-action qui abandonne le raisonnement explicite par chaîne de pensée (Chain-of-Thought, CoT) au profit de variables latentes non observables. Le modèle combine un mécanisme de débruitage par apprentissage par renforcement, qui traite la génération d'états latents comme un processus de décision séquentiel optimisé par des récompenses au niveau de la tâche, et une stratégie de sortie anticipée (Early Exit) qui interrompt le raisonnement dès que la confiance dans l'état courant dépasse un seuil adaptatif. Sur le benchmark LIBERO, référence standard pour les tâches de décision en environnement incarné, AVA-VLA atteint un taux de succès moyen de 98,3 % tout en réduisant le temps d'inférence d'un facteur 6 par rapport aux méthodes CoT explicites. Cette publication s'attaque à l'un des principaux goulots d'étranglement des VLA : la latence introduite par la génération de texte intermédiaire avant chaque action. Pour un intégrateur ou un constructeur de robot humanoïde, une réduction 6x de la latence d'inférence change concrètement l'équation matérielle - elle ouvre la voie à des contrôleurs embarqués moins puissants ou à des boucles de contrôle plus rapides sans GPU de serveur. Le score de 98,3 % sur LIBERO est élevé, mais il convient de noter que ce benchmark reste en simulation ; les auteurs ne rapportent aucun résultat sur robot physique, et l'écart sim-to-real n'est pas discuté. Il s'agit donc d'une contribution de recherche, pas d'un déploiement validé en production. Les modèles VLA à raisonnement explicite ont été popularisés notamment par pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, qui s'appuient tous deux sur des étapes de planification en langage naturel avant l'exécution motrice. AVA-VLA s'inscrit dans une tendance concurrente cherchant à internaliser ce raisonnement, approche voisine des travaux sur les "thinking tokens" latents dans les LLM (Meta COCONUT, DeepMind). La prochaine étape naturelle sera de valider ces gains sur des plateformes robotiques physiques dans des configurations de tâches longues - précisément le régime où la propagation d'erreurs des méthodes CoT est la plus problématique et où les benchmarks simulés montrent leurs limites.

GAE : libérer le potentiel physique des VLM grâce à un expert d'action généralisable

Des chercheurs ont publié GAE (Generalizable Action Expert), un modèle généraliste conçu pour découpler la planification cognitive des modèles de vision-langage (VLM) de la génération d'actions robotiques précises. L'architecture repose sur une interface géométrique parcimonieuse : le VLM prédit des waypoints 3D discrets codant l'intention de haut niveau, tandis que GAE traduit ces repères en trajectoires d'action continues en s'appuyant sur des observations en nuage de points en temps réel. Le module est pré-entraîné sur un corpus de 150 000 trajectoires issues à la fois de simulations et de robots réels, via un schéma baptisé APPF (Action Pre-training, Pointcloud Fine-tuning), qui sépare explicitement l'apprentissage de la dynamique d'action du grounding géométrique. Une fois pré-entraîné, GAE est gelé et réutilisé tel quel sur de nouvelles tâches, seul le VLM amont nécessitant un fine-tuning léger. L'enjeu architectural est le découplage raisonnement-action, un point de friction documenté dans les approches VLA bout-en-bout comme Pi-0 de Physical Intelligence ou OpenVLA, où raisonner et agir partagent les mêmes poids et contraignent mutuellement la généralisation. En faisant de GAE un expert réutilisable et figé, les auteurs réduisent le coût d'adaptation à de nouveaux domaines visuels, angles de caméra et instructions en langage naturel. Les résultats rapportés vont dans ce sens, bien que le protocole d'évaluation comparatif reste à préciser dans la version finale, et que les expériences soient menées en laboratoire sans déploiement industriel annoncé. Cet article s'inscrit dans une vague de recherche post-RT-2 qui cherche à dépasser les limites des architectures monolithiques vision-langage-action. Les approches concurrentes incluent Pi-0 et Pi-0.5 (Physical Intelligence), Octo (UC Berkeley), RoboFlamingo, OpenVLA et RoboVLMs. La représentation intermédiaire par waypoints 3D rappelle des travaux sur les keyposes ou UniPi, mais étendue aux nuages de points pour une robustesse accrue aux variations de point de vue. La préprint arXiv:2510.03896, déposé en octobre 2024 et mis à jour en v2, n'est associé ni à un partenariat industriel ni à un produit commercialisé : il s'agit d'une contribution de recherche académique, pas d'un système shipé.

ActionMap : apprentissage de politiques robotiques par carte de chaleur voxel

Une équipe du ShowLab publie sur arXiv (2606.06904, juin 2026) ActionMap, une tête d'action basée sur des heatmaps voxéliques destinée à remplacer le décodeur d'action natif des modèles vision-langage-action (VLA). Là où les décodeurs existants (régression L1, bins autoregressifs, flow-matching) traitent l'espace d'action comme une structure plate sans géométrie, ActionMap prédit pour chaque commande une heatmap 3D dans cet espace, chaque voxel stockant directement la probabilité de l'action correspondante. Validé sur le benchmark de simulation LIBERO (quatre suites de tâches) et en manipulation réelle sur bras Franka, le module affiche +8,2 points de pourcentage sur la moyenne des quatre suites LIBERO face à la tête L1 d'OpenVLA-OFT, avec une convergence comparable ou plus rapide, et une efficacité données nettement meilleure en faible volume d'entraînement. Ce résultat a deux implications directes. ActionMap s'insère comme module drop-in dans tout VLA existant sans modifier le backbone ni la recette d'entraînement : les équipes ayant déjà investi dans OpenVLA ou des architectures similaires peuvent en bénéficier immédiatement. Plus significatif : les gains sont constants sur deux backbones architecturalement distincts, ce qui isole la représentation de l'action comme levier de performance indépendant de la mise à l'échelle du backbone ou des données. Pour un intégrateur ou un décideur industriel, cela signifie qu'on peut améliorer la précision des politiques robotiques sans augmenter les volumes de données ni la puissance de calcul. Depuis 2023, les VLA ont progressé rapidement côté backbone (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA de Berkeley) et côté données (Open X-Embodiment, DROID), mais le décodeur d'action est resté l'angle mort du domaine. ActionMap propose d'exploiter la structure géométrique de l'espace d'action via une représentation voxélique probabiliste, en complément des têtes à diffusion (flow-matching, DDPM) déjà explorées dans la littérature. Le projet, avec code et page publique disponibles sur showlab.github.io/ActionMap, reste dans le registre de la recherche fondamentale : aucun partenariat industriel ni timeline de déploiement n'est annoncé à ce stade.

Prédiction d'horizon d'exécution dynamique pour les politiques robotiques par segments

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.11408) une méthode baptisée DEHP, Dynamic Execution Horizon Prediction, conçue pour résoudre un goulot d'étranglement structurel des politiques robotiques modernes : l'horizon d'exécution fixe. Dans les architectures à "action chunking" aujourd'hui omniprésentes, politiques de diffusion, politiques de flux, modèles vision-langage-action (VLA) comme pi-0 ou OpenVLA, le robot prédit un bloc de N actions et les exécute en boucle ouverte, sans percevoir l'environnement à chaque pas. Cet horizon N est actuellement choisi par tuning empirique, tâche par tâche. DEHP entraîne une branche légère de prédiction d'horizon via du reinforcement learning en ligne, tout en gardant la politique chunk sous-jacente entièrement gelée, ce qui la rend compatible avec n'importe quelle politique existante traitée comme boîte noire. Sur des tâches de manipulation haute précision et longue durée, les auteurs rapportent une amélioration "significative" du taux de succès, sans chiffres absolus précis dans l'abstract, un point à vérifier dans les résultats complets. L'enjeu est concret pour quiconque déploie des bras manipulateurs en production : la boucle ouverte est efficace sur les mouvements de transit (déplacements dans l'espace libre), mais devient un frein sur les phases fines, insertion, saisie d'objet délicat, assemblage à tolérance serrée. DEHP adapte dynamiquement l'horizon : court pendant les phases critiques (comportement proche d'un contrôle pas-à-pas), long pendant les phases de déplacement libre. Cela revient à réconcilier l'efficacité computationnelle du chunking avec la réactivité du contrôle fermé, sans réentraîner le modèle de base. Pour les intégrateurs industriels, cela signifie potentiellement récupérer de la robustesse sur des cellules existantes sans toucher au pipeline d'entraînement. L'action chunking a été popularisée par ACT (Action Chunked Transformer, Stanford 2023), puis repris dans les diffusion policies de Chi et al. et intégré dans des VLA comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La tension entre horizon long (efficacité) et horizon court (réactivité) est un problème ouvert bien identifié dans la communauté. Plusieurs travaux concurrents explorent le receding horizon ou le replanning conditionnel, mais DEHP se distingue par sa compatibilité boîte noire et son entraînement RL en ligne. La page projet est accessible sur dehp-chunking.github.io ; aucune timeline de déploiement industriel n'est annoncée à ce stade.

TacCoRL : intégration du retour tactile dans les modèles VLA par simulation

Des chercheurs ont publié sur arXiv (2606.11743) TacCoRL, un framework destiné à intégrer le retour tactile dans les modèles vision-langage-action (VLA) pour la manipulation robotique. L'approche combine un co-entraînement simulation-réel et de l'apprentissage par renforcement (RL) en simulation, sans nécessiter de pré-entraînement tactile à grande échelle ni d'exploration extensive sur hardware réel. Évalué sur quatre tâches bimanuelles à riche contact (insertion, assemblage, manipulation d'objets déformables), le système atteint un taux de succès moyen de 72,5 % contre 50,0 % pour la baseline VLA visuelle seule, soit un gain relatif de 45 % sur ces benchmarks spécifiques. L'apport technique central n'est pas simplement d'ajouter la touche comme entrée supplémentaire, mais d'apprendre comment les lectures de contact doivent moduler la réponse motrice dans les états de quasi-échec, états rares dans les démonstrations humaines et risqués à collecter sur robot physique. TacCoRL utilise un simulateur aligné sur le réel comme environnement fermé pour les interactions de contact : des trajectoires mixtes (simulées et réelles) initialisent d'abord les actions conditionnées au tactile dans la politique pré-entraînée, puis le RL avec récompenses vérifiables optimise la politique sur des rollouts simulés, tandis qu'un objectif supervisé sur trajectoires réelles ancre la distribution visuelle, tactile et d'action au domaine de déploiement. Le résultat se transfère directement sur robot réel, sans état simulé privilégié ni RL en ligne. C'est une réponse directe au "demo gap" des VLA actuels : les politiques vision-seule échouent précisément sur les phases de contact que la caméra ne résout pas. Le contexte est celui d'une compétition intense autour des VLA polyvalents : Physical Intelligence avec π0, Google DeepMind avec RT-2 et ses dérivés, ainsi que les efforts de génération suivante (GR00T N2 de NVIDIA, OpenVLA). Tous partagent la même limitation structurelle : l'observation visuelle reste insuffisante pour les tâches à fort contact. La piste tactile est explorée depuis plusieurs années (capteurs GelSight, SynTouch, Digit de Meta), mais son intégration dans des architectures VLA de grande taille restait un verrou de scalabilité. TacCoRL propose une voie pragmatique sans dataset tactile massif, ce qui abaisse la barrière d'adoption pour les laboratoires et intégrateurs. Les prochaines étapes logiques seraient l'extension à des capteurs tactiles commerciaux standardisés et des évaluations sur des tâches industrielles réelles, hors conditions de laboratoire contrôlées.

Modèles de tiges pour le contrôle des robots continus et souples : une revue

Une équipe de chercheurs a publié sur arXiv (référence 2407.05886, troisième révision) une revue exhaustive des modèles de tiges (rod models) appliqués à la modélisation et au contrôle des robots continus et souples. Le travail couvre les fondements mathématiques des théories de tiges, leur application à la modélisation de structures déformables, et les stratégies de contrôle dérivées, tant model-based que learning-based. Les auteurs proposent une classification des modèles selon le type de déformation pris en compte, contribution qui fait défaut dans la littérature existante. Les domaines applicatifs ciblés incluent la santé, l'agriculture, le milieu marin et l'espace, où les robots rigides conventionnels montrent leurs limites face à des environnements non structurés et à des interactions mécaniques en contact permanent. L'intérêt principal de ce survey est de structurer un sous-champ marqué par une forte fragmentation de la littérature. Les modèles de type Cosserat ou Kirchhoff proposent une approximation dimensionnellement réduite du comportement de corps élancés et déformables, offrant un meilleur équilibre que les méthodes éléments finis (FEM) entre précision et coût computationnel temps-réel. Pour les équipes R&D travaillant sur des bras flexibles endoscopiques, des cathéters guidés ou des manipulateurs agricoles, ce panorama unifié permet d'arbitrer entre approche physique et apprentissage, et de cibler les lacunes identifiées : robustesse au contact incertain, calibration en conditions réelles, et fermeture du fossé sim-to-real. Les modèles de tiges appliqués à la robotique souple se sont imposés comme cadre de référence depuis le milieu des années 2010, portés par l'essor des actionneurs à câbles, pneumatiques et à base d'élastomères. Plusieurs groupes académiques restent moteurs sur le sujet : INRIA, MIT CSAIL, IIT Gênes, Universität Stuttgart. Dans l'écosystème industriel, les applications en chirurgie mini-invasive et en manipulation agricole sont directement confrontées à ces problèmes de modélisation. Le papier identifie trois directions ouvertes : gestion du contact multi-points, intégration avec les architectures VLA (vision-langage-action), et généralisation à des morphologies hybrides rigides-souples. Ces fronts devraient alimenter le champ dans les deux à trois prochaines années.

SARM2 : modélisation de récompense multi-tâches par étape pour la manipulation robotique auto-améliorante

Des chercheurs publient sur arXiv (2606.10305) SARM2, un modèle de récompense dense multi-tâches pour l'affinement de politiques vision-langage-action (VLA) en manipulation robotique, accompagné du framework SPIRAL (Self-Policy Improvement via Reward-Aligned Learning). L'approche combine un estimateur de stade fondé sur des primitives d'action et une tête de valeur Mixture-of-Experts multi-portes (MMoE) pour produire des récompenses denses à chaque étape sur dix tâches de manipulation distinctes. Sur ce benchmark, SARM2 réduit l'erreur quadratique moyenne d'estimation de valeur de 80 % par rapport aux meilleures méthodes existantes. Via SPIRAL, qui génère des rollouts autonomes et les recycle sans démonstrations humaines supplémentaires, le taux de succès progresse de 58 % à 100 % sur "Folding Shorts" et de 50 % à 90 % sur "Cleaning Whiteboard". Ces résultats pointent un levier concret pour réduire la dépendance au clonage comportemental (behavior cloning), approche encore dominante mais coûteuse : elle exige des démonstrations de haute qualité et bloque les politiques près de la distribution d'entraînement. Un reward model suffisamment dense et précis permet d'alimenter un data flywheel autonome, de réduire les cycles de supervision humaine, et d'adapter les politiques à de nouvelles tâches sans re-collecte de données. Le papier adresse aussi un écueil bien connu du secteur : les reward models VLM généralistes sont trop grossiers pour les tâches longue-horizon, tandis que les modèles spécialisés nécessitent des annotations par tâche. L'architecture MMoE multi-tâches vise précisément cet entre-deux, ce qui intéresse directement les intégrateurs devant déployer un même robot sur des variantes de tâches. Ce travail s'inscrit dans la course intense autour des politiques VLA -- Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), Helix (Figure AI), OpenVLA (UC Berkeley) -- où la phase de fine-tuning et d'amélioration continue reste un goulot d'étranglement non résolu. SARM2 et SPIRAL se positionnent en briques complémentaires au pré-entraînement, ciblant l'adaptation terrain. À ce stade, il s'agit d'un préprint académique sans déploiement industriel annoncé ni code public disponible, et les benchmarks sélectionnés (pliage de vêtements, nettoyage de tableau blanc) restent des tâches de laboratoire contrôlées. La combinaison reward model dense et self-improvement loop sans démonstrations humaines est néanmoins exactement le type de composant que les acteurs commerciaux comme Agility Robotics, Figure AI ou 1X Technologies cherchent à consolider pour abaisser les coûts d'adaptation en production.

Apprentissage de politiques par simulation pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs a publié le 9 juin 2026 sur arXiv (2606.08278) SIMPLE, un banc de test de simulation unifié pour l'apprentissage et l'évaluation de politiques de contrôle de robots humanoïdes. La plateforme couple la simulation de dynamique de contact de MuJoCo avec le rendu photoréaliste d'IsaacSim, et propose 60 tâches de loco-manipulation plein corps, 50 scènes d'intérieur et plus de 1 000 assets d'objets. Pour la collecte de données, deux pipelines sont intégrés : génération automatisée de trajectoires par planification de mouvement, et interface de téléopération VR à faible latence. Les auteurs y benchmarkent plusieurs familles de politiques humanoïdes : réseaux d'imitation légers, grands modèles vision-langage-action (VLA) et les récents modèles d'action du monde (WAM, World Action Models). Les expériences démontrent, selon les auteurs, un transfert zero-shot vers des robots humanoïdes physiques dans des configurations similaires. L'enjeu central est un goulot d'étranglement d'évaluation : les modèles fondationnels humanoïdes progressent plus vite que les protocoles pour les tester. Les benchmarks existants se concentrent sur la robotique de table ou les robots à roues, sans couvrir la loco-manipulation plein corps, compétence clé pour les humanoïdes déployés en environnement industriel ou domestique. Si la corrélation sim-to-real revendiquée dans l'article se confirme à plus grande échelle, elle légitime le recours massif à la simulation pour entraîner des politiques de contrôle, réduisant drastiquement les coûts de collecte de données en conditions réelles. C'est précisément le pari industriel de Physical Intelligence avec pi-0, et de Figure AI avec Figure 02 : remplacer les démos téléopérées coûteuses par des pipelines simulés reproductibles. La fragmentation des benchmarks est un problème structurel en robotique humanoïde : chaque laboratoire publie sur ses propres protocoles, rendant toute comparaison inter-équipes difficile. Des initiatives comme HumanoidBench, RoboVerse ou Isaac Lab ont tenté d'y répondre, mais sans couvrir la chaîne complète loco-manipulation avec rendu photoréaliste et pipelines de données intégrés. SIMPLE se positionne à cette intersection. Les équipes de Google DeepMind (GR00T N2, Helix), Agility Robotics (Digit) et Boston Dynamics sont directement concernées. Ce preprint arXiv n'est pas encore évalué par les pairs ; l'adoption par la communauté dépendra de la disponibilité publique du code et des assets, non encore confirmée.

Symskill : co-invention de symboles et de compétences pour une manipulation réactive à long horizon, économe en données

Des chercheurs ont publié sur arXiv (2510.01661, version 3) SymSkill, un framework d'apprentissage robotique pour la manipulation séquentielle en environnements dynamiques. Le système apprend conjointement trois composantes à partir de démonstrations brutes, non étiquetées et non segmentées : des prédicats symboliques (conditions logiques décrivant l'état du monde), des opérateurs (représentations abstraites des actions), et des compétences motrices orientées vers des objectifs. En simulation RoboCasa, SymSkill réussit 12 tâches à étape unique avec un taux de 85 %, puis les compose en plans multi-étapes sans données supplémentaires. Sur un robot réel Franka, le système apprend à partir de cinq minutes de données de jeu libre et exécute des tâches à 12 étapes à partir de spécifications symboliques d'objectifs. La récupération en cas d'échec opère en temps réel, tant au niveau moteur que symbolique, via un contrôleur conforme permettant l'exécution sécurisée sous perturbations humaines ou environnementales. L'intérêt de SymSkill tient à sa résolution d'une tension fondamentale en robotique industrielle : l'apprentissage par imitation (IL) est réactif mais ne généralise pas à des scènes inédites, tandis que la planification tâche-et-mouvement (TAMP) est compositionnelle mais trop lente pour la récupération en temps réel. SymSkill combine les deux en un seul cadre unifié : le planificateur symbolique réordonne dynamiquement les compétences selon l'état courant, sans nécessiter de réentraînement. Pour un intégrateur, cinq minutes de données suffire à couvrir une séquence de 12 étapes représente un gain de coût de labellisation considérable par rapport aux pipelines d'imitation classiques. Les résultats questionnent aussi l'hypothèse selon laquelle les modèles VLA (vision-langage-action) monolithiques suffisent pour la manipulation longue-horizon : la décomposition symbolique explicite offre ici une robustesse mesurable. L'approche s'inscrit dans un débat de fond entre architectures neuronales end-to-end, comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, et les approches hybrides neuro-symboliques. SymSkill représente ce second camp, qui revendique meilleure interprétabilité et récupération d'échec structurée. Aucun déploiement industriel ni partenariat commercial n'est annoncé ; il s'agit d'un résultat de recherche académique avec code disponible sur symskill.github.io, et les performances en simulation restent à valider sur des tâches industrielles à plus haute variabilité. La prochaine étape naturelle serait de tester la scalabilité sur des horizons supérieurs à 12 étapes et des environnements moins contrôlés.

VoLo : un orchestrateur physique pour la manipulation à vocabulaire ouvert et horizon temporel long

Une équipe de chercheurs publie sur arXiv (référence 2606.07723, juin 2026) un système appelé VoLoAgent, conçu pour piloter des robots sur des séquences d'actions longues à partir d'instructions en langage naturel ouvert. Le principe : un modèle vision-langage (VLM) joue le rôle d'orchestrateur et coordonne des capacités hétérogènes, notamment un modèle vision-langage-action (VLA) couplé à un module de manipulation bras entier (WAM), des primitives d'action et des modèles de vision, traités comme des outils interruptibles que le VLM peut reprendre en main en cours d'exécution. Pour évaluer ces capacités, les auteurs introduisent RoboVoLo, un benchmark haute fidélité qui couvre quatre dimensions : sens commun, suivi d'état et mémoire, références complexes dans la scène, et connaissance du monde, avec des métriques de succès par tâche et un diagnostic par type de défaillance. Des validations sur robot réel complètent les expériences en simulation, bien que les chiffres de performance précis ne figurent pas dans l'abstract publié. L'apport conceptuel central est ce que les auteurs nomment la "Physical Orchestration" : contrairement aux agents IA virtuels, un robot ne peut pas mettre le monde en pause pendant qu'il raisonne, ce qui fait du timing des décisions et des appels d'outils une contrainte de premier ordre. VoLoAgent y répond par une boucle fermée dans laquelle le VLM surveille en continu l'exécution et déclenche corrections ou récupérations en cas d'échec, sans attendre la fin de l'action en cours. Cette approche adresse directement l'un des angles morts des VLA actuels : leur rigidité face aux défaillances intermédiaires dans des séquences longues. Les résultats indiquent que VoLoAgent surpasse significativement les systèmes à VLA unique, à VLM unique, et les architectures purement basées sur des outils, une affirmation qui reste à vérifier sur des scénarios industriels hors laboratoire. Ce travail s'inscrit dans un courant très actif autour des VLA, porté par Google DeepMind (RT-2, RT-X), Physical Intelligence (pi0) et Stanford (Mobile ALOHA). L'architecture "orchestrateur sur boucle fermée" partage des bases avec les agents à outils de type ReAct ou Voyager, mais les transpose à la contrainte temps-réel de la manipulation physique. Le projet est hébergé sur GitHub via une page académique (chicychen.github.io/VoLo), sans affiliation industrielle explicite mentionnée dans l'abstract. La prochaine étape naturelle serait la validation sur des manipulateurs commerciaux (UR, Franka, ou équipements semi-structurés en entrepôt) pour mesurer le transfert hors conditions de laboratoire contrôlées.

HERO : saisie visuelle d'objets à vocabulaire ouvert par contrôle corps entier d'un humanoïde

Des chercheurs ont publié sur arXiv (référence 2602.16705, version 3) un système de manipulation locomotrice pour humanoïdes baptisé HERO (Humanoid End-Effector Residual cOntrol), conçu pour saisir des objets du quotidien sans liste prédéfinie de cibles. Le système fonctionne en open-vocabulary : il identifie visuellement les objets via des images RGB-D et des grands modèles de vision, puis planifie et exécute la saisie en temps réel. L'innovation centrale est une politique de suivi de l'effecteur terminal (EE) dite "résidual-aware", qui combine trois composants : une cinématique inverse pour convertir les cibles résiduelles de l'EE en trajectoires de référence, un modèle neuronal de cinématique directe entraîné en simulation, et un mécanisme de ré-planification dynamique. Ce pipeline réduit l'erreur de suivi de l'effecteur à 2,44 cm, soit une amélioration annoncée de 5,5x par rapport à la meilleure méthode antérieure. Les tests en environnements réels, bureaux, cafés, démontrent la saisie de mugs, pommes et jouets sur des surfaces allant de 43 à 92 cm de hauteur. L'approche modulaire de HERO rompt avec la tendance dominante des méthodes end-to-end monolithiques (apprentissage par imitation, sim-to-real intégral) qui peinent à généraliser sans retraining massif. En séparant la compréhension de scène, déléguée aux fondations vision, du contrôle moteur précis, entraîné entièrement en simulation, les auteurs obtiennent une généralisation out-of-distribution plus robuste sur de nouveaux environnements. Pour un intégrateur, cela signifie potentiellement moins de données de démonstration à collecter par site de déploiement. Les 2,44 cm d'erreur restent trop élevés pour des tâches d'assemblage de précision, mais suffisants pour le pick-and-place d'objets courants. La métrique "5,5x meilleure" mérite réserve : les conditions exactes du benchmark ne sont pas détaillées dans l'abstract. Ce travail s'inscrit dans une course dense sur le contrôle loco-manipulation des humanoïdes. Physical Intelligence avec Pi-0, Figure AI avec Figure 03, Agility Robotics avec Digit, et Unitree explorent tous des pipelines combinant grands modèles de vision-langage-action (VLA) et contrôle fin de l'effecteur. La question du sim-to-real gap reste le principal verrou non résolu dans le secteur pour les tâches de manipulation dextre, et HERO propose une réponse architecturale partielle en hybridant cinématique classique et apprentissage neuronal, une direction explorée également par des équipes européennes comme Wandercraft sur leurs plateformes bipèdes. Aucun partenariat industriel ni timeline de déploiement n'est mentionné : il s'agit pour l'instant d'un résultat de recherche, pas d'un produit commercialisé.

GeoAlign : au-delà de la sémantique avec l'alignement spatial guidé par l'état dans les modèles VLA

GeoAlign, une architecture présentée le 3 juin 2026 sur arXiv (référence 2606.03240), aborde un angle mort persistant des modèles Vision-Langage-Action (VLA) : leur incapacité à raisonner avec précision sur la géométrie locale d'une scène. Les VLA actuels sont principalement entraînés pour le grounding sémantique, ce qui suffit pour identifier des objets ou interpréter des instructions, mais pas pour exécuter des mouvements de manipulation précis. GeoAlign introduit une branche RGB post-entraînée avec supervision RGB-D dans le domaine robotique, qui génère des features appelées GEP (Geometry-Enhanced Post-Trained) sans nécessiter de caméra de profondeur au déploiement. L'état proprioceptif du robot, c'est-à-dire la position de ses articulations à chaque instant, interroge dynamiquement cette grille de features pour produire des tokens géométriques adaptés à la phase courante du mouvement. Les résultats annoncés sont 99,0 % sur le benchmark LIBERO, 85,3 % sur trois tâches SimplerEnv-Fractal, et 78,8 % sur huit tâches réelles "geometry-critical" sur plateforme bi-manuelle ALOHA. Ce travail cible un problème bien identifié par les intégrateurs industriels : les VLA produisent des trajectoires sémantiquement cohérentes mais qui échouent lors du contact ou de la saisie fine, faute de modélisation géométrique locale. L'approche de GeoAlign est pragmatique, elle exploite la supervision RGB-D à l'entraînement sans alourdir le pipeline de déploiement qui reste en RGB pur. Le score de 78,8 % sur des tâches réelles est notable, mais le périmètre demeure étroit avec seulement huit tâches sur une seule plateforme, et la généralisation à d'autres morphologies ou environnements industriels n'est pas encore démontrée. Les ablations confirment l'apport des deux composantes, post-formation géométrique et requêtage guidé par l'état proprioceptif, ce qui renforce la crédibilité de l'architecture au-delà du simple ajustement de paramètres. Les VLA se sont imposés comme paradigme dominant depuis RT-2 de Google DeepMind en 2023, et se retrouvent au cœur de systèmes comme pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA. La tendance de fond depuis 2024 est à l'augmentation des capacités spatiales de ces modèles, avec SpatialVLA et d'autres architectures 3D-aware qui s'attaquent au même problème. La plateforme ALOHA, développée à Stanford et UC Berkeley, est aujourd'hui commercialisée par Trossen Robotics et AgileX, ce qui donne une certaine représentativité aux évaluations en conditions réelles. GeoAlign reste pour l'instant un preprint non relu par les pairs : sa reproductibilité sur d'autres plateformes et dans des contextes industriels variés déterminera si elle s'intègre effectivement dans les pipelines VLA de production.

Les modèles VLA aériens peuvent-ils coopérer ? Évaluation de la coordination air-sol en boucle fermée avec CARLA-Air

Des chercheurs ont publié sur arXiv (arXiv:2605.31066) une évaluation systématique des modèles vision-langage-action (VLA) aériens dans des scénarios de coopération air-sol. L'étude introduit CARLA-Air, un environnement de simulation mono-processus qui fusionne CARLA et AirSim au sein d'un même runtime Unreal Engine. Cette architecture unifiée permet de partager un état physique commun, un tick de physique synchronisé et un pipeline de capteurs cohérent entre un drone (UAV) et un robot terrestre (UGV), garantissant ainsi une mesure précise de la latence de coordination effective et de l'alignement temporel entre les agents. Deux tâches de diagnostic complémentaires ont été retenues : l'atterrissage sur plateforme mobile et l'escorte avec récupération d'occlusion, deux scénarios qui exigent une action jointe continue en boucle fermée. Les résultats révèlent un écart notable entre compétence individuelle et comportement coopératif stable. Les modèles VLA aériens testés parviennent souvent à suivre ou à pister un partenaire sol, mais échouent à convertir cette aptitude mono-agent en coordination fiable. L'ajout de prompts d'état explicites (state prompting) n'apporte qu'un bénéfice limité, et l'interaction bidirectionnelle naïve ne stabilise pas les performances, elle amplifie même les erreurs pour la majorité des baselines évaluées. Ce constat soulève une question structurelle pour les intégrateurs et décideurs industriels qui envisagent des flottes hétérogènes : les VLA actuels, conçus pour des missions autonomes mono-agent, ne sont pas directement transposables à la coopération multi-robot sans ingénierie supplémentaire sur l'interface de communication et la gestion d'objectifs partagés. L'étude s'inscrit dans un momentum fort autour des VLA embarqués (modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA), majoritairement optimisés pour des robots manipulateurs ou des plateformes terrestres. La robotique aérienne coopérative reste un angle peu couvert. Les auteurs identifient trois prérequis manquants pour le zero-shot air-sol : un ancrage explicite de l'état du partenaire, une coordination d'action à faible latence, et un alignement sur un objectif d'équipe partagé. Le code de CARLA-Air est disponible publiquement sur GitHub, ce qui ouvre la voie à des benchmarks reproductibles dans un domaine encore dépourvu de standards d'évaluation communs.

Bibliothèque d'experts à mélange dynamique progressif pour l'apprentissage robotique continu

Des chercheurs proposent DMPEL (Dynamic Mixture of Progressive Parameter-Efficient Expert Library), une architecture publiée sur arXiv (2506.05985) pour l'apprentissage continu en robotique. L'objectif est de permettre à un agent généraliste d'acquérir séquentiellement de nouvelles compétences sans effacer les précédentes, phénomène dit d'oubli catastrophique. DMPEL construit progressivement une bibliothèque d'experts à rang réduit (low-rank, dans la famille PEFT), et utilise un routeur léger pour les combiner dynamiquement en une politique end-to-end. La technique centrale, l'« expert coefficient replay », guide ce routeur vers les experts gelés correspondant aux tâches passées sans rejouer l'intégralité de l'historique d'expériences. Évalué sur LIBERO, benchmark standard de l'apprentissage continu en robotique simulée, DMPEL surpasse l'état de l'art en taux de succès lors d'adaptations séquentielles, avec un nombre minimal de paramètres entraînables. Le verrou levé est pratiquement significatif : les méthodes PEFT existantes supposent un identifiant de tâche disponible à l'inférence, hypothèse irréaliste en déploiement réel où le robot doit lui-même inférer à quelle tâche il est confronté. En s'en affranchissant, DMPEL ouvre la voie à une adaptation incrémentale sans supervision externe. Le remplacement de l'experience replay classique par l'expert coefficient replay réduit aussi sensiblement les besoins en stockage et en calcul, un argument concret pour l'embarqué industriel. Pour un intégrateur ou un décideur B2B, c'est le signal que spécialiser un robot à de nouveaux postes de travail en séquence devient techniquement plus accessible. L'apprentissage continu connaît un regain d'intérêt direct avec l'essor des politiques vision-langage-action (VLA) comme OpenVLA, RT-2 ou pi-zero, qui nécessitent une spécialisation post-entraînement par tâche. DMPEL s'inscrit dans la lignée des travaux sur les Mixture of Experts et les adaptateurs LoRA, appliqués ici à un cadre multi-tâches séquentiel. Ses concurrents directs sur LIBERO incluent EWC (Elastic Weight Consolidation), PackNet et L2P. La limite principale reste l'absence d'expériences sur robot physique : les gains mesurés en simulation ne garantissent pas le passage au déploiement terrain, un sim-to-real gap que les publications de ce type peinent encore à combler systématiquement.

Tabero : manipulation douce par retour de force en boucle fermée (vision, toucher, langage)

Une équipe de recherche a publié sur arXiv (preprint 2605.27886, mai 2026) Tabero, un benchmark et une suite de modèles destinés à doter les robots d'une manipulation douce et contrôlée par retour de force en temps réel. Le système repose sur deux composantes : d'abord un benchmark qui recycle des trajectoires de manipulation robotique open-source pour générer automatiquement des tâches combinant vision, toucher et instructions en langage naturel, sans nécessiter de collecte de données tactiles from scratch ; ensuite Tabero-VTLA, une architecture Vision-Langage-Action (VLA) dotée d'une interface de commande découplée force/position, exécutée par un contrôleur hybride fixe. Résultat clé annoncé : sous instructions de manipulation douce, le modèle réduit la force de préhension moyenne de plus de 70 % tout en maintenant un taux de succès élevé sur les tâches testées. Le code est publié sur GitHub. Il s'agit d'un preprint de recherche, pas d'un produit déployé. Ce résultat s'attaque à une limite connue des VLA actuels : ces modèles, entraînés principalement sur des données visuelles et textuelles, ne disposent pas de mécanismes de rétroaction de force en boucle fermée, ce qui les rend inadaptés à la manipulation d'objets fragiles ou aux interactions physiques avec des humains. La réduction de 70 % de la force de préhension est un chiffre notable, mais il faut le contextualiser : les détails sur la diversité des tâches, les matériaux et les conditions de test restent limités dans ce résumé, et les vidéos de démonstration associées aux preprints de ce type sont souvent sélectionnées pour maximiser l'effet. Le pipeline de génération de données tactiles par revalorisation de trajectoires existantes est en revanche une contribution méthodologique potentiellement réutilisable par d'autres équipes. Les VLA à toucher intégré constituent un chantier ouvert dans la course aux robots polyvalents. Les modèles pi-zero de Physical Intelligence et GR00T N2 de NVIDIA ont popularisé les architectures VLA pour la manipulation généraliste, mais s'appuient quasi exclusivement sur la vision. Du côté du toucher, des capteurs comme GelSight ou DIGIT existent en laboratoire mais restent rarement intégrés dans les pipelines d'entraînement à grande échelle. Tabero tente de combler ce fossé par une approche data-efficient. Les prochaines étapes naturelles seraient une validation sur robot physique dans des conditions industrielles réelles, notamment pour des cas d'usage comme l'assemblage de composants délicats ou la collaboration humain-robot en contexte manufacturier.

Modèle MVP-LAM : apprentissage de représentations d'actions latentes centrées sur l'action par reconstruction multi-points de vue

Une équipe de chercheurs a publié MVP-LAM (Multi-ViewPoint Latent Action Model), une méthode visant à améliorer le pré-entraînement des modèles vision-langage-action (VLA) à partir de vidéos humaines non étiquetées. Le problème ciblé : les actions latentes apprises depuis des vidéos mono-vue encodent des indices visuels propres à l'angle de caméra, plutôt que la sémantique réelle du mouvement. MVP-LAM impose un objectif de reconstruction inter-vues (cross-viewpoint reconstruction) : une action latente extraite depuis une caméra doit prédire l'évolution de la scène telle que vue depuis une autre caméra. Évalué sur le jeu de données Bridge V2, le modèle produit des actions latentes dont l'information mutuelle avec les vraies actions de référence dépasse celle des baselines, y compris en conditions hors-distribution. Ces représentations améliorées se traduisent par de meilleures performances de manipulation en aval sur plusieurs benchmarks standards. Le code et les checkpoints entraînés sont disponibles publiquement. La contrainte géométrique multi-vues a un impact direct pour les intégrateurs : un modèle pré-entraîné sur des actions latentes robustes au changement de point de vue devrait mieux résister au gap entre démonstration et déploiement réel, notamment dans des cellules robotiques où la position des caméras diffère entre collecte de données et production. MVP-LAM valide aussi l'usage de larges corpus vidéo non supervisés (vidéos internet, archives industrielles) sans démonstrations téléopérées : la cohérence inter-vues remplace partiellement le signal proprioceptif, réduisant le coût de collecte des données d'entraînement. Le pré-entraînement VLA depuis des vidéos non annotées s'inscrit dans la continuité de travaux comme RT-2 (Google DeepMind), UniPi, et plus récemment pi-0 (Physical Intelligence) ou OpenVLA. Ces approches partagent l'ambition d'exploiter des données vidéo à grande échelle pour doter les robots d'une compréhension généraliste du mouvement avant fine-tuning sur tâches spécifiques. MVP-LAM apporte une contribution méthodologique en renforçant la qualité des pseudo-labels d'action, une étape souvent négligée au profit de l'architecture des modèles aval. Il s'agit d'un travail académique sans déploiement industriel annoncé, mais dont la disponibilité du code facilite la reproduction et l'adaptation sur d'autres plateformes robotiques.

LaST-R1 : renforcement de l'action par raisonnement latent physique adaptatif pour les modèles VLA

Des chercheurs ont publié le 29 avril 2026 sur arXiv (2604.28192) un nouveau cadre pour les modèles Vision-Langage-Action (VLA) baptisé LaST-R1, accompagné d'un algorithme d'apprentissage par renforcement inédit appelé LAPO (Latent-to-Action Policy Optimization). Le système atteint un taux de succès moyen de 99,8 % sur le benchmark de manipulation robotique LIBERO, après un unique épisode d'imitation supervisée en guise d'amorçage. En déploiement réel sur quatre tâches complexes, dont des configurations monobranche et bras-double, LAPO améliore les performances de 44 % par rapport à la politique issue de cet amorçage initial. L'apport central de LaST-R1 est de relier explicitement le raisonnement sur la physique à la génération d'actions, là où les approches existantes traitaient ces deux étapes séparément. Les VLA actuels raisonnent soit en langage naturel (coûteux en latence et discret), soit dans un espace latent continu, mais dans les deux cas par imitation statique, sans capacité d'adaptation par essais-erreurs. LAPO co-optimise simultanément le processus de raisonnement latent et la production d'actions via du renforcement en ligne, ce qui améliore la modélisation du monde physique et la robustesse en environnement interactif. Un mécanisme de "latent Chain-of-Thought adaptatif" permet en outre au modèle d'ajuster dynamiquement son horizon de raisonnement selon la complexité de la situation, sans coût fixe à chaque pas. Il s'agit d'une annonce académique sous forme de preprint, pas encore d'un produit embarqué sur robot commercial. Ce travail s'inscrit dans la course à la généralisation des VLA, portée ces derniers mois par des modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA. L'un des verrous récurrents du secteur est l'écart simulation-réalité (sim-to-real gap) et la difficulté à faire converger rapidement un modèle en conditions réelles sans millions d'épisodes supervisés. LaST-R1 revendique une convergence significativement accélérée grâce à l'optimisation jointe du raisonnement latent, une piste que suivent aussi des équipes européennes travaillant sur l'apprentissage par renforcement pour la manipulation, notamment dans l'orbite des laboratoires universitaires français. Les prochaines étapes naturelles seront la validation sur des benchmarks plus diversifiés (AgiBot World, RLBench) et l'intégration dans des plateformes matérielles commerciales.

PRTS : un système de raisonnement et de planification primitifs via des représentations contrastives

PRTS (Primitive Reasoning and Tasking System) est un modèle fondation Vision-Langage-Action (VLA) présenté dans un preprint arXiv (réf. 2604.27472, avril 2026). Il reformule le préentraînement des VLA en substituant le clonage comportemental supervisé classique par de l'apprentissage par renforcement conditionné sur des objectifs (Goal-Conditioned Reinforcement Learning, GCRL). Chaque instruction en langage naturel est traitée comme un but à atteindre : PRTS apprend un espace d'embedding unifié où le produit scalaire entre vecteurs état-action et vecteur objectif approxime la log-probabilité actualisée d'atteindre cet objectif depuis l'état courant, une quantité appelée log-discounted goal occupancy. Ce signal de supervision dense est extrait directement de trajectoires offline sans annotation de récompense, puis injecté dans le backbone multimodal via un masque causal adaptatif (role-aware causal mask), avec un surcoût computationnel marginal. Le modèle est préentraîné sur 167 milliards de tokens couvrant des données de manipulation et de raisonnement embodied. Il atteint l'état de l'art sur les benchmarks LIBERO, LIBERO-Pro, LIBERO-Plus et SimplerEnv, ainsi que sur une suite de 14 tâches physiques réelles, avec des gains particulièrement nets sur les tâches longue-horizon, riches en contacts, et sur les instructions zero-shot inédites. L'enjeu est structurant pour le domaine des politiques robotiques générales. Les VLA actuels les plus avancés, notamment Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA, reposent tous sur une logique de clonage comportemental : le modèle imite des démonstrations sans représentation explicite du progrès vers un objectif. PRTS introduit une conscience intrinsèque de l'atteignabilité des buts (goal reachability awareness), ce qui se traduit par des améliorations précisément là où les VLA peinent le plus en déploiement réel : planification longue-horizon, robustesse aux contacts et généralisation zéro-shot. Si ces résultats se confirment indépendamment, l'approche contrastive GCRL pourrait redéfinir le paradigme de préentraînement dominant dans le domaine. Le contexte compétitif est celui d'une convergence accélérée vers des fondations VLA à grande échelle capables de généralisation zéro-shot. Physical Intelligence, NVIDIA Robotics, Google DeepMind (RT-2, Octo) et de nombreuses équipes académiques travaillent simultanément sur ce segment. La contribution de PRTS est avant tout méthodologique : en n'exigeant aucune annotation de récompense et en tirant sa supervision de trajectoires offline déjà disponibles, l'approche est potentiellement reproductible avec des ressources plus modestes. Il s'agit toutefois d'un résultat de recherche à ce stade, non d'un déploiement commercial : les évaluations physiques portent sur 14 tâches dont les conditions expérimentales restent à vérifier indépendamment, et aucune timeline de productisation n'est mentionnée.

ExpressMM : des comportements de manipulation mobile expressifs dans les interactions humain-robot

Des chercheurs ont présenté ExpressMM, un framework destiné aux manipulateurs mobiles déployés en environnements humains, capable de générer des comportements expressifs en temps réel pendant l'exécution de tâches collaboratives. Publié sur arXiv (2604.05320v3), le système repose sur une architecture à deux niveaux : un planificateur de haut niveau fondé sur un modèle vision-langage (VLM) prend en charge la perception et le raisonnement conversationnel, tandis qu'une politique vision-langage-action (VLA) de bas niveau produit les mouvements expressifs du robot. Élément distinctif : ExpressMM supporte les interactions interruptibles, c'est-à-dire que l'utilisateur peut modifier ou rediriger les instructions du robot en cours d'exécution. L'évaluation a été conduite sur un manipulateur mobile réel lors d'un scénario d'assemblage collaboratif, avec des démonstrations en direct devant un public et des questionnaires post-session. La majorité des travaux antérieurs sur les comportements expressifs des robots s'appuyaient sur des mouvements préprogrammés ou appris par démonstration, et n'anticipaient pas les interruptions en cours de tâche, un cas pourtant courant dès qu'un humain travaille aux côtés d'un robot. ExpressMM traite cette lacune en couplant une VLA capable de s'adapter dynamiquement aux nouvelles instructions avec un raisonnement langage-vision pour maintenir la cohérence sociale de l'interaction. Les résultats des questionnaires indiquent que les observateurs ont trouvé les actions du robot clairement interprétables, les interactions socialement appropriées, et le comportement prévisible et sûr. Pour les intégrateurs industriels et les équipes opérations, c'est un signal fort : les robots collaboratifs ne peuvent plus se contenter d'accomplir une tâche ; ils doivent être lisibles par les humains qui partagent l'espace de travail. Le sujet de l'expressivité robotique est activement exploré depuis plusieurs années dans la communauté HRI, mais les approches précédentes peinaient à généraliser au-delà de comportements scénarisés ou de démos contrôlées. L'utilisation conjointe d'un VLM et d'une VLA dans un seul pipeline interruptible représente une progression architecturale significative. Sur le plan concurrentiel, des acteurs comme Boston Dynamics (avec Spot) ou des startups HRI telles que Enchanted Tools en France (robot Miroki) travaillent également sur la dimension sociale des robots collaboratifs, mais peu publient des évaluations HRI aussi structurées en conditions réelles. Les prochaines étapes logiques pour ExpressMM seraient des déploiements en environnements industriels ou de service à plus grande échelle, où la variété des interactions humaines dépasse largement les scénarios d'assemblage contrôlés.

EgoWalk : un jeu de données multimodal pour la navigation robotique en conditions réelles

Une équipe de chercheurs a publié EgoWalk, un dataset multimodal de 50 heures de navigation humaine destiné à entraîner des algorithmes de navigation robotique en conditions réelles. Les données ont été collectées dans une grande variété d'environnements intérieurs et extérieurs, sur plusieurs saisons et sites géographiques différents. Le dataset comprend les données brutes ainsi qu'un format prêt pour l'apprentissage par imitation (Imitation Learning), accompagné de pipelines automatisés générant deux types de sous-datasets dérivés : des annotations d'objectifs en langage naturel et des masques de segmentation de traversabilité. L'ensemble des pipelines de traitement et la description de la plateforme matérielle utilisée pour la collecte sont publiés en open source. L'intérêt principal d'EgoWalk réside dans la rareté des datasets de navigation en conditions non contrôlées, à grande échelle et couvrant plusieurs saisons. La majorité des systèmes de navigation robotique actuels souffrent d'un écart sim-to-real persistant, faute de données réelles suffisamment diversifiées. En proposant simultanément des annotations langage naturel et des masques de traversabilité générés automatiquement, EgoWalk vise à réduire le coût de labellisation manuelle qui freine le développement de modèles vision-langage-action (VLA) pour la navigation outdoor. La publication open source des pipelines permet aux équipes de réplication de reconstruire des datasets similaires sur leur propre plateforme, ce qui est un signal positif pour la reproductibilité dans le domaine. La navigation autonome en environnements non structurés reste l'un des défis centraux de la robotique mobile, que ce soit pour les robots de livraison, les plateformes de surveillance ou les assistants mobiles. EgoWalk s'inscrit dans un mouvement plus large de constitution de datasets ego-centriques, aux côtés d'initiatives comme SCAND (UT Austin) ou des travaux de Boston Dynamics et de Google DeepMind sur la navigation en extérieur. Le fait que les données soient collectées du point de vue humain, plutôt que depuis un robot, soulève la question du transfert de domaine, que les auteurs reconnaissent implicitement en proposant des benchmarks et études de diversité. Les prochaines étapes naturelles seraient la validation sur des plateformes robotiques réelles et l'intégration dans des architectures de type foundation model pour la navigation.

ST-π : VLA spatio-temporel structuré pour la manipulation robotique

Une équipe de chercheurs a publié fin avril 2026 ST-π (ST-pi), un modèle vision-langage-action (VLA) conçu pour améliorer la manipulation robotique fine en introduisant une planification spatiotemporelle explicitement structurée. Contrairement aux VLA classiques qui projettent directement les observations visuelles vers des actions step-by-step, ST-π décompose la tâche en deux niveaux distincts : un VLM spatiotemporel qui encode des observations 4D (vidéo + profondeur) et génère une séquence ordonnée de "prompts d'action" au niveau chunk, incluant sous-tâches, ancrage spatial et ancrage temporel ; puis un "action expert" conditionné sur ces prompts, qui utilise un mécanisme de double générateur pour modéliser conjointement les dépendances spatiales et la causalité temporelle, produisant in fine les paramètres d'action step-level. Les auteurs ont également constitué un dataset réel avec annotations spatiotemporelles structurées pour le fine-tuning. Le code source est disponible sur GitHub (chuanhaoma/ST-pi). L'intérêt de cette approche réside dans l'explicitation du raisonnement spatiotemporal, un point aveugle documenté des VLA actuels. Les modèles existants comme Pi-0 (Physical Intelligence), OpenVLA ou RT-2 encodent implicitement ce raisonnement dans les représentations visuelles et d'action, ce qui les rend fragiles face à des séquences comportementales multiples avec des frontières temporelles précises, typiquement les tâches d'assemblage, de tri ou de manipulation en plusieurs étapes que les intégrateurs industriels cherchent à automatiser. ST-π propose une architecture où le VLM planifie globalement et l'action expert raffine localement, ce qui est une séparation de responsabilités plus proche de la façon dont les ingénieurs roboticiens structurent eux-mêmes les programmes de manipulation. Ce travail s'inscrit dans une dynamique de recherche active sur le sim-to-real et la généralisation des VLA, portée notamment par Physical Intelligence, Google DeepMind (avec GR00T N2 côté NVIDIA) et des laboratoires académiques en Chine. ST-π est un preprint arXiv (2604.17880), pas encore évalué en peer review, et les métriques de performance annoncées restent à confronter à des benchmarks indépendants comme LIBERO ou RLBench. Aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade, il s'agit d'une contribution de recherche, pas d'un produit commercialisé. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés et un test sur des robots réels en dehors du dataset des auteurs.