Dossier Physical Intelligence — π0 — page 10

Réponses de robots collaboratifs aux tâches humaines : correction sémantique et physique via modèles vision-langage

Ce travail de recherche, publié en version révisée (v2) sur arXiv, s'attaque à un problème central de l'assemblage collaboratif homme-robot : comment un robot doit-il interpréter une instruction corrective ambiguë donnée par un humain, tout en produisant un mouvement physiquement exécutable. Les chercheurs proposent un framework de replanification qui traduit les instructions humaines en candidats "Action Target" (poses de préhension, choix d'outil), combinant deux mécanismes de vérification : un modèle de correction interne, qui valide la cohérence logique avant exécution, et un modèle de correction externe, qui vérifie visuellement le résultat après exécution. Le système intègre un modèle vision-langage (VLM) à de la génération de prise en 6 degrés de liberté et de la planification de trajectoire sans collision. Testé sur un robot humanoïde à buste (upper-body), il atteint 66,7% de réussite en fixation d'objet réelle, 100% en sélection initiale d'outil et 75% en sélection corrective d'outil. L'intérêt de l'étude tient surtout à ce qu'elle révèle sur les limites actuelles des VLM appliqués au contrôle robotique : ces modèles raisonnent bien sémantiquement mais choisissent parfois des cibles logiquement incohérentes ou mal évaluent si une action a réussi. Les ablations en simulation montrent un résultat contre-intuitif : la correction visuelle externe n'aide que lorsque le VLM sous-jacent a une latence faible, et peut au contraire dégrader la performance globale quand elle produit des faux négatifs. Pour les intégrateurs et équipes R&D qui misent sur les architectures VLA (à la manière de GR00T N2, Pi-0 ou Helix) pour piloter des humanoïdes en environnement collaboratif, ce papier illustre concrètement l'écart entre démonstration en simulation et fiabilité terrain, et pointe la vérification de l'état visuel comme le maillon encore faible. L'étude s'inscrit dans la vague de recherche académique cherchant à fiabiliser les architectures vision-langage-action pour la robotique physique, un axe où la plupart des annonces commerciales (Figure, Physical Intelligence, NVIDIA) restent centrées sur la démonstration plutôt que sur le déploiement industriel répété. Les auteurs ne précisent pas de laboratoire ni de suite commerciale ; il s'agit d'une contribution méthodologique destinée à alimenter les futurs travaux sur la replanification interactive et la correction des erreurs de perception dans les tâches collaboratives spatiales et sémantiques.

Regardez : le premier modèle d'IA nativement incarnée promet des robots plus intelligents et plus performants

Robbyant, filiale d'intelligence artificielle incarnée du groupe chinois Ant Group (maison mère d'Alipay), a présenté LingBot-VA 2.0, un modèle de monde vidéo-action que l'entreprise qualifie de premier du secteur conçu nativement pour la robotique plutôt qu'adapté de systèmes de génération vidéo destinés au contenu numérique. Le modèle repose sur une architecture autorégressive entraînée depuis zéro : il prédit comment les actions d'un robot modifient son environnement, puis choisit l'action suivante à partir de ces relations causales. Robbyant met en avant quatre innovations : un tokenizer visuel-action sémantique compressant conjointement image et action, un pré-entraînement causal strict garantissant l'ordre temporel des prédictions, une architecture Mixture of Experts augmentant la capacité sans alourdir l'inférence, et un mécanisme d'inférence asynchrone qui recale en continu les prédictions sur les observations réelles pendant l'exécution. Selon l'entreprise, cette combinaison permet un contrôle en boucle fermée à 150 Hz sur un seul GPU, et le modèle s'adapte à une nouvelle tâche de manipulation avec seulement 20 démonstrations, par apprentissage en contexte, sans réentraînement. Robbyant a montré le système sur des tâches longues et précises : préparer un petit-déjeuner, déballer des colis, insérer des tubes, ramasser des vis, plier du linge, ouvrir des tiroirs. L'entreprise revendique aussi de meilleurs résultats que les méthodes existantes sur les benchmarks de simulation RoboTwin 2.0 et LIBERO. Ce lancement illustre un changement de philosophie dans les modèles fondation pour la robotique. La plupart des systèmes d'IA incarnée actuels réutilisent des modèles vidéo pensés pour générer du contenu grand public, qui privilégient qualité d'image et créativité au détriment de la précision physique et de la vitesse d'exécution. Adapter ces modèles à la robotique, selon Robbyant, dégrade la généralisation, un constat qui rejoint le débat récurrent dans le secteur des modèles vision-langage-action (VLA) sur l'écart entre démonstrations impressionnantes et fiabilité réelle. Si les chiffres avancés se confirment au-delà des vidéos sélectionnées par l'entreprise, ils positionneraient LingBot-VA 2.0 comme alternative face à des VLA généralistes comme Pi-0 ou GR00T N2, avec un argument clé pour les intégrateurs : moins de données pour déployer un nouveau geste, et un temps de cycle compatible avec du matériel limité à un seul GPU. La mémoire à long terme mise en avant, permettant de distinguer des situations visuellement identiques mais contextuellement différentes et d'exécuter des tâches multi-étapes avec comptage et répétition, répond à une limite connue des politiques robotiques actuelles sur les séquences longues. Robbyant a accéléré ses investissements en robotique humanoïde et modèles fondation physiques, dans un contexte où les groupes technologiques chinois, Ant Group mais aussi Unitree, AgiBot ou Xiaomi, intensifient la compétition face à des acteurs américains comme Figure AI ou Physical Intelligence. LingBot-VA 2.0 succède à une première version et s'inscrit dans une stratégie où l'entreprise dit vouloir accélérer le développement d'un écosystème ouvert, sans préciser de calendrier de commercialisation, de partenariats industriels ni de premiers déploiements pilotes. Pour l'instant, la démonstration reste cantonnée aux benchmarks de simulation et aux vidéos publiées par l'entreprise, sans validation indépendante en environnement de production, une réserve qui s'applique à la plupart des annonces de modèles fondation robotiques cette année.

Manipulation Tactile et Visuelle Centrée sur le Contact pour la Manipulation du Bras Complet

Des chercheurs du laboratoire EMPRISE de l'université Cornell présentent TACTIC (Tactile and Vision Conditioned Contact-Centric Control), un contrôleur pour la manipulation "bras entier", où le robot touche l'environnement avec plusieurs segments de son bras et non plus seulement sa pince. Décrit dans un preprint arXiv (2607.09218), le système combine images RGB-D, capteurs tactiles distribués et une carte de proximité 2D compacte pour prédire comment les contacts se forment, glissent ou se rompent au fil du mouvement. Un modèle de dynamique appris est couplé aux jacobiennes de contact pour simuler à l'avance forces d'interaction et configurations futures, et alimente un planificateur prédictif (MPC) à échantillonnage dont les trajectoires candidates sont orientées vers des directions qui modulent les forces plutôt que de les subir. En simulation, TACTIC dépasse les méthodes de référence à base de modèle et les approches purement apprises. Sur un bras réel équipé de peau tactile, l'équipe démontre trois tâches multi-contacts : retourner et repositionner un mannequin, et atteindre un objectif dans un labyrinthe 3D dynamique. La manipulation bras entier est un angle mort des pipelines d'apprentissage actuels, taillés pour un contact unique au niveau de la pince. Dès que plusieurs segments touchent l'environnement simultanément, mouvement et forces de contact deviennent étroitement couplés, l'état de contact reste partiellement caché sous occlusion, et les politiques purement apprises se désynchronisent physiquement hors distribution, faute de données sur les configurations multi-contacts. En hybridant apprentissage et modèle physique explicite, TACTIC illustre une tendance de fond en robotique de manipulation : combiner du model-based pour la garantie physique et de l'apprenant pour la perception, plutôt que tout confier à un modèle de bout en bout type VLA. Pour les intégrateurs visant des bras opérant en espace encombré (tri, logistique, désassemblage), c'est un manque réel comblé, la plupart des démonstrateurs actuels évitant soigneusement tout contact hors pince. Le travail émane du laboratoire EMPRISE de Cornell, spécialisé en manipulation riche en contact et perception tactile, et s'inscrit dans une littérature plus large sur le contrôle prédictif informé par le contact, aux côtés de recherches comparables au MIT ou à CMU. Contrairement aux annonces commerciales de robots humanoïdes comme Figure, Optimus ou les modèles VLA de Physical Intelligence et NVIDIA, il s'agit ici d'un résultat académique validé en simulation puis sur un unique bras de laboratoire, pas d'un produit commercialisé. Aucun acteur français ou européen n'est associé à cette publication. Les auteurs mettent en ligne une page projet (emprise.cs.cornell.edu/tactic) sans calendrier annoncé de transfert vers des plateformes commerciales.

Re³Sim : générer des données de simulation photoréalistes en 3D par transfert réel-vers-simulation pour la manipulation robotique

Cette annonce arrive du côté recherche académique plutôt que de l'industrie commerciale : une équipe présente RE³SIM, un système de simulation photoréaliste en 3D destiné à combler l'écart entre entraînement simulé et déploiement réel en robotique manipulatrice. Publié sur arXiv (version 4, remplaçant une précédente), le papier décrit un pipeline qui reconstruit fidèlement des scènes réelles grâce à des techniques avancées de reconstruction 3D et de rendu neuronal, permettant un rendu en temps réel de caméras virtuelles multi-angles au sein d'un simulateur physique. En s'appuyant sur des informations privilégiées pour générer efficacement des démonstrations expertes en simulation, puis en entraînant des politiques robotiques par apprentissage par imitation, les chercheurs rapportent un taux de réussite moyen supérieur à 58% en transfert "zero-shot" vers le réel, c'est-à-dire sans aucune donnée réelle utilisée pour l'entraînement, uniquement des données simulées. Ils ont aussi constitué un jeu de données de simulation à grande échelle pour tester la généralisation des politiques apprises sur des objets variés. Le résultat compte parce qu'il s'attaque directement à l'un des goulots d'étranglement les plus coûteux du secteur : la collecte de données réelles pour entraîner des robots manipulateurs, qui exige des opérateurs qualifiés et du matériel onéreux. Si le fossé sim-to-real (géométrique et visuel) peut être réduit de manière fiable grâce à des reconstructions photoréalistes plutôt qu'à des environnements simulés génériques, cela change la donne pour les intégrateurs et les équipes de R&D qui cherchent à multiplier les scénarios d'entraînement sans multiplier les essais physiques. Un taux de 58% en zero-shot reste toutefois modeste comparé aux standards de fiabilité industrielle, et mérite d'être lu comme une preuve de concept académique plutôt qu'une solution prête à l'emploi pour la production. RE³SIM s'inscrit dans la lignée des travaux récents sur les politiques vision-langage-action (VLA) et les pipelines d'apprentissage par imitation, un axe de recherche également poursuivi par des acteurs comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T). La démarche real-to-sim-to-real, où l'on capture d'abord le monde réel avant de simuler dessus, distingue cette approche des simulateurs purement synthétiques et pourrait influencer les futurs outils de génération de données pour l'entraînement de robots. Le code et des démonstrations sont disponibles sur le site du projet (re3sim.github.io), signe que l'équipe cherche une adoption élargie par la communauté robotique plutôt qu'une simple publication isolée.

EgoWAM : des modèles monde-action au-delà des pixels grâce à des données humaines égocentriques en conditions réelles

Des chercheurs du laboratoire RL2 de Georgia Tech publient EgoWAM, un cadre de "World Action Models" qui exploite des vidéos égocentriques humaines filmées en conditions réelles pour entraîner des politiques de manipulation robotique. Le problème identifié: le clonage de comportement classique mélange des éléments transférables comme les objets, les scènes et la sémantique des tâches, avec des facteurs propres à l'humain (morphologie, mouvements de tête, style gestuel) qui n'ont rien à voir avec un bras robotique. Les auteurs testent trois cibles de prédiction du monde différentes, à backbone de politique, tête d'action et mélange de données identiques: la prédiction de pixels bruts, des caractéristiques visuelles DINO, et le flux de mouvement 3D. Sur trois tâches bimanuelles réelles, la prédiction pixel se révèle peu efficace pour le transfert humain-robot, tandis que DINO améliore la généralisation hors distribution (nouveaux objets, nouvelles scènes) jusqu'à 4 fois, et le flux 3D augmente la performance en distribution de 20 à 30%. Le résultat tranche un débat central pour l'industrie robotique: peut-on utiliser la masse de vidéos humaines disponibles sur le web comme signal d'entraînement bon marché, à la manière dont les modèles VLA (vision-langage-action) type Pi-0 de Physical Intelligence ou GR00T de NVIDIA cherchent à le faire? EgoWAM montre que oui, mais pas en imitant les pixels tels quels: il faut une représentation qui abstrait l'apparence et isole les effets physiques indépendants de l'agent, en séparant le mouvement de caméra du changement réel de l'environnement. Pour les intégrateurs et laboratoires qui misent sur la vidéo à l'échelle pour réduire le coût de collecte de données robotiques, cela oriente concrètement le choix des représentations à privilégier plutôt que la simple accumulation de séquences pixel. Le travail s'inscrit dans la lignée des modèles du monde appliqués à la robotique et des jeux de données égocentriques type Ego4D, en réponse aux limites connues du clonage de comportement pur. Le code, les tâches et les détails expérimentaux sont publiés sur gatech-rl2.github.io/egowam.github.io, sans annonce de déploiement industriel à ce stade: il s'agit d'un résultat de recherche contrôlé, pas d'un produit prêt à intégrer.

X Square Robot porte sa valorisation à 2,8 milliards de dollars après quatre levées de fonds consécutives

Voici l'article traduit et synthétisé : X Square Robot, société chinoise spécialisée en IA incarnée basée à Shenzhen, a bouclé quatre tours de financement consécutifs s'achevant par une série C, portant sa valorisation à plus de 2,8 milliards de dollars. Fondée en 2023 par Wang Qian, l'entreprise a vu IDG participer à ce dernier tour, tandis que HongShan et Xiaomi l'ont soutenue à plusieurs reprises lors des levées précédentes. Les fonds serviront à renforcer la recherche fondamentale et les technologies cœur, dans l'optique de progresser vers une IA incarnée généraliste. En avril 2026, la société a dévoilé WALL-B, un modèle de fondation construit sur une architecture baptisée World Unified Model : contrairement aux approches VLA (vision-langage-action) modulaires classiques, ce système entraîne perception, langage, action et prédiction physique au sein d'un réseau unique, censé renforcer la compréhension multimodale et le raisonnement spatial. X Square a aussi ouvert en open source WALL-OSS-0.5 et WALL-WM, ce dernier modèle traitant les données par « événements » pour améliorer l'apprentissage croisé entre modalités. Sur 17 tâches robotiques réelles testées sans post-entraînement, WALL-OSS-0.5 afficherait un taux de réussite autonome supérieur à 80% sur quatre d'entre elles seulement, un chiffre à nuancer puisqu'il ne concerne qu'une minorité des tâches évaluées. Cette levée intervient alors que la robotique incarnée chinoise multiplie les annonces de financement spectaculaires, dans un contexte où le marché reste partagé entre démonstrations soignées et déploiements réels limités. Le pari de X Square consiste à tester son système directement dans des foyers, via un partenariat avec la plateforme 58.com pour un service de nettoyage assisté par IA à Shenzhen et Pékin, et via le programme « X Family Member », lancé en mai 2026, où des robots vivent jusqu'à un mois chez des familles volontaires pour effectuer des tâches domestiques variées. Si l'entreprise présente cela comme une sortie du cadre des démonstrations scénarisées, l'exercice reste à des échelles encore restreintes et la robustesse réelle hors environnement contrôlé demande à être confirmée sur la durée. X Square s'inscrit dans une compétition mondiale où s'affrontent les modèles fondation pour la robotique, qu'il s'agisse de Pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure, ainsi que des rivaux chinois comme Unitree, AgiBot ou UBTech, tous engagés dans une course au déploiement domestique et industriel. La stratégie d'intégration verticale de X Square, mêlant modèles propriétaires, pipeline de données automatisé et déploiements terrain, vise à accélérer l'itération produit. Les prochaines étapes attendues concernent l'extension du programme familial et l'élargissement des partenariats industriels et logistiques, domaines où la société dit également opérer en parallèle du marché domestique.

Nvidia renforce son équipe robotique en Chine face à l'essor de l'IA physique

Nvidia intensifie ses recrutements en Chine pour renforcer son équipe dédiée à la robotique physique, avec plus d'une douzaine de postes ouverts simultanément à Beijing, Shanghai et Shenzhen. L'annonce, publiée lundi sur le compte WeChat officiel de la firme, couvre quatre domaines stratégiques : l'intelligence incarnée (embodied intelligence), la simulation, l'implémentation et les solutions. L'objectif affiché est de construire une plateforme robotique de premier plan dans un marché où les constructeurs chinois représentent la majorité des expéditions mondiales de robots industriels et humanoïdes. Ce mouvement de recrutement signale une montée en puissance de Nvidia sur le segment de la robotique physique en Chine, marché dominant à l'échelle mondiale en volume de déploiement. La stratégie de la firme repose sur son écosystème logiciel Isaac (simulation, entraînement) et sur GR00T N2, son modèle fondationnel pour robots humanoïdes présenté en mars 2025. En s'ancrant localement, Nvidia cherche à s'imposer comme couche d'infrastructure incontournable pour les intégrateurs et constructeurs chinois, dont plusieurs développent déjà des humanoïdes sur des puces concurrentes. La présence terrain est aussi un signal de conformité réglementaire dans un contexte de restrictions à l'export sur les puces avancées. Nvidia a accéléré son pivot vers la robotique depuis 2024, en positionnant la "physical AI" comme troisième vague après le calcul général et les LLMs. Les acteurs chinois comme Unitree, UBTECH et Fourier Intelligence figurent parmi les clients potentiels de cet écosystème. Les concurrents directs sur la couche plateforme incluent des startups comme Physical Intelligence (Pi-0) côté modèles, et des industriels comme Siemens ou ABB sur la simulation. Cette expansion en Chine intervient malgré les tensions commerciales persistantes autour des puces H-series, ce qui soulève des questions sur les configurations matérielles qui seront effectivement utilisées localement.

Planification séquentielle par points d'ancrage pour la robotique

Des chercheurs de la Case Western Reserve University ont publié SPARK (Sequential Planning via Anchored Robotic Keypoints), un système neurosymbolique de manipulation robotique sans entraînement supplémentaire. Sur LIBERO-PRO, benchmark évaluant la robustesse face aux changements de position et de tâche, SPARK atteint 43,7 % sur six configurations, soit plus du double de CaP-Agent0 (18,2 %) et des baselines Vision-Language-Action. L'architecture repose sur deux appels Gemini : le premier génère un arbre de comportement (behavior tree) typé composé de primitives précodées intégrant le contrôle bas niveau (mouvement, préhension, géométrie de profondeur) ; le second propose trois formulations textuelles alternatives par objet, que SAM3 évalue pour retenir la détection la plus confiante. Un mécanisme de récupération relance toute primitive échouée sur des objets re-détectés, sans nouvel appel LLM. Le système a été validé sur trois familles de robots (UR10e, Franka FR3, Franka bimanuels) pour neuf tâches à vingt essais chacune, avec une moyenne de 68 %. Le résultat central est architectural : SPARK identifie la perception comme le principal point de rupture des pipelines de manipulation, non la planification. Les formulations alternatives par objet apportent +27,7 points sur les tâches spatiales et +10,0 sur la suite objet ; la boucle de récupération ajoute +5,0 points globalement. Là où CaP-Agent0 re-interroge un LLM en repartant de zéro à chaque échec, SPARK ne replanifie que la détection, réduisant significativement le coût computationnel. Point stratégique : chaque essai produit automatiquement une trajectoire vérifiée et étiquetée, permettant à un planificateur training-free de générer les données dont les VLAs ont besoin sans téleopération humaine. SPARK s'inscrit dans le débat entre architectures VLA end-to-end (pi-0 de Physical Intelligence, RT-2 de Google DeepMind, OpenVLA de Berkeley) et approches hybrides symboliques. Les VLAs misent sur la généralisation apprise de données massives mais restent fragiles aux distributions non vues à l'entraînement, précisément ce que LIBERO-PRO mesure. SPARK démontre qu'une conception neurosymbolique rigoureuse peut surpasser des modèles foundation sur des configurations difficiles. La validation reste limitée à neuf tâches sur trois plateformes, sans timeline de déploiement industriel annoncée. La modularité du système -- détecteur, planificateur et contrôleur remplaçables indépendamment -- ouvre la voie à des intégrations sur de nouvelles plateformes sans réentraînement.

TAP-VLA : annotation tactile pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (réf. 2606.29089) une méthode appelée TAP-VLA (Tactile Annotation Prompting for Vision-Language-Action models) visant à doter les modèles vision-langage-action du sens du toucher sans modifier leur architecture. Sur quatre tâches de manipulation à contacts complexes (vissage, insertion, assemblage de précision), TAP-VLA atteint un taux de succès de 78 %, contre moins de 50 % pour un fine-tuning purement visuel et pour les approches alternatives de fusion tactile, certaines de ces baselines ne faisant pas mieux qu'un résultat aléatoire. Le principe repose sur des capteurs visuo-tactiles capables de mesurer les champs de cisaillement (shear fields) à la surface de contact ; ces champs sont ensuite superposés sous forme de vecteurs spatialement alignés directement sur les images RGB multi-vues que le modèle consomme déjà, sans ajouter de modalité d'entrée distincte. L'enjeu est réel : les VLAs de génération actuelle, comme π0 de Physical Intelligence, OpenVLA ou RT-2 de Google DeepMind, offrent un raisonnement robuste sur les variations visuelles, sémantiques et spatiales grâce à leur pré-entraînement à grande échelle, mais restent aveugles aux forces de contact, pourtant centrales dans toute manipulation industrielle sérieuse (emboîtement de précision, vissage, gestion d'objets déformables). Intégrer le toucher comme nouvelle modalité d'entrée détériore précisément ce pré-entraînement, car les données tactiles sont absentes des corpus à grande échelle sur lesquels ces modèles sont construits, un problème de distribution shift bien documenté dans la littérature. TAP-VLA contourne l'obstacle en restant dans l'espace d'observation natif du modèle : pas de modification architecturale, pas de pré-entraînement tactile spécifique, surcoût computationnel négligeable. Ce travail s'inscrit dans une course active autour de l'embodied AI pour la manipulation de précision, où Physical Intelligence (π0, π0-FAST), Figure AI ou Apptronik cherchent à étendre les capacités de leurs humanoïdes et bras industriels au-delà du pick-and-place visuel. La question du sim-to-real pour les contacts reste l'un des derniers verrous majeurs avant un déploiement industriel à l'échelle. En évitant la refonte architecturale, TAP-VLA propose une voie d'intégration compatible avec les VLAs existants, ce qui simplifie son adoption par des équipes qui travaillent à partir de modèles déjà entraînés. La publication sur arXiv sans conférence associée indique que ce travail est encore en cours d'évaluation par les pairs ; aucun déploiement réel ou pilote industriel n'est annoncé à ce stade.

VLK : apprentissage de la loco-manipulation humanoïde à partir d'interactions synthétiques dans des scènes reconstruites

Des chercheurs ont publié fin juin 2026, via arXiv (2606.30645), une méthode baptisée VLK (Vision-Language-Kinematics) permettant à un humanoïde d'apprendre à se déplacer et à manipuler des objets à partir d'observations égocentriques, sans aucune annotation humaine. Le pipeline génère automatiquement 48 000 trajectoires supervisées en reconstruisant des environnements intérieurs en 3D grâce à la technique de 3D Gaussian Splatting, puis en synthétisant des trajectoires de navigation et d'interaction avec des objets en exploitant les données de scène privilégiées, et enfin en rendant les images égocentriques correspondantes après coup. Une politique VLK est ensuite entraînée à prédire des trajectoires cinématiques corps entier à court horizon, converties en commandes physiques par un tracker corps entier. Les expériences physiques ont été réalisées sur le robot humanoïde Unitree G1, sur des tâches de navigation et de transport d'un objet unique dans des scènes reconstruites. L'intérêt technique de cette approche est de répondre à un verrou de données structurel : aucune source existante ne fournit à grande échelle le triplet complet (images égocentriques synchronisées, instructions en langage naturel, trajectoires cinématiques compatibles avec un humanoïde). VLK résout ce problème par génération synthétique totale, sans capture de mouvement, sans télé-opération, sans annotation. Cela positionne la méthode comme un levier de scalabilité réel pour les politiques VLA (Vision-Language-Action) appliquées aux humanoïdes, à condition que le rendu synthétique soit suffisamment fidèle pour passer le sim-to-real, ce que les auteurs revendiquent mais sur un périmètre de tâches encore limité (transport mono-objet, scènes intérieures). Le contexte situe ce travail dans la vague des politiques génératives pour humanoïdes, aux côtés de Pi-0 (Physical Intelligence), GR00T N2 (Nvidia) ou des approches diffusion-based de Figure. Le Unitree G1, plateforme abordable à environ 16 000 dollars, est devenu un banc de test standard dans la communauté académique, ce qui facilite la reproductibilité. La reconstruction par Gaussian Splatting, popularisée depuis 2023, permet ici de créer des environnements d'entraînement photoréalistes à partir de scans de quelques minutes. Les prochaines étapes naturelles seront d'étendre la méthode à la manipulation bi-manuelle, à des scènes plus dynamiques et à des horizons de prédiction plus longs, où la dérive cinématique reste un problème ouvert.

ConCent : apprentissage centré sur le contact réel-vers-sim-vers-réel depuis une seule démonstration

Déposé sur arXiv fin juin 2026 (arXiv:2606.30268), ConCent (Contact-Centric Real-to-Sim-to-Real) est un framework d'apprentissage par renforcement conçu pour résoudre le transfert sim-to-real dans les tâches de manipulation robotique riche en contacts. L'approche part d'une seule démonstration réelle : à partir de celle-ci, elle extrait automatiquement la séquence d'événements de contact (quand, où et comment les contacts surviennent), puis optimise en simulation la géométrie des objets, approximés comme des groupes de primitives géométriques, pour que la dynamique locale reproduise fidèlement les transitions d'état observées. Cette séquence de contact devient un signal de récompense structuré qui guide la politique RL vers des régimes de contact physiquement plausibles, l'empêchant d'exploiter des artefacts irréalistes du simulateur. Aucune conception manuelle de fonction de récompense par tâche n'est nécessaire. Le noeud du problème que ConCent attaque est le reality gap sur les tâches à fort couplage mécanique (vissage, assemblage précis, manipulation d'objets déformables), où une légère différence de dynamique de contact suffit à invalider une politique entière. Contrairement aux approches par domain randomization ou aux pipelines nécessitant de larges corpus de données réelles, ConCent impose une contrainte structurelle : la politique ne peut progresser qu'en respectant les séquences de contact validées dans le monde réel. Les résultats présentés montrent une meilleure stabilité et robustesse du transfert face à des baselines RL non contraintes. L'absence de reward engineering par tâche représente un gain opérationnel concret pour les équipes souhaitant déployer de nouvelles tâches sans reconfiguration coûteuse. Le problème du sim-to-real pour la manipulation remonte aux travaux fondateurs sur la domain randomization (OpenAI Dactyl, 2019) et aux pipelines de learning from demonstration. Des approches récentes comme la simulation différentiable (DiffTaichi) ou les VLA de type pi0 (Physical Intelligence) et GR00T N2 (NVIDIA) s'attaquent au même reality gap, mais avec des architectures et des volumes de données très différents. ConCent se distingue en ancrant la dynamique simulée sur une démonstration réelle unique, sans calibration manuelle du simulateur. Il s'agit à ce stade d'un preprint académique sans déploiement industriel annoncé, les résultats étant validés en conditions de laboratoire. La suite logique serait une évaluation sur des cycles d'assemblage industriels réels et une comparaison directe avec des architectures VLA pour quantifier l'avantage de l'approche contact-centric à l'échelle.

HumanoidUMI : relier les démonstrations sans robot à la manipulation corps entier des humanoïdes

HumanoidUMI est un framework de collecte de données de démonstration pour robots humanoïdes, déposé le 27 juin 2026 sur arXiv (arXiv:2606.27239v1). Le système permet de capturer des comportements de manipulation corps-entier sans nécessiter l'accès au robot physique pendant la collecte. Concrètement, un opérateur humain équipé d'un casque VR léger et de pinces inspirées du Universal Manipulation Interface (UMI) enregistre des trajectoires creuses de points-clés corporels (keypoints), des images depuis les poignets, et des actions de préhension. Ces démonstrations entraînent une politique de haut niveau qui prédit les keypoints futurs, retargétés en références motrices corps-entier et exécutés par un contrôleur dédié. La méthode a été validée dans cinq scénarios réels de manipulation. Le goulot d'étranglement majeur dans l'apprentissage de compétences pour humanoïdes reste la collecte de données de qualité. Les méthodes actuelles par télé-opération robot exigent un accès matériel coûteux, des opérateurs spécialisés, et souffrent d'un débit limité. En découplant la collecte de données de l'accès au robot, HumanoidUMI ouvre la voie à une scalabilité inédite : n'importe quel opérateur équipé d'un VR grand public peut générer des démonstrations transférables. C'est particulièrement significatif pour la manipulation corps-entier, qui coordonne perception, locomotion et manipulation simultanément, une capacité que l'UMI original, conçu pour les bras seuls, ne couvrait pas. Les résultats sur cinq scénarios réels suggèrent que le retargeting cinématique depuis des keypoints humains peut effectivement réduire le demo-to-real gap. HumanoidUMI s'inscrit dans la filiation directe de l'UMI (Universal Manipulation Interface), développé par des chercheurs de Stanford et Columbia pour la manipulation bras-seul. L'extension aux comportements corps-entier arrive dans un marché sous forte tension : Figure AI (Figure 03, politique Helix), Tesla (Optimus Gen 3), 1X Technologies (NEO) et Physical Intelligence (Pi-0) cherchent tous à réduire le coût de collecte de données pour leurs pipelines d'imitation learning. Les approches VLA (Vision-Language-Action) comme GR00T N2 de NVIDIA ciblent le même objectif via la généralisation zero-shot, faisant de la collecte de données le facteur discriminant de la course humanoïde. Il s'agit pour l'instant d'un preprint académique non encore évalué par des pairs, sans déploiement industriel annoncé, mais la portabilité du dispositif VR laisse entrevoir une adoption rapide dans des pipelines de recherche appliquée.

💬 Le vrai verrou des humanoïdes, c'était pas le moteur, c'était la collecte de données. HumanoidUMI découple ça de l'accès au robot physique, et si tu peux générer des démos transférables avec juste un casque VR grand public, tu changes directement le rythme d'itération de Figure, Tesla et les autres. C'est un preprint avec cinq scénarios réels, bon, mais c'est exactement le type de friction que j'attendais qu'on lève.

Un système pour des comportements loco-manipulatoires rapides, résilients et adaptatifs sur les robots humanoïdes

Des chercheurs de l'IHMC (Institute for Human and Machine Cognition) ont publié une thèse présentant un système de pilotage comportemental pour robots humanoïdes, conçu pour combiner locomotion et manipulation d'objets en temps réel dans des environnements industriels non structurés. Le système, déployé sur cinq plateformes distinctes, le DRC Atlas de Boston Dynamics, le Valkyrie de la NASA, le Nadia d'IHMC et Boardwalk Robotics, le H1-2 d'Unitree et l'Alex d'IHMC, permet à un opérateur de créer, modifier et superviser des comportements directement pendant l'exécution, sans arrêt du robot. La bibliothèque de comportements couvre plus de vingt variantes de tâches réelles : ouverture de portes à poignée rotative, barre anti-panique ou levier, séquences d'exploration multi-étapes, désencombrement d'obstacles et manipulation réactive de surface à surface. Ce travail s'attaque à l'un des verrous fondamentaux de la robotique humanoïde commerciale : la fragilité des comportements face à la variabilité du monde réel. En combinant des "Affordance Templates" centrés sur les objets, une logique inspirée des Behavior Trees et une couche de perception éditable à l'exécution, l'architecture permet d'adapter, d'étendre ou de composer des comportements existants en quelques minutes à quelques heures. C'est une rupture significative par rapport aux pipelines d'apprentissage bout-en-bout, type VLA (Vision-Language-Action), qui nécessitent des cycles d'entraînement longs pour toute nouvelle tâche. Le système repose sur un contrôleur corps-entier autorisant le mouvement des bras pendant la marche, avec un algorithme de superposition d'actions concurrentes pour accélérer les cycles. Le contexte académique est celui du DARPA Robotics Challenge (2013-2015), dont les principes de "Coactive Design", observabilité maximale, prédictibilité, directivité, ont structuré toute l'architecture. Cette thèse constitue une capitalisation de plusieurs années de déploiements multi-robots au sein de l'IHMC, laboratoire fédéral américain historiquement centré sur la locomotion bipède. Face aux approches concurrentes purement end-to-end de Figure AI, Physical Intelligence (pi0) ou Tesla Optimus, ce système positionne un pôle alternatif : contrôle symbolique hybride, intervention opérateur en boucle courte, portabilité multi-plateforme. La prochaine étape naturelle serait une intégration avec des politiques apprises pour les sous-tâches de manipulation fine, comblant le gap sim-to-real que ni l'approche symbolique ni l'apprentissage seul ne résolvent pleinement à ce stade.

CoStream : combiner des comportements simples pour une manipulation complexe et généralisable

Une équipe de chercheurs propose CoStream (arXiv 2606.26423), un cadre de manipulation robotique conçu pour atteindre simultanément précision millimétrique et généralisation à de nouvelles tâches. L'article cible des opérations d'assemblage à haute contrainte de contact comme l'insertion d'un GPU dans un slot PCIe, où les approches existantes échouent sur au moins l'un des deux critères. Le système a été validé sur 8 tâches réelles couvrant manipulation quotidienne et assemblage de précision, avec récupération robuste après perturbations manuelles en cours d'exécution. L'apport central est de rompre avec deux paradigmes dominants : les pipelines classiques, précis mais rigides et coûteux à adapter à chaque nouvelle tâche, et les politiques end-to-end monolithiques, généralisables mais insuffisamment précises hors-distribution sans réentraînement. CoStream orchestre modèles de fondation et modalités de capteurs variées en trois comportements composables : sémantique (extraction de contraintes spatiales via modèles de fondation), prédictif (estimation de trajectoires par tracking de keypoints dans des vidéos imaginées) et réactif (corrections tactiles et de force haute fréquence). Ces sorties se composent par right-multiplication dans l'espace SE(3), produisant une commande de pose unique à chaque pas de contrôle, exécutée par un contrôleur compliant. Les gains les plus significatifs sont observés sur les tâches d'assemblage avec contact et de transfert d'objets, précisément là où la précision et l'adaptabilité sont le plus difficiles à concilier. CoStream s'inscrit dans la tendance qui cherche à exploiter les modèles de fondation visuels et linguistiques pour la planification robotique, tout en conservant des contrôleurs bas niveau fiables pour l'exécution temps réel. Les approches concurrentes les plus directes sont les VLA monolithiques comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, ainsi que les pipelines hiérarchiques classiques. La décomposition modulaire proposée n'implique pas de réentraînement complet pour chaque nouvelle tâche, ce qui constitue le principal argument de rupture avancé par les auteurs. L'article reste un preprint de recherche sans déploiement industriel annoncé ni partenaire de production mentionné ; les performances à l'échelle et hors environnement de laboratoire contrôlé restent à démontrer.

PhysReflect-VLA : faisabilité physique et régulation auto-réflexive pour des modèles VLA fiables

Une équipe de chercheurs a publié fin juin 2026, via arXiv (2606.27146), PhysReflect-VLA, un module d'exécution conçu pour être greffé sur n'importe quel modèle Vision-Language-Action (VLA) existant sans réentraînement complet. L'architecture repose sur trois composants : un opérateur de faisabilité (Feasibility Operator) qui évalue si une action candidate produit une transition d'état dynamiquement cohérente avant exécution, un opérateur d'explication d'action (Action Explanation Operator) qui vérifie la cohérence de la transition, et un module de réflexion basé sur un LLM qui analyse les écarts d'état observés pour générer des corrections à la volée. Le tout s'intègre dans une boucle de contrôle fermée via une procédure d'entraînement en deux étapes. Sur des tâches de manipulation multi-étapes impliquant des contacts riches en environnement réel, PhysReflect-VLA affiche un gain moyen de 5,4 % de taux de succès par rapport aux baselines VLA représentatifs testés. Ce résultat, modeste en valeur absolue, adresse un point structurel des VLA actuels : ils fonctionnent en mode feed-forward, sans mécanisme d'auto-correction en ligne. Le problème est connu dans le domaine sous le terme de "recovery from disturbances", dès qu'un contact imprévu perturbe la trajectoire, la politique ne sait pas diagnostiquer l'échec et continuer. L'approche plug-and-play est stratégiquement intéressante pour les intégrateurs : elle évite de requalifier un modèle VLA entier (coût computationnel et données considérables) pour améliorer la robustesse en déploiement. Les ablations confirment que les deux composants, faisabilité et réflexion, contribuent indépendamment au gain, ce qui suggère une modularité réelle plutôt qu'un effet de combinaison artificiel. Cela dit, un gain de 5,4 % sur des benchmarks internes, sans précision sur le nombre de tâches, de répétitions, ni le profil de défaillance évité, mérite prudence avant généralisation. Les VLA comme pi0 (Physical Intelligence), OpenVLA (Berkeley), ou les variantes GR00T N2 de NVIDIA constituent le terrain sur lequel ce module se pose. La tendance récente dans la recherche en manipulation est précisément de dépasser le "sim-to-real gap" et de rendre ces politiques robustes aux perturbations contact, deux problèmes que PhysReflect-VLA cible explicitement. L'abstract ne mentionne pas l'institution d'origine ni de code public disponible, ce qui limite l'évaluation indépendante à ce stade. Les prochaines étapes naturelles seraient une intégration sur des VLA à grande échelle comme pi0 ou OpenVLA-OFT, et des tests sur plateformes humanoïdes où les transitions d'état en contact sont particulièrement critiques. Ce type de framework d'exécution supervisée pourrait également intéresser des acteurs européens actifs sur la couche contrôle, comme Enchanted Tools (Mirokaï) ou les équipes robotique d'IRT Jules Verne.

💬 5,4 % de gain sur des benchmarks internes sans code public ni institution connue, je reste prudent. Mais le problème qu'ils ciblent est réel : les VLA actuels ne savent pas se rattraper quand un contact imprévu perturbe la trajectoire, c'est un défaut structurel de toute l'approche feed-forward. Ce que j'attendais, c'est ce genre de module de supervision plug-and-play, parce que requalifier un VLA complet pour chaque déploiement c'est hors budget pour 99 % des intégrateurs.

ForesightSafety-VLA : un benchmark unifié de diagnostic de sécurité pour les modèles vision-langage-action (VLA)

Une équipe de recherche a publié sur arXiv (réf. 2606.27079) un benchmark diagnostique baptisé ForesightSafety-VLA, conçu pour évaluer spécifiquement la sécurité des modèles vision-langage-action (VLA) en robotique incarnée. Le système propose une taxonomie de 13 catégories réparties en trois blocs : Safe-Core (sécurité lors des interactions physiques), Safe-Lang (sécurité côté instruction) et Safe-Vis (sécurité côté perception). Les évaluations portent sur 66 scénarios de base augmentés de contraintes de sécurité, déployés dans le simulateur RoboTwin sur 5 morphologies robotiques distinctes. Les politiques sont testées selon trois axes de variation contrôlée : structure de la scène, commande en langage naturel et observation visuelle. Au-delà du simple taux de succès binaire, le benchmark mesure le risque au niveau processus via deux métriques : le coût de sécurité cumulatif (CC) et le temps d'exposition au risque (RET), complétés par une décomposition en quatre quadrants distinguant succès et échecs sûrs ou dangereux. Les résultats révèlent une lacune structurelle dans l'évaluation des VLA actuels : même les politiques les plus performantes accumulent des coûts de sécurité non négligeables et réussissent des tâches nominales via des trajectoires dangereuses. Plus significatif encore, les variations de structure de scène et d'observation visuelle dégradent la sécurité beaucoup plus fortement que les variations de commandes en langage naturel. Ce résultat contredit l'hypothèse implicite selon laquelle la sécurité serait avant tout un problème de compréhension d'instructions : elle est en réalité étroitement couplée à la perception, à l'ancrage sensorimoteur et à la compétence de contrôle bas niveau. Cela suggère que les filtres de sécurité post-hoc ne suffisent pas à compenser les déficits de perception et de planification. Ce travail s'inscrit dans un contexte où les VLA progressent rapidement vers des capacités généralistes, portés par des modèles comme pi-zéro (Physical Intelligence), OpenVLA ou RT-2 (Google DeepMind), dont les limites de sécurité restent mal documentées dans la littérature. ForesightSafety-VLA tente de combler ce vide méthodologique en imposant la sécurité comme cible principale d'évaluation, plutôt qu'un indicateur secondaire. La publication reste au stade de benchmark de recherche, sans déploiement industriel ni partenariat annoncé. Les suites naturelles concernent l'extension à des environnements réels, à des robots mobiles, et l'intégration du benchmark dans les pipelines d'entraînement pour orienter l'apprentissage vers des comportements intrinsèquement sûrs.

Affinage par renforcement des politiques de flux pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (papier 2510.09976v2) un algorithme baptisé Flow Policy Optimization (FPO), conçu pour affiner par renforcement les modèles Vision-Language-Action (VLA) basés sur le flow-matching, en particulier le modèle π₀ (Pi-0) de Physical Intelligence. L'évaluation porte sur deux benchmarks de simulation robotique standards : LIBERO et ALOHA. FPO intègre quatre composants : une attribution de crédit sensible à la structure du réseau (structure-aware credit assignment), des objectifs surrogate clippés à la manière de PPO, une exploration latente multi-étapes, et un ensemble de Q-functions (Q-ensemble) pour estabiliser l'estimation de valeur. Les résultats montrent des gains constants sur le prior d'imitation et sur des baselines concurrentes, dont π₀-FAST, des approches RL autorégressive et diffusion, dans un régime de récompenses éparses. Le verrou technique résolu par FPO est fondamental : les méthodes de policy gradient classiques (PPO, GRPO) requièrent le calcul explicite de ratios de probabilité entre l'ancienne et la nouvelle politique (importance sampling), ce qui est mathématiquement intractable pour les modèles à flow-matching continu comme π₀. FPO contourne ce problème en reformulant l'importance sampling à partir des variations par échantillon de l'objectif conditionnel de flow-matching. C'est un déblocage algorithmique, pas un simple réglage d'hyperparamètres. Cela signifie que la famille de modèles la plus performante actuellement pour la manipulation généraliste, les VLA basées sur des politiques diffusion/flow, devient désormais accessible au fine-tuning par RL en ligne, sans qu'il faille revenir à des architectures autorégressive ou gaussiennes moins expressives. Le contexte est celui d'une course intense pour convertir la généralisation des grands modèles VLA en performance réelle sur tâches industrielles. π₀, développé par Physical Intelligence (ex-chercheurs de Google DeepMind et Stanford, fondée en 2023), a démontré une polyvalence remarquable sur données multi-robot, mais reste contraint par la qualité de ses démonstrations supervisées. FPO s'inscrit dans une tendance plus large, après RFT sur LLMs (DeepSeek-R1, Qwen), d'appliquer le fine-tuning par renforcement aux politiques robotiques. Les concurrents directs incluent OpenVLA (Berkeley), Octo (également Berkeley), et les approches RL sur modèles diffusion comme DPPO. Le papier reste pour l'instant en simulation ; le transfert sim-to-real sur π₀ avec FPO n'est pas encore documenté, ce qui constitue la prochaine étape critique avant tout déploiement industriel.

💬 Ce qui bloquait le fine-tuning par RL sur π₀, c'était mathématiquement intractable, pas un détail de tuning. FPO contourne ça proprement, et le résultat c'est que la famille de modèles VLA la plus expressive devient enfin accessible au renforcement en ligne, sans avoir à rétrograder vers des architectures moins capables. La prochaine étape, c'est le sim-to-real, et là j'attends de voir.

PhyGile : génération de mouvements guidée par préfixe physique pour le suivi agile d'humanoïdes généralistes

Une équipe de chercheurs a publié PhyGile (arXiv:2603.19305v2), un framework unifié visant à combler le fossé entre la génération de mouvements en texte naturel et l'exécution physiquement réaliste sur robots humanoïdes réels. Le problème central que ce travail adresse est connu dans le secteur sous le nom de "reality gap" : les modèles text-to-motion existants sont entraînés sur des captures de mouvement humain, ce qui leur confère des priors biomécaniques incompatibles avec les robots (distribution de masse, stratégies de contact, actuation). Résultat : les trajectoires générées paraissent géométriquement correctes (limites articulaires respectées, continuité de pose), mais violent la faisabilité physique dès qu'on tente de les exécuter. PhyGile génère directement des mouvements natifs-robot dans un espace squelettique à 262 dimensions, guidé par des "physics prefixes" calculés à l'inférence, éliminant ainsi l'étape de retargeting et ses artefacts. Le contrôleur General Motion Tracking (GMT) est d'abord entraîné avec un schéma curriculum à mixture-of-experts, puis affiné sur des données de mouvement non étiquetées pour améliorer la robustesse, avant une phase d'adaptation fine guidée par les préfixes physiques. Des expériences offline et sur robots réels valident l'approche sur des mouvements agiles et à haute dynamique dépassant la marche ou les locomotions lentes habituellement testées. Sur le plan de l'impact sectoriel, ce papier s'attaque à l'un des problèmes les plus résistants de la commande humanoïde : le sim-to-real pour des mouvements expressifs et agiles, pas seulement pour la marche stable. La démonstration sur robots réels (et pas uniquement en simulation) est notable, même si les vidéos sélectionnées restent une métrique partielle et difficile à généraliser sans benchmarks standardisés. Pour les intégrateurs et les équipes R&D, l'approche mixture-of-experts combinée à une adaptation post-entraînement sur données non étiquetées représente une voie pragmatique pour étendre la couverture de mouvement sans collecter massivement de nouvelles données étiquetées. Ce travail s'inscrit dans un contexte de compétition intense autour du contrôle locomoteur humanoïde. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Agility Robotics travaillent tous sur des pipelines VLA (Vision-Language-Action) ou text-to-motion à large échelle. PhyGile se distingue en ciblant explicitement les mouvements agiles entiers du corps, là où la plupart des travaux récents se concentrent sur la manipulation ou la locomotion basique. Le papier étant une révision arXiv (v2), il n'y a pas encore d'annonce de déploiement industriel ni de partenariat commercial associé.

RARM : modèle de récompenses de progression à seuil de confiance pour l'apprentissage par renforcement en manipulation

Des chercheurs ont publié sur arXiv (réf. 2606.22027) RARM, pour Reference-Anchored Reward Model, une approche visant à résoudre un verrou central de l'apprentissage par renforcement (RL) en manipulation robotique : la conception des fonctions de récompense. La méthode repose sur un comparateur visuel léger qui, à partir d'une seule démonstration réussie, génère automatiquement un signal de récompense dense et progressif. RARM est pré-entraîné une unique fois sur des vidéos généralistes via un objectif de contraste temporel, sans données robot-spécifiques ni étiquetage manuel. Au déploiement, il compare des extraits de la tentative courante à des clips de référence et ne délivre une récompense que lorsque la correspondance dépasse un seuil de confiance (d'où l'appellation confidence-gated). Évalué sur 9 tâches de manipulation simulées issues des benchmarks LIBERO et MetaWorld ainsi que sur 4 tâches réelles, RARM obtient les meilleurs taux de succès globaux en entraînement RL, avec des gains particulièrement marqués sur des tâches longue durée comme le pliage de tissu. Le verrou qu'attaque RARM est fondamental : les récompenses éparses (succès/échec en fin de séquence) produisent un signal trop faible pour les tâches longues, tandis que les récompenses denses codées manuellement exigent une ingénierie fastidieuse et se généralisent mal d'une tâche à l'autre. Les approches de progression existantes souffraient d'un biais critique : elles attribuaient des récompenses élevées à des états visuellement plausibles mais physiquement incorrects, ce que la porte de confiance de RARM réduit directement. L'implication concrète pour les intégrateurs est qu'une seule vidéo de démonstration humaine suffit désormais à bootstrapper l'entraînement RL sur une nouvelle tâche, sans ré-ingénierie de la fonction de récompense. RARM se positionne en concurrence directe avec EUREKA (OpenAI, génération de récompenses via LLM) et les méthodes d'imitation inverse (IRL), dont il se distingue par sa légèreté et l'absence de données robot-spécifiques. Son objectif de généralisation le rapproche des ambitions des modèles VLA comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La publication reste un preprint arXiv, pas encore un produit ni un déploiement industriel ; les prochaines étapes attendues incluent une validation sur des plateformes hardware diversifiées et une intégration dans des pipelines de fine-tuning de modèles fondationnels robotiques.

Apprentissage d'une politique de suivi de trajectoire asynchrone dans l'espace des tâches du haut du corps pour robots humanoïdes

Des chercheurs ont publié le 25 juin 2026 sur arXiv (preprint 2606.25706) un cadre de contrôle baptisé "asynchronous upper body task-space tracking" pour robots humanoïdes. Le problème qu'ils adressent est architectural : les planificateurs de haut niveau génèrent des trajectoires dans l'espace des tâches à faible fréquence (quelques Hz), alors que les contrôleurs de corps entier tournent à haute fréquence (typiquement plusieurs centaines de Hz). Cette désynchronisation temporelle entre planification et exécution produit des dérives de référentiel et des incohérences dans le contrôle. Pour y remédier, l'équipe propose une politique étudiante initialisée par distillation enseignant-étudiant, conditionnée sur la trajectoire future complète mise en cache et un index d'exécution temporel, puis entraînée avec une récompense globale à fenêtre glissante. Un module MPC (Model Predictive Control) complète les références creuses en guidage corps flottant et membre supérieur, tandis que des contraintes au niveau des actions et de la cinématique directe (FK) limitent la dérive de la politique. Les expériences ont été conduites en simulation et sur le robot Unitree G1, un humanoïde commercial à 23 degrés de liberté. Ce travail touche un goulot d'étranglement concret qui freine la commercialisation des humanoïdes : la chaîne planification-exécution reste fragmentée dans la quasi-totalité des architectures actuelles, forçant des compromis entre réactivité et cohérence de mouvement. Le fait que la politique obtienne de meilleures performances que les baselines synchrones et découplées, et qu'elle s'adapte plus sûrement aux mouvements hors distribution, suggère une progression vers un déploiement robuste en environnement non contrôlé. L'approche sans estimation explicite de référentiel réduit aussi la charge computationnelle, ce qui est pertinent pour les intégrateurs industriels cherchant à embarquer le traitement. Toutefois, il s'agit d'un preprint non encore évalué par les pairs, et les métriques de suivi de trajectoire présentées restent contextualisées à des scénarios de laboratoire ; la généralisabilité à des tâches industrielles réelles reste à démontrer. Unitree Robotics, fabricant chinois fondé en 2016, s'est imposé comme fournisseur de plateformes de recherche abordables avec des robots quadrupèdes puis le G1 humanoïde. Ce contexte explique le choix du matériel : le G1 est accessible à de nombreux labos académiques, ce qui élargit la portée reproductible des résultats. Sur le fond, la course à la maîtrise du pipeline planification-exécution pour les humanoïdes mobilise simultanément Figure (02 et bientôt 03), Tesla Optimus, Agility Robotics, 1X Technologies et les laboratoires académiques liés à Physical Intelligence (Pi-0) et à NVIDIA (GR00T N2). La distillation enseignant-étudiant couplée au MPC comme module de complétion de trajectoire s'inscrit dans une tendance plus large : combler le sim-to-real gap par des architectures hybrides apprises/optimisées plutôt que par du RL pur. Les prochaines étapes naturelles seraient une validation sur des cycles de manipulation répétitifs en cadence industrielle et une intégration avec des VLA (Vision-Language-Action models) pour fermer la boucle perception-planification-exécution.

Prior Reinforce : manipulation dynamique conditionnée par objectif avec peu d'essais

Des chercheurs présentent dans l'arXiv 2505.21916 (version 3, juin 2026) Prior Reinforce (P.R.), un cadre d'apprentissage pour la manipulation dynamique conditionnée par objectif en faible nombre d'essais. La méthode opère en deux phases : elle apprend d'abord un manifold de mouvements structuré à partir d'un petit jeu de démonstrations via un modèle de diffusion conditionnel, puis adapte ces mouvements vers de nouveaux objectifs par optimisation guidée par le retour d'expérience dans un espace de conditions de basse dimension. Sur des tâches réelles comme le lancer de basketball dans un panier (mouvement open-loop rapide et précis), P.R. atteint de nouveaux objectifs en dix essais terrain au total, avec robustesse au bruit de perception et aux incertitudes matérielles. L'intérêt de cette contribution tient à un verrou bien identifié : la manipulation dynamique agile reste résistante aux méthodes dominantes (apprentissage par renforcement à grande échelle, imitation learning classique, modélisation dynamique précise) parce que de faibles variations de trajectoire y produisent de larges écarts d'issue, rendant le signal d'apprentissage rare et bruité. En séparant génération de mouvement et adaptation par résultat, P.R. contourne le besoin d'un modèle dynamique précis et réduit drastiquement le coût d'acquisition : dix essais réels là où les approches RL standard en exigent souvent plusieurs milliers. Pour un intégrateur ou un opérateur industriel, cela se traduit par une reconfiguration rapide sur site sans phase de simulation extensive ni budget d'essais prohibitif. La manipulation dynamique constitue l'un des derniers angles morts des politiques visuomotrices récentes : les VLA (Vision-Language-Action) et les diffusion policies (Diffusion Policy de Chi et al., 2023, π0 de Physical Intelligence) excellent sur les tâches précises et quasi-statiques, mais peinent sur les mouvements balistiques à forte vitesse. P.R. s'inscrit dans un courant de travaux cherchant à marier la richesse des modèles génératifs de trajectoires avec l'efficacité de l'adaptation en ligne, une direction également explorée par des équipes comme celles de Stanford (SAILOR) ou de l'ETH Zurich. Le projet est hébergé sur adap-robotics.github.io ; aucun partenaire industriel ni calendrier de déploiement n'est mentionné, ce qui situe ce travail clairement au stade de la preuve de concept académique.

💬 Dix essais terrain pour apprendre à lancer un ballon dans un panier, c'est le genre de chiffre qui fait mal à tous ceux qui tournent encore avec des boucles RL à plusieurs milliers d'itérations. Ce qui compte ici, c'est moins la démo en elle-même que ce qu'elle révèle : les grandes politiques visuomotrices du moment (VLA, diffusion policies) sont excellentes sur les gestes précis et lents, mais les mouvements balistiques rapides restent leur angle mort presque intouché. P.R. n'est encore qu'une preuve de concept académique, mais la direction est bonne.

Au-delà du progrès monotone : apprentissage de la valeur supervisé par réessais pour l'imitation robotique

Des chercheurs proposent ReTVL (ReTry-Supervised Value Learning), publié sur arXiv (2606.24633) le 24 juin 2026, un cadre d'apprentissage par imitation conçu pour exploiter les démonstrations robotiques imparfaites plutôt que de les éliminer. Le constat de départ : lorsqu'un opérateur humain rate une prise, repositionne un objet ou recommence une séquence, ces instants de relance constituent une information structurée sur l'échec d'exécution et la manière d'en sortir. ReTVL identifie ces événements de "retry" comme supervision parcimonieuse sous forme de keypoints annotés, combine une calibration de progression globale avec un apprentissage par préférence par paires (pairwise preference learning) au niveau local, puis utilise le modèle de valeur résultant pour repondérer les chunks de démonstration en behavior cloning. Des tests sur des tâches de manipulation réelle montrent des estimations de valeur plus fines que les baselines à progression monotone. L'enjeu est direct pour les équipes qui constituent des datasets de téléopération : le tri manuel des démonstrations imparfaites est coûteux, et les modèles de récompense classiques, qui mesurent l'avancement global d'une tâche, ne capturent pas les dégradations locales d'exécution (prise instable, mauvais alignement, contact incertain). Ces erreurs propagées dans le policy appris dégradent silencieusement les performances. ReTVL ouvre une voie pour entraîner des politiques robustes depuis des données non curées, ce que visent des pipelines à grande échelle comme Open X-Embodiment, sans passer par un étiquetage dense ou un RLHF robotique onéreux. Ce travail s'inscrit dans un courant actif sur la qualité des données pour le contrôle robotique, aux côtés de l'apprentissage par renforcement inverse (IRL), des méthodes de préférence de type DPO adaptées au robot, et du filtrage automatique via modèles de fondation tels que Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La distinction de ReTVL est d'exploiter la structure temporelle des retries comme signal disponible naturellement dans toute session de téléopération, sans reward engineering explicite. Il s'agit pour l'instant d'un preprint ; valider l'approche sur des architectures VLA à plus grande échelle et des datasets publics reste la prochaine étape pour confirmer la portée réelle de la méthode.

Vidéo : une entreprise chinoise montre un modèle unique pilotant à la fois un humanoïde et un bras robotique

MindOne Robotics, startup chinoise fondée à Shenzhen en 2025, a présenté une démonstration de son framework robotique Mind-0, capable de piloter simultanément des robots humanoïdes Unitree G1 et des systèmes bras-double fixes à partir d'un unique modèle d'IA. Le scénario illustré couvre un workflow logistique complet: récupération d'objets, transport, emballage et fermeture de caisses, avec une flotte mixte opérant sous la même intelligence centralisée. L'entreprise revendique une précision de manipulation inférieure au centimètre sur la plateforme Unitree G1 en conditions réelles. L'architecture Mind-0 sépare le raisonnement de haut niveau (perception, planification, décision) du contrôle moteur bas niveau, ce qui permet de déployer le même cerveau logiciel sur des morphologies différentes sans pipeline d'entraînement séparé par plateforme. Particularité notable: le modèle est entraîné exclusivement sur des données humaines capturées par motion capture corps entier, caméras égocentrées et dispositifs manuels, et non sur de la téléopération robot directe, ce que MindOn présente comme un moyen de préserver les comportements naturels de résolution de problèmes. L'enjeu industriel est double. D'abord, l'agnosticisme matériel: si un seul modèle orchestre humanoïdes et bras fixes sur une même tâche, les intégrateurs n'ont plus à développer des pipelines d'IA distincts par plateforme, ce qui réduit le coût d'entrée dans les déploiements multi-robots. Ensuite, MindOn s'attaque frontalement au sim-to-real, l'un des verrous les plus persistants de la robotique moderne: son Real-World Execution Compensation Model utilise un volume réduit de données réelles pour corriger les dérives dues aux différences de dynamique entre simulation et environnement physique. Les métriques annoncées (précision sub-centimétrique sur une démonstration sélectionnée) restent toutefois à valider dans des conditions de déploiement industriel répétable, avec cadences et taux d'erreur documentés. Le système de raisonnement hiérarchique compensant les délais d'actuation répond par ailleurs à un problème souvent sous-estimé: contrairement aux démonstrations humaines, les robots subissent des latences de capteur, de calcul et d'actionneur que le modèle doit continuellement corriger en temps réel. MindOne Robotics évolue dans un espace concurrentiel très chargé. Sur l'agnosticisme matériel et les modèles unifiés cross-embodiment, elle fait face à GR00T N2 de NVIDIA (conçu pour humanoïdes multiples), à pi0 de Physical Intelligence (modèle généraliste pour la manipulation), ainsi qu'aux stacks maison de Fourier Intelligence et d'Unitree. En Europe, Enchanted Tools avec son robot Miroka et Wandercraft positionnent des approches verticales différentes. MindOne reste une très jeune société, et cette démonstration constitue à ce stade un teaser technologique, non un produit commercialement déployé: aucun client pilote ni délai de mise en production n'ont été annoncés publiquement. L'entreprise indique vouloir étendre ses datasets humains et industrialiser son pipeline cross-embodiment, sans préciser de calendrier.

Unitree Robotics : domination des coûts face au défi de l'IA dans la course aux robots humanoïdes

Unitree Robotics, fabricant chinois de robots humanoïdes fondé en 2016 par Wang Xingxing, ancien ingénieur chez DJI, affiche une rentabilité que ses concurrents peinent à atteindre. Le robot G1 coûte 8 976 dollars en pièces détachées, ce qui permet de dégager une marge brute de 67 % sur un prix de vente supérieur à 20 000 dollars, quand la plupart des acteurs du secteur peinent à l'équilibre sur des tarifs similaires de 20 000 à 30 000 dollars. Avec plus de 1 000 employés et un chiffre d'affaires annuel dépassant 1,7 milliard de yuans, Unitree revendique deux exercices consécutifs bénéficiaires. Cette structure de coûts repose sur trois piliers : une intégration verticale à plus de 90 % des composants clés (moteurs, réducteurs, encodeurs) fabriqués en interne à 30-40 % du coût occidental équivalent ; une chaîne d'approvisionnement rodée par des années de production de robots quadrupèdes, du Laikago à 45 000 dollars en 2018 au Go2 à 1 400 dollars en 2023, soit une baisse de 94 % ; et un écosystème manufacturier chinois permettant de recevoir des prototypes personnalisés en une semaine, contre plusieurs trimestres pour les concurrents américains. L'avantage en coût est réel, mais il ne couvre pas encore le spectre complet du marché industriel. Environ 70 % du chiffre d'affaires provient de la recherche et de l'enseignement, signal clair que le fossé entre démonstration et déploiement n'est pas comblé. Les capacités de contrôle du mouvement sont indéniables : backflips documentés, chorégraphies coordonnées à grande échelle. En revanche, l'investissement en IA incarnée (embodied AI) accuse un retard structurel. Lors d'une collaboration avec NVIDIA, c'est une main dextre tierce qui a été utilisée plutôt que la série DEX d'Unitree, ce qui révèle des lacunes en perception tactile. La croissance du chiffre d'affaires, qui dépassait 300 % en glissement annuel, est tombée à 68 % au premier trimestre 2026, tandis que le bénéfice net non-GAAP a chuté de plus de 50 % sur la même période. L'IPO en préparation prévoit d'allouer près de la moitié des 4,2 milliards de yuans levés à la R&D sur les modèles de robots intelligents, confirmant que la compétitivité IA reste le point faible à combler en priorité. Unitree s'est construit sur une base quadrupède, catégorie dans laquelle il a compressé les coûts sur plusieurs générations avant de pivoter vers l'humanoïde. La concurrence s'intensifie sur plusieurs fronts simultanément : Tesla avec Optimus, Xiaomi avec CyberOne, XPeng avec le PX5, et plus de 150 rivaux domestiques chinois, sans compter les acteurs américains comme Figure Robotics, Physical Intelligence ou Boston Dynamics. Les trois prochaines années seront déterminantes : l'avantage de coût actuel constitue une position défendable, mais seulement si Unitree parvient à combler son retard sur les modèles VLA (vision-language-action) et à convertir ses démonstrations en déploiements industriels réels et récurrents.

Apporte ma tasse ! Personnalisation des modèles vision-langage-action par prompting visuel attentionnel

Des chercheurs ont publié en décembre 2024 (arXiv:2512.20014) une méthode appelée Visual Attentive Prompting (VAP), conçue pour permettre aux modèles Vision-Language-Action (VLA) de répondre à des consignes personnalisées du type "apporte ma tasse". Le problème adressé est précis : un VLA classique, même performant sur des instructions génériques, échoue à identifier un objet spécifique parmi plusieurs visuellement identiques sans avoir été entraîné sur cet objet. VAP fonctionne sans ré-entraînement (training-free), c'est son argument central. Il prend quelques images de référence de l'objet cible, effectue une détection en vocabulaire ouvert dans la scène, compare les embeddings visuels pour localiser l'instance correcte, puis injecte cette localisation directement dans le flux d'entrée du VLA : surlignage de l'objet et réécriture de l'instruction. Les auteurs ont construit deux benchmarks en simulation (Personalized-SIMPLER et Personalized-VLABench) et un benchmark réel sur table pour valider l'approche sur plusieurs robots et tâches. VAP surpasse les politiques génériques et les baselines par apprentissage de tokens, à la fois en taux de succès global et en taux de manipulation du bon objet. L'enjeu industriel derrière ce travail est la personnalisation au niveau de l'instance, un verrou jusqu'ici sous-traité dans la recherche VLA. Pour un intégrateur ou un COO déployant des robots en environnement résidentiel ou hospitalier, la capacité à distinguer "la tasse de Paul" de "la tasse de Marie" sans pipeline d'apprentissage dédié par utilisateur représente un gain opérationnel significatif. VAP démontre que l'attention sélective top-down, couplée à une mémoire visuelle non-paramétrique, peut combler l'écart entre compréhension sémantique et contrôle au niveau de l'instance, un problème que les approches fondées sur le langage seul ne résolvent pas. L'absence de ré-entraînement est un avantage de déploiement réel, même si les benchmarks restent à l'échelle tabletop, loin de la chaîne logistique. Ce travail s'inscrit dans la dynamique post-RT-2 et post-OpenVLA : les VLA généralistes (π0 de Physical Intelligence, GR00T N2 de NVIDIA, ou encore les approches Octo et RoboFlamingo) excellent sur des distributions larges mais restent aveugles à la sémantique d'instance. VAP propose une surcouche légère compatible avec n'importe quel VLA gelé, ce qui le positionne comme un adaptateur potentiel pour des systèmes existants plutôt qu'un modèle concurrent. Les prochaines étapes naturelles incluent des tests hors tabletop (manipulation mobile, environnements encombrés), l'évaluation à plus grande échelle d'objets personnels, et l'intégration dans des frameworks open-source comme LeRobot d'Hugging Face. Aucun partenariat industriel ni timeline de commercialisation n'est mentionné dans la publication.

💬 Le vrai verrou des robots en environnement réel, c'est pas la compréhension du langage, c'est la sémantique d'instance : distinguer "ma tasse" de "ta tasse" sans ré-entraîner le modèle pour chaque utilisateur. VAP règle exactement ça, avec quelques photos de référence et une surcouche légère compatible avec n'importe quel VLA existant. Reste à voir ce que ça donne hors tabletop, mais comme brique vers des robots vraiment personnalisables en déploiement réel, c'est ce qui manquait.

WeaveLA : mémoire latente inter-sous-tâches pilotée par événements pour la manipulation robotique répétitive

Des chercheurs ont publié WeaveLA (Weave Latent Memory for Vision-Language-Action Policies) sur arXiv (identifiant 2606.17463v1), un module de mémoire inter-sous-tâches qui se greffe sur un backbone VLA gelé, en l'occurrence π₀.₅ de Physical Intelligence, sans modifier ses poids. À chaque franchissement d'un sous-objectif, WeaveLA compresse le segment d'actions accompli en tokens latents via attention pooling guidé par requêtes, puis injecte ces tokens dans le chemin de génération d'actions du sous-objectif suivant. Évalué sur le benchmark RoboMME, le résultat le plus saillant porte sur la tranche "SwingXtimes" à N=3 répétitions : le taux de succès passe de 0 % à 47,8 %, tandis que les épisodes à exécution unique restent inchangés, confirmant que les gains sont strictement confinés aux tâches causalement dépendantes entre sous-objectifs. Ce résultat pointe une limite structurelle précise des VLA à fenêtre courte : l'absence d'un canal explicite pour propager l'état entre sous-tâches. Les architectures actuelles, qu'il s'agisse de π₀, OpenVLA ou des variantes à mémoire existantes, gèrent bien la manipulation pas-à-pas, mais peinent dès que la réussite d'une étape conditionne la suivante. WeaveLA montre qu'un module léger, déclenché uniquement sur les événements de complétion de sous-objectifs, suffit à corriger cette fragilité sans régression sur les tâches simples. C'est un signal favorable pour les intégrateurs industriels qui cherchent à déployer des politiques génériques sur des workflows multi-étapes sans réentraîner l'intégralité du modèle. Le backbone π₀.₅ utilisé est celui de Physical Intelligence, startup fondée à San Francisco en 2023 et ayant levé environ 400 millions de dollars, devenue référence de facto en manipulation généraliste. WeaveLA s'inscrit dans un courant visant à augmenter les VLA par des modules de mémoire externe plutôt que de les remplacer, une direction concurrente aux travaux de Google DeepMind (RT-2, RT-X), NVIDIA (GR00T N2) et Figure AI (Helix). Étant un preprint non relu par les pairs, le travail ne s'accompagne d'aucun calendrier de déploiement ni de partenariat annoncé, et ses résultats, obtenus en environnement simulé, restent à valider sur des plateformes réelles.

DexLink Hand : une main compacte et abordable à 16 degrés de liberté dotée d'une dextérité humaine

Une équipe de chercheurs a publié fin juin 2026 sur arXiv (arXiv:2606.17418) les spécifications techniques de la DexLink Hand, une main robotique anthropomorphe à 16 degrés de liberté intégrant 20 articulations commandées par 16 actionneurs indépendants. Le prototype, de la taille d'une main humaine, pèse 320 grammes et affiche un coût total inférieur à 400 dollars, un seuil rarissime pour ce niveau de polyvalence. L'architecture mécanique repose sur un système hybride de mécanismes à liaisons planes et spatiales, permettant des mouvements multidirectionnels découplés, des synergies articulaires biomimétiques et une forte capacité de charge passive sans actionnement. Le pouce intègre des caractéristiques biomimétiques supportant les mouvements de reconfiguration et d'opposition propres à la main humaine. Lors des évaluations expérimentales, la main a atteint le score de Kapandji maximal (référence standard en chirurgie et robotique pour évaluer l'amplitude de mouvement du pouce) et a reproduit les 33 types de préhension du catalogue Feix, couvrant l'intégralité des prises répertoriées sur des sujets humains. L'intérêt industriel du travail réside principalement dans le ratio coût/dextérité : les mains robotiques commerciales atteignant un niveau comparable (Shadow Dexterous Hand, Allegro Hand) se situent entre 5 000 et 70 000 dollars, rendant leur déploiement en série peu viable. Un module à moins de 400 dollars change les calculs pour les intégrateurs de robots humanoïdes ou de cellules de téléopération. La masse de 320 g est également compatible avec les bras des humanoïdes de nouvelle génération, dont les payloads distaux sont souvent contraints à moins de 500 g. La reproduction de l'intégralité des types Feix constitue une donnée concrète pour le robot learning : les datasets entraînés sur des démonstrations humaines deviennent directement exploitables sans remapping cinématique, ce qui réduit le gap sim-to-real pour les approches VLA (vision-language-action). Le défi de la main dextère est structurel dans le secteur : la majorité des plateformes humanoïdes commerciales (Figure 03, Tesla Optimus Gen 3, Agility Digit, Unitree H1) utilisent encore des mains simplifiées à 2 à 6 DOF pour des raisons de robustesse et de coût. Ce prototype reste pour l'heure un démonstrateur académique sans annonce de commercialisation ni partenariat industriel déclaré. Les chercheurs le positionnent explicitement pour la manipulation dextère, la téléopération et le robot learning en environnements centrés sur l'humain, des cas d'usage directement alignés avec les feuilles de route de Boston Dynamics, de 1X Technologies ou des équipes travaillant sur Pi-0 (Physical Intelligence). Aucune timeline d'intégration sur un bras complet ni d'évaluation en conditions industrielles n'est communiquée.

Piloter l'apprentissage par renforcement génératif vers un contrôleur robotique stable

Des chercheurs ont publié fin juin 2026 sur arXiv (2606.16572) SteerGenPO, un cadre d'apprentissage par renforcement en espace latent destiné à transformer une politique générative entraînée, basée sur la diffusion ou les flux normalisants, en un contrôleur robotique déterministe et stable. Le système a été évalué sur six benchmarks Isaac Lab d'NVIDIA et sur une tâche de locomotion avec le robot humanoïde Unitree G1, avec des résultats supérieurs aux baselines RL classiques et génératives selon les auteurs. Il s'agit d'une publication académique en pré-impression, sans déploiement industriel annoncé ni validation terrain au-delà du G1. Le verrou technique adressé est connu : les politiques de diffusion accumulent des variations d'action à chaque pas de temps, ce qui dégrade la stabilité sur des systèmes robotiques à haute dimensionnalité. SteerGenPO sépare architecturalement exploration et contrôle : l'échantillonnage stochastique reste actif à l'entraînement pour diversifier les proposals d'actions, mais au déploiement, un acteur latent appris prédit une entrée déterministe et dépendante de l'état qui pilote la politique générative sans bruit résiduel. Pour les intégrateurs, la proposition n'exige pas de réentraîner la politique depuis zéro : elle greffe un mécanisme de pilotage sur un checkpoint pré-entraîné existant, ce qui ouvre la voie à l'exploitation de modèles fondation tout en garantissant la reproductibilité des trajectoires en production. Ce travail s'inscrit dans la compétition intense autour des politiques génératives en robotique. Physical Intelligence avec Pi-0 (2024) et NVIDIA avec GR00T N2 (2025) ont validé l'approche VLA-diffusion en environnements contrôlés, mais les questions sur la robustesse à l'inférence longue restent ouvertes. Boston Dynamics, Agility Robotics et Figure AI privilégient des pipelines de contrôle plus classiques pour la fiabilité en production. SteerGenPO propose une voie médiane : capitaliser sur la richesse exploratoire des modèles génératifs sans en subir l'instabilité au déploiement. Aucune timeline, partenariat industriel ni essai terrain n'est mentionné dans le préprint ; les prochaines validations naturelles porteraient sur la manipulation dextère et des tests sim-to-real approfondis.

Récupérer plutôt que réentraîner : étendre les modèles vision-langage-action (VLA) à de nouvelles tâches au moment de l'inférence

Des chercheurs ont publié en juin 2026 (arXiv:2606.15631) une méthode permettant d'étendre un modèle VLA (Vision-Language-Action) à de nouvelles tâches sans réentraînement par tâche. Le principe : remplacer le fine-tuning par de la récupération d'exemples (retrieval) au moment du déploiement. La politique est entraînée une seule fois sur des démonstrations appariées entre deux embodiments, le robot cible et un embodiment moins coûteux, typiquement une vidéo de main humaine, puis gelée définitivement. Pour ajouter une nouvelle tâche, il suffit d'indexer des démonstrations supplémentaires dans un pool de récupération : aucune mise à jour de paramètres n'est nécessaire. À chaque pas de contrôle, la politique gelée conditionne ses actions sur des trajectoires récupérées dynamiquement. Un fine-tuning reste nécessaire uniquement lors du passage à un embodiment entièrement inconnu, pas pour chaque nouvelle tâche. La méthode a été validée sur les benchmarks PushT et RoboTwin 2.0, ainsi que sur un robot réel. Ce résultat s'attaque directement au principal frein au déploiement industriel des politiques VLA : le coût d'adaptation par tâche. Aujourd'hui, intégrer une nouvelle tâche dans un système VLA exige des démonstrations téléopérées et un fine-tuning intensif en calcul, une barrière réelle pour les intégrateurs devant couvrir des dizaines de SKU ou de postes de travail. Remplacer ce cycle par une simple indexation de données change radicalement l'équation économique. L'effet est notable sur des backbones VLA standard, mais il est surtout prononcé avec Cosmos Policy, le world-action model (WAM) de NVIDIA basé sur la génération vidéo : le retrieval fournit la progression macroscopique de la tâche, tandis que l'objectif de prédiction d'images futures du WAM renforce la cohérence des actions conditionnées. Cela suggère que les modèles de robotique générative de prochaine génération sont particulièrement bien positionnés pour tirer parti de cette approche. Le retrieval-augmented generation (RAG) est une technique établie en traitement du langage naturel ; son application aux politiques de contrôle robotique est plus récente. Les modèles VLA actuels, π0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind, offrent une bonne généralisation mais exigent toujours un fine-tuning par tâche pour être fiables en production. RoboTwin 2.0 est un benchmark récent pour la manipulation bimanuale. L'aspect cross-embodiment, qui utilise des vidéos de main humaine comme source bon marché, est également structurant : il ouvre la possibilité de collecter des données de déploiement sans robot. Les prochaines étapes naturelles incluent des expériences à plus grande échelle de pools de démonstrations et une intégration avec des systèmes de récupération dense type FAISS pour des catalogues de tâches industrielles larges.

Agir en comprenant : découplage asynchrone sémantique-action pour les modèles VLA en temps réel

Des chercheurs proposent, dans un preprint déposé en juin 2026 sur arXiv (2606.15285), un cadre asynchrone baptisé "semantic-action decoupling" qui découple l'inférence sémantique de la génération d'actions au sein des modèles Vision-Language-Action (VLA). L'architecture divise le VLA en deux modules distincts: un module de compréhension à basse fréquence qui met à jour de manière asynchrone des conditions sémantiques réutilisables, et un module d'action à haute fréquence qui produit en continu des commandes de contrôle sans relancer l'intégralité du modèle. Testée sur le benchmark LIBERO avec les modèles π₀.₅ (Physical Intelligence) et UniVLA, ainsi que sur un robot réel avec UniVLA, la méthode atteint un débit d'inférence côté serveur allant jusqu'à 35,6 Hz pour le seul module d'action. Pour compenser le décalage temporel entre des représentations sémantiques potentiellement périmées et l'état d'exécution courant, les auteurs introduisent deux mécanismes additionnels: le conditionnement sur l'historique des actions passées, et un entraînement explicite à la désynchronisation temporelle (time-misalignment training). Ce résultat s'attaque à l'un des verrous centraux du déploiement industriel des VLA: leur coût computationnel élevé les contraint aujourd'hui à des fréquences de contrôle trop basses pour des tâches de manipulation rapide ou réactive. Atteindre 35,6 Hz sans modifier le backbone vision-langage ni introduire un planificateur externe est non trivial, car cela signifie qu'un intégrateur peut greffer cette optimisation sur un VLA existant sans refonte architecturale. Le travail apporte une réponse partielle au "demo vs. reality gap" souvent reproché aux VLA: en maintenant un contrôle en boucle fermée à haute fréquence, le système peut absorber des perturbations que des architectures synchrones rateraient. Il reste que les métriques publiées correspondent à un throughput serveur, et non à une latence de bout en bout sur un système embarqué, ce qui nuance la portée opérationnelle immédiate. Les VLA sont devenus l'architecture dominante en robotique de manipulation depuis π₀ (Physical Intelligence, 2024) et les travaux de Google DeepMind sur RT-2, OpenVLA et leurs successeurs. UniVLA, lui, est issu de travaux récents visant à unifier les modalités de commande dans un modèle unique. La problématique de la fréquence de contrôle est traitée en parallèle par plusieurs équipes: Physical Intelligence avec π₀.₅, mais aussi des approches par distillation ou par action chunking (ACT, Diffusion Policy). Ce preprint ne présente pas encore de déploiement industriel ni de timeline commerciale, mais il ouvre une voie d'optimisation compatible avec des VLA open-source, ce qui pourrait accélérer l'adoption par des intégrateurs disposant d'une infrastructure GPU serveur sans retraîner leurs modèles de base.

RHO : votre agent de code est secrètement un roboticien

Des chercheurs ont publié en juin 2026 une méthode nommée RHO (Robotics Harness Optimization), qui repense l'usage des LLM pour le contrôle robotique. Plutôt que de générer du code en boucle pendant l'exécution, comme le font les systèmes Code-as-Policies actuels, RHO déplace l'optimisation à l'entraînement : des agents codeurs explorent des dépôts de politiques multi-fichiers (Repositories-as-Policies), composant des primitives de perception, planification et contrôle, avec pour seul signal du reward d'environnement, sans démos téléopérées. À l'exécution, le robot tourne sur du code statique. Sur le benchmark LIBERO-PRO (saisie-dépose avec perturbations), OpenVLA plafonne à 0,0 % et π₀.₅ de Physical Intelligence atteint 12,83 %, contre 45,0 % pour RHO, soit 2,5 fois le meilleur système multi-tour concurrent. Sur Robosuite, RHO fixe un nouveau SOTA à 70,0 % (record précédent : 68,29 %), en exécution single-turn sans corrections LLM au déploiement. Sur le benchmark O3DE de RAI, le taux de succès passe de 23,5 % à 44,3 %, avec 20 % moins de temps horloge et 27 % moins d'appels d'outils. Le résultat pointe un problème concret des VLA (Vision-Language-Action models) et des pipelines Code-as-Policies classiques : itérer avec un LLM à chaque cycle de contrôle est incompatible avec les contraintes temps-réel d'un bras industriel. RHO sépare raisonnement offline et exécution rapide, ce qui rend le déploiement possible sans dépendance cloud en temps réel. Sur LIBERO-PRO, les VLA de Physical Intelligence, parmi les plus robustes du secteur, échouent quasi-systématiquement sur des variantes perturbées que RHO gère à 45 %, ce qui suggère une meilleure généralisation out-of-distribution via l'approche neurosymbolique. Le paradigme Code-as-Policies a été popularisé par des travaux de Google et CMU, mais souffrait de son coût à l'inférence. RHO s'inscrit dans une logique de séparation train/deploy que l'on retrouve dans les approches de compilation de politiques robotiques. Les concurrents directs sur les benchmarks cités sont OpenVLA (Berkeley/Stanford) et π₀.₅ de Physical Intelligence. La recherche est un preprint arXiv (juin 2026), non encore soumis à peer review, et tous les résultats ont été obtenus en simulation ; une validation sur hardware physique et des déploiements industriels réels restent à démontrer.

Politiques VLA auto-améliorantes : lissage d'actions robuste aux artefacts par bruit de diffusion sélectionné

Des chercheurs publient sur arXiv (référence 2606.14084) une méthode baptisée SDN (Selected Diffusion Noise), conçue pour améliorer à l'inférence les politiques VLA (Vision-Language-Action) basées sur la diffusion, sans nécessiter de réentraînement. SDN opère dans l'espace du bruit de diffusion en sélectionnant dynamiquement des vecteurs de bruit maximalement séparés d'un ensemble de référence, ce qui réduit la dépendance aux corrélations visuelles parasites, tout en filtrant les candidats produisant des trajectoires d'action plus cohérentes. La méthode a été évaluée sur deux benchmarks de simulation (Google Robot, Widow-X) et deux jeux de données réels, sur plusieurs politiques VLA majeures dont pi0 (Physical Intelligence), Groot-N1.5 et Groot-N1.6 (NVIDIA). Les gains annoncés sont de +8 points de taux de succès en simulation et +10 points en conditions réelles, avec une réduction mesurable du "action jitter", c'est-à-dire l'instabilité des trajectoires articulaires. Ces résultats sont issus d'un preprint non encore évalué par les pairs. L'intérêt pratique tient à l'approche "training-free" : SDN s'applique à l'inférence sans modifier les paramètres du modèle, ce qui permet d'améliorer un système déjà déployé sans refondre le pipeline ML ni supporter les coûts d'un réentraînement. Pour un intégrateur ou un décideur achetant une solution robotique basée sur une politique VLA, ce type de méthode représente un levier de fiabilité à faible coût opérationnel. La robustesse maintenue sous des observations avec occultation partielle (object-masked observations) est également pertinente pour les environnements industriels réels. SDN s'inscrit dans la tendance plus large des techniques d'optimisation test-time appliquées aux modèles génératifs, analogues au best-of-N sampling dans les LLMs. Les politiques VLA basées sur la diffusion, popularisées par Physical Intelligence (pi0, pi0.5) et NVIDIA Isaac (GR00T N1.5, N1.6), sont devenues en 2025-2026 la référence de facto en manipulation robotique généraliste. Elles héritent toutefois d'une sensibilité aux artefacts visuels hors distribution et d'une certaine instabilité d'action, deux problèmes que SDN cible directement. L'abstract ne mentionne ni affiliation institutionnelle ni dépôt de code public, ce qui limite pour l'instant la reproductibilité et les comparaisons indépendantes. Les prochaines étapes naturelles seraient une validation sur plateformes humanoïdes complètes (Figure, 1X, Unitree H1) et des benchmarks de manipulation plus diversifiés que Widow-X ou Google Robot.

EWAM : un modèle d'action du monde amélioré pour l'adaptation en ligne en boucle fermée dans l'IA incarnée

Une équipe de recherche publie sur arXiv (arXiv:2606.12690, juin 2026) une architecture baptisée EWAM (Enhanced World Action Model), conçue pour adapter un robot à de nouvelles configurations de tâches sans aucun jeu de démonstrations supplémentaires et sans réentraîner le réseau de base. EWAM s'appuie sur Cosmos3, le modèle fondationnel de simulation-prédiction monde développé par NVIDIA, maintenu entièrement gelé. Quatre couches neuronales légères y sont greffées : une couche mémoire d'expérience (Neural Experience Memory Layer) insérée dans les couches intermédiaires du Diffusion Transformer (DiT), qui injecte du contexte d'exécution ; une couche de détection d'anomalies (Neural Anomaly Detection Layer) placée après la tête de prédiction d'état, qui mesure en temps réel la divergence entre état prédit et état observé ; une couche de routage de politique (Neural Policy Routing Layer) qui choisit dynamiquement entre exécution directe, replanification conservative ou rollback de récupération selon la sévérité de l'anomalie ; et une couche de correction d'action (Neural Action Correction Layer) qui affine les séquences d'actions générées à partir des diagnostics d'exécution. L'ensemble est évalué exclusivement en protocole zéro-shot. Ce que montre EWAM, c'est qu'il est possible d'obtenir des gains de performance significatifs à l'inférence uniquement, sans toucher aux poids du modèle de base et sans collecter de nouvelles démonstrations spécifiques à chaque tâche. Pour un intégrateur industriel ou un COO, c'est un signal important : le coût de redéploiement sur de nouveaux layouts d'atelier, qui constitue aujourd'hui l'un des freins majeurs à la généralisation des robots mobiles et des manipulateurs apprenants, pourrait être absorbé par de l'adaptation en ligne plutôt que par des cycles coûteux de collecte de données et de fine-tuning. Le module de détection d'anomalies couplé au routage de récupération adresse directement le "demo-to-reality gap" : les modèles génératifs de type monde peuvent prédire des états plausibles mais diverger sur le terrain ; EWAM tente de corriger cette dérive en boucle fermée. La différenciabilité des modules mémoire, détection et correction dans le chemin forward de Cosmos3 distingue cette approche d'une simple fusion de features en post-processing. Cosmos3 est le modèle monde physique de NVIDIA, successeur de Cosmos1 et Cosmos2, entraîné sur des volumes massifs de vidéos de manipulation et de navigation pour prédire des trajectoires d'états futurs vraisemblables. L'architecture EWAM s'inscrit dans une vague de travaux qui cherchent à exploiter ces fondations gelées plutôt qu'à les réentraîner, une tendance que l'on retrouve aussi dans Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA Robotics) ou les approches VLA (Vision-Language-Action) basées sur des backbones pré-entraînés. Les acteurs concurrents sur ce créneau de l'adaptation légère incluent les équipes de DeepMind (RT-2, AutoRT), de Physical Intelligence et de plusieurs laboratoires universitaires américains et chinois. EWAM est pour l'instant un résultat de recherche académique non déployé en production, et les auteurs ne précisent pas de partenaires industriels ni de calendrier de transfert. Les prochaines étapes naturelles seraient une validation sur hardware réel à grande échelle et une comparaison directe en termes de coût de déploiement face aux méthodes de fine-tuning léger (LoRA, QLoRA) appliquées à ces mêmes backbones.

À l'intérieur de XRZero-G0, un nouveau jeu de données ouvert de 2 000 heures pour la recherche en robotique

X Square Robot a mis en open source XRZero-G0, un système de collecte de données robotiques combinant un casque VR PICO 4 à tracking spatial inside-out, une caméra frontale et deux caméras poignet, ainsi qu'une paire de grippers physiques duals, un gripper en H à actionnement par pression et un gripper en G à entraînement digital. Le dispositif assure une estimation de pose 6-DOF à précision millimétrique et intègre un parsing spatiotemporel embarqué pour synchroniser flux visuels, données de trajectoire et annotations langagières. En parallèle, la société publie le G0-Dataset : 2 000 heures de démonstrations humaines multimodales, disponibles sur HuggingFace avec le code source sur GitHub. Sous conditions expérimentales contrôlées, X Square Robot annonce une réduction des besoins en données réelles pouvant atteindre un facteur 20x : environ 10 épisodes collectés sans robot, combinés à un seul épisode sur robot réel, suffiraient à égaler les performances d'un entraînement purement issu de données robotiques. L'enjeu est direct pour les équipes qui développent des politiques de manipulation dextre : le goulot d'étranglement de l'embodied AI n'est pas le compute, c'est la donnée de qualité à grande échelle. XRZero-G0 formalise ce que le secteur cherche depuis plusieurs années, une pipeline fermée "collecte-inspection-entraînement-évaluation" qui filtre automatiquement les trajectoires invalides via cinématique inverse corps entier avec contraintes de collision et de limites articulaires, et valide par rejeu réel sur robot avant d'intégrer les épisodes à l'entraînement. Si les chiffres de réduction 20x se confirment sur des tâches variées hors conditions de labo, cela change structurellement l'économie de déploiement des VLA (Vision-Language-Action models) : les industriels pourraient composer leurs datasets sans immobiliser de flotte robotique pendant des semaines. Le transfert cross-embodiment revendiqué, démontration humaine transférable à des plateformes non vues à l'entraînement, reste la promesse la plus forte, et la plus à vérifier indépendamment. X Square Robot s'inscrit dans un mouvement plus large de standardisation de la collecte de données robotiques, aux côtés d'initiatives comme Open-X Embodiment (Google DeepMind, 2023), DROID (Berkeley, 2024) ou les efforts de Physical Intelligence autour de pi0. Le positionnement open source du G0-Dataset rappelle la stratégie d'Hugging Face avec LeRobot, visant à créer une infrastructure commune de benchmarking. Aucun concurrent européen direct n'est impliqué ici, bien qu'Enchanted Tools et Wandercraft opèrent sur des segments adjacents (interaction et mobilité bipède) qui pourraient bénéficier de telles ressources de préentraînement. Les prochaines étapes annoncées incluent l'utilisation du dataset pour du préentraînement à grande échelle et des expériences de transfert cross-embodiment, sans timeline commerciale précisée, ce projet reste pour l'instant dans le périmètre recherche.

Démarrage par modèle VLA pour l'apprentissage par renforcement des agents robotiques

Des chercheurs proposent VLAJS (Vision-Language-Action Jump-Starting), une méthode publiée sur arXiv (réf. 2604.13733v2) visant à accélérer l'apprentissage par renforcement (RL) en manipulation robotique. Le principe repose sur l'utilisation d'un modèle VLA comme guide transitoire en début d'entraînement, sans imitation stricte ni démonstrations humaines. VLAJS augmente l'algorithme PPO (Proximal Policy Optimization) d'une régularisation directionnelle qui aligne progressivement les actions de l'agent RL avec les suggestions du VLA, avant d'annuler cette contrainte à mesure que l'agent gagne en compétence. La méthode a été évaluée sur six tâches simulées (levée d'objet, pick-and-place, réorientation et insertion de cheville, poking, pushing), dont un sous-ensemble validé sur un bras Franka Panda réel. Elle réduit de plus de 50 % le nombre d'interactions d'entraînement nécessaires par rapport à PPO seul ou aux baselines de distillation, et démontre un transfert sim-to-real zero-shot robuste face à des encombrements, variations d'objets et perturbations externes. Ce résultat répond à une tension structurelle bien connue du domaine: les modèles VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) excellent dans le raisonnement à l'échelle de la tâche grâce à leur préentraînement multimodal massif, mais restent trop lents pour le contrôle en boucle fermée à haute fréquence. Inversement, le RL classique assure cette précision mais explore de façon inefficace sur des tâches longues avec récompenses éparses. VLAJS prouve qu'un VLA peut être utile sans être interrogé en continu, réduisant potentiellement les coûts d'entraînement pour des applications de manipulation industrielle et validant l'hypothèse qu'un modèle généraliste peut servir d'amorce dans des pipelines RL orientés production. VLAJS émerge dans un contexte de convergence entre fondations VLA et contrôle temps-réel, où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind (RT-2) s'affrontent sur la généralisation pendant que le RL pur domine en précision. Cette contribution reste académique: validée sur le Franka Panda à 7 degrés de liberté, elle n'est pas encore un produit déployé ni industrialisé, et la réduction de 50 % des interactions porte sur des tâches relativement courtes en simulation. Les suites naturelles incluent l'extension à des morphologies plus complexes (humanoïdes, systèmes bimanuels) et l'intégration dans des frameworks d'entraînement open-source comme Isaac Lab ou ManiSkill.

ActionMap : apprentissage de politiques robotiques par carte de chaleur voxel

Une équipe du ShowLab publie sur arXiv (2606.06904, juin 2026) ActionMap, une tête d'action basée sur des heatmaps voxéliques destinée à remplacer le décodeur d'action natif des modèles vision-langage-action (VLA). Là où les décodeurs existants (régression L1, bins autoregressifs, flow-matching) traitent l'espace d'action comme une structure plate sans géométrie, ActionMap prédit pour chaque commande une heatmap 3D dans cet espace, chaque voxel stockant directement la probabilité de l'action correspondante. Validé sur le benchmark de simulation LIBERO (quatre suites de tâches) et en manipulation réelle sur bras Franka, le module affiche +8,2 points de pourcentage sur la moyenne des quatre suites LIBERO face à la tête L1 d'OpenVLA-OFT, avec une convergence comparable ou plus rapide, et une efficacité données nettement meilleure en faible volume d'entraînement. Ce résultat a deux implications directes. ActionMap s'insère comme module drop-in dans tout VLA existant sans modifier le backbone ni la recette d'entraînement : les équipes ayant déjà investi dans OpenVLA ou des architectures similaires peuvent en bénéficier immédiatement. Plus significatif : les gains sont constants sur deux backbones architecturalement distincts, ce qui isole la représentation de l'action comme levier de performance indépendant de la mise à l'échelle du backbone ou des données. Pour un intégrateur ou un décideur industriel, cela signifie qu'on peut améliorer la précision des politiques robotiques sans augmenter les volumes de données ni la puissance de calcul. Depuis 2023, les VLA ont progressé rapidement côté backbone (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA de Berkeley) et côté données (Open X-Embodiment, DROID), mais le décodeur d'action est resté l'angle mort du domaine. ActionMap propose d'exploiter la structure géométrique de l'espace d'action via une représentation voxélique probabiliste, en complément des têtes à diffusion (flow-matching, DDPM) déjà explorées dans la littérature. Le projet, avec code et page publique disponibles sur showlab.github.io/ActionMap, reste dans le registre de la recherche fondamentale : aucun partenariat industriel ni timeline de déploiement n'est annoncé à ce stade.

MIT développe un bracelet à ultrasons pour apprendre aux robots humanoïdes la dextérité des mains humaines

Des chercheurs du Massachusetts Institute of Technology, dirigés par Xuanhe Zhao, ont présenté un bracelet ultrasonique portable capable de capturer les mouvements de muscles, tendons et ligaments sous la peau du poignet. Le dispositif intègre un système d'imagerie sans fil à 256 canaux couplé à un modèle d'IA hybride Transformer-ResNet qui interprète en temps réel l'activité musculaire subtile. Il suit en continu les 22 degrés de liberté de la main humaine, couvrant l'ensemble des mouvements de flexion, rotation et coordination des doigts et de la paume, avec une latence mesurée à 120 millisecondes. Lors de tests en laboratoire impliquant huit volontaires, le bracelet a reproduit des gestes avec une précision suffisante pour reconnaître les 26 lettres de l'alphabet américain des signes (ASL). Opérant sans fil, il permet de piloter des systèmes robotiques à distance sans connexion physique directe. L'objectif affiché par l'équipe : utiliser les données collectées pour entraîner des robots humanoïdes à reproduire les tâches manuelles délicates que les humains réalisent naturellement. Ce travail adresse l'un des goulots d'étranglement les plus persistants de la robotique : la capture précise et non intrusive de la dextérité manuelle. Les solutions actuelles souffrent de limites connues, les systèmes à caméra étant sensibles aux occlusions et aux angles de vue, tandis que l'électromyographie (EMG), les capteurs inertiels ou les jauges de déformation manquent souvent de résolution pour les mouvements continus des doigts ou contraignent les gestes. En se positionnant sous la peau par imagerie ultrasonique, le bracelet MIT contourne ces contraintes tout en atteignant une couverture complète des 22 degrés de liberté. Pour les équipes qui collectent des données de téléopération destinées à l'apprentissage par imitation, notamment pour alimenter des pipelines VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), un tel dispositif pourrait enrichir significativement la qualité des démonstrations humaines utilisées à l'entraînement. Il reste cependant à valider ces performances hors laboratoire, sur des populations plus larges et dans des conditions de bruit musculaire réel, un point que la publication initiale n'aborde pas. Cette recherche s'inscrit dans une progression rapide des ultrasons portables amorcée au MIT et dans d'autres laboratoires. Depuis 2022, des équipes ont successivement démontré la surveillance multi-organes en continu, l'imagerie cardiaque portable et des patchs à résolution sub-millimétrique ; en 2024, l'Université de Californie à San Diego avait présenté un système comparable basé sur l'IA pour l'interprétation des gestes du bras, fonctionnel même en conditions dynamiques (course, véhicule en mouvement, mer agitée). Sur le plan concurrentiel, des acteurs comme CTRL-Labs (acquis par Meta en 2019) ou les fournisseurs d'EMG avancé tels que Delsys et Noraxon explorent des espaces adjacents, mais l'approche ultrasonique revendique une résolution spatiale potentiellement supérieure pour les structures profondes. L'équipe MIT n'a pas encore annoncé de partenariats industriels ni de calendrier de commercialisation : le dispositif reste aujourd'hui au stade de démonstration de laboratoire.

Ce qui compte dans l'orchestration des politiques robotiques : étude systématique des agents VLA hiérarchiques

Une équipe de chercheurs a publié en juin 2026 sur arXiv (réf. 2606.10267) une étude systématique des architectures hiérarchiques VLA, désignées Hi-VLA, pour la manipulation robotique. Ces systèmes couplent un planificateur de haut niveau basé sur un grand modèle vision-langage (VLM) avec un contrôleur bas niveau de type VLA (vision-language-action) : le planificateur décompose une tâche complexe en sous-objectifs formulés en langage naturel, que le contrôleur exécute séquentiellement. Les auteurs unifient plusieurs architectures Hi-VLA existantes sous un cadre commun dit « options-style » et les évaluent sur trois familles de tâches : courte horizon, longue horizon et à forte charge de raisonnement. Les expériences combinent simulation et validation physique sur un robot ALOHA, le manipulateur bimanuel développé initialement par Stanford et repris par Google DeepMind. Ce travail comble un manque réel dans la littérature : jusqu'ici, les systèmes Hi-VLA divergeaient dans leurs choix de planificateurs, de contrôleurs, de mécanismes de transition et de représentation mémoire, sans base de comparaison commune. Les résultats montrent qu'une hiérarchie bien conçue surpasse clairement le contrôle VLA plat (non-hiérarchique) ainsi qu'une hiérarchie naïve, ce qui valide empiriquement l'approche mais souligne que les gains dépendent fortement des interfaces entre niveaux et du choix des modèles. Pour les intégrateurs industriels qui explorent les VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), ces principes de conception fournissent un cadre d'arbitrage concret entre flexibilité de planification et précision de contrôle. L'article s'inscrit dans une dynamique de consolidation méthodologique qui suit une période d'expérimentation empirique rapide. Depuis 2023-2024, des systèmes comme SayCan (Google), RoboCat (DeepMind) ou les architectures de Physical Intelligence ont démontré la faisabilité des VLA à grande échelle, mais les recettes de design restaient opaques. Les concurrents directs sur le segment de la planification hiérarchique incluent des travaux comme Code-as-Policies ou Voyager. La prochaine étape naturelle sera l'extension de ces principes à des environnements non structurés hors laboratoire ; le site du projet (jiahenghu.github.io/hi-vla) propose des vidéos de démonstration, mais aucun déploiement industriel n'est annoncé à ce stade.

UniDexTok : un tokeniseur unifié pour mains dextériques à partir de données réelles

Une équipe de chercheurs a publié mi-juin 2026 sur arXiv (arXiv:2606.10683) un travail intitulé UniDexTok, proposant une représentation unifiée pour les états de mains dextres hétérogènes, humaines et robotiques. Le coeur du système est le Unified Dexterous Hand Model (UDHM), une interface sémantique partagée à 22 degrés de liberté (DoF) qui normalise les états articulaires de n'importe quelle main dans un espace commun. Sur cette base, UniDexTok est un tokenizer d'états appris exclusivement depuis des données réelles, sans recours au retargeting ni à la simulation. Les gains de précision par rapport à la baseline UniHM sont significatifs : l'erreur angulaire moyenne par articulation (MPJAE) chute de 15,63° à 0,16° (réduction de 98,98 %), et l'erreur de position par articulation (MPJPE) passe de 18,51 mm à 0,18 mm (réduction de 99,03 %), ramenant la reconstruction de l'échelle centimétrique à une précision sub-millimétrique. La portée industrielle de ce résultat tient moins aux chiffres absolus qu'à ce qu'ils rendent possible : un entraînement cross-embodiment sans pipeline de retargeting, qui a longtemps constitué un goulot d'étranglement dans la constitution de datasets pour mains dextres. Jusqu'ici, les données capturées sur une Shadow Hand, une Allegro ou une LEAP Hand étaient difficilement réutilisables pour un autre robot, faute de représentation commune. UniDexTok permet de les agréger : les expériences montrent que des données provenant d'autres embodiments améliorent la reconstruction sur l'embodiment cible, validant le principe de transfert cross-morphologie. Le système affiche également des capacités zero-shot et few-shot lors de l'introduction de nouvelles mains, ce qui réduit le coût d'intégration pour les intégrateurs qui déploient plusieurs plateformes en parallèle. La manipulation dextre reste l'un des défis les plus ouverts de la robotique humanoïde, avec une fragmentation des efforts entre labos (Dexterous Manipulation Group chez CMU, OpenAI Dactyl suspendu, Physical Intelligence avec Pi-0) et industriels (Tesla Optimus, Figure, Unitree). Les approches précédentes comme UniHM avaient posé la question de la représentation unifiée mais avec des erreurs de reconstruction trop élevées pour être exploitables en contrôle fin. UniDexTok s'inscrit dans un mouvement plus large vers des politiques robotiques génériques multi-embodiments, analogue à ce que les VLA (Vision-Language-Action models) tentent du côté de la perception. Les auteurs n'annoncent pas de déploiement industriel ni de partenariat ; il s'agit d'une contribution de recherche fondamentale, dont l'intégration dans des pipelines de formation de politiques reste à démontrer en conditions réelles.

MotionWAM : vers des modèles fondation action-monde pour la loco-manipulation humanoïde en temps réel

Des chercheurs présentent MotionWAM (arXiv:2606.09215), un World Action Model (WAM) temps réel pour la loco-manipulation humanoïde, validé sur neuf tâches physiques avec un Unitree G1 piloté par une unique caméra égocentrique. Contrairement aux architectures dominantes qui séparent une politique pour les bras et un contrôleur pour la locomotion, le système prédit des tokens de mouvement corps-entier dans un espace d'action unifié couvrant locomotion, déplacements du torse, régulation de hauteur, interaction plantaire et manipulation des mains. Pour atteindre le temps réel, MotionWAM conditionne la politique sur les features intermédiaires de débruitage d'un modèle monde vidéo, évitant le débruitage itératif complet sur des latents haute dimension, goulot d'étranglement des WAMs antérieurs. Sur le hardware réel, le système dépasse de plus de 30 points les baselines Vision-Language-Action (VLA) entraînées sur les mêmes démonstrations et réalise des tâches d'interaction plantaire inatteignables par les politiques haut/bas-corps découplées. Le paradigme hiérarchique haut/bas-corps, présent dans des systèmes comme GR00T N2 (NVIDIA) et de nombreuses architectures humanoïdes commerciales, contraint les jambes à un simple rôle d'équilibre déconnecté de la manipulation. MotionWAM démontre sur matériel réel que cette contrainte n'est pas une fatalité et valide que des modèles monde pré-entraînés sur vidéo peuvent réduire la dépendance aux démonstrations robotiques coûteuses. Les métriques restent à contextualiser: neuf tâches sur un seul embodiment, sans publication de temps de cycle ni de robustesse aux variations de scène, restent loin d'une validation industrielle. Les WAMs appliqués à la robotique s'appuient sur des travaux antérieurs en manipulation tabletop (UniSim, Genie de Google DeepMind); MotionWAM étend ces techniques à la commande humanoïde corps-entier. Face aux approches VLA dominantes dans les publications de référence, notamment pi-0 (Physical Intelligence) et GR00T N2, cette architecture propose une alternative centrée sur la dynamique vidéo pré-entraînée. Les prochaines étapes naturelles concernent la validation multi-embodiment et des déploiements industriels semi-structurés, où la variabilité des environnements constituera le vrai test de maturité.

TORL-VLA : apprentissage par renforcement en ligne à guidage tactile pour la manipulation à contacts intensifs

Des chercheurs ont publié le 10 juin 2026 sur arXiv (arXiv:2606.09337) un framework baptisé TORL-VLA (Tactile-guided Online Reinforcement Learning for Vision-Language-Action), conçu pour résoudre un point de blocage précis des VLA en robotique de manipulation : l'inadaptation en temps réel aux conditions de contact. TORL-VLA couple un module VLA enrichi de retour tactile, capable de prédire à la fois une action de référence et une séquence de forces futures (wrench sequences), avec un module d'apprentissage par renforcement en ligne, léger, qui raffine ces actions au fil des tentatives. Le système a été validé sur des tâches longues et en contact soutenu avec l'environnement : manipulation d'une serrure (latch manipulation), placement précis d'une tasse à café, et manipulation d'un œuf cru. Sur l'ensemble de ces scénarios, TORL-VLA améliore les taux de succès à l'échelle des sous-tâches et des tâches complètes, ainsi que l'efficacité temporelle d'exécution par rapport aux baselines comparées. L'enjeu technique est bien réel : les VLA actuels sont déployés comme des politiques hors ligne (offline policies), c'est-à-dire figées après entraînement. Dès que les conditions de contact s'écartent de la distribution d'entraînement, friction différente, compliance d'objet inattendue, positionnement imprécis, la politique échoue sans mécanisme de correction. Le résultat concret est une accumulation de forces de contact inappropriées et des boucles de retry inefficaces, problème critique pour tout déploiement industriel où la reproductibilité du geste est exigée. TORL-VLA introduit également un "intervention-censored critic", un mécanisme qui évite d'attribuer à tort un succès post-intervention humaine aux actions de la politique générées avant cette intervention, ce qui stabilise l'apprentissage sur des données mixtes (exploration autonome + corrections opérateur). Cette approche est méthodologiquement significative : elle rend l'apprentissage en ligne viable dans un contexte d'apprentissage par démonstration avec supervision humaine intermittente, ce qui correspond précisément aux conditions réelles de mise en service. Les VLA comme Pi-0 (Physical Intelligence), OpenVLA, ou les architectures dérivées de RT-2 (Google DeepMind) ont démontré une généralisation impressionnante en manipulation, mais leur rigidité post-entraînement constitue un frein reconnu au déploiement en production. Des travaux comme DexVLA ou des approches avec force feedback (ForceSight, TacVLA) ont commencé à intégrer la modalité tactile, mais sans adaptation en ligne. TORL-VLA se positionne à l'intersection de ces deux axes : adaptation dynamique et perception haptique. Aucun chiffre de performance absolu (taux de succès brut, temps de cycle) n'est communiqué dans l'abstract, ce qui limite la comparaison directe avec d'autres systèmes, les résultats complets sont dans le papier complet. Du côté européen, des acteurs comme Enchanted Tools (France, robot Mirokaï) ou Wandercraft travaillent sur la compliance et l'interaction physique, mais sur des architectures différentes. Les prochaines étapes naturelles pour TORL-VLA concernent la généralisation à d'autres objets déformables, la réduction de la latence du module RL en ligne, et une validation à plus grande échelle avant tout positionnement comme solution industrielle.

EgoPriMo : génération de mouvement égocentrique pour le contrôle interactif d'humanoïdes

Des chercheurs ont publié le 9 juin 2026 sur arXiv (réf. 2606.08495) EgoPriMo, un cadre unifié d'apprentissage de prior de mouvement pour robots humanoïdes, entraîné exclusivement à partir de démonstrations humaines en vue égocentrique (caméra portée sur la personne). Le système prend en entrée une séquence vidéo égocentrique et un prompt texte, puis reconstruit, génère ou prédit des mouvements corps entier au format SMPL (Skinned Multi-Person Linear model, le standard académique de représentation du squelette humain). L'architecture centrale est un Triple-stream Diffusion Transformer (DiT) qui modélise conjointement la dynamique corporelle, le contexte visuel égocentriique et le langage naturel via un seul checkpoint partagé, des masques de conditionnement de tâche routant les trois cas d'usage sans architecture distincte. Évalué sur les datasets Nymeria et EgoExo4D, EgoPriMo surpasse UniEgoMotion sur la génération égocentrique, et les trajectoires SMPL produites ont été exécutées avec succès sur le contrôleur humanoïde Unitree (probablement G1 ou H1). Il s'agit d'un papier de recherche, pas d'un déploiement industriel. L'intérêt de cette approche tient à son vecteur de données : les vidéos égocentrique humaines (Nymeria, EgoExo4D) sont disponibles à grande échelle, contrairement aux démonstrations téléopérées sur robots qui restent coûteuses et lentes à collecter. En utilisant le langage comme signal de contrôle haut niveau plutôt que comme spécification complète du mouvement, EgoPriMo vise la généralisation comportementale sans avoir à décrire exhaustivement chaque trajectoire, ce qui est l'un des verrous historiques des systèmes VLA (Vision-Language-Action). Le fait qu'un seul checkpoint gère reconstruction, génération et prévision simplifie le déploiement et réduit la dette de maintenance. La validation sur Unitree démontre une transition sim-to-real partielle, bien qu'aucun chiffre de robustesse en environnement non contrôlé ne soit communiqué dans l'abstract. Ce travail s'inscrit dans une compétition dense autour des priors de mouvement pour humanoïdes. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Figure (03) investissent massivement dans des pipelines VLA capables de généraliser à des tâches variées. L'originalité d'EgoPriMo est de contourner la dépendance aux données robot en exploitant l'observation humaine égocentrique, une direction explorée également par des travaux issus de CMU et Stanford sur l'imitation via vidéo. Le choix de Unitree comme cible hardware est cohérent avec sa diffusion large dans les labos académiques. Les prochaines étapes naturelles seraient une validation en environnement semi-industriel et une intégration dans une boucle de contrôle fermée, deux dimensions absentes de ce preprint.

Ego-Pi : affinage VLA sur données égocentriques humaines et robotiques

Une équipe de recherche publie sur arXiv (2606.08107) les résultats d'Ego-Pi, une méthode de fine-tuning de modèle VLA (Vision-Language-Action) conçue pour exploiter des données égocentristes humaines dans l'entraînement de robots manipulateurs. L'étude prend comme fondation le modèle π₀.₅ de Physical Intelligence et cible des robots humanoïdes équipés de mains à cinq doigts dextres. Le résultat central : des données de manipulation filmées du point de vue humain permettent au robot d'apprendre de nouvelles sémantiques de tâches et de composer des compétences existantes en comportements inédits, sans nécessiter de données robot équivalentes pour ces mêmes tâches. Ce résultat adresse directement l'un des verrous les plus cités en robotique : la rareté des données d'entraînement à grande échelle. Contrairement au NLP ou à la vision, il n'existe pas de corpus internet pour la manipulation robotique. La démonstration qu'une capture égocentrique humaine, collectée plus facilement, à moindre coût et à plus grande échelle, peut servir de substitut partiel représente un changement de paradigme potentiel pour les pipelines de données. Cela valide aussi l'hypothèse du transfert inter-embodiment : un VLA peut généraliser entre morphologies humaine et robotique si le point de vue reste cohérent. Physical Intelligence, startup californienne fondée en 2023 et à l'origine des modèles π₀ et π₀.₅, positionne ainsi sa fondation comme un socle cross-embodiment viable. Ses concurrents directs, notamment NVIDIA avec GR00T N2 et Google DeepMind avec RT-2, explorent également l'apprentissage multi-source. Il faut souligner qu'Ego-Pi est un preprint non encore évalué par les pairs, sans benchmark industriel ni déploiement réel annoncé à ce stade.

UAOR : réinjection d'observations sensible à l'incertitude pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (référence 2602.18020v2) une méthode baptisée UAOR (Uncertainty-aware Observation Reinjection), conçue pour améliorer les modèles VLA (Vision-Language-Action) sans nécessiter de réentraînement ni de données supplémentaires. Le principe repose sur la mesure de l'entropie d'action à chaque couche du modèle de langage sous-jacent : lorsqu'une couche présente une incertitude élevée, le module réinjecte les informations d'observation clés dans le réseau Feed-Forward (FFN) de la couche suivante, via un mécanisme d'attention retrieval. Les auteurs exploitent ici une propriété connue des transformeurs où les FFN se comportent comme des mémoires clé-valeur, et l'appliquent de façon adaptative et conditionnelle à l'état d'incertitude du modèle. Les expériences couvrent à la fois des environnements simulés et des tâches de manipulation réelle, sans précisions chiffrées sur les volumes ou les délais de cycle dans l'abstract publié. L'intérêt pratique est réel pour les équipes qui cherchent à améliorer des pipelines VLA existants : la plupart des approches actuelles exigent l'ajout de capteurs (nuages de points, cartes de profondeur) ou de modules auxiliaires (détecteurs d'objets, encodeurs spécialisés), impliquant collecte de données et phases d'entraînement coûteuses. UAOR se branche en plug-and-play sur des modèles déjà entraînés, ce qui réduit significativement le coût d'intégration. Cette approche "training-free" est particulièrement pertinente dans un contexte industriel où le fine-tuning sur données propriétaires reste un frein. Cela dit, l'abstract ne communique pas de métriques précises (taux de succès, amélioration relative), ce qui rend l'évaluation de l'amplitude des gains difficile avant lecture complète du papier. Les VLA sont devenus un axe central de la robotique de manipulation généraliste depuis 2024, portés par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). UAOR s'inscrit dans une dynamique de recherche qui cherche à extraire davantage de performance des architectures existantes plutôt qu'à en construire de nouvelles, une tendance d'optimisation à moindre coût computationnel. La prochaine étape naturelle serait une évaluation comparative sur des benchmarks standardisés comme RLBench ou FurnitureBench, et un test d'intégration sur des modèles open-source populaires tels qu'OpenVLA ou Octo.

PUDU Robotics : des origines à l'HKUST à la tête du marché mondial des robots commerciaux

PUDU Robotics, fondée en 2016 à Shenzhen par Zhang Tao, diplômé de la Hong Kong University of Science and Technology, s'est imposée comme le premier acteur mondial de la robotique de service commerciale avec 23 % de part de marché mondiale, plus de 130 000 unités déployées dans 80 pays et une valorisation dépassant 10 milliards de yuans (environ 1,4 milliard de dollars). La société a levé près de 2 milliards de yuans au total auprès de Tencent, Sequoia Capital China, Meituan et Puhua Capital. En 2026, elle a bouclé un tour proche de 1 milliard de yuans avec Longgang Financial Control, Asia Investment Capital, BAIC Industrial Investment et Lens Technology, marquant l'entrée de capitaux publics nationaux dans son tour de table. Son portefeuille s'articule autour de quatre segments : la livraison en salle (BellaBot, FlashBot, déployés en restauration, hôtellerie et santé), le nettoyage commercial pour chaînes hôtelières et grande distribution, la logistique industrielle avec l'AMR T300 (plus de 4 000 unités livrées dès sa première année), et l'intelligence incarnée généraliste avec le robot humanoïde PUDU D9 (deux bras à 7 degrés de liberté) et la main dextère PUDU DH11 (11 degrés de liberté). En mai 2026, PUDU a également lancé PUDUFM 1.0, son modèle de fondation pour robots, ainsi que la plateforme PUDUAgent. Plus de 80 % de son chiffre d'affaires provient désormais de marchés internationaux. Ce parcours illustre une thèse que peu d'acteurs ont réussi à valider : une architecture spécialisée et non humanoïde peut atteindre l'échelle commerciale et la quasi-rentabilité (EBITDA proche de l'équilibre) bien avant les plateformes à usage général. À l'heure où la majorité des startups humanoïdes brûlent massivement du capital sur des démonstrateurs en laboratoire, PUDU affiche des volumes de déploiement mesurables dans des environnements opérationnels réels. La commande de 3 000 unités BellaBot par la chaîne japonaise Skylark, plus grand contrat jamais signé pour un robot de service commercial chinois à l'export, confirme que la demande B2B existe hors de Chine à une échelle significative. La performance de l'AMR T300 en logistique industrielle positionne par ailleurs PUDU directement face à Geek+ et HAI Robotics sur un segment où les intégrateurs cherchent activement des alternatives aux acteurs établis. L'entreprise est née d'une observation de terrain : les robots de livraison en salle existants en 2016 avaient une capacité de transport structurellement limitée. Zhang Tao a conçu une architecture "base mobile avec plateau multi-niveaux" qui quadruplait cette capacité, puis s'est appuyé sur un partenariat précoce avec la chaîne de hot-pot Haidilao pour valider le modèle en conditions réelles. Plutôt qu'une expansion séquentielle pays par pays, la stratégie internationale a misé sur un déploiement simultané dans 80 pays via des distributeurs locaux. En robotique de service, PUDU affronte désormais Keenon Robotics et Bear Robotics, tandis que sur la couche d'intelligence embarquée, PUDUFM 1.0 entre en concurrence avec GR00T N2 de NVIDIA et Pi-0 de Physical Intelligence. L'entrée de fonds gouvernementaux au dernier tour signale que Pékin positionne PUDU comme champion national stratégique dans la course mondiale à la robotique commerciale.

BYD développe secrètement un robot humanoïde sous le nom de code "Yao-Shun-Yu" alors que les géants de l'automobile s'élancent vers l'IA incarnée

BYD, premier constructeur automobile électrique chinois, confirme le développement discret d'un robot humanoïde sous le nom de code "Yao-Shun-Yu". C'est Li Ke, vice-président exécutif du groupe, qui a levé le voile dans une interview récente. Le projet a été lancé en 2022 et est piloté par la 15e unité opérationnelle de BYD, dédiée à l'intégration électronique et à l'intelligence embarquée. L'entreprise dispose d'une équipe de plus de 4 000 ingénieurs spécialisés en conduite autonome et a annoncé un investissement de 100 milliards de yuans dans l'IA et l'intelligence automobile. Tesla, de son côté, a déjà déployé 50 unités de son Optimus Gen 3 dans son usine de Shanghai en production de série. XPeng prévoit de lancer la production de masse de son humanoïde IRON d'ici fin 2026, et Li Auto pilote un projet interne baptisé Nexus. Ce développement illustre un changement structurel dans la course aux humanoïdes : les grands constructeurs automobiles ne se positionnent plus comme observateurs mais comme acteurs à part entière de la robotique généraliste. BYD s'appuie sur des atouts industriels concrets, motorisation, batteries, électronique de puissance, fabrication de précision et semiconducteurs, que peu de pure players robotiques peuvent revendiquer. L'entreprise prévoit d'être son propre premier client, avec des déploiements envisagés dans ses showrooms comme agents d'accueil et sur ses lignes de production comme opérateurs d'atelier. Ce débouché captif résout un problème que la majorité des startups humanoïdes n'ont pas encore résolu : la validation à l'échelle dans un environnement contrôlé et à faible coût de sortie. La stratégie dite du "technology fish pond", qui consiste à préparer en amont un portefeuille technologique large et à l'activer au moment opportun, laisse également envisager une approche plateforme ouverte, avec intégration de composants tiers plutôt qu'une verticalité totale. BYD n'est pas venu à la robotique par hasard. La maîtrise des actionneurs électriques, des systèmes de gestion d'énergie et des architectures de calcul embarqué, accumulée sur des millions de véhicules électriques, constitue une base technologique directement transférable. Li Ke a formulé le diagnostic sectoriel en ces termes : "les robots chinois manquent de cerveau, les robots américains manquent de muscles", BYD visant explicitement l'excellence sur les deux axes. Face à Boston Dynamics (propriété de Hyundai), Agility Robotics (Amazon), Figure AI ou Physical Intelligence côté occidental, et à Unitree, Fourier Intelligence ou UBTECH côté chinois, BYD arrive avec une surface financière et une base industrielle hors norme. Aucune date de présentation publique ni de feuille de route commerciale n'a été communiquée : le projet reste pour l'instant au stade de l'annonce interne, sans prototype démontré publiquement ni métrique de performance vérifiable.

ZeroWBC : apprentissage de l'interaction naturelle corps entier pour humanoïdes à partir de données égocentrées humaines

Une équipe de recherche a publié sur arXiv (référence 2603.09170v2) ZeroWBC, un cadre d'apprentissage du contrôle corporel complet pour robots humanoïdes qui se passe entièrement de données de télé-opération. Le système apprend à partir de vidéos égocentrées humaines -- c'est-à-dire filmées du point de vue d'un opérateur -- associées à des annotations de mouvement corps-entier et de texte. Concrètement, une image initiale prise en vue subjective est combinée à une instruction en langage naturel ; un modèle vision-langage (VLM) affiné génère alors des tokens de mouvement humain futur, qui sont décodés en trajectoires continues et retargetés vers le robot humanoïde. Ces mouvements de référence, accompagnés des trajectoires de la racine et des parties clés du corps, alimentent ensuite une politique de suivi de mouvement interactif. Les expériences ont été conduites sur le robot Unitree G1, un humanoïde compact commercialisé à environ 16 000 dollars. L'apport central de ZeroWBC réside dans l'élimination du coût de collecte des données de télé-opération, traditionnellement un verrou majeur pour l'apprentissage du contrôle corps-entier à grande échelle. En exploitant le stock immense de vidéos humaines égocentrées déjà disponibles, la méthode ouvre un paradigme de scalabilité que les approches par démonstration robotique directe ne peuvent pas égaler facilement. L'introduction d'une récompense de suivi orientée interaction -- qui priorise l'alignement global des trajectoires tout en préservant la naturalité du mouvement -- tente de combler le gap entre génération de gestes plausibles et exécution physiquement cohérente. C'est un résultat de recherche académique, pas un produit déployé en production : les vidéos présentées montrent des comportements variés en scène statique, mais les conditions réelles d'un environnement industriel dynamique n'ont pas été testées. ZeroWBC s'inscrit dans un courant plus large de méthodes "zéro-démonstration robot" qui cherchent à transférer la richesse des données humaines vers des systèmes incarnés, à l'instar des travaux sur les politiques visuomotrices à base de VLA (Vision-Language-Action). Sur le terrain concurrent, des approches comme ACT, UMI ou les pipelines de diffusion de Physical Intelligence (Pi-0) misent encore largement sur la télé-opération directe ou les données simulées. Unitree, constructeur chinois dont le G1 est l'une des plateformes humanoïdes les plus accessibles du marché, bénéficie ici d'une visibilité croissante comme banc d'essai académique de référence. Les prochaines étapes naturelles seraient d'étendre ZeroWBC à des scènes dynamiques, de tester la robustesse en dehors du labo, et d'évaluer si le sim-to-real tient face à la variabilité réelle des interactions objet-robot.

3DThinkVLA : doter les modèles VLA de représentations 3D latentes par co-entraînement guidé par raisonnement 3D

Des chercheurs ont publié le 4 juin 2026 sur arXiv (2506.04436) un framework dénommé 3DThinkVLA, conçu pour doter les modèles vision-language-action (VLA) d'un raisonnement spatial 3D implicite lors de la prédiction d'actions robotiques, sans recours à des capteurs de profondeur ni à la génération de texte à l'inférence. Le système articule trois composants opérant dans l'espace latent : un module de perception géométrique 3D qui aligne les features visuelles intermédiaires avec un modèle fondationnel 3D, un module de distillation de raisonnement en ligne utilisant un "reasoning anchor token" partagé, et un mécanisme d'intégration d'actions spatialement augmenté. À l'entraînement, le modèle apprend à raisonner spatialement depuis des prompts enseignants explicites ; au déploiement, seuls des adaptateurs légers sont conservés, le modèle fondationnel 3D et la branche enseignante étant élagués. Les auteurs déclarent des performances état-de-l'art sur les benchmarks LIBERO, LIBERO-PLUS et SimplerEnv, ainsi que sur des tâches de manipulation réelles. L'apport principal est de découpler la perception géométrique 3D du raisonnement spatial de haut niveau pour les injecter à différents niveaux hiérarchiques, sans modifier l'architecture du backbone VLM. Ce découplage répond à un problème central des VLA actuels : leur tendance aux raccourcis d'action (action shortcuts) face aux relations spatiales complexes, ce qui dégrade les performances hors simulation. Le mécanisme d'anchor token transfère le raisonnement spatial implicitement, sans chain-of-thought au déploiement, réduisant la latence d'inférence. Pour les intégrateurs robotiques, cela ouvre la voie à des VLA plus robustes en manipulation de précision sans surcoût matériel. La méthode prévient également le catastrophic forgetting du VLM pré-entraîné, point critique lors du fine-tuning sur données robotiques spécialisées. Les VLA ont connu une accélération depuis Pi-0 de Physical Intelligence fin 2024 et GR00T N2 de NVIDIA en 2025, mais la gestion du raisonnement 3D à partir d'images 2D reste un obstacle au déploiement industriel fiable, notamment pour l'assemblage et la manipulation fine. 3DThinkVLA s'inscrit dans une lignée de travaux concurrents, dont SpatialVLA et RoboVLMs, cherchant à injecter des priors géométriques sans alourdir l'inférence. Il convient de noter qu'il s'agit d'un preprint arXiv non encore évalué par les pairs, et que les benchmarks LIBERO et SimplerEnv sont des environnements de simulation standardisés dont les résultats ne garantissent pas les performances en conditions industrielles réelles. Aucun déploiement terrain ni partenariat commercial n'est annoncé à ce stade.

Saisie puis planification avec attribution d'échecs : un cadre fermé en deux étapes pour la manipulation robotique précise et généralisable

Des chercheurs ont soumis sur arXiv (arXiv:2606.03385) le framework GTP-FA, acronyme de Grasp-Then-Plan with Failure Attribution, une architecture en deux étapes pour la manipulation robotique de précision. L'approche découple explicitement la phase de saisie d'objets du planning de trajectoire: le système génère d'abord des candidats de prise en main, sélectionne le plus adapté à la tâche, puis conditionne la planification aval sur ce choix. Quand une séquence de manipulation échoue, un modèle d'attribution des échecs analyse la trajectoire défaillante pour isoler la source du problème, grasping ou planning, et se généralise à des prises non vues lors de l'entraînement. Sur cette base diagnostique, chaque module est optimisé: côté grasping, des priors orientés tâche et des pénalités de risque filtrent les prises instables ou incompatibles avec la tâche; côté planning, une collecte de données ciblée sur les états initiaux à haut risque affine le module de trajectoire. Les résultats sont validés en simulation et sur robot réel, bien que l'abstract ne détaille pas les chiffres précis de taux de succès obtenus. Ce que GTP-FA résout est un angle mort persistant: dans les pipelines grasping-planning couplés, l'origine d'un échec reste opaque, ce qui transforme l'optimisation en tâtonnement coûteux et peu reproductible. Le framework s'applique indifféremment aux paradigmes d'apprentissage par renforcement (RL), par imitation (IL), par diffusion policy, et aux architectures VLA (Vision-Language-Action), et améliore les taux de succès globaux dans chacun selon les auteurs. C'est une contribution méthodologique transversale: elle ne remplace pas les architectures VLA émergentes mais s'y superpose, ce qui la rend potentiellement intégrable dans des systèmes existants sans refonte architecturale. La manipulation robotique de précision est aujourd'hui l'un des principaux fossés entre les démonstrations en laboratoire et le déploiement industriel. Des acteurs comme Physical Intelligence (modèle pi-0), Google DeepMind (GR00T N2) ou Figure AI investissent massivement dans des architectures VLA généralisables, mais la fiabilité de la prise en main dans des conditions non contrôlées reste un verrou documenté. GTP-FA adresse ce verrou depuis la recherche académique, sans affiliation commerciale identifiée dans ce préprint. Les suites naturelles incluront la validation sur objets déformables ou transparents, catégories où le grasping échoue le plus fréquemment, et l'intégration dans des tâches à horizon long en environnements peu structurés.