Dossier Physical Intelligence — π0 — page 16

BlockVLA : accélérer les modèles VLA autorégressifs par affinage avec diffusion par blocs

Une équipe de recherche propose BlockVLA, un framework publié en preprint sur arXiv (identifiant 2605.13382, mai 2026) qui adapte des modèles Vision-Language-Action (VLA) autorégressifs préentraînés en politiques de diffusion discrète efficaces via un paradigme de "diffusion par blocs". Plutôt que de décoder les tokens d'action séquentiellement, BlockVLA maintient les dépendances autorégressives au niveau des blocs tout en activant un débruitage parallèle au sein de chaque bloc. Ce mécanisme permet la réutilisation du cache KV (key-value) sur les blocs complétés, réduisant le coût des itérations de débruitage (NFE, number of function evaluations) sans sacrifier la cohérence causale globale. Évalué sur les benchmarks LIBERO et SimplerEnv, le modèle atteint une accélération d'inférence de 3,3x par rapport aux baselines de diffusion discrète standards, et converge significativement plus vite à l'entraînement, avantage particulièrement marqué sur les tâches longues et complexes. Ce résultat touche directement l'un des verrous opérationnels du déploiement industriel des VLA : la latence d'inférence. Un modèle autorégressif classique décode les tokens d'action un à un, imposant des délais incompatibles avec un contrôle robotique haute fréquence. La réduction du budget de calcul à l'entraînement est également notable d'un point de vue pratique : elle compresse les cycles d'adaptation d'un modèle à une nouvelle tâche, ce qui peut peser dans les décisions d'intégration. Cela dit, les évaluations restent cantonnées à des environnements simulés standard, sans validation en boucle fermée sur robot physique, ce qui laisse ouverte la question du sim-to-real gap. BlockVLA s'inscrit dans un mouvement plus large visant à rendre les grands VLA exploitables en conditions réelles. Des modèles comme OpenVLA, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA ont démontré des capacités généralisées impressionnantes, mais restent freinés par leur vitesse d'inférence. De l'autre côté, les politiques de diffusion continues, popularisées par Diffusion Policy (Chi et al., 2023), offrent une génération parallèle mais peinent à capitaliser sur les poids de backbone de langage préentraînés à grande échelle. BlockVLA tente de combler ce fossé via un fine-tuning ciblé sur un backbone AR existant, sans nécessiter un réentraînement complet. Il s'agit à ce stade d'un preprint académique sans déploiement annoncé sur hardware réel, mais les gains mesurés sur benchmarks de référence en font une contribution à suivre pour les équipes travaillant sur le déploiement haute cadence de politiques visuomotrices.

RotVLA : action latente de rotation pour les modèles vision-langage-action (VLA)

Un groupe de chercheurs a publié en mai 2026 RotVLA (arXiv:2605.13403), un framework Vision-Language-Action (VLA) qui substitue la quantification discrète des modèles d'action latente (LAM) existants par une représentation continue dans l'espace de rotation SO(n). Entraîné sur plus de 1 700 heures de données robotiques multi-embodiment et de vidéos humaines, le modèle compte 1,7 milliard de paramètres. Son architecture associe un backbone de modèle vision-langage et une tête d'action par flow-matching, étendue en aval en un "action expert" unifié qui dénoise simultanément actions latentes et actions robot. Sur LIBERO, RotVLA atteint 98,2 % de taux de succès ; sur RoboTwin2.0, il obtient 89,6 % en configuration propre et 88,5 % en configuration randomisée, surpassant les modèles VLA antérieurs dans les deux cas. Des expériences sur des tâches de manipulation réelle confirment ces résultats hors simulation. L'enjeu est architectural : les LAMs actuels, basés sur des pipelines VQ-VAE ou similaires, induisent une reconstruction de frames souvent triviale et n'imposent aucune contrainte géométrique cohérente avec la physique du mouvement. En modélisant les actions latentes comme des éléments de SO(n), RotVLA garantit continuité et compositionnalité absentes des espaces discrets, avec un triplet frame learning qui force une dynamique temporelle non dégénérée. Pour les équipes d'intégration robotique, cela ouvre la voie à un modèle de fondation plus robuste au sim-to-real, l'un des goulots d'étranglement centraux des VLAs en conditions industrielles. L'approche suggère que la structure géométrique de l'espace d'action peut compter autant que l'échelle des données d'entraînement. Le domaine des politiques robotiques généralistes a été structuré par Pi-0 (Physical Intelligence, 2024) et GR00T N2 (NVIDIA, 2025), qui misaient sur des corpus cross-embodiment massifs pour entraîner des politiques généralisables. RotVLA s'inscrit dans cette lignée mais parie sur une représentation latente géométriquement structurée plutôt que sur le volume brut de paramètres, avec 1,7B contre plusieurs dizaines de milliards pour les modèles concurrents les plus ambitieux. Les scores LIBERO et RoboTwin2.0 sont des benchmarks académiques standardisés ; leur transposition sur des cellules industrielles réelles (bras collaboratifs, tri et picking) reste à démontrer. Aucun partenaire de déploiement ni calendrier commercial ne figure dans la publication : RotVLA est, à ce stade, une contribution de recherche.

Guide, Pense, Agit : le raisonnement incarné interactif dans les modèles vision-langage-action (VLA)

Des chercheurs ont déposé sur arXiv (arXiv:2605.13632, mai 2026) GTA-VLA (Guide, Think, Act), un framework Vision-Language-Action interactif qui permet d'injecter des indices visuels explicites dans le raisonnement d'un robot avant l'exécution. Contrairement aux VLA classiques qui appliquent un mapping direct perception-action appris sur données d'entraînement, GTA-VLA introduit une étape de raisonnement spatial conditionné : l'opérateur peut fournir des points d'affordance, des boîtes englobantes ou des trajectoires dessinées sur l'image, que le modèle intègre dans une chaîne de pensée (Chain-of-Thought, CoT) avant de générer les commandes motrices. Une tête d'action légère ("reactive action head") assure ensuite l'exécution. Sur le benchmark SimplerEnv WidowX en conditions in-domain, le système atteint un taux de succès de 81,2 %, présenté comme état de l'art sur cette tâche. Les auteurs rapportent qu'une seule interaction visuelle suffit à améliorer substantiellement les performances sous perturbations visuelles ou ambiguïtés spatiales hors distribution (OOD). Ce résultat pointe une limite structurelle des VLA actuels : leur fragilité face aux shifts de distribution, c'est-à-dire dès que l'environnement de déploiement diffère des données d'entraînement. Les approches CoT existantes exposent le raisonnement intermédiaire mais restent aveugles à la guidance humaine, rendant la reprise sur erreur difficile sans réentraînement. GTA-VLA propose une troisième voie : maintenir l'autonomie du modèle tout en ouvrant un canal de correction humain minimal, ciblé sur l'espace visuel. Pour un intégrateur industriel, c'est un argument concret contre le demo-to-reality gap : si le robot échoue, l'opérateur désigne visuellement l'objet cible plutôt que de réécrire une instruction texte. La métrique de 81,2 % sur SimplerEnv mérite toutefois d'être contextualisée : ce benchmark reste un environnement simulé contrôlé, et aucun résultat sur hardware réel n'est communiqué dans le papier. GTA-VLA s'inscrit dans l'effervescence des architectures VLA depuis Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui ont tous cherché à coupler raisonnement de haut niveau et exécution robotique fluide. L'apport spécifique est de rendre ce raisonnement "steerable" via des priors spatiaux explicites, là où Pi-0 ou GR00T N2 restent essentiellement autonomes une fois déployés. Publié en preprint non encore évalué par des pairs, le papier ne mentionne ni déploiement sur plateforme physique ni partenariats industriels annoncés. Les prochaines étapes naturelles seraient une validation sur manipulateurs réels (WidowX physique, Franka) et une évaluation de la robustesse de l'interface de guidance en conditions industrielles réelles.

UniJEPA : amélioration des politiques robotiques via l'apprentissage unifié de représentations continues et discrètes

Une équipe de chercheurs propose UniJEPA (arXiv:2510.10642, troisième révision), un framework de politique robotique généraliste pré-entraîné sur plus d'un million de vidéos de manipulation instruite issues d'internet, puis affiné sur des données collectées directement sur le robot cible. L'architecture repose sur une approche JEPA (Joint Embedding Predictive Architecture) étendue pour modéliser des représentations visuelles continues de haute dimension. Les résultats expérimentaux annoncent un gain de 9 % en environnements de simulation et de 12 % sur des tâches réelles hors-distribution par rapport aux méthodes de référence actuelles. Il s'agit d'un preprint de recherche, pas d'un déploiement industriel. L'enjeu central est un angle mort persistant dans les politiques VLA (Vision-Language-Action) : elles s'appuient soit sur des VLM (modèles de langage visuels, forts en compréhension sémantique) soit sur des modèles génératifs (forts en modélisation de dynamiques visuelles), rarement les deux simultanément. Pour un intégrateur ou un COO industriel, cela se traduit par des politiques qui peinent à s'adapter à un nouvel atelier, un nouvel éclairage ou de nouvelles pièces sans re-collecte de données coûteuse. Le gain de 12 % sur les tâches hors-distribution est précisément la métrique critique ici : elle mesure la capacité de généralisation sans données supplémentaires, le graal opérationnel pour tout déploiement multi-site. UniJEPA répond en apprenant des représentations prédictives continues des futurs états visuels, converties ensuite en tokens d'action, validant l'applicabilité des architectures JEPA, originellement développées par Yann LeCun et son équipe chez Meta AI (I-JEPA, V-JEPA), au domaine de la politique robotique. Ce travail s'inscrit dans un paysage VLA très actif : Pi-0 de Physical Intelligence (combinant diffusion et VLM), OpenVLA, Octo et les modèles RT-X de Google DeepMind constituent les concurrents directs les plus cités. UniJEPA se distingue par son ancrage dans les architectures unifiées compréhension-génération, un territoire également exploré par des modèles comme Janus de DeepSeek. Publié en version 3 sur arXiv, le papier n'a pas encore passé la révision par les pairs d'une conférence de référence (ICRA, CoRL, RSS), ce qui invite à une lecture prudente des chiffres annoncés, dont le contexte exact des benchmarks n'est pas détaillé dans le résumé. Les prochaines étapes naturelles seraient une validation sur des embodiments commerciaux et un benchmark élargi au-delà des simulateurs utilisés dans les expériences actuelles.

SECOND-Grasp : préhension dextérique guidée par le contact sémantique

Des chercheurs ont publié en mai 2025 sur arXiv (2605.13117) SECOND-Grasp (SEmantic CONtact-guided Dexterous Grasping), un cadre unifié permettant à des mains robotiques multi-doigts d'adapter leurs stratégies de préhension à des consignes en langage naturel tout en garantissant la stabilité physique du contact. Le pipeline enchaîne un raisonnement vision-langage pour identifier les zones de contact probables, une segmentation multi-vues, puis un module baptisé SGCR (Semantic-Geometric Consistency Refinement) qui raffine ces prédictions par cohérence inter-vues et suppression des régions géométriquement invalides, produisant des cartes de contact 3D exploitables. Ces cartes alimentent un apprentissage de politique via cinématique inverse, entraîné sur le dataset DexGraspNet. Sur des catégories d'objets vus en entraînement, le système atteint 98,2 % de taux de succès au levage ; sur des catégories non vues, 97,7 % ; la préhension guidée par l'intention progresse de 12,8 % et 26,2 % respectivement face aux baselines, validé sur Shadow Hand et Allegro Hand. Le résultat le plus significatif est précisément cette quasi-absence de dégradation entre catégories vues et non vues : cela suggère que le couplage sémantique-géométrique produit des représentations suffisamment abstraites pour généraliser hors distribution, un verrou classique du dexterous grasping. L'intégration native du langage dans la planification de contact, plutôt qu'en couche de sélection aval, place SECOND-Grasp dans la lignée des architectures VLA appliquées à la manipulation fine, comme Pi-0 (Physical Intelligence) ou les travaux récents de DeepMind. Pour un décideur industriel, la promesse est lisible : un système capable de comprendre où et comment saisir selon une tâche verbalisée, sans ré-entraînement par catégorie d'objet. Les métriques restent toutefois issues de benchmarks contrôlés ; le transfert sim-to-real en environnement industriel non structuré n'est pas encore démontré. Le dexterous grasping est un chantier ouvert depuis les années 1990, longtemps fragmenté entre approches analytiques (calcul de wrench space) et méthodes data-driven. L'essor des modèles vision-langage a rouvert la question en conditionnant la préhension par le langage naturel. Les concurrents directs dans cet espace incluent GraspGPT, FoundationGrasp et les travaux de Stanford sur DexArt. En Europe, Enchanted Tools (robot Miroki) explore la manipulation expressive mais n'a pas publié de résultats comparables sur le grasping structuré. La prochaine étape naturelle pour SECOND-Grasp serait une validation sur plateforme physique en scène non contrôlée, potentiellement intégrée dans un pipeline humanoïde ou sur bras industriel polyvalent.

ViTacFormer : apprentissage de représentations cross-modales pour la manipulation dextérique vision-tactile

Une équipe de chercheurs a publié en juin 2025 ViTacFormer, une architecture d'apprentissage de représentations multi-modales pour la manipulation dextre robotique. Le système couple un encodeur cross-attention fusionnant vision haute résolution et données tactiles avec une tête de prédiction autoregressive des signaux de contact futurs, entraîné selon un curriculum progressif allant des tâches simples aux plus complexes. La représentation apprise pilote un module d'imitation learning pour des mains anthropomorphes multi-doigts. Sur des benchmarks réels en laboratoire, ViTacFormer dépasse les systèmes état de l'art précédents d'environ 50 %, enchaîne jusqu'à 11 étapes séquentielles sans intervention humaine et maintient une opération continue de 2,5 minutes sur des tâches de manipulation de précision. L'architecture répond à un verrou concret de la manipulation fine : les occlusions visuelles rendent la vision seule insuffisante lorsque la main cache l'objet, un problème que les capteurs tactiles résolvent mais que peu de systèmes intègrent de façon apprenante. La prédiction anticipée des contacts plutôt que leur simple détection réactive réduit la latence de contrôle, décisive pour les gestes de précision. La capacité à enchaîner 11 sous-tâches ouvre une voie pour l'assemblage multi-étapes industriel, où les robots classiques nécessitent actuellement une programmation explicite à chaque étape. Ces résultats restent cependant des benchmarks de laboratoire contrôlés ; la distance avec un déploiement en ligne de production réelle, où la variabilité des pièces et la robustesse du capteur tactile dans le temps sont critiques, demeure entière. ViTacFormer s'inscrit dans une vague de travaux combinant modèles VLA (Vision-Language-Action) et retour haptique, explorée également par Google DeepMind (Robotic Transformer), Physical Intelligence (Pi-0) et des startups comme Dexterous AI. Côté matériel, la dépendance aux mains anthropomorphes multi-doigts reste un frein à la commercialisation : Shadow Robot (UK) et Inspire-Robots (CN) dominent ce segment, mais à des coûts et avec une fiabilité mécanique qui limitent encore les déploiements industriels à grande échelle. Le travail est publié sous forme de preprint arXiv (arXiv:2506.15953), sans code ni dataset public annoncé à ce stade ; la transition vers des résultats reproductibles et des pilotes hors laboratoire constitue l'étape critique à surveiller.

SenseTime ouvre un commerce de proximité en IA incarnée avec des robots humanoïdes à Shanghai

SenseTime, l'un des principaux groupes d'intelligence artificielle en Chine, a inauguré en mai 2026 à Shanghai un point de vente de détail entièrement opéré par des robots humanoïdes. La boutique, baptisée "Shaomai Gou" (烧卖购), est installée dans le site touristique Baoshan Riverside Scenic Area. Le protocole client est simple : scanner un QR code pour passer commande depuis son téléphone, puis recevoir le produit directement des mains du robot. Au-delà de la préparation des commandes, les robots seraient capables d'assurer la sélection des références, la tarification et l'analyse des données de réapprovisionnement des stocks. Le magasin a attiré des files d'attente spontanées lors du week-end du 1er mai. Aucun modèle de robot n'est identifié dans l'annonce officielle, et SenseTime ne publie pas de métriques opérationnelles (temps de cycle, taux de succès des saisies, volume de transactions). Ce déploiement est significatif parce qu'il sort les robots humanoïdes du contexte industriel contrôlé pour les placer face à des consommateurs non formés, dans un environnement ouvert et non structuré. La manipulation de produits variés, la gestion des interactions client et le réassort en rayon constituent des tâches difficiles pour un système robotique généraliste. Cela dit, l'absence de données techniques publiées invite à la prudence : l'initiative ressemble davantage à un déploiement pilote à forte valeur marketing qu'à une preuve de passage à l'échelle industrielle. Ce que cela valide en revanche, c'est l'existence d'une voie commerciale pour l'embodied AI dans les services de proximité à forte fréquentation, un segment jusqu'ici dominé par des kiosques automatisés passifs. SenseTime a bâti sa réputation initiale sur la vision par ordinateur et la reconnaissance faciale avant de pivoter vers l'IA incarnée, combinant vision robotique, compréhension du langage naturel et manipulation physique. En Chine, la société fait face à la concurrence de Unitree Robotics, Fourier Intelligence et UBTECH sur le segment humanoïde ; à l'international, les références du secteur restent Figure AI avec le robot 03, Physical Intelligence avec Pi-0 et Boston Dynamics. La prochaine étape logique pour SenseTime sera d'étendre "Shaomai Gou" à d'autres sites et de publier des données de performance qui permettraient de distinguer la démonstration du déploiement opérationnel réel.

ForceFlow : apprendre à ressentir et agir grâce à l'apprentissage par flux guidé par le contact

Des chercheurs ont publié en mai 2026 sur arXiv (2605.11048) ForceFlow, un framework d'apprentissage par imitation pour la manipulation robotique en contact riche, construit sur le flow matching et l'intégration native du retour de force. L'architecture adopte une fusion multimodale asymétrique où le signal force/couple joue le rôle de régulateur global de la politique, couplé à un paradigme de prédiction jointe exploitant force instantanée et historique de mouvement. La décomposition de tâche s'articule en deux phases : une approche pilotée par un VLM (localisation de cible par pointage visuel), puis un contact piloté par la force, reliées par un mécanisme Vision-to-Force (V2F) qui découple explicitement généralisation spatiale et régulation de contact. Sur six tâches réelles à contact riche, ForceFlow dépasse de 37 points de pourcentage le taux de succès de ForceVLA, le baseline de référence, à coût déclaré inférieur, et démontre une généralisation zero-shot hors distribution (OOD). L'apport principal n'est pas l'ajout d'un capteur force mais sa position architecturale : traiter le signal F/T comme régulateur global (et non comme entrée supplémentaire simplement concaténée) améliore significativement la robustesse en généralisation. Le mécanisme V2F est la clé de voûte en séparant la représentation de l'espace de travail, apprise par vision, de la régulation de contact pilotée par force, ce qui réduit le couplage entre les deux sources d'erreur. La démonstration zero-shot OOD est crédible architecturalement, même si l'abstract ne livre pas les taux de succès absolus du baseline ForceVLA ni le détail des conditions expérimentales, ce qui rend les 37 % d'amélioration relative difficiles à pleinement contextualiser. Ce travail prolonge le courant hybride vision-force apparu dans le sillage de Pi-0 (Physical Intelligence, octobre 2024), qui a popularisé le flow matching pour les politiques robotiques à manipulation dextre. ForceVLA constitue le concurrent direct ; d'autres approches comparables incluent Diffusion Policy avec capteurs F/T et les variantes d'ACT augmentées force. L'institution des auteurs n'est pas identifiable dans le résumé publié, et le preprint n'a pas encore été soumis à peer review. Les prochaines étapes naturelles seraient la mise à disposition du code source et une validation sur plateformes hardware standardisées (Franka, UR5) pour confirmer la reproductibilité des résultats annoncés.

Estimation de scènes encombrées prêtes pour la simulation par optimisation conjointe de forme et de pose intégrant la physique

Une équipe de chercheurs publie sur arXiv (réf. 2602.20150, v2, février 2026) SPARCS, un pipeline de reconstruction de scènes directement exploitables en simulation physique à partir d'observations réelles. Le système estime simultanément la forme géométrique et la pose de plusieurs objets rigides en interaction, dans des environnements encombrés comportant jusqu'à cinq objets représentés par 22 enveloppes convexes. Deux contributions techniques distinguent l'approche : un modèle de contact à différentiabilité de forme globale permettant l'optimisation conjointe géométrie-pose tout en modélisant les contacts inter-objets, et un solveur linéaire exploitant la sparsité structurée du Hessien Lagrangien augmenté, dont le coût de calcul croît favorablement avec la complexité de la scène. Le pipeline complet enchaîne initialisation par réseau de neurones, optimisation physique contrainte et raffinement différentiable des textures. L'intérêt industriel est direct : les pipelines d'apprentissage de politiques robotiques, qu'ils reposent sur l'imitation learning ou le reinforcement learning, sont freinés par la rareté de scènes simulées physiquement cohérentes. Générer automatiquement ces scènes à partir du réel réduit le fossé real-to-sim qui fragilise ensuite le transfert sim-to-real. Là où les méthodes existantes échouent dans les environnements denses (coût computationnel prohibitif, robustesse insuffisante, portée limitée à un seul objet), SPARCS traite plusieurs objets en contact simultané. Pour un intégrateur développant des systèmes de manipulation ou un laboratoire travaillant sur des robots humanoïdes, cela ouvre une voie crédible vers la génération automatique de données d'entraînement directement issues de scènes réelles. Le domaine real-to-sim est en forte expansion depuis 2023, principalement tiré par l'entraînement de modèles vision-action (VLA) comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Les approches concurrentes telles que BundleSDF (Meta / University of Washington) privilégient la reconstruction 6-DoF d'objets inconnus, tandis que les méthodes NeRF et 3D Gaussian Splatting maximisent la fidélité visuelle sans garanties physiques. SPARCS se différencie par son orientation explicitement "simulation-ready" : les scènes produites sont directement injectables dans des simulateurs comme MuJoCo ou Isaac Sim. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication ; il s'agit d'une contribution académique sans produit commercial annoncé.

GuidedVLA : spécialisation de l'attention pour cibler les facteurs pertinents d'une tâche dans les modèles VLA

Une équipe de chercheurs propose GuidedVLA, un cadre d'entraînement conçu pour améliorer la robustesse des modèles Vision-Language-Action (VLA) en robotique de manipulation. Publiée sur arXiv (2605.12369) en mai 2026, l'approche repose sur une décomposition fonctionnelle du décodeur d'actions : plutôt que de laisser un bloc monolithique apprendre implicitement ce qui est pertinent dans une scène, GuidedVLA affecte des têtes d'attention spécialisées à des facteurs explicitement définis. Dans cette première instanciation, trois têtes distinctes supervisent respectivement la localisation d'objets (object grounding), la géométrie spatiale, et la logique temporelle des compétences motrices. Les expériences menées en simulation et sur robot réel montrent des gains de taux de réussite aussi bien en conditions connues (in-domain) qu'en conditions non vues lors de l'entraînement (out-of-domain), par rapport à des baselines VLA existantes, sans que les auteurs ne publient de chiffres agrégés dans l'abstract. L'enjeu industriel est direct : les VLA actuels souffrent d'un problème bien documenté de surapprentissage sur des corrélations parasites, raccourcis visuels, bruit de fond, artefacts de jeu de données. Ce phénomène est l'une des causes principales de l'écart démo-réalité qui freine le déploiement en production. En forçant les têtes d'attention à capturer des représentations découplées et sémantiquement définies, GuidedVLA propose une voie vers un meilleur transfert sim-to-real. L'amélioration out-of-domain est particulièrement significative pour les intégrateurs et décideurs industriels : elle indique que le modèle généralise au-delà de ses données d'entraînement, condition nécessaire à tout déploiement en environnement non contrôlé. Les VLA ont émergé dans le sillage des grands modèles de langage, avec des jalons comme RT-2 de Google DeepMind en 2023, puis OpenVLA, Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA, toutes des architectures qui alignent l'action robotique comme une modalité dans des VLMs pré-entraînés, en pariant que la supervision de bout en bout suffit à isoler les bons facteurs. GuidedVLA remet en question ce pari en injectant de la structure explicite dans le décodeur, une direction qui rejoint certains travaux sur les politiques hiérarchiques. L'architecture se veut plug-and-play, ouvrant la voie à une intégration dans des VLA existants. Le papier reste à ce stade un preprint académique sans annonce de déploiement industriel ni partenariat commercial identifié.

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

SI-Diff : cadre d'apprentissage pour la recherche et l'insertion haute précision par diffusion dans le domaine des forces

Des chercheurs ont publié en mai 2025 sur arXiv (2605.12247) SI-Diff, un framework d'apprentissage par imitation qui traite dans un seul modèle les deux phases de l'assemblage de précision : la recherche de position (search) et l'insertion proprement dite (high-precision insertion). Le système repose sur une politique de diffusion opérant dans le domaine des forces, couplée à un mécanisme de conditionnement par mode qui permet au réseau de distinguer les deux comportements d'action sans changer de poids ni de modèle. Un policy enseignant (teacher policy) génère en amont des trajectoires diversifiées, dont les démonstrations réussies et efficaces servent à l'entraînement supervisé. À l'inférence, le modèle prend en entrée les retours tactiles et la vitesse de l'effecteur terminal pour produire les commandes motrices. Résultat clé annoncé : SI-Diff tolère des désalignements x-y allant jusqu'à 5 mm, contre 2 mm pour TacDiffusion, le baseline état de l'art, et démontre un transfert zéro-shot sur des géométries non vues à l'entraînement. Ce résultat mérite attention pour les intégrateurs industriels, car le principal frein au déploiement de l'assemblage robotisé de précision n'est pas la vitesse mais la robustesse aux incertitudes de pose, tolérances d'usinage, variabilité du picking, dérive thermique. Passer de 2 à 5 mm de tolérance sans recalibration ni modèle supplémentaire est un écart opérationnellement significatif sur une ligne de production réelle. Le choix du domaine force plutôt que vision pure pour la politique est aussi un signal : là où les VLA visuelles peinent sur les contacts sub-millimétrique, le retour tactile reste le vecteur le plus direct pour les tâches peg-in-hole. La transférabilité zéro-shot, si elle se confirme hors conditions de labo, réduit le coût de reconfiguration lors des changements de référence produit. Le paper se positionne explicitement contre TacDiffusion (2024), qui reste la référence académique sur l'insertion tactile par diffusion. Plus largement, il s'inscrit dans la vague des politiques de diffusion pour la manipulation de contact, popularisées notamment par les travaux de Physical Intelligence (Pi-0) et les frameworks ouverts issus de Columbia et Stanford. Le peg-in-hole est un benchmark historique de la robotique d'assemblage, présent depuis les travaux de Nevins et Whitney dans les années 1970, ce qui rend les comparaisons directes interprétables. Il s'agit pour l'instant d'un résultat de recherche (preprint, pas encore évalué en peer review), sans déploiement industriel annoncé ni partenariat commercial mentionné. Les prochaines étapes naturelles seraient une validation sur cellule d'assemblage réelle multi-référence et une comparaison avec des approches hybrides force-vision.

Premover : contrôle VLA rapide en agissant avant la fin des instructions

Une équipe de chercheurs publie sur arXiv (référence 2605.12160) un module baptisé Premover, conçu pour réduire la latence des politiques Vision-Language-Action (VLA) en exploitant le temps d'inactivité pendant lequel l'utilisateur formule sa commande. Sur le benchmark LIBERO, Premover ramène le temps d'exécution moyen de 34,0 à 29,4 secondes, soit une réduction de 13,6%, tout en maintenant un taux de réussite de 95,1% contre 95,0% pour la baseline avec instruction complète. Techniquement, le module gèle le backbone VLA existant et y greffe deux têtes de projection légères, l'une pour les patches d'image, l'autre pour les tokens de langage, qui projettent une couche intermédiaire du réseau dans un espace commun. La carte d'attention résultante (focus map), supervisée par des masques de segmentation de l'objet cible générés en simulateur, sert à réépondérer les tokens d'image de l'étape suivante. Un seuil scalaire de prédisposition, entraîné sur des préfixes d'instruction en streaming, décide du moment où la politique peut commencer à agir. L'enjeu dépasse la simple optimisation de latence. Dans un déploiement réel, l'utilisateur met plusieurs secondes à formuler sa requête, vocalement ou par clavier, laissant la politique en veille pendant une fraction significative de l'interaction. Premover transforme cette fenêtre creuse en précomputation utile sans toucher au backbone, ce qui en fait une amélioration drop-in compatible avec les VLA existants. Le contraste avec le "naive premoving" est révélateur : agir prématurément sans le mécanisme de focus fait chuter le taux de réussite à 66,4%, ce qui démontre que l'anticipation non conditionnée est destructrice et que la focus map est bien le coeur de la contribution. Pour un intégrateur industriel, une réduction de 13,6% du temps de cycle sur des tâches de manipulation représente un gain opérationnel cumulable à l'échelle d'un déploiement. Les VLA ont connu une accélération marquée depuis 2023, avec pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA de Stanford University comme jalons principaux. Le problème de latence qu'attaque Premover est structurel : plus les modèles sous-jacents grossissent, plus l'inférence est lente, rendant critiques les optimisations sans régression de performance. Ce travail reste pour l'instant un preprint, sans déploiement annoncé ni validation sur matériel réel mentionnée dans l'abstract, et sa robustesse hors du benchmark LIBERO, un environnement de simulation contrôlé à portée limitée, reste à établir. Les prochaines étapes naturelles incluront une validation sim-to-real sur des plateformes comme Franka ou UR5, et une extension aux instructions vocales continues où la fenêtre d'inactivité est structurellement plus longue.

ALAM : des transitions latentes algébriquement cohérentes pour les modèles VLA

Une équipe de chercheurs publie sur arXiv (2605.10819) ALAM, un modèle d'action latente algébriquement cohérent conçu pour lever le principal frein au passage à l'échelle des modèles VLA (vision-language-action) : la rareté des données robot étiquetées par des actions. La méthode exploite des vidéos sans annotation d'action pour apprendre des transitions latentes structurées, en soumettant des triplets d'images à deux contraintes algébriques : cohérence par composition (la combinaison de deux transitions doit être une transition valide) et cohérence par inversion (une transition doit être réversible). L'encodeur ainsi pré-entraîné est ensuite gelé, et ses séquences de transitions latentes servent de cibles génératives auxiliaires, co-générées avec les actions robot via un objectif de flow matching conjoint. Sur MetaWorld MT50, ALAM fait passer le taux de succès moyen de 47,9 % à 85,0 %. Sur LIBERO, il progresse de 94,1 % à 98,1 %. Les erreurs d'additivité et de réversibilité sont réduites de 25 à 85 fois par rapport aux baselines de modèles d'action latente non structurés. Ces résultats sont significatifs pour les équipes qui développent des politiques robotiques généralisées. Le goulot d'étranglement des données étiquetées freine depuis plusieurs années la commercialisation des VLA : collecter des démonstrations téléopérées est coûteux et lent à l'échelle industrielle. ALAM démontre qu'il est possible d'extraire une géométrie de transition utile depuis des vidéos brutes, YouTube, flux industriels, simulations sans annotation, et de la transférer efficacement vers une politique opérationnelle. La structure algébrique du latent n'est pas seulement un artefact de représentation : les ablations confirment que c'est la synergie entre cette cohérence locale et le flow matching conjoint qui produit les gains les plus nets, ce qui valide une hypothèse longtemps débattue sur la nécessité d'une structure explicite dans les espaces d'action latente. Le contexte est celui d'une compétition dense autour des VLA généralisés. Physical Intelligence (pi0), NVIDIA (GR00T N2), Figure (Helix) et Google DeepMind investissent massivement dans des architectures capables de généraliser à de nouvelles tâches avec peu de données. Les approches antérieures de latent action learning (comme IDM ou des variantes GROOT) apprenaient des codes latents par reconstruction pure, sans garantie structurelle, ce qu'ALAM corrige explicitement. L'étape suivante naturelle serait de tester la méthode sur des benchmarks réels plus diversifiés et sur des horizons de tâche plus longs, deux axes où les VLA actuels montrent encore des fragilités documentées.

Politique de force : apprentissage d'un contrôle hybride force-position en cadre d'interaction pour la manipulation en contact

Des chercheurs ont publié sur arXiv (2602.22088v2) "Force Policy", une architecture de contrôle pour la manipulation robotique en contact prolongé. L'approche repose sur une séparation architecturale nette entre deux régimes d'action : un module global guidé par la vision qui pilote les mouvements en espace libre, et un module local haute fréquence qui prend le relais dès qu'un contact est établi, en exploitant le retour d'effort pour exécuter un contrôle hybride force-position. Le coeur du système est ce que les auteurs appellent un "interaction frame" : un repère local instantané, récupéré automatiquement à partir de démonstrations humaines, qui découple la régulation de force de l'exécution du mouvement. Les expériences en conditions réelles couvrent plusieurs tâches à contact riche (assemblage, insertion, vissage) et démontrent des gains mesurables en stabilité de contact, précision de régulation de force et généralisation à des objets aux géométries et propriétés physiques variées. L'enjeu industriel est direct : la manipulation en contact riche reste le principal goulot d'étranglement des robots de production et d'assemblage. Les politiques d'apprentissage actuelles, qu'il s'agisse de Diffusion Policy, d'ACT ou des approches VLA, sont conçues pour l'espace libre et degradent significativement dès qu'un outil touche une pièce. En injectant le retour d'effort dans une boucle locale haute fréquence distincte de la boucle visuelle, Force Policy adresse structurellement ce découplage plutôt que de le noyer dans un réseau monolithique. La capacité à estimer le repère d'interaction à partir de démonstrations, sans hypothèse sur la structure de la tâche, réduit l'ingénierie manuelle nécessaire au déploiement. Ce travail s'inscrit dans une ligne de recherche active sur le contrôle hybride appris, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur le compliance learning chez CMU et Stanford. Il reste à ce stade une démonstration académique, sans déploiement industriel annoncé ni partenariat constructeur mentionné. L'étape suivante naturelle serait une validation sur des cellules d'assemblage réelles, avec des volumes de cycle et des tolérances conformes aux standards industriels. Le code et les démonstrations vidéo sont disponibles sur force-policy.github.io.

Locomotion humanoïde de bout en bout apprise à partir de pixels bruts

Une équipe de recherche a publié sur arXiv (réf. 2602.06382v2) un framework end-to-end permettant à un robot humanoïde de naviguer sur terrain varié en s'appuyant uniquement sur des images brutes de caméras stéréo de profondeur, sans carte de terrain préchargée à l'inférence. Le système s'articule autour de deux contributions distinctes. La première est une simulation haute-fidélité du capteur stéréo qui reproduit les artefacts de matching et les incertitudes de calibration réels, comblant le fossé entre l'entraînement simulé et le déploiement physique. La seconde est une approche de distillation comportementale tenant compte de la vision : une politique enseignante, entraînée sur des cartes de hauteur parfaites ("privileged height maps"), transfère ses connaissances à une politique étudiante ne recevant que des observations de profondeur bruitées, via un alignement dans l'espace latent et des tâches auxiliaires invariantes au bruit. Pour la gestion multi-terrain, une architecture multi-critic et multi-discriminator attribue des réseaux dédiés à chaque type de surface. La méthode a été validée sur deux plateformes humanoïdes équipées de caméras stéréo différentes, couvrant des défis tels que plateformes surélevées, larges brèches et traversée bidirectionnelle de longs escaliers. Ce travail s'attaque à un verrou majeur : la quasi-totalité des politiques de locomotion par reinforcement learning contournait jusqu'ici la perception visuelle en utilisant des cartes de terrain parfaites en simulation, inexistantes sur robot réel. En intégrant explicitement les imperfections du capteur dans la boucle d'entraînement, les auteurs montrent qu'un humanoïde peut naviguer en milieu non structuré avec seulement des caméras RGB-D grand public. Pour un intégrateur ou un décideur industriel, cela réduit potentiellement la suite sensorielle nécessaire et évite le recours au LiDAR ou à la cartographie préalable. L'architecture multi-discriminator règle également la friction habituellement observée entre les objectifs conflictuels d'apprentissage sur terrains homogènes et hétérogènes, une limite connue des politiques locomotion généralistes. La locomotion humanoïde basée vision est un champ de bataille actif : Unitree (H1, G1) et Agility Robotics (Digit) privilégient encore largement la proprioception, tandis que Boston Dynamics (Atlas), Figure (Figure 03) et Physical Intelligence (Pi-0) y intègrent progressivement la vision dans leurs pipelines de contrôle. NVIDIA pousse GR00T N2 comme couche commune de synthèse de mouvement simulé. Ce papier de février 2026 s'inscrit dans une vague cherchant à rendre la locomotion bas niveau aussi robuste que les policies VLA (Vision-Language-Action) le sont pour la manipulation. La validation sur deux plateformes différentes constitue un signal positif de généralisation, mais les métriques quantitatives détaillées (taux de succès, vitesse de marche, distance franchissable) ne figurent pas dans le résumé et méritent vérification avant toute décision d'intégration opérationnelle.

Pilotage unifié du bruit pour l'adaptation guidée par l'humain des modèles VLA

Des chercheurs ont publié sur arXiv (référence 2605.10821, mai 2026) UniSteer, un framework d'adaptation des modèles VLA (vision-language-action) basés sur la diffusion pour la manipulation robotique en conditions réelles. L'approche combine deux mécanismes jusqu'ici incompatibles : l'apprentissage par renforcement dans l'espace du bruit (noise-space RL), qui optimise un acteur léger sans toucher au modèle VLA préentraîné gelé, et les interventions correctives humaines fournies en espace d'action. La clé technique est une inversion approximative action-vers-bruit (action-to-noise inversion) appliquée au décodeur flow-matching gelé, ce qui permet de convertir chaque correction humaine en cible de supervision directement exploitable par le même acteur bruit que le RL optimise en parallèle. Sur quatre tâches de manipulation réelles et distinctes, UniSteer fait passer le taux de succès de 20 % à 90 % en 66 minutes d'adaptation en moyenne, surpassant les baselines noise-space RL autonomes et les approches human-in-the-loop en espace d'action. Ce résultat est significatif parce que l'adaptation on-robot reste le goulot d'étranglement majeur entre les VLA préentraînés et le déploiement industriel. Les modèles comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) montrent de fortes capacités en simulation et sur des distributions de données larges, mais se dégradent rapidement face aux distributions réelles spécifiques à un site ou à une tâche. UniSteer démontre qu'il est possible d'atteindre une adaptation efficace en moins d'une heure de temps robot, un budget crédible pour un intégrateur industriel. La précision à nuancer : les 66 minutes sont une moyenne sur quatre tâches contrôlées en laboratoire, et les conditions expérimentales exactes (complexité des tâches, variabilité de l'environnement, fréquence des interventions humaines) ne sont pas encore pleinement documentées dans le preprint. Ce travail s'inscrit dans une dynamique de recherche intense sur le fine-tuning des VLA post-déploiement, aux côtés d'approches comme RLIF (reinforcement learning from interventions) et DAgger. Le noise-space RL avait été proposé comme alternative moins coûteuse au fine-tuning complet, mais souffrait d'une exploration autonome inefficace. UniSteer comble ce déficit en injectant du signal humain sans nécessiter de réentraîner l'architecture de dénoising. Les suites logiques incluent des validations sur des VLA commerciaux (pi-0, GR00T N2, Helix d'Agility Robotics) et des tâches à plus longue chaîne d'actions, où la composante humaine pourrait devenir prohibitivement coûteuse. Aucun partenaire industriel ni calendrier de transfert n'est annoncé : il s'agit d'un preprint académique, pas d'un produit.

Quand un robot surpasse l'humain : apprendre auprès de démonstrateurs contraints

Des chercheurs ont publié sur arXiv (2510.09096, version 3, mai 2026) une approche algorithmique permettant à un robot d'apprendre une politique de contrôle plus efficace que celle démontrée par un opérateur humain contraint. Le constat de départ est simple : les interfaces classiques d'apprentissage par démonstration, enseignement kinesthésique, joystick, transfert sim-to-real, imposent des contraintes physiques ou logicielles qui empêchent l'expert de montrer un comportement optimal. Un joystick, par exemple, ne pilote un bras robotique que dans un plan 2D, alors que le robot est capable de trajectoires dans un espace à six degrés de liberté ou plus. Sur un bras WidowX en conditions réelles, la méthode proposée complète une tâche de manipulation en 12 secondes, soit dix fois moins que le behavioral cloning classique dans les mêmes conditions. L'enjeu dépasse la performance brute. Pour les intégrateurs industriels et les équipes de robotique appliquée, cela signifie qu'une démonstration médiocre, captée en atelier par un opérateur avec un contrôleur limité, n'est plus un plafond de performance. Le système infère un signal de récompense uniquement à partir des états observés (sans avoir besoin des actions de l'expert), puis étend ce signal aux états non explorés par interpolation temporelle. Le robot peut ainsi emprunter des chemins que l'humain n'a jamais montrés, réduisant la longueur des trajectoires et le temps de cycle. C'est une rupture par rapport au paradigme standard de l'imitation : au lieu de copier le geste, la machine reconstruit l'intention et optimise librement pour l'atteindre. Cela répond directement à l'un des points de friction majeurs du déploiement terrain, où la qualité des données de démonstration est rarement maîtrisée. L'apprentissage par imitation (imitation learning / LfD) est un domaine actif depuis plusieurs années, avec des approches comme GAIL, IRL ou DAgger. Ce travail s'inscrit dans le courant de l'apprentissage par renforcement inverse (IRL) contraint, mais avec une spécificité : il ne suppose pas que l'expert est optimal, ce qui le distingue de la majorité des formulations classiques. Les concurrents directs sur ce créneau incluent des travaux récents autour de VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence, qui cherchent également à généraliser au-delà des démonstrations vues. Le bras WidowX utilisé est une plateforme open-source abordable, ce qui favorise la reproductibilité. Les prochaines étapes naturelles seraient la validation sur des tâches multi-étapes et des morphologies robotiques plus complexes, notamment des humanoïdes où le gap entre contraintes de télé-opération et capacités physiques réelles est particulièrement marqué.

HarmoWAM : la manipulation robotique généraliste

Une équipe de chercheurs a soumis HarmoWAM (arXiv:2605.10942) en mai 2026, un nouveau modèle d'action mondial (WAM) end-to-end pour le contrôle de robots manipulateurs. L'architecture unifie deux paradigmes antagonistes dans la littérature : l'"Imagine-then-Execute" (prédiction vidéo puis dynamique inverse), généralisable mais imprécis, et le "Joint Modeling" (actions et représentations visuelles comodélisées), précis mais limité à sa distribution d'entraînement. HarmoWAM combine un world model fournissant des priors physiques spatio-temporels, deux experts d'action complémentaires (un expert prédictif exploitant les dynamiques latentes, un expert réactif inférant les actions depuis l'évolution visuelle prédite), et un Process-Adaptive Gating Mechanism qui sélectionne automatiquement lequel activer selon la phase de la tâche. Sur six tâches réelles évaluées dans trois environnements jamais vus à l'entraînement, le système surpasse les meilleurs VLAs de 33 % et les WAMs concurrents de 29 % en généralisation zéro-shot. Le résultat stratégique n'est pas la performance brute, mais la capacité à généraliser sans réentraînement sur des configurations inédites -- le blocage central identifié par les intégrateurs industriels. Un robot précis en lab s'effondre dès qu'un fond, une position ou un objet change. En découplant transit généraliste et interaction précise, avec un mécanisme automatique pour basculer entre les deux selon la phase, HarmoWAM attaque directement le sim-to-real gap et la fragilité distributionnelle des VLAs actuels. Si ces gains se confirment sur des configurations plus variées, cela contredit l'hypothèse souvent défendue que précision et généralisation restent fondamentalement incompatibles à court terme. Les WAMs émergent comme alternative aux VLAs classiques, dont Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI), en intégrant explicitement un modèle prédictif du monde physique dans la boucle de contrôle. HarmoWAM cherche à réconcilier deux branches qui s'étaient développées séparément au sein de cette famille. L'article reste un preprint arXiv non encore évalué par les pairs, sans partenaire industriel cité ni calendrier de déploiement annoncé -- il s'agit donc d'une annonce de recherche, pas d'un produit shipé. Aucune entreprise française ou européenne n'est mentionnée dans les travaux. La prochaine étape naturelle serait une évaluation sur des benchmarks standardisés comme LIBERO ou RLBench, ainsi que des tâches longue durée multi-étapes, domaines où les WAMs montrent encore des limites reconnues.

Politique CoLA-Flow : apprentissage par imitation temporellement cohérent via le flux d'actions latentes continues pour la manipulation robotique

Une équipe de chercheurs a publié sur arXiv (2501.23087, version 3 en mai 2026) CoLA-Flow Policy, un framework d'apprentissage par imitation conçu pour la manipulation robotique sur des horizons d'action longs. L'approche combine le flow matching, une technique générative plus rapide que la diffusion, avec un espace d'action latent continu dans lequel les trajectoires sont encodées avant l'apprentissage du flux. Sur bancs de simulation et sur robots réels, les expériences affichent une amélioration de la régularité des trajectoires allant jusqu'à 93,7 % et un gain de taux de succès allant jusqu'à 25 points de pourcentage par rapport aux baselines de flow matching opérant directement dans l'espace d'action brut. L'inférence s'effectue en quasi-un seul pas, soit une vitesse nettement supérieure aux politiques basées sur la diffusion, qui nécessitent plusieurs étapes de débruitage. Le principal apport de CoLA-Flow est de découpler la structure globale du mouvement du bruit de contrôle bas niveau : en encodant les séquences d'actions en trajectoires latentes temporellement cohérentes, le modèle évite les oscillations et incohérences qui affectent les politiques de flow matching en espace brut. Pour un intégrateur ou un décideur industriel, cela signifie qu'une même architecture peut traiter des tâches de manipulation complexes sans latence rédhibitoire ni comportement erratique entre les étapes. Le conditionnement par nuages de points (point cloud) et la modulation multimodale à l'exécution via des indices visuels renforcent la robustesse dans des environnements réels non contrôlés, deux exigences critiques pour tout déploiement hors laboratoire. Ce travail s'inscrit dans une compétition intense entre architectures génératives pour les politiques robotiques. Diffusion Policy (Chi et al., 2023) a établi la référence en termes d'expressivité comportementale, mais son coût computationnel freine l'usage temps réel. Pi-0 de Physical Intelligence et GR00T N2 de NVIDIA ont validé le flow matching comme alternative viable, au prix d'une instabilité accrue sur les horizons longs, précisément le problème que CoLA-Flow tente de résoudre via l'espace latent. Le framework s'apparente conceptuellement aux approches d'action chunking (ACT), mais opère au niveau du flux plutôt que de la prédiction directe. La troisième version de l'article suggère des révisions itératives significatives depuis janvier 2026 ; aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade, et les benchmarks présentés restent limités à des environnements de manipulation contrôlés.

HiVLA : un système de manipulation incarnée hiérarchique centré sur l'ancrage visuel

Des chercheurs ont publié sur arXiv (identifiant 2604.14125) HiVLA, un cadre hiérarchique de manipulation robotique qui découple explicitement la planification sémantique de haut niveau du contrôle moteur de bas niveau dans les systèmes VLA (Vision-Language-Action). La couche haute s'appuie sur un planificateur VLM (Vision-Language Model) chargé de décomposer les tâches et de générer des plans structurés : une instruction de sous-tâche accompagnée d'une bounding box précise localisée visuellement sur l'objet cible. La couche basse traduit ensuite ce plan en actions physiques via un Diffusion Transformer (DiT) à flow-matching, doté d'un mécanisme de cross-attention en cascade original. Ce mécanisme fusionne séquentiellement le contexte global de la scène, des recadrages haute résolution centrés sur l'objet, et la sémantique de compétence, permettant au DiT de se concentrer uniquement sur l'exécution robuste. Les évaluations, conduites en simulation et en environnement réel, montrent que HiVLA surpasse les baselines end-to-end de l'état de l'art, avec des gains particulièrement marqués sur les tâches à longue horizon et la manipulation fine de petits objets dans des scènes encombrées. L'intérêt de cette approche réside dans la résolution d'un compromis bien documenté : le fine-tuning d'un grand modèle de vision-langage sur des données de contrôle robotique dégrade systématiquement les capacités de raisonnement généralisé héritées du modèle de base. En séparant les deux niveaux, HiVLA préserve les capacités zero-shot du VLM tout en permettant d'améliorer le composant moteur de façon indépendante. Pour un intégrateur ou un COO industriel, cela signifie potentiellement pouvoir mettre à jour la politique de bas niveau sans réentraîner le planificateur cognitif, ce qui réduit les coûts de maintenance et d'adaptation à de nouvelles tâches. La performance sur la manipulation fine dans des environnements désordonnés est notable, car c'est précisément le type de scénario qui met en défaut les VLA monolithiques comme RT-2 ou OpenVLA. Les approches VLA end-to-end comme pi-0 de Physical Intelligence, OpenVLA (UC Berkeley), ou GR00T N2 de NVIDIA ont démontré la viabilité du paradigme mais se heurtent au problème du catastrophic forgetting lors du fine-tuning sur des données de contrôle étroites. HiVLA s'inscrit dans une tendance vers des architectures hiérarchiques séparant raisonnement et exécution, direction qu'explorent également NVIDIA avec GR00T N2 et Google DeepMind avec ses travaux RT-X. Il reste cependant un preprint arXiv sans déploiement industriel annoncé ni affiliation commerciale visible dans le document disponible. Les résultats en environnement réel mentionnés dans l'abstract sont encourageants, mais les conditions expérimentales précises (types de tâches, métriques de succès, nombre d'essais) ne sont pas détaillées dans le résumé public, ce qui invite à la prudence avant toute généralisation à des applications industrielles.

PriorVLA : adaptation préservant les acquis pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 15 mai 2026 sur arXiv (2605.10925) PriorVLA, un framework d'adaptation pour les modèles Vision-Language-Action (VLA) destinés à la manipulation robotique généraliste. L'approche repose sur deux composants distincts : un Prior Expert gelé, utilisé en lecture seule pour conserver les représentations apprises lors du pré-entraînement, et un Adaptation Expert entraînable sur la tâche cible. Des Expert Queries extraient des priors de scène depuis le VLM pré-entraîné et des priors moteurs depuis le Prior Expert, puis les injectent dans l'Adaptation Expert pour guider la spécialisation. Résultat : PriorVLA ne met à jour que 25 % des paramètres modifiés par un fine-tuning complet. Sur le benchmark RoboTwin 2.0-Hard, il dépasse pi0.5 de 11 points ; sur LIBERO, il atteint 99,1 % de taux de succès moyen. Sur huit tâches réelles et deux plateformes embarquées, le modèle affiche 81 % de succès en distribution et 57 % hors distribution. En régime few-shot à 10 démonstrations par tâche, il atteint respectivement 48 % et 32 %, surpassant pi0.5 de 24 et 22 points. Le problème central que PriorVLA attaque est bien documenté : le fine-tuning complet d'un VLA pré-entraîné sur de grandes quantités de données tend à écraser les priors larges au profit de patterns étroits propres à la distribution d'entraînement, dégradant la généralisation hors distribution. C'est précisément le noeud du déploiement industriel, un robot doit fonctionner dans des environnements légèrement différents de ceux vus à l'entraînement. Les gains OOD de PriorVLA, conjugués à ses performances few-shot, suggèrent une voie plus efficace en données et en calcul pour adapter des fondations générales à des cellules de production spécifiques, sans réentraîner l'intégralité du modèle. PriorVLA s'inscrit dans la course à l'adaptation des VLA généralistes, un segment dominé par Physical Intelligence avec pi0 et pi0.5, et par NVIDIA avec GR00T N2 côté infrastructure. L'article utilise pi0.5 comme baseline principale, ce qui positionne PriorVLA explicitement comme une amélioration de l'état de l'art issu de Physical Intelligence. L'approche par expert gelé rappelle des techniques issues du PEFT (Parameter-Efficient Fine-Tuning) en NLP, ici transposées à l'action robotique. Les benchmarks RoboTwin 2.0 et LIBERO sont des standards académiques simulés ; les résultats sur tâches réelles, bien que prometteurs, restent limités à un contexte de laboratoire. Aucun déploiement industriel ni partenariat industriel n'est mentionné dans la publication.

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

Apprentissage sim-vers-réel zéro-shot pour robots : étude de préhension réactive par main dextérique

Une équipe de chercheurs a déposé en mai 2026 (arXiv:2605.09789) une méthode permettant le transfert zéro-shot de politiques de manipulation dextère depuis la simulation vers le robot physique, sans aucun fine-tuning sur données réelles. L'approche, baptisée Domain-Randomized Instance Set (DRIS), modifie la randomisation de domaine (DR) classique en propageant simultanément un ensemble d'instances physiques randomisées plutôt qu'une instance unique par épisode d'entraînement. Validée sur une tâche de rattrapage réactif d'objets en chute, la méthode obtient un transfert fiable avec seulement une dizaine d'instances simultanées. L'effecteur utilisé est délibérément contraignant : une plaque plate sans bords ni surface courbe, qui n'assure aucune stabilisation passive de l'objet capturé, à l'inverse des pinces ou surfaces enveloppantes couramment utilisées dans les benchmarks de rattrapage. Le sim-to-real gap reste l'un des principaux freins à l'industrialisation des robots manipulateurs apprenants. La DR classique, omniprésente dans les pipelines d'entraînement sur simulateurs comme IsaacGym ou MuJoCo, n'expose la politique qu'à une seule configuration physique par épisode, sous-échantillonnant ainsi la variabilité dynamique réelle. DRIS comble ce déficit en forçant la politique à optimiser simultanément sur plusieurs scénarios physiques plausibles, produisant selon l'analyse théorique des auteurs des politiques intrinsèquement plus robustes. Pour les intégrateurs, le bénéfice est direct : l'élimination du fine-tuning sur robot physique supprime un goulot d'étranglement coûteux, souvent plusieurs semaines de collecte de données en cellule réelle, qui freine aujourd'hui le déploiement de solutions de manipulation apprise en production. La manipulation dextère zéro-shot est un objectif de longue date dans la communauté robotique. DRIS s'inscrit dans la continuité de la randomisation adaptative, dont l'ADR d'OpenAI, popularisée avec le projet Dactyl en 2019, reste la référence historique. Elle se positionne comme orthogonale aux approches Visual-Language-Action (VLA) récentes comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui réduisent le gap via la généralisation sémantique plutôt que physique, et pourrait s'intégrer dans ces pipelines. Les auteurs ne précisent pas de timeline pour des validations sur des tâches plus complexes comme l'assemblage ou la manipulation in-hand, deux domaines où le zéro-shot sim-to-real demeure un problème ouvert.

CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache

Des chercheurs ont publié début mai 2026 un preprint sur arXiv (2605.07325) présentant CSR (Cached State Representation) et ASR (Asynchronous State Reconciliation), deux mécanismes visant à déployer des LLMs massifs comme contrôleurs temps réel pour des robots. Le verrou pratique est la latence TTFT (time-to-first-token) : sur un contexte de 120 000 tokens avec un modèle de 235 milliards de paramètres, la baseline standard exige 14,67 secondes avant la première sortie. CSR optimise la réutilisation du cache KV (key-value) pour ramener ce délai à 0,56 seconde, soit un facteur 26. ASR déleste en parallèle l'éviction de la mémoire d'état, éliminant les pics de latence sur 10 cycles d'opération continue. Testé sur un robot physique connecté sans fil à un serveur GPU on-premise, le système dépasse 2 Hz de fréquence de traitement et atteint un rappel de 0,836 sur un benchmark d'IA incarnée, contre 0,459 pour une approche RAG classique. L'enjeu est structurel pour la robotique incarnée : les approches existantes, RAG (retrieval-augmented generation) et fenêtres glissantes, font toutes deux un compromis, soit sur la cohérence contextuelle globale, soit sur la vitesse de re-calcul. CSR démontre qu'un modèle de 235 milliards de paramètres peut maintenir un horizon de contexte illimité tout en restant utilisable à fréquence robotique. C'est l'une des premières validations publiées de cette hypothèse sur un robot physique réel, et non en simulation. Pour les intégrateurs et les équipes ingénierie, cela signifie que les politiques robotiques fondées sur des LLMs ne seraient plus condamnées à tronquer l'historique ou à sacrifier le temps de cycle. Ces travaux s'inscrivent dans la tendance VLA (Vision-Language-Action), où des modèles fondation multimodaux remplacent progressivement les contrôleurs classiques. Les concurrents directs incluent Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les architectures Helix de Figure AI, qui adoptent des approches comparables pour l'IA incarnée à grande échelle. Ce preprint reste cependant une contribution académique préliminaire : le protocole porte sur un seul robot, un unique serveur GPU on-premise, sans affiliation industrielle ni feuille de route de déploiement annoncée. La reproductibilité à l'échelle et en conditions industrielles reste entièrement à prouver.

AGILE : reconstruction des interactions main-objet à partir de vidéo par génération à base d'agents

Une équipe de chercheurs a présenté AGILE (arXiv:2602.04672v3), un framework de reconstruction d'interactions dynamiques main-objet à partir de vidéos monoculaires, ciblant deux applications majeures : la collecte de données pour la manipulation dextère en robotique et la création de jumeaux numériques pour la simulation et la réalité virtuelle. La méthode s'attaque à deux verrous techniques qui paralysent les approches existantes : d'une part, le rendu neuronal classique produit sous forte occultation des géométries fragmentées, inutilisables directement en simulation physique ; d'autre part, l'initialisation par Structure-from-Motion (SfM) est notoriellement fragile sur des vidéos captées en conditions réelles. AGILE bascule du paradigme de reconstruction vers ce que les auteurs appellent une "génération agentique" : un Vision-Language Model (VLM) pilote un modèle génératif pour synthétiser un mesh objet complet, fermé (watertight) et texturé haute fidélité, sans dépendre du contenu vidéo occulté. Une stratégie dite "anchor-and-track" initialise la pose de l'objet sur une unique frame d'interaction via un modèle fondation, puis propage cette pose temporellement en exploitant la similarité visuelle entre l'asset généré et les frames vidéo. Une optimisation finale dite contact-aware intègre des contraintes sémantiques, géométriques et de stabilité d'interaction pour garantir la plausibilité physique. Sur les benchmarks HO3D, DexYCB et ARCTIC, AGILE surpasse les baselines en précision géométrique globale. L'intérêt industriel de cette approche réside dans la production d'assets directement exploitables en simulation, une propriété validée par les auteurs via du retargeting real-to-sim pour des applications robotiques. C'est précisément le point de friction qui freinait l'adoption des pipelines de reconstruction vidéo dans les boucles d'entraînement de politiques de manipulation : les meshes obtenus par NeRF ou reconstruction multi-vues classique nécessitaient un travail de remaillage manuel avant d'être injectables dans un moteur physique comme MuJoCo ou Isaac Sim. En contournant le SfM, AGILE devient également utilisable sur des données de terrain non contrôlées, ce qui ouvre la voie à la collecte passive de démos humaines à grande échelle, un prérequis pour les approches VLA (Vision-Language-Action) qui peinent encore à obtenir suffisamment de trajectoires dextères annotées. Le problème de la reconstruction main-objet est étudié depuis plusieurs années, avec des datasets de référence comme HO-3D (2020) et DexYCB (2021), et des méthodes basées sur les modèles paramétriques MANO pour la main. L'originalité d'AGILE est de déporter la reconstruction de l'objet vers une génération guidée, plutôt que de l'estimer directement depuis le signal vidéo dégradé. Les concurrents directs sont les méthodes NeRF-based adaptées aux scènes dynamiques (D-NeRF, HO-NeRF) et les pipelines SfM+MVS classiques, tous sensibles aux occultations. Du côté des acteurs industriels, cette direction intéresse directement les équipes travaillant sur la télé-opération et l'imitation learning pour bras robotiques dextères, notamment chez Dexterous Robotics, Physical Intelligence (Pi) ou les labos académiques proches de Figure et Apptronik. Le projet dispose d'une page dédiée (agile-hoi.github.io) ; aucun code ni dataset supplémentaire n'est annoncé à ce stade.

DynaRetarget : un retargeting dynamiquement réalisable par optimisation de trajectoire par échantillonnage

Des chercheurs ont publié en février 2026 sur arXiv (2602.06827v2) une méthode baptisée DynaRetarget, un pipeline complet visant à adapter automatiquement des mouvements humains en politiques de contrôle exécutables par des robots humanoïdes. Le coeur du système est un cadre d'optimisation de trajectoire par échantillonnage (Sampling-Based Trajectory Optimization, SBTO) qui transforme des trajectoires cinématiques imparfaites en mouvements dynamiquement faisables. La particularité technique de SBTO réside dans l'avancement incrémental de l'horizon d'optimisation, ce qui permet de traiter des tâches longues sans exploser en complexité computationnelle. Les auteurs rapportent avoir validé l'approche sur des centaines de démonstrations impliquant des interactions humanoïde-objet, avec des taux de succès supérieurs à l'état de l'art. Le pipeline se montre également capable de généraliser à des objets aux propriétés variables (masse, taille, géométrie) sans nécessiter de réentraînement spécifique. L'article ne fournit pas de métriques chiffrées dans son résumé (cycles de temps, charges utiles, DOF exploités) : les détails quantitatifs sont réservés au corps du papier. L'enjeu industriel est direct : collecter des données de loco-manipulation en conditions réelles reste le bottleneck principal pour entraîner les politiques d'imitation learning ou les modèles VLA (Vision-Language-Action) sur des humanoïdes. En permettant de générer des datasets synthétiques à grande échelle à partir de démonstrations humaines retargetées, DynaRetarget contourne partiellement la contrainte de la télé-opération coûteuse et de la capture de mouvement sur robot physique. La capacité à maintenir la faisabilité dynamique (et pas seulement cinématique) est un progrès concret : un humanoïde physique peut tomber ou violer ses limites d'actionneurs si la trajectoire n'est pas dynamiquement cohérente, un problème que les approches purement cinématiques ignorent. Le retargeting de mouvement humain vers robot humanoïde est un champ de recherche actif depuis une décennie, mais l'accélération actuelle est portée par la course aux données pour entraîner des politiques généralisables. Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Google DeepMind investissent massivement dans des méthodes de génération de données synthétiques et de sim-to-real. DynaRetarget s'inscrit dans cette dynamique en proposant une brique d'infrastructure, sans acteur commercial spécifique identifié dans le papier : c'est une contribution académique, probablement destinée à alimenter des pipelines d'entraînement amont plutôt qu'un produit déployable en l'état. Aucun partenariat industriel ni timeline de déploiement n'est annoncé.

HumanNet : passage à l'échelle de l'apprentissage vidéo centré sur l'humain à un million d'heures

Des chercheurs ont publié HumanNet, un corpus vidéo d'un million d'heures centré sur les activités humaines, conçu pour alimenter l'apprentissage de l'intelligence embodied à grande échelle. Disponible sous forme de preprint arXiv (2605.06747), le dataset couvre des perspectives à la fois à la première et à la troisième personne, et capture des interactions fines avec des objets, l'utilisation d'outils, et des comportements de longue durée dans des environnements réels variés. Au-delà de la vidéo brute, HumanNet fournit des annotations centrées sur l'interaction : légendes textuelles, descriptions de mouvement, et signaux liés aux mains et au corps. L'expérience clé de validation compare deux configurations d'entraînement continu à partir du modèle Qwen VLM : 1 000 heures de vidéo égocentrique tirées de HumanNet surpassent 100 heures de données issues de robots réels (Magic Cobot) sur un ensemble fixe de données de validation. Ce résultat, s'il se confirme à plus grande échelle, remet en cause un dogme du secteur : l'idée que les modèles VLA (Vision-Language-Action) nécessitent impérativement des données collectées sur des robots physiques pour progresser. La collecte de données robot est coûteuse, lente, et difficile à diversifier, ce qui constitue l'un des principaux goulots d'étranglement dans la course aux systèmes généralistes. HumanNet propose un chemin alternatif : exploiter la vidéo humaine comme substitut scalable et économique, en transférant des représentations motrices et interactives vers les systèmes robotiques. Il faut toutefois nuancer l'ambition de la démonstration : la validation présentée se limite à une seule ablation contrôlée sur un sous-ensemble de tâches, et aucun résultat en déploiement réel sur des robots n'est encore disponible. Ce projet s'inscrit dans une compétition plus large pour constituer des datasets à grande échelle pour l'embodied AI. Des corpus comme Ego4D (Meta, 3 500 heures), Epic-Kitchens ou Something-Something ont posé des jalons, mais aucun n'atteignait le million d'heures ni ne proposait ce niveau d'annotation motion-aware. Côté modèles, les concurrents directs incluent pi-0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind et Helix de Figure AI, tous confrontés au même problème de rareté des données robot. HumanNet ne s'accompagne d'aucune annonce commerciale ni de timeline de déploiement industriel ; il s'agit pour l'instant d'une contribution de recherche qui devra être validée dans des contextes robotiques réels avant de modifier les pratiques des intégrateurs.

💬 1000 heures de vidéo humaine qui surpassent 100 heures de données robot réel, c'est le genre de résultat qui fait mal au dogme du secteur. Si ça se confirme, ça change tout sur le goulot d'étranglement de la robotique généraliste : la collecte de données robot est un cauchemar logistique et financier, et là on parle de le contourner avec du YouTube. Bon, une ablation sur un sous-ensemble de tâches, c'est pas encore la preuve en déploiement, mais l'idée est là.

NoiseGate : plannings de bruit par pas de temps latent comme filtrage d'information dans les modèles monde-action

Une équipe de chercheurs publie sur arXiv (2605.07794) NoiseGate, une méthode pour améliorer les World Action Models (WAM), catégorie émergente de politiques robotiques qui couplent génération d'actions et modélisation prédictive d'observations futures. Dans ce paradigme, actions et frames anticipées sont co-générées le long d'une trajectoire de débruitage partagée via une architecture Mixture-of-Transformers (MoT), où tokens vidéo et tokens action interagissent par attention partagée. Le défaut identifié est structurel : les WAM actuels appliquent un unique scalaire de bruit à toutes les frames latentes prédites, supposant implicitement que chaque observation future est également fiable pour décider de l'action. NoiseGate remplace ce scalaire unifié par un schedule appris individuellement pour chaque latent : un réseau léger, le Gating Policy Network, émet des incréments de timestep par frame à chaque étape de débruitage, entraîné par optimisation de récompense de tâche sans prior codé manuellement. Les auteurs rapportent des gains consistants sur les benchmarks de manipulation RoboTwin en scènes aléatoires. L'apport de NoiseGate dépasse le gain de performance : il remet en question une hypothèse implicite centrale aux politiques robotiques à base de diffusion. Sous l'angle du Diffusion Forcing, le niveau de bruit joue le rôle d'un masque d'information ; assigner le même niveau à toutes les frames prédites revient à accorder une confiance uniforme à des observations qui diffèrent en certitude selon l'horizon temporel ou la variabilité de scène. Rendre ce schedule apprenable et par-latent permet au modèle de down-pondérer dynamiquement les frames incertaines lors de la génération d'action, ce qui est particulièrement pertinent pour des manipulations impliquant des séquences longues ou des environnements stochastiques. Pour les équipes travaillant sur des architectures VLA, cela valide le couplage fin entre qualité de prédiction vidéo et décision motrice. Les WAM s'inscrivent dans la tendance à unifier modélisation du monde et politique de contrôle dans un seul modèle génératif, approche que poursuivent aussi Physical Intelligence avec π0 et NVIDIA avec GR00T N2. Le concept de Diffusion Forcing, sur lequel NoiseGate s'appuie conceptuellement, permet l'inférence causale et le débruitage séquentiel dans des architectures multi-modales ; l'architecture MoT utilisée comme backbone est au coeur de plusieurs projets de robotique généraliste. L'étape suivante serait de valider l'approche sur des plateformes physiques réelles : les résultats présentés, obtenus en simulation RoboTwin, restent à confirmer en conditions réelles.

SeedPolicy : passage à l'échelle par politique de diffusion auto-évolutive pour la manipulation robotique

Une équipe de chercheurs publie SeedPolicy, une nouvelle méthode d'apprentissage par imitation (IL) pour la manipulation robotique, dans un preprint arXiv (2503.05117). L'innovation centrale est SEGA (Self-Evolving Gated Attention), un module temporel qui maintient un état latent évolutif via de l'attention à porte (gated attention), permettant des mises à jour récurrentes qui accumulent le contexte à long terme tout en filtrant les informations temporelles non pertinentes. Intégré à la Diffusion Policy (DP), le modèle résultant, SeedPolicy, est évalué sur le benchmark RoboTwin 2.0 avec 50 tâches de manipulation distinctes. Les résultats, moyennés sur des backbones CNN et Transformer : +36,8 % d'amélioration relative par rapport à la DP standard en conditions propres, et +169 % en conditions aléatoires et perturbées. Face à RDT, un modèle vision-langage-action (VLA) de 1,2 milliard de paramètres, SeedPolicy obtient de meilleures performances en conditions propres avec un à deux ordres de grandeur de moins en taille de modèle. Le problème de la manipulation à long horizon, enchaîner des séquences d'actions sur des périodes étendues, constitue un goulot d'étranglement persistant en IL. La Diffusion Policy standard se dégrade lorsqu'on empile davantage d'horizons d'observation, perdant la capacité à maintenir le contexte temporel. SEGA règle ce problème sans le coût computationnel des grands VLAs. Le +169 % en conditions perturbées (contre +36,8 % en conditions propres) est le chiffre le plus significatif : il indique une meilleure généralisation sous perturbation, critique pour tout déploiement réel. L'argument d'efficacité paramétrique conteste directement l'hypothèse selon laquelle la mise à l'échelle serait nécessaire pour la manipulation complexe. La Diffusion Policy est issue des travaux de Columbia University (Chi et al., 2023) et constitue aujourd'hui une baseline de référence en robot learning. Le domaine s'est depuis bifurqué : un camp mise sur les modèles de fondation et les VLAs (RDT, Pi-0 de Physical Intelligence, OpenVLA, Octo), l'autre sur la modélisation temporelle efficiente à moindre coût. SeedPolicy s'inscrit résolument dans le second. À noter : l'ensemble des résultats est obtenu en simulation sur RoboTwin 2.0, sans démonstration de transfert sim-to-réel, ce qui reste l'épreuve déterminante pour les intégrateurs industriels. Le code est disponible sous dépôt anonyme, ce qui suggère un article en cours de révision par les pairs. Aucun déploiement industriel ni calendrier commercial n'est annoncé.

La collecte de données robotiques traditionnelle est obsolète : ce qui la remplace

Eric Chan, cofondateur et chief scientist de Rhoda AI, était l'invité de l'épisode 242 du Robot Report Podcast pour présenter l'approche de sa startup dans l'entraînement de robots physiques. Rhoda AI est sortie de stealth en mars 2026 et développe ce qu'elle appelle un modèle DVA (Direct Video Action), une architecture qui exploite des vidéos issues d'internet pour entraîner des politiques de contrôle robot, sans recourir massivement à la téléopération humaine. La startup a publié une démonstration d'un robot bimanuel réalisant une tâche de décantage (transfert de liquide entre contenants) piloté par une politique DVA. Chan apporte un profil académique solide: doctorat en informatique de Stanford, passé par NVIDIA, Google, NASA et WorldLabs avant de cofonder Rhoda AI. Le problème central que Chan soulève est structurel pour toute l'industrie robotique: les pipelines de collecte de données par téléopération sont coûteux, lents à passer à l'échelle, et produisent des données souvent trop spécialisées pour généraliser. Exploiter la vidéo internet, déjà disponible en quantité massive, représente une alternative potentiellement disruptive, à condition de résoudre le gap de correspondance entre observation visuelle passive et action motrice. Si l'approche DVA tient ses promesses d'apprentissage zero-shot ou few-shot, elle pourrait réduire significativement les coûts de déploiement pour les intégrateurs industriels et accélérer le passage prototype-to-production, un obstacle qui freine actuellement la majorité des projets d'IA physique. Il faut cependant noter que la démonstration publiée reste une preuve de concept en environnement contrôlé, et qu'aucun chiffre de performance en déploiement réel (taux de succès, robustesse aux variations d'environnement) n'a été communiqué à ce stade. Rhoda AI s'inscrit dans une course plus large à l'exploitation de données vidéo pour la robotique généraliste. Physical Intelligence (Pi-0), NVIDIA avec GR00T N2, et HuggingFace avec LeRobot travaillent tous sur des approches similaires de Vision-Language-Action (VLA) ou de pré-entraînement sur données hétérogènes à grande échelle. La spécificité revendiquée de Rhoda AI est de cibler directement la vidéo brute d'internet plutôt que des datasets robotiques capturés en laboratoire, ce qui la rapproche de l'approche fondatrice des LLMs appliquée au contrôle physique. La société étant très récemment sortie de stealth, les étapes annoncées -- pilotes industriels, benchmarks comparatifs avec l'état de l'art -- restent à confirmer. La prochaine échéance sectorielle visible est le Robotics Summit and Expo 2026 à Boston, où plusieurs acteurs du marché, dont Tesla et Toyota Research Institute, présenteront leurs travaux en IA physique.

💬 L'idée de base, c'est exactement ce qu'on a fait avec les LLMs : prendre les données qui existent déjà sur internet plutôt que d'en produire à la main. Appliqué à la robotique physique, ça a du sens, parce que la téléopération c'est lent, cher, et ça ne scale pas au-delà du labo. La démo en environnement contrôlé, c'est bien, mais reste à voir ce que ça donne avec de la vraie variabilité terrain, parce que c'est là que tous les autres ont calé.

OA-WAM : un modèle du monde à adressage par objet pour la manipulation robotique robuste

OA-WAM (Object-Addressable World Action Model), soumis sur arXiv en mai 2025 (arXiv:2605.06481), propose une politique vision-langage-action (VLA) qui décompose chaque frame en N+1 "slots" d'état : un slot robot et N slots objets. Chaque slot combine un vecteur d'adresse persistant (identifiant stable de l'objet) et un vecteur de contenu variable décrivant son état courant. Ces représentations sont fusionnées avec des tokens textuels, visuels, proprioceptifs et d'actions dans une séquence causale par blocs, alimentant une tête "monde" (prédiction du frame suivant) et une tête d'action par flow-matching (chunk de 16 actions continues). Le modèle atteint 97,8 % de succès sur le benchmark LIBERO et 79,3 % sur SimplerEnv. Un test de "causal slot-intervention" mesure un cosinus de binding de 0,87 contre un maximum de 0,09 pour les baselines holistes, un écart difficile à ignorer. Le problème central est le "scene entanglement" : quand une politique représente l'évolution du monde comme une image globale ou des tokens vidéo, le décodeur d'action peine à cibler un objet précis dès que la scène varie (distracteurs, occlusions, changements d'éclairage). En séparant explicitement "quel objet" (l'adresse) de "comment il est" (le contenu), et en routant l'attention cross-slot via des clés d'adresse uniquement, l'architecture maintient l'identité des objets sous perturbations contextuelles sans surcoût en tokens. Pour un intégrateur B2B ou un COO industriel, c'est un argument concret vers des politiques robotiques stables face aux variations de ligne de production, sans retraining systématique à chaque changement de contexte. Les WAMs (World Action Models) sont une extension récente des VLA classiques (π0 de Physical Intelligence, OpenVLA, RT-2 de Google DeepMind) qui ajoutent une prédiction de scène en boucle fermée pour contraindre les décisions d'action. OA-WAM s'inscrit dans la lignée des modèles à slots (SAVi, IODINE) transposés au contrôle robot. Il s'agit d'un preprint académique : toutes les évaluations sont conduites en simulation (LIBERO, SimplerEnv), sans validation sur robot physique mentionnée. Aucun déploiement ni partenariat industriel n'est annoncé à ce stade. La prochaine étape logique sera la validation sim-to-real sur manipulateurs réels et l'extension à des tâches de manipulation longue durée.

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

BifrostUMI : des démonstrations sans robot pour la manipulation corps entier des humanoïdes

Une équipe de chercheurs a publié le 6 mai 2026 BifrostUMI (arXiv:2605.03452), un framework de collecte de données sans robot dédié à l'entraînement de politiques visuomotrices full-body pour robots humanoïdes. Le principe : un opérateur humain équipé d'un casque VR léger réalise des démonstrations manuelles, capturées sous forme de trajectoires de points-clés (keypoints) épars, tandis que des caméras montées au niveau des poignets enregistrent simultanément les données visuelles. Ces données multimodales alimentent ensuite un réseau de politique haut niveau qui apprend à prédire les trajectoires futures conditionnées aux features visuelles observées. Un pipeline de retargeting traduit ensuite ces trajectoires sur la morphologie du robot cible, qui les exécute via un contrôleur corps entier (whole-body controller). L'efficacité du framework est validée sur deux scénarios expérimentaux distincts, sans que les auteurs ne précisent les benchmarks quantitatifs de performance (temps de cycle, taux de succès par tâche) dans le résumé disponible. L'enjeu est direct pour quiconque tente de scaler l'entraînement d'humanoïdes : la télé-opération robotique reste le goulot d'étranglement principal de la collecte de données. Elle exige un accès permanent au hardware, un opérateur qualifié, et génère un flux de données lent et coûteux. BifrostUMI découple complètement la phase de démonstration du robot physique, ce qui ouvre la possibilité de collecter des démonstrations en masse, avec n'importe quel opérateur humain, dans n'importe quel environnement, sans mobiliser la plateforme mécanique. C'est précisément le verrou que les acteurs du secteur cherchent à lever : Figure AI, Physical Intelligence (pi) ou Apptronik dépendent tous de pipelines de collecte lents et onéreux. Si le sim-to-real gap reste un défi ouvert, l'approche keypoint avec retargeting propose une voie alternative au full imitation learning vidéo, en s'appuyant sur une représentation compacte et plus robuste aux variations morphologiques entre démonstrateur et robot. BifrostUMI s'inscrit directement dans la lignée de l'Universal Manipulation Interface (UMI) développé par Stanford, qui avait montré qu'un graspeur instrumenté suffit à générer des démonstrations transférables. Les auteurs étendent ce paradigme au corps entier des humanoïdes, un saut de complexité significatif donné le nombre de degrés de liberté à contrôler. Sur le marché, Physical Intelligence mise sur Pi-0 et ses variantes pour des politiques générales entraînées sur données téléopérées, tandis que Boston Dynamics, Unitree et Fourier Intelligence investissent massivement en infrastructure de télé-op. BifrostUMI, en tant que preprint non encore évalué par les pairs, reste une preuve de concept académique, sans déploiement industriel annoncé ni timeline de commercialisation. Les prochaines étapes naturelles seraient une évaluation comparative sur des benchmarks standardisés (RoboSuite, DROID) et une validation sur plusieurs morphologies humanoïdes différentes.

Préhension indépendante du point de vue par VLM et observations partielles

Des chercheurs ont publié sur arXiv (arXiv:2603.07866v2) un pipeline de saisie robotique guidé par le langage naturel, conçu pour fonctionner dans des environnements encombrés avec des observations partielles. Le système prend en entrée une commande textuelle en langage libre, localise l'objet cible dans l'image RGB via détection open-vocabulary et segmentation d'instance, puis extrait un nuage de points centré sur l'objet à partir de données RGB-D. Pour compenser les zones occultées, le pipeline applique une compensation de profondeur par back-projection et une complétion du nuage de points en deux étapes. Il génère ensuite des candidats de saisie à 6 degrés de liberté (6-DoF), les filtre pour éviter les collisions, et sélectionne la saisie finale via des heuristiques orientées sécurité tenant compte de l'accessibilité, de la faisabilité d'approche et des dégagements. Évalué sur un robot quadrupède équipé d'un bras manipulateur, le pipeline atteint un taux de succès global de 90 % (9 saisies sur 10) contre 30 % (3/10) pour la baseline dépendante du point de vue, sur deux scénarios de table encombrés. Ce résultat est notable parce qu'il adresse l'un des blocages les plus persistants du manipulation robotique mobile: l'occultation partielle. Les robots humanoïdes et quadrupèdes déployés en entrepôt ou en atelier ne disposent jamais d'une vue complète de la scène. Passer de 30 % à 90 % de succès en conditions réelles de désordre, sans recalibrage de vue, valide l'approche de complétion de nuage de points couplée à la détection open-vocabulary: le système n'a pas besoin de connaître l'objet à l'avance, il le trouve par description textuelle. C'est exactement le type de généralisation que cherchent les intégrateurs industriels pour éviter la reprogrammation à chaque nouveau SKU. Ce travail s'inscrit dans la vague des pipelines VLA (Vision-Language-Action) qui tentent de combler le fossé entre compréhension sémantique et exécution physique fiable. Des approches concurrentes comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) visent également la saisie généraliste, mais depuis des plateformes humanoïdes à deux bras. Ici, l'accent est mis sur les robots quadrupèdes à bras unique, segment moins couvert commercialement mais pertinent pour inspection et logistique en terrain semi-structuré. Les auteurs ne mentionnent pas de déploiement industriel immédiat, il s'agit d'un résultat de laboratoire; les prochaines étapes probables incluent des tests sur davantage de catégories d'objets et une évaluation hors table, en environnement ouvert.

RLDX-1 : rapport technique

Un rapport technique déposé sur arXiv le 6 mai 2026 présente RLDX-1, une politique robotique généraliste conçue pour la manipulation dextre complexe. L'architecture centrale, baptisée Multi-Stream Action Transformer (MSAT), intègre des modalités hétérogènes via des flux spécialisés par modalité couplés à une attention croisée inter-modale (cross-modal joint self-attention). Cette conception cible trois lacunes persistantes des modèles Vision-Langage-Action (VLA) actuels : la conscience du mouvement (motion awareness), la prise de décision avec mémoire contextuelle, et l'intégration de retours sensoriels physiques. Le système combine cette architecture avec des choix de conception système : génération synthétique de données d'entraînement pour les scénarios de manipulation rares, procédures d'apprentissage spécialisées pour un geste proche du mouvement humain, et optimisations d'inférence pour le déploiement temps réel. Sur le benchmark ALLEX, conçu pour évaluer le contrôle de robots humanoïdes à haut degré de liberté (DoF) sous des exigences fonctionnelles variées, RLDX-1 atteint un taux de succès de 86,8 % contre environ 40 % pour π0.5 (Physical Intelligence) et GR00T N1.6 (NVIDIA), soit un écart de plus de 45 points. Ces résultats, obtenus à la fois en simulation et sur des tâches en environnement réel, indiquent que l'architecture MSAT surpasse les VLA de référence sur des tâches impliquant des contacts riches, des dynamiques rapides et des contraintes sensorimotrices multiples. C'est précisément sur ce segment -- la manipulation dextre en conditions réelles, pas en démonstration contrôlée -- que le fossé entre recherche et déploiement industriel reste le plus large, et que ces chiffres méritent une validation indépendante avant d'être pris au pied de la lettre. Les VLA ont connu une accélération marquée depuis 2024, portés par RT-2 (Google DeepMind), OpenVLA, puis la série π0/π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. RLDX-1 s'inscrit dans cette dynamique en cherchant à dépasser le paradigme "versatilité générale" pour cibler des capacités fonctionnelles élargies sur des robots humanoïdes haute-DoF. Aucune affiliation institutionnelle ou entreprise n'est clairement identifiée dans l'abstract publié -- le rapport reste à ce stade un preprint non revu par les pairs, sans annonce de déploiement ni calendrier de commercialisation. Les étapes naturelles suivantes incluront une validation indépendante des benchmarks et une évaluation sur des plateformes humanoïdes commerciales comme celles de Figure, Unitree ou Agility Robotics.

ShapeGrasp : complétion de forme et préhension visuo-haptiques simultanées pour une manipulation robotique améliorée

ShapeGrasp est un pipeline de manipulation robotique itératif présenté en mai 2025 sur arXiv (2605.02347), qui couple reconstruction de forme 3D implicite avec planification de saisie par simulation physique. À partir d'une seule image RGB-D, le système infère la forme complète d'un objet partiellement occulté (nuage de points ou maillage triangulaire), génère des candidats de saisie par simulation de corps rigides, puis exécute la prise jugée optimale. Après chaque tentative, les contacts tactiles enregistrés et le volume occupé par le préhenseur sont fusionnés pour affiner le modèle 3D de l'objet. En cas d'échec, le système re-estime la pose et re-planifie depuis la forme mise à jour. Validé sur deux robots distincts et deux types de préhenseurs, l'approche atteint 84 % de taux de succès avec un préhenseur à trois doigts et 91 % avec un préhenseur à deux doigts, tout en améliorant la qualité de reconstruction 3D sur l'ensemble des métriques retenues. La manipulation d'objets inconnus ou partiellement visibles reste un verrou majeur en robotique industrielle. La plupart des systèmes de grasping actuels reposent sur une estimation visuelle initiale figée, sans correction post-tentative. ShapeGrasp introduit une boucle de raffinement perceptif où chaque échec enrichit la représentation géométrique de l'objet, reproduisant ainsi la stratégie d'exploration tactile humaine face à un objet non familier. Les auteurs affirment qu'il s'agit de la première approche à mettre à jour une représentation de forme après une saisie réelle, et non en simulation, ce qui comble un écart important entre résultats de labo et conditions opérationnelles réelles. Pour les intégrateurs industriels, cette correction itérative réduit la dépendance aux modèles CAO préalables et aux conditions d'éclairage maîtrisées, deux contraintes structurantes dans les environnements de production variables. La complétion de forme pour la manipulation robotique croise vision 3D (réseaux d'occupation implicite, PointNet) et perception tactile (capteurs GelSight, Digit). Des systèmes concurrents comme Contact-GraspNet ou GraspNeRF opèrent sur des représentations visuelles statiques, sans exploitation du retour haptique post-saisie. ShapeGrasp s'inscrit dans une tendance plus large de systèmes multimodaux couplant vision et proprioception, visible également dans les plateformes humanoïdes récentes (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA). Le travail est actuellement un preprint arXiv non encore soumis à une conférence majeure du domaine (ICRA, IROS, RSS), et les conditions expérimentales détaillées, notamment les familles d'objets testés, les vitesses de cycle et les contraintes d'environnement, n'ont pas encore été publiées dans leur intégralité.

Apprendre à agir par le contact : une vision unifiée de l'apprentissage multi-tâches pour les robots

Des chercheurs ont publié sur arXiv (2510.03599v2) un cadre unifié d'apprentissage de politiques pour la locomotion et la manipulation robotique multi-tâches, fondé sur une représentation dite "contact-explicite". Le principe central consiste à définir chaque tâche non pas par des trajectoires articulaires spécifiques, mais par une séquence d'objectifs de contact: positions de contact souhaitées, timings, et effecteurs actifs. Une politique unique, entraînée par apprentissage par renforcement (RL) conditionné aux objectifs, prend ces plans de contact en entrée et les exécute. Le framework a été validé sur plusieurs morphologies robotiques: un quadrupède exécutant différentes allures (trot, galop, etc.), un humanoïde réalisant des locomotions bipèdes et quadrupèdes, et ce même humanoïde effectuant des tâches de manipulation bimanuelles d'objets. Dans les trois cas, une seule politique gère l'ensemble des comportements. L'intérêt industriel est direct: l'approche contact-explicite améliore significativement la généralisation à des scénarios non vus pendant l'entraînement, ce qui s'attaque frontalement au "sim-to-real gap" qui pénalise la plupart des politiques entraînées en simulation. Pour un intégrateur ou un OEM robotique, cela signifie moins de politiques spécialisées à maintenir, moins de re-training à chaque variante de tâche, et une architecture potentiellement plus robuste aux variations de terrain ou d'objet. Le fait qu'une seule politique puisse couvrir à la fois locomotion et manipulation (loco-manipulation) dans un cadre commun réduit également la complexité d'orchestration en production. Les résultats présentés semblent solides en simulation, mais les auteurs n'annoncent pas de déploiement physique à l'échelle, ce qui invite à distinguer démonstration de recherche et produit shipé. Les approches classiques traitent locomotion et manipulation comme deux sous-problèmes séparés, avec des planificateurs et des politiques dédiées. L'espace des politiques générales est aujourd'hui dominé par des VLA (Vision-Language-Action models) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui s'appuient sur de larges datasets visuels et du transfert de fondation. La contribution ici prend le parti inverse: une représentation géométrique structurée des contacts, plus frugale en données mais plus contrainte en hypothèses. Dans le domaine de la locomotion quadrupède unifiée, les groupes de l'ETH Zurich (ANYmal), de CMU et de Berkeley restent les références. La suite logique de ces travaux serait d'interfacer la planification de contacts avec un module de compréhension du langage naturel, pour permettre des instructions de haut niveau, une direction déjà explorée par plusieurs laboratoires académiques et startups de la robotique incarnée.

VoxAfford : fusion multi-échelle voxel-token pour la détection d'affordances 3D à vocabulaire ouvert

Une équipe de chercheurs publie VoxAfford (Voxel-enhanced Affordance Detection), une méthode de détection d'affordance 3D en vocabulaire ouvert, disponible en preprint sur arXiv (identifiant 2605.01365, mai 2025). L'affordance 3D désigne la localisation automatique des zones d'interaction sur un objet - où saisir, pousser, verser - à partir d'une description textuelle libre et non prédéfinie. Sur les benchmarks de référence, VoxAfford affiche une amélioration d'environ 8% en mIoU (mean Intersection over Union) par rapport aux meilleures méthodes existantes. Des expériences sur robot réel valident un transfert zero-shot vers des objets inédits, c'est-à-dire non présents dans les données d'entraînement. Le problème central adressé touche directement la robotique de manipulation : les grands modèles de langage multimodaux (MLLMs) utilisés pour générer des masques de segmentation produisent des tokens sémantiquement riches mais spatialement appauvris, parce que leur génération autorégressive modélise des dépendances séquentielles plutôt que des relations de voisinage géométrique dans l'espace 3D. VoxAfford contourne ce goulot d'étranglement en injectant des caractéristiques géométriques multi-échelles issues d'un encodeur 3D VQVAE (Vector Quantized Variational AutoEncoder) pré-entraîné et figé, directement dans les tokens de sortie après génération. Un mécanisme de cross-attention interroge les motifs géométriques à chaque échelle de voxel en utilisant la sémantique d'affordance comme requête, tandis qu'une porte de compatibilité apprise dose l'injection. Les tokens enrichis sont ensuite agrégés en un prompt d'affordance spatialement cohérent, propagé avec les features par point pour produire le masque final. Les 8% de gain en mIoU sont présentés sans détail sur les conditions exactes de benchmark, un point à nuancer avant toute comparaison directe avec d'autres travaux. La détection d'affordance en vocabulaire ouvert constitue un verrou central pour les robots manipulateurs devant opérer en langage naturel dans des environnements non structurés, problématique partagée par les plateformes humanoïdes (Figure, Unitree, Boston Dynamics) comme par les bras industriels programmés via instruction vocale. Les approches précédentes, notamment celles étendant les MLLMs avec des tokens de sortie spéciaux, butaient précisément sur cette dichotomie sémantique-géométrique que VoxAfford tente de combler. L'architecture s'inscrit dans la tendance des modèles VLA (Vision-Language-Action) qui cherchent à réconcilier compréhension linguistique et précision spatiale - un défi que des acteurs comme Physical Intelligence (pi0), Google DeepMind (GR00T N2) et 1X affrontent également dans leurs pipelines de manipulation. La validation en robot réel avec transfert zero-shot, et non uniquement en simulation, renforce la crédibilité des résultats face au sim-to-real gap fréquemment reproché aux méthodes d'IA incarnée. Aucun acteur français ou européen n'est mentionné dans cette publication ; les suites naturelles incluent l'intégration dans des pipelines de manipulation sur des plateformes comme les bras Franka Robotics ou Universal Robots.

Lucid-XR : un moteur de données en réalité étendue pour la manipulation robotique

Une équipe de chercheurs a présenté Lucid-XR, un moteur de données génératif pour produire des données d'entraînement synthétiques multimodales destinées aux robots réels. Publié début mai 2026 sur arXiv (référence 2605.00244), le système repose sur vuer, un environnement de simulation physique web qui s'exécute directement sur un casque de réalité étendue (XR), sans équipement spécialisé. Lucid-XR intègre simulation physique embarquée et retargeting de posture humain-vers-robot : un opérateur pilote un avatar virtuel dont les mouvements sont convertis en trajectoires exploitables par le robot cible. Ces données sont ensuite amplifiées par un pipeline de génération vidéo guidé par la physique, paramétrable via des instructions en langage naturel. Les auteurs démontrent un transfert zéro-shot de politiques visuelles vers des environnements réels non vus lors de l'entraînement, y compris des scènes encombrées et mal éclairées, sur des tâches de manipulation impliquant matières souples, particules non liées (sable, grains) et contacts rigides. Le résultat central est ce transfert zéro-shot : la politique entraînée exclusivement sur données synthétiques opère directement sur robot réel, sans fine-tuning en environnement physique. C'est précisément le "sim-to-real gap" qui bloque le déploiement industriel des politiques d'imitation depuis des années. En rendant la collecte accessible via un casque XR grand public et en augmentant automatiquement le volume de données par génération vidéo, Lucid-XR s'attaque simultanément aux deux goulots d'étranglement classiques des VLA (Vision-Language-Action models) : quantité et diversité des données. La manipulation de matières particulaires reste un cas notoirement difficile pour les approches classiques, ce qui rend ces démonstrations pertinentes, même si les vidéos sélectionnées publiées sur le site projet ne permettent pas d'évaluer le taux d'échec réel. Ce travail entre en concurrence directe avec les moteurs de données synthétiques existants : NVIDIA Isaac Lab pour la simulation, les jeux de données de téléopération massive de Physical Intelligence (Pi-0) ou Google DeepMind (GR00T N2, déployé chez Figure et Agility Robotics). Des initiatives ouvertes comme Open-X Embodiment misent sur la mutualisation de données réelles. La distinction de Lucid-XR est de parier sur l'accessibilité matérielle et l'augmentation par génération vidéo plutôt que sur des fermes de téléopération coûteuses. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste pour l'instant une preuve de concept académique sans validation à l'échelle industrielle.

Extraire la récompense cachée dans les politiques de diffusion

EnergyFlow, preprint soumis en mai 2026 sur arXiv (2605.00623), établit un lien formel entre politiques de diffusion et apprentissage par renforcement inverse (IRL). L'idée centrale : paramétrer une fonction d'énergie scalaire dont le gradient définit le champ de débruitage. Les auteurs prouvent que sous l'hypothèse d'optimalité à entropie maximale, la fonction de score apprise par denoising score matching récupère exactement le gradient de la soft Q-function de l'expert, permettant d'extraire un signal de récompense sans entraînement antagoniste. Sur des tâches de manipulation robotique en simulation, EnergyFlow atteint des performances d'imitation à l'état de l'art et produit un signal de récompense utilisable pour affiner la politique par RL en aval, surpassant GAIL, AIRL et les approches par vraisemblance. Le code est disponible sur GitHub. L'enjeu est directement lié à l'essor des politiques de diffusion (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, OpenVLA-OFT) qui dominent les benchmarks de manipulation mais restent opaques sur la récompense implicite qu'elles optimisent. Sans signal explicite, améliorer une telle politique par RL impose de collecter de nouvelles démonstrations coûteuses. EnergyFlow propose un raccourci : la contrainte de conservativité du champ de débruitage est prouvée réduire la complexité de l'espace d'hypothèses et resserrer les bornes de généralisation hors distribution (OOD). La contrainte structurelle nécessaire à l'extraction de récompense agit simultanément comme biais inductif bénéfique pour la généralisation. Les résultats restent toutefois confinés à la simulation ; une validation sur hardware physique n'est pas encore présentée. Ce travail s'inscrit dans l'effort de dépasser les méthodes adversariales type GAIL, instables par nature en raison du jeu minimax, en exploitant la connexion mathématique entre modèles à base d'énergie (EBM) et processus de diffusion. Les concurrents directs sont GAIL, AIRL et MaxEntIRL. Les suites logiques incluent l'intégration dans des pipelines de fine-tuning de politiques pré-entraînées à grande échelle et la validation sur robot réel, deux conditions que le marché exigera avant toute adoption opérationnelle.

IA incarnée et interprétabilité causale : comprendre pour mieux généraliser dans les modèles VLA

Une équipe de chercheurs a publié le 1er mai 2026 (arXiv:2605.00321) un travail introduisant deux outils de diagnostic pour les politiques de type Vision-Langage-Action (VLA) : l'Interventional Significance Score (ISS) et le Nuisance Mass Ratio (NMR). L'ISS est une procédure de masquage interventionnel qui estime l'influence causale de régions visuelles spécifiques sur les prédictions d'action d'un agent robotique. Le NMR est une métrique scalaire qui quantifie dans quelle mesure un modèle s'appuie sur des caractéristiques visuelles non pertinentes pour la tâche plutôt que sur des causes réelles. La méthode reformule l'attribution visuelle comme un problème d'estimation interventionnelle, au sens de la causalité de Pearl, et non comme une simple corrélation statistique. Des expériences sur des tâches de manipulation variées confirment que le NMR prédit le comportement de généralisation, et que l'ISS produit des attributions plus fidèles que les méthodes d'interprétabilité existantes. À noter : le preprint ne publie ni code ni benchmark public, et les métriques de performance sur tâches spécifiques restent peu détaillées dans l'abstract. L'enjeu est direct pour les intégrateurs et les décideurs industriels : les modèles VLA actuellement déployés, comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Sanctuary AI, échouent régulièrement hors de leur distribution d'entraînement. Jusqu'ici, identifier pourquoi restait largement empirique. ISS et NMR offrent un test diagnostique pré-déploiement : un NMR élevé signale que le modèle prend ses décisions sur la base de corrélations visuelles parasites (couleur de fond, éclairage, texture du sol) plutôt que sur la structure causale de la tâche. C'est une avancée concrète vers l'analyse formelle du sim-to-real gap, l'un des verrous les plus cités par les équipes d'intégration robotique industrielle, et cela ouvre la voie à des critères de certification hors-distribution avant mise en production. Le problème de l'interprétabilité des politiques robotiques apprises restait largement ouvert. Les méthodes existantes, cartes de saillance par gradient ou rollout d'attention, reposent sur des observations corrélationnelles et ont tendance à surestimer l'importance de features visuelles non causales. Ce travail se positionne explicitement contre ces approches en adoptant un cadre interventionnel rigoureux. Aucune affiliation institutionnelle n'est mentionnée dans le preprint. Les suites naturelles incluent l'application systématique de ces métriques sur des architectures établies comme OpenVLA, Octo ou RoboVLMs, et potentiellement leur intégration comme signal de régularisation pendant l'entraînement. Le papier arrive au moment où Figure AI, 1X Technologies et Agility Robotics intensifient leurs déploiements en environnements industriels réels, rendant la robustesse hors-distribution critique pour la crédibilité commerciale du secteur.

Apprentissage en cours de déploiement : apprentissage par renforcement à l'échelle d'une flotte pour des politiques de robots généralistes

Une équipe de chercheurs a déposé le 1er mai 2026 sur arXiv (référence 2605.00416) un cadre d'apprentissage par renforcement appelé Learning While Deploying (LWD), conçu pour améliorer en continu des politiques généralisées de type Vision-Language-Action (VLA) directement en conditions réelles. Le système a été validé sur une flotte de 16 robots à deux bras, engagés sur huit tâches de manipulation en environnement physique, dont le réassort sémantique de produits d'épicerie et des séquences longues de 3 à 5 minutes. Partant d'une politique VLA pré-entraînée hors ligne, LWD collecte les rollouts autonomes et les corrections humaines réalisés sur l'ensemble de la flotte, puis les intègre dans un cycle continu d'amélioration et de redéploiement. Techniquement, le framework combine le Distributional Implicit Value Learning (DIVL), pour une estimation de valeur robuste sur des données hétérogènes à récompense sparse, avec le Q-learning via Adjoint Matching (QAM), adapté aux générateurs d'actions de type flow-based. Au terme de l'accumulation d'expérience de flotte, la politique généraliste unique atteint un taux de succès moyen de 95 %, les gains les plus marqués étant observés sur les tâches longue durée. Ce résultat est significatif non parce qu'il affiche un chiffre élevé, mais parce qu'il démontre que l'écart entre données d'entraînement et déploiement réel peut être réduit par apprentissage continu in situ. Les politiques VLA, de plus en plus utilisées comme backbone généralisé en robotique manipulation, souffrent d'un problème bien identifié : les datasets de démonstration fixes ne capturent ni les variations de distribution rencontrées sur le terrain, ni les pannes rares, ni les corrections opérateur. LWD formalise un pipeline où ces signaux de terrain sont directement réintégrés dans la boucle d'entraînement, sans nécessiter une phase offline séparée. Pour un intégrateur ou un COO industriel, la promesse est concrète : une flotte déployée s'améliore d'elle-même à mesure qu'elle travaille, et les interventions humaines alimentent le modèle plutôt que d'être perdues. Cette publication s'inscrit dans une course active à la post-formation de politiques VLA pour la manipulation robotique. Physical Intelligence avec Pi-0, NVIDIA avec GR00T N2, et les équipes de Figure AI ou 1X Technologies investissent tous dans des politiques généralisées robustes au transfert réel. Le point de différenciation de LWD est le paradigme fleet-scale : là où la majorité des travaux publiés portent sur un ou deux robots en laboratoire, les auteurs valident leur approche sur 16 unités en parallèle. Aucun partenaire industriel ni calendrier de commercialisation n'est mentionné dans le preprint, et les vidéos de démonstration n'ont pas été évaluées de manière indépendante, ce qui invite à traiter ces résultats comme une preuve de concept académique solide plutôt que comme une annonce produit.

Being-H0.7 : un modèle du monde-action en perspective égocentrique

Being-H0.7, un modèle de contrôle robotique publié sur arXiv début mai 2026 (référence 2605.00078), introduit une architecture dite "latent world-action model" pour les politiques robotiques généralisées. Le système repose sur une conception à double branche : une branche "prior" déployable en production, qui infère des états latents à partir de l'observation courante, et une branche "posterior" réservée à l'entraînement, qui enrichit ces états avec des embeddings issus d'observations futures. À l'inférence, seule la branche prior est active, sans génération de frames vidéo. Évalué sur six benchmarks de simulation standard et des tâches en environnement réel, Being-H0.7 atteint des performances à l'état de l'art ou comparables aux meilleurs modèles du moment. Le problème central que résout cette architecture est bien documenté dans la communauté VLA (Visual-Language-Action) : une supervision trop sparse sur les actions pousse les modèles à apprendre des correspondances raccourcies, sans représentation interne des dynamiques physiques, des contacts ni de la progression de la tâche. Les tentatives antérieures d'intégrer des world models au contrôle robotique passaient par la prédiction en espace pixel, ce qui multiplie le coût computationnel à l'entraînement et à l'inférence, et oblige le modèle à modéliser des détails visuels sans valeur pour la décision motrice. Being-H0.7 contourne ce goulot en imposant le raisonnement futur dans un espace latent compact, via des "latent queries" apprises intercalées entre le module de perception et la tête d'action. Le résultat est un modèle qui raisonne comme un world model pendant l'entraînement, mais se déploie avec la latence d'une politique VLA directe. Les VLA généralisés ont connu une accélération significative depuis 2023, portée par RT-2 (Google DeepMind), OpenVLA (UC Berkeley) et Pi-0 (Physical Intelligence). Sur le front des world models appliqués à la robotique, des approches comme Dreamer ou les travaux de NVIDIA autour de GR00T N2 ont exploré la prédiction de trajectoires, au prix d'une complexité d'inférence élevée. Being-H0.7, dont l'affiliation institutionnelle n'est pas précisée dans l'abstract, se positionne dans cet espace avec un compromis différent : intégrer la connaissance du futur sans jamais le générer. Le suffixe "H" suggère un ciblage humanoïde, mais l'absence de métriques opérationnelles détaillées dans la prépublication invite à attendre la version complète avant toute comparaison chiffrée définitive.

L'art de traverser le gouffre : quand une startup est-elle prête pour l'adoption par les entreprises ?

Figure AI a annoncé avoir atteint un rythme de production d'un robot humanoïde par heure dans son usine BotQ, située dans la baie de San Francisco, soit une multiplication par 24 du débit en moins de 120 jours. La société revendique la livraison de plus de 350 unités de troisième génération (Figure 03), la fabrication de plus de 9 000 actionneurs et 500 packs batterie, avec 150 postes de travail en réseau et plus de 50 stations de contrôle qualité en ligne de production. En parallèle, Flex -- fabricant texan de composants électroniques -- a annoncé le déploiement de robots de Teradyne Robotics dans l'ensemble de ses sites de production mondiaux, en combinant les cobots Universal Robots (UR) et les AMR (robots mobiles autonomes) de Mobile Industrial Robot (MiR), deux filiales de Teradyne. Celle-ci a par ailleurs publié ses résultats du premier trimestre 2026 : 91 millions de dollars de chiffre d'affaires, quatrième trimestre consécutif de croissance après deux vagues de licenciements liées à des baisses de revenus en 2023 et 2024. Du côté des distinctions, l'association A3 a remis les prix Engelberger 2026 à Hiroshi Fujiwara, directeur exécutif de la Japan Robot Association (JARA) depuis 2009, et à Robert Little, cofondateur d'ATI Industrial Automation en 1989, qui a fait passer la société de 1 million à plus de 100 millions de dollars de revenus en devenant un acteur mondial des changeurs d'outils robotiques et des capteurs force/couple. Le chiffre de 24x de gain de débit chez Figure AI est spectaculaire, mais il convient de le lire avec précaution : la société communique sur des volumes de production, non sur des déploiements clients ou des contrats signés -- la distinction entre "fabriqué" et "opérationnel chez un client" reste floue dans ce communiqué. Cela dit, atteindre un robot par heure constitue un vrai seuil industriel si les données sont vérifiées, car la plupart des concurrents humanoïdes fonctionnent encore à l'échelle des dizaines d'unités annuelles. Le partenariat Flex/Teradyne est lui plus concret : Flex étant déjà fournisseur de composants pour UR, ce déploiement interne représente un signal fort de maturité opérationnelle des cobots et AMR dans des environnements de production à haute variabilité. C'est précisément la question que pose Neal Hansch, managing partner de Silicon Foundry et invité de l'épisode 242 du Robot Report Podcast : à quel moment un startup robotique est-il réellement prêt pour l'adoption entreprise, au-delà des démonstrations ? Figure AI a lancé ses premiers prototypes publics en 2023 et son Figure 02 en 2024, avec un financement total dépassant le milliard de dollars. Ses principaux concurrents sur le segment humanoïde incluent Tesla (Optimus Gen 3), Agility Robotics déployé chez Amazon, 1X Technologies, Apptronik, et Physical Intelligence (Pi-0, axé VLA), sans oublier Unitree et Fourier Intelligence côté asiatique. Teradyne, de son côté, cherche à repositionner UR et MiR comme infrastructure de "physical AI" face à la montée des solutions intégrées proposées par des acteurs comme Boston Dynamics (désormais sous Hyundai). La trajectoire de Robert Little chez ATI -- 40 ans d'expérience, croissance organique de 100x sur les end-effectors -- rappelle que les composants critiques de la chaîne robotique peuvent générer une valeur durable bien au-delà des intégrateurs systèmes.

ExoActor : génération de vidéos exocentriques pour le contrôle généralisable d'humanoïdes interactifs

Un framework de contrôle humanoïde baptisé ExoActor a été publié en preprint sur arXiv (2604.27711, avril 2026) par une équipe proposant d'utiliser la génération vidéo en vue tierce comme interface unifiée de commande robotique. Le principe : à partir d'une instruction textuelle et du contexte visuel de la scène, ExoActor génère une vidéo synthétique d'exécution plausible, extrait les cinématiques humaines correspondantes, puis les transmet à un contrôleur de mouvement généraliste pour produire une séquence comportementale exécutable. Le pipeline complet, implémenté de bout en bout, est évalué sur des scénarios inédits sans collecte additionnelle de données réelles. L'intérêt de l'approche réside dans la manière dont elle attaque un verrou central du contrôle humanoïde : modéliser des comportements riches en interactions entre le robot, son environnement et les objets manipulés, tout en capturant simultanément contexte spatial, dynamiques temporelles et intention de tâche. Plutôt qu'un VLA classique mappant directement observations vers actions, ExoActor intercale une représentation vidéo comme espace latent intermédiaire, dont la capacité de généralisation provient de grands modèles vidéo pré-entraînés à l'échelle. Si les résultats de généralisation sont confirmés sur des benchmarks indépendants, cela ouvrirait une alternative sérieuse à la collecte coûteuse de données de téléopération que supportent actuellement des acteurs comme Figure AI, Agility Robotics ou 1X Technologies. Cette publication s'inscrit dans un courant cherchant à court-circuiter les démonstrations réelles via des modèles génératifs. Elle dialogue avec Pi-0 de Physical Intelligence (diffusion sur flux d'actions), GR00T N2 de NVIDIA (entraîné sur données humaines synthétiques et réelles), ainsi qu'avec UniSim et IRASim qui utilisent la synthèse vidéo comme simulateur de politique. La spécificité d'ExoActor est l'usage explicite d'une perspective exocentrique, vue tierce personne, là où d'autres approches travaillent en vue égocentrique. Les auteurs reconnaissent les limitations actuelles, notamment la qualité de l'estimation de mouvement humain à partir de vidéo synthétique. Aucun déploiement industriel ni partenariat commercial n'est annoncé : ExoActor reste à ce stade une contribution académique.

STARRY : modélisation du monde centrée sur l'action spatio-temporelle pour la manipulation robotique

Des chercheurs ont publié sur arXiv (arXiv:2604.26848) un nouveau modèle de politique robotique appelé STARRY, conçu pour améliorer la manipulation d'objets en intégrant un module de prédiction spatiotemporelle directement dans la boucle de génération d'actions. L'architecture repose sur un débruitage conjoint de latents spatiotemporels futurs et de séquences d'actions, complété par un mécanisme baptisé Geometry-Aware Selective Attention Modulation (GASAM), qui convertit la profondeur prédite et la géométrie de l'effecteur terminal en poids d'attention alignés sur les tokens d'action. Sur le benchmark RoboTwin 2.0, STARRY atteint 93,82 % de taux de succès moyen en configuration propre (Clean) et 93,30 % en configuration aléatoire (Randomized). En conditions réelles, le modèle améliore le taux de succès de 42,5 % à 70,8 % par rapport à π0.5, la politique de référence de Physical Intelligence. Ce résultat en conditions réelles mérite attention : le delta de +28,3 points sur π0.5 suggère que l'intégration explicite de la structure spatiotemporelle dans la politique, plutôt qu'en post-traitement, apporte un gain concret au-delà du benchmark simulé. Pour les intégrateurs et décideurs industriels, c'est un signal que le sim-to-real gap sur des tâches de manipulation précise reste un vrai verrou, et que les architectures VLA (Vision-Language-Action) classiques, sans modélisation de l'interaction future, plafonnent sur les scénarios à forte contrainte géométrique. La distinction entre prédire le monde et prédire ce qui est pertinent pour l'action semble être la clé ici, ce que STARRY formalise avec GASAM. STARRY s'inscrit dans une compétition dense autour des politiques VLA pour la manipulation : π0 et π0.5 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA, et les travaux issus des labos de Stanford, CMU ou Berkeley. Le benchmark RoboTwin 2.0, utilisé comme terrain d'évaluation principal, est un environnement de simulation récent orienté tâches bimanuelles. Il convient de noter que cette publication est un preprint arXiv, sans revue par les pairs à ce stade, et que les expériences réelles décrites semblent limitées en nombre de tâches et de contextes. Les prochaines étapes naturelles seraient une évaluation sur des benchmarks plus diversifiés comme LIBERO ou Open X-Embodiment, et une validation à plus grande échelle en environnement industriel réel.

CodeGraphVLP : code comme planificateur et graphe sémantique d'état pour les modèles VLA non-markoviens

Une équipe de recherche a publié en avril 2026 sur arXiv (référence 2604.22238) un nouveau framework hiérarchique baptisé CodeGraphVLP, conçu pour résoudre une limitation structurelle des modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique longue durée. Le système repose sur trois composants couplés : un graphe sémantique persistant qui maintient les entités et relations pertinentes à la tâche même sous observabilité partielle, un planificateur généré sous forme de code exécutable (d'où le préfixe "Code"), et un mécanisme de prompting visuo-linguistique guidé par la progression. Ce dernier construit des observations épurées, sans encombrement visuel parasite, pour focaliser l'exécuteur VLA sur les indices critiques. Les résultats sur des tâches non-markoviennes en environnement réel montrent une meilleure complétion que les baselines VLA standard et leurs variantes avec historique, avec une latence de planification significativement réduite par rapport aux approches qui intègrent un VLM directement dans la boucle de contrôle. L'enjeu technique est précis : les VLA actuels sont entraînés et déployés comme politiques à horizon court, sous hypothèse markovienne, autrement dit, la dernière observation suffit à raisonner sur l'action suivante. Cette hypothèse tient pour des gestes simples, mais s'effondre dès qu'une tâche exige de mémoriser des états antérieurs, d'interpréter des scènes occultées ou de distinguer des objets pertinents parmi du désordre visuel. CodeGraphVLP rompt avec cette contrainte en externalisant la mémoire dans un graphe symbolique et en confiant la planification à du code synthétisé plutôt qu'à des appels répétés à un grand modèle de langage, ce qui réduit la latence tout en maintenant une traçabilité explicite de la progression de la tâche. C'est un signal intéressant pour les intégrateurs industriels : la combinaison représentation symbolique + politique neuronale commence à produire des résultats mesurables sur du matériel réel, pas uniquement en simulation. Les VLA généralisés sont au coeur d'une compétition active en 2025-2026 : Physical Intelligence avec pi0, Google DeepMind avec RT-2 et ses successeurs, et des équipes académiques comme celles derrière OpenVLA. Le positionnement de CodeGraphVLP est distinct, il ne propose pas un nouveau modèle de fondation mais une architecture d'orchestration au-dessus de VLA existants, ce qui le rend potentiellement composable avec des modèles tiers. Les ablations publiées confirment la contribution individuelle de chaque module. La prochaine étape naturelle serait des tests sur des plateformes humanoïdes ou des bras industriels dans des environnements non contrôlés, domaine où l'hypothèse markovienne est la plus souvent violée.

Un cadre d'apprentissage autonome en boucle fermée piloté par LLM pour robots confrontés à des tâches inédites en environnement ouvert

Une équipe de recherche a publié le 22 avril 2026 sur arXiv (référence 2604.22199) un framework d'apprentissage autonome en boucle fermée piloté par LLM, conçu pour permettre à des robots d'intégrer durablement de nouvelles compétences sans recourir indéfiniment à des modèles de langage externes. Le principe central : lorsqu'un robot rencontre une tâche absente de sa bibliothèque locale de méthodes, il déclenche un processus structuré dans lequel le LLM joue le rôle de raisonnement de haut niveau (analyse de tâche, sélection de modèle candidat, planification de collecte de données, organisation de la stratégie d'exécution). Le robot apprend ensuite à partir de sa propre exécution ou par observation active de comportements externes réussis, effectue un entraînement quasi-temps-réel, et consolide le résultat validé dans sa bibliothèque locale pour toute réutilisation future. Les résultats expérimentaux montrent une réduction du temps moyen d'exécution de 7,7772 s à 6,7779 s, et surtout une chute du nombre moyen d'appels LLM par tâche de 1,0 à 0,2 dans les scénarios de ré-exécution répétée -- soit 80 % de dépendance au LLM éliminée sur les tâches déjà apprises. L'intérêt industriel de cette approche est d'ordre économique autant que technique. Les architectures actuelles de robotique généraliste (VLA, agents LLM embarqués) génèrent des coûts d'inférence récurrents et des latences incompatibles avec des déploiements à l'échelle en environnement de production. En construisant un savoir local cumulatif à partir d'interactions réussies, ce framework agit comme un mécanisme de compilation implicite : les appels LLM coûteux disparaissent au fil des répétitions. C'est une réponse directe au reproche souvent adressé aux systèmes fondation : leur dépendance permanente au cloud pour des décisions qui devraient devenir réflexes. Ce travail s'inscrit dans une tendance de recherche active autour de l'adaptation continue des robots en monde ouvert, en concurrence avec des approches comme l'apprentissage few-shot en ligne (RT-2, OpenVLA) ou les architectures de mémoire hiérarchique explorées chez Physical Intelligence (pi0) et chez Figure AI. La distinction clé ici est la boucle fermée entre observation, entraînement local et pruning des dépendances externes, une piste encore peu exploitée à l'échelle réelle. Les auteurs ne citent pas de partenaire industriel ni de déploiement terrain : il s'agit pour l'heure d'une preuve de concept académique, dont la robustesse en environnement non contrôlé reste à démontrer.