Actualités robotique — page 60

4 691 articles au fil, du plus récent au plus ancien.

41

2951Interesting Engineering 

Une équipe américaine combine jumeaux numériques et VR pour améliorer les performances de robots lunaires

Des chercheurs de l'Université du Colorado Boulder (CU Boulder) ont développé un système combinant jumeau numérique et réalité virtuelle immersive pour entraîner les opérateurs de robots lunaires. Le dispositif s'articule autour d'Armstrong, un petit robot à trois roues équipé d'un bras articulé et d'une pince, actuellement testé en laboratoire. Son jumeau numérique, construit sous Unity et calibré pour reproduire fidèlement les dynamiques de mouvement et les interactions avec les objets, est couplé à une interface VR en vue à la première personne via les caméras embarquées. Les expérimentations réalisées montrent que les opérateurs formés d'abord dans l'environnement virtuel accomplissent les tâches de manipulation d'objets significativement plus vite et déclarent un niveau de stress nettement inférieur à ceux formés directement sur le robot physique. Le système reste à ce stade confiné au laboratoire : aucun déploiement lunaire ni test en conditions extérieures n'est annoncé. L'enjeu est concret pour les missions lunaires à venir : sur la Lune, une erreur de manipulation peut mettre hors service un rover valant plusieurs millions de dollars, dans un environnement où la faible gravité (un sixième de celle de la Terre), les cratères, les zones d'ombre permanentes et la poussière abrasive compliquent chaque opération. La démonstration que la formation sur jumeau numérique transfère efficacement vers le matériel physique constitue une validation utile dans un domaine où ce "sim-to-real gap" reste souvent problématique. Pour les agences spatiales et les intégrateurs, cela ouvre une voie vers la standardisation des protocoles de formation sans mobiliser de hardware coûteux ni risquer d'endommager des systèmes critiques. L'équipe souligne également le potentiel pour libérer le temps EVA des astronautes, ressource particulièrement contrainte sur la surface lunaire. Le projet s'inscrit dans la préparation à l'architecture Artemis de la NASA, qui cible un retour humain sur la Lune à partir de 2027 avec un fort volet co-opération homme-robot pour la construction d'habitats et la recherche scientifique. CU Boulder n'est pas le seul acteur sur ce créneau : le MIT, Carnegie Mellon et l'ESA développent des systèmes analogues, tandis que des entreprises comme Astrobotic ou ispace misent davantage sur l'autonomie embarquée sans interface VR opérateur. L'équipe travaille désormais à des simulations lunaires avancées intégrant le comportement de la poussière, l'éclairage rasant et le terrain irrégulier, trois facteurs jugés parmi les plus difficiles à modéliser fidèlement. Les prochaines étapes prévoient de tester la coordination de flottes de robots opérant en parallèle, capacité jugée indispensable pour les bases lunaires permanentes envisagées à l'horizon 2030-2035.

Recherche❖Paper

1 source

51

2952Robohub 

Feuille de route mondiale des technologies robotiques

Henrik I. Christensen, professeur d'informatique à l'Université de Californie San Diego, a publié un document de positionnement de 52 pages intitulé "Global Robotics Technology Roadmap", couvrant la trajectoire mondiale de la robotique sur la décennie 2025-2035. Ce rapport de référence agrège des données issues des principales conférences du secteur (ICRA, IROS, RSS, CoRL, NeurIPS, ICML) ainsi que des statistiques industrielles collectées lors de visites directes dans des laboratoires de recherche sur trois continents. Les chiffres clés sont les suivants : le marché mondial de la robotique a atteint 53,2 milliards de dollars en 2024, avec une trajectoire projetée à 178,7 milliards en 2033. L'Asie domine le déploiement industriel avec 74 % des installations mondiales en 2024, dont 54 % pour la Chine seule. Le segment humanoïde, valorisé à 370 millions de dollars en 2025, est projeté à 6,5 milliards en 2030, avec des OEM chinois et des entreprises technologiques américaines en course pour la montée en production. Sur le plan algorithmique, le roadmap identifie les modèles Vision-Language-Action (VLA) comme le développement le plus structurant de la période, car ils permettent pour la première fois une généralisation cross-embodiment: un même modèle peut en principe piloter des morphologies robotiques différentes sans réentraînement complet. Du côté matériaux, les mécanismes souples à base d'élastomères à cristaux liquides (LCE), de polymères électroactifs (EAP) et d'hydrogels auto-cicatrisants sont signalés comme vecteurs de convergence entre systèmes industriels rigides et dispositifs médicaux bio-compatibles. Le document pointe également l'asymétrie réglementaire comme variable géopolitique critique: l'EU AI Act, premier cadre légal complet pour les systèmes d'IA à haut risque, est déjà en train de remodeler la conception des robots humanoïdes à l'échelle mondiale, y compris chez des acteurs non européens. Le rapport s'inscrit dans un effort de cartographie stratégique à destination des décideurs politiques, des agences de recherche et des directeurs R&D industriels. L'Europe y est positionnée comme leader en régulation de sécurité et en cobots collaboratifs, les États-Unis en autonomie propulsée par l'IA et en robotique de défense, tandis que l'Asie, pilotée par la Chine, écrase le reste du monde sur le volume de déploiement. Le document couvre des secteurs allant de la logistique à l'agriculture en passant par la construction et le minier, et formule des priorités de recherche différenciées par région. Aucun pilote ni timeline de déploiement concret n'est annoncé: il s'agit d'un document de prospective et d'orientation, pas d'un engagement industriel. Sa valeur tient à la synthèse structurée qu'il offre aux intégrateurs et stratèges qui naviguent dans un écosystème fragmenté entre acteurs américains (Boston Dynamics, Figure, Agility), chinois (Unitree, Fourier) et européens comme Wandercraft ou Enchanted Tools.

Recherche❖Paper

1 source

40

2953Pandaily 

Astribot atteint la valorisation d'un milliard de dollars après la clôture rapide de sa série B

Astribot, startup d'IA incarnée basée à Shenzhen, vient d'atteindre le statut de licorne en bouclant une série B qui porte sa valorisation au-delà de 10 milliards de RMB (environ 1,4 milliard de dollars). La société a enchaîné trois tours de financement consécutifs en l'espace de trois mois, levant au total plus d'un milliard de RMB. Le 27 mai 2026, elle a dévoilé son nouveau robot humanoïde T1 : 1,55 mètre de hauteur, 66 kilogrammes, 23 degrés de liberté et un payload de 5 kilogrammes par bras. L'architecture repose sur un actionnement par câbles, à la différence des solutions à engrenages ou hydrauliques des concurrents, ce qui procure des mouvements plus fluides et des marges de sécurité plus élevées pour une cohabitation avec des opérateurs humains. Fin 2025, Astribot annonçait des livraisons à l'échelle de plusieurs milliers d'unités, un chiffre à interpréter avec prudence puisqu'aucune donnée vérifiable de production n'a été communiquée. Le tour de table mêle des récurrents comme Ant Group à de nouveaux entrants : Thundersoft, spécialiste des systèmes embarqués pour cockpits automobiles, et Kede Education, ainsi que plusieurs fonds régionaux. Ce financement intervient alors que la plupart des acteurs du marché des humanoïdes restent en phase de prototype ou de pilote limité. La revendication d'Astribot d'être le seul fabricant en série mondiale de robots à câbles relève du discours marketing, mais l'existence de livraisons plurimilliers dès fin 2025 constitue un signal industriel tangible dans un secteur où le fossé entre démonstration et déploiement réel reste la principale ligne de fracture. Le partenariat avec Thundersoft cible l'intégration dans des cockpits automobiles intelligents, ouvrant un débouché B2B au-delà des seuls environnements manufacturiers. Côté fondation technique, le modèle Lumo joue le rôle de VLA (vision-language-action model), couplé à un OS robotique propriétaire : une pile verticalement intégrée qui, si elle tient ses promesses de sim-to-real, pourrait réduire les délais de déploiement chez les intégrateurs industriels. Astribot a été fondée en décembre 2022 par Lai Jie, vétéran de dix-sept ans en robotique, premier employé du laboratoire RoboticsX de Tencent (où il a conçu le robot à roues-jambes Ollie) et ancien responsable de l'équipe Xiaodu Robot chez Baidu. La montée en valorisation en moins de trois ans reflète à la fois la maturité de la chaîne d'approvisionnement robotique chinoise et un appétit investisseur en forte accélération pour l'IA incarnée. Sur le marché mondial, Astribot se retrouve en compétition directe avec Figure (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0) et NVIDIA (GR00T N2), ainsi qu'avec des acteurs chinois comme Unitree et Fourier Intelligence. Les prochaines étapes annoncées comprennent l'ouverture d'un centre d'IA incarnée à Yangzhou en partenariat avec les autorités municipales, et des programmes de formation professionnelle pour alimenter l'écosystème en techniciens spécialisés.

Chine/Asie❧Opinion

1 source

40

2954Robotics & Automation News 

Pourquoi l'usinage suisse de précision est essentiel à l'avenir de la robotique et de l'automatisation

L'essor mondial de la robotique industrielle et des systèmes de fabrication intelligente génère une demande croissante pour des composants mécaniques usinés avec une précision extrême. Les robots collaboratifs, les systèmes d'assemblage automatisé et les équipements de production pilotés par capteurs reposent sur des pièces dont les tolérances s'expriment en microns. L'usinage de décolletage suisse (Swiss machining), technique CNC spécialisée dans la production de pièces cylindriques de petits diamètres à très haute précision, s'impose comme un maillon critique de cette chaîne d'approvisionnement, notamment pour les axes, arbres, vis-mères et composants de transmission intégrés dans les actionneurs et joints des bras robotiques. L'enjeu est structurel : un robot industriel ou collaboratif ne peut maintenir ses performances en production continue que si chaque composant respecte des tolérances serrées sur la durée. Une pièce légèrement hors cote dans un réducteur harmonique ou un rail de guidage peut induire des dérives cumulatives qui compromettent la répétabilité, paramètre central pour tout déploiement en ligne d'assemblage. Cela positionne les sous-traitants en décolletage suisse comme des fournisseurs de premier rang pour les intégrateurs robotiques, au même titre que les fournisseurs de motoréducteurs ou d'électronique embarquée. À noter : l'article reste de niveau "livre blanc promotionnel" et ne cite aucune métrique concrète ni aucun client. Le décolletage suisse est une industrie centenaire dominée par des acteurs européens, notamment en Suisse (canton de Neuchâtel) et dans le Jura français (Arc jurassien), ainsi qu'au Japon et en Allemagne. Face à la montée en charge des commandes robotiques, portée par Figure AI, Boston Dynamics, 1X Technologies ou encore le français Enchanted Tools, ces sous-traitants de précision se retrouvent en position stratégique, à condition d'investir dans l'automatisation de leur propre production pour tenir les volumes demandés par une industrie qui s'industrialise rapidement.

FR/EU ecosysteme⚡Actu

1 source

54

2955arXiv cs.RO 

Cosmos 3 : des modèles du monde omnimodaux pour l'IA physique

NVIDIA a publié Cosmos 3, une famille de modèles du monde omnimodaux capables de traiter et générer conjointement du texte, des images, de la vidéo, de l'audio et des séquences d'actions au sein d'une architecture unifiée de type mixture-of-transformers. Présenté dans un preprint arXiv (2606.02800) le 3 juin 2026, Cosmos 3 fusionne en un seul framework quatre catégories de modèles jusqu'ici distinctes : modèles vision-langage (VLM), générateurs vidéo, simulateurs de monde et modèles action-monde. Les variantes post-entraînées ont été classées meilleures modèles open-source texte-vers-image et image-vers-vidéo par Artificial Analysis, et meilleur modèle de politique robotique par RoboArena. Code, checkpoints, datasets synthétiques et benchmarks d'évaluation sont publiés sous la licence OpenMDW-1.1 de la Linux Foundation, sur GitHub et HuggingFace. L'intégration de ces modalités dans un backbone scalable unique représente un changement architectural structurant pour l'IA physique. Pour un intégrateur robotique ou un décideur industriel, Cosmos 3 signifie qu'un seul modèle peut simultanément percevoir une scène, simuler des séquences vidéo plausibles, produire des instructions en langage naturel et prédire des séquences d'actions, sans recourir à plusieurs stacks spécialisés. La performance sur RoboArena, benchmark indépendant d'évaluation des politiques de contrôle robot, suggère que l'approche omnimodale ne sacrifie pas la précision des politiques à la généralité, une hypothèse régulièrement contestée dans le secteur. La mise à disposition des benchmarks sous licence ouverte offre en outre la possibilité d'un audit externe des performances, ce que les publications classiques de laboratoire ne permettent pas toujours. Cosmos 3 prolonge la trajectoire de NVIDIA en Physical AI amorcée avec Cosmos 1.x, présenté début 2025 comme plateforme de simulation pour l'entraînement robotique. L'architecture mixture-of-transformers rappelle des choix similaires chez Google DeepMind (Gemini) et Meta (Chameleon), mais avec un focus explicite sur l'embodiment et le contrôle moteur. Les concurrents directs sur le segment world-model pour robots incluent Physical Intelligence avec Pi-0, Google DeepMind avec ses successeurs de RT-2, et Skild AI. L'ouverture complète du code et des poids sous licence permissive est un signal stratégique clair : NVIDIA mise sur l'adoption par l'écosystème pour faire de Cosmos l'infrastructure de référence de l'IA physique, répliquant la dynamique qui a fait de CUDA le standard incontournable du calcul GPU.

IA physique❧Opinion

1 source

54

2956arXiv cs.RO 

TRAP : détournement du raisonnement CoT dans les VLA par patches adversariaux

Des chercheurs ont publié sur arXiv (réf. 2603.23117) une attaque baptisée TRAP (Targeted Reasoning Adversarial Patch), démontrant pour la première fois qu'un patch adversarial physique peut détourner le comportement d'un robot manipulateur piloté par un modèle Vision-Language-Action (VLA) à raisonnement Chain-of-Thought (CoT). Dans les expériences présentées, un patch imprimé sur papier et déposé sur la surface de travail, tel qu'une nappe aux motifs spécifiques, suffit à faire en sorte que le robot remette un couteau à l'opérateur au lieu d'une pomme, sans qu'aucune modification de l'instruction utilisateur ne soit nécessaire. L'attaque a été validée sur trois VLA représentatifs intégrant des mécanismes CoT distincts, et mise en oeuvre en conditions réelles avec un simple imprimé papier. Ce résultat pointe une vulnérabilité structurelle dans les VLA à raisonnement intermédiaire, famille de modèles qui inclut notamment π0 de Physical Intelligence, OpenVLA-OFT ou les variantes de GR00T (NVIDIA) basées sur des CoT explicites. Les auteurs montrent empiriquement que le raisonnement CoT gouverne la génération d'actions de façon prépondérante, même lorsqu'il est sémantiquement incohérent avec l'instruction initiale : le modèle suit la chaîne de pensée corrompue plutôt que l'intention de l'utilisateur. Pour les intégrateurs déployant des bras robotisés en environnement ouvert, entrepôts, blocs opératoires ou assistance à domicile, cela signifie qu'un adversaire pourrait modifier le comportement du robot par simple altération visuelle de l'environnement, sans accès au modèle ni au flux de commandes, ce qui rend l'attaque particulièrement préoccupante en contexte de sécurité physique. Les VLA à raisonnement CoT ont émergé comme réponse aux limites des modèles action-réflexe classiques : le CoT améliore la généralisation et offre une trace d'interprétabilité utile pour la certification. TRAP montre que cette avancée introduit simultanément une surface d'attaque inédite. La recherche en sécurité des systèmes robotiques autonomes reste largement sous-investie par rapport à la sécurité des LLM textuels, et ce travail rejoint un corpus naissant incluant des attaques sur les politiques de diffusion et les modèles de perception. Aucun correctif ni benchmark défensif n'est proposé dans cette version ; les auteurs appellent à une sécurisation urgente des pipelines CoT dans les VLA avant tout déploiement à grande échelle dans des environnements critiques.

Recherche❧Opinion

1 source

50

2957arXiv cs.RO 

Attaques adversariales par patches partiellement observables sur les modèles VLA en robotique

Des chercheurs ont publié début juin 2026 une étude (arXiv:2606.03556) démontrant la vulnérabilité des modèles Vision-Language-Action (VLA) à des attaques adversariales par patch dans des conditions partiellement observables. Contrairement aux travaux antérieurs qui supposaient un accès complet à l'intégralité de la trajectoire d'exécution du robot, cette équipe formule un modèle de menace plus réaliste : l'adversaire ne dispose que d'un court préfixe de trajectoire pour générer un patch visuel fixe, ensuite appliqué à toutes les trames suivantes. Leur framework en deux phases consiste d'abord à localiser la zone optimale du patch en exploitant les cartes d'attention du modèle pour identifier les régions visuellement critiques liées à l'instruction en cours, puis à optimiser ce patch pour simultanément perturber l'ancrage sémantique des objets cibles et augmenter la courbure des trajectoires d'action planifiées. Les expériences menées en simulation et en environnements robotiques réels montrent une réduction significative des taux de succès sur des tâches longues. Ce résultat est important car les VLA sont de plus en plus intégrés dans des bras manipulateurs et des robots mobiles déployés en environnements industriels et logistiques, précisément parce qu'ils promettent une généralisation robuste à partir d'instructions en langage naturel. Prouver qu'un patch physique imprimable, placé dans le champ de vision du robot, peut dégrader durablement ses performances de contrôle sans accès complet à son état interne remet en question les hypothèses de sécurité des déploiements actuels. Cela soulève un gap réel entre robustesse en démo contrôlée et résilience en production, particulièrement pour des intégrateurs qui s'appuient sur des modèles comme OpenVLA, pi-0 (Physical Intelligence) ou RT-2 (Google DeepMind) sans auditer leur surface d'attaque perceptive. Les VLA connaissent une montée en puissance depuis 2023 avec RT-2 de Google, suivi de pi-0 de Physical Intelligence et des travaux d'Embodied Intelligence. La sécurité adversariale de ces modèles reste un angle quasi-inexploré dans la littérature par rapport à leur homologues LLM ou vision-langage purs. Cette publication s'inscrit dans un effort émergent pour caractériser les vecteurs d'attaque physiques sur les systèmes robotiques autonomes, un enjeu croissant alors que Figure AI, Agility Robotics et 1X Technologies accélèrent leurs déploiements en entrepôt. Les prochaines étapes probables incluent des défenses basées sur l'augmentation adversariale à l'entraînement et des mécanismes de détection d'anomalie sur les cartes d'attention, domaine dans lequel des équipes européennes comme celles du LAAS-CNRS et du DLR commencent également à publier.

Recherche❧Opinion

1 source

47

2958arXiv cs.RO 

OpenEAI-Platform : une plateforme open source unifiée matériel-logiciel pour l'IA incarnée

Des chercheurs ont déposé sur arXiv (2606.03392) OpenEAI-Platform, une plateforme open-source couplant un bras robotique à 6+1 degrés de liberté (DDL), OpenEAI-Arm, et un modèle vision-langage-action (VLA), OpenEAI-VLA. OpenEAI-Arm s'appuie sur des plans mécaniques ouverts et une commande conforme (compliant control) destinée à réduire le coût de fabrication tout en maintenant la précision de manipulation. OpenEAI-VLA est construit sur Qwen3-VL-4B d'Alibaba avec une tête d'action Diffusion Transformer, entraîné en deux phases sur des jeux de données exclusivement ouverts. Sur quatre tâches de manipulation réelles, il atteint des taux de réussite comparables à pi0 de Physical Intelligence, un modèle pré-entraîné à bien plus grande échelle. OpenEAI-Arm surpasse par ailleurs deux bras commerciaux 6+1 DDL évalués sous la même politique de contrôle. Plans, codes, modèles et pipelines d'entraînement seront publiés intégralement après acceptation de l'article en revue. L'intérêt de ces résultats est double. Côté hardware, un bras open-source moins coûteux qui surpasse des équipements commerciaux constitue un levier direct pour les laboratoires et intégrateurs à budget contraint. Côté VLA, approcher les performances de pi0 avec nettement moins de données de pré-entraînement conteste l'hypothèse selon laquelle des politiques de manipulation robustes nécessitent impérativement des corpus massifs et propriétaires. L'architecture combinant un modèle vision-langage compact (4 milliards de paramètres) et une tête diffusion semble offrir un rapport performance-données plus favorable que prévu, ce qui intéresse directement les équipes cherchant à déployer des robots polyvalents sans infrastructure de collecte industrielle. OpenEAI-VLA s'appuie sur Qwen3-VL-4B (Alibaba, 2025) et l'architecture Diffusion Transformer popularisée par pi0 (Physical Intelligence, 2024) pour générer des actions robotiques continues. La plateforme s'inscrit dans un segment croissant de projets ouverts pour la manipulation, aux côtés de LeRobot (Hugging Face) et ALOHA (Stanford), face à des acteurs commerciaux comme Figure AI, Boston Dynamics ou 1X Technologies. Son positionnement vise explicitement la reproductibilité et la collecte de données à l'échelle, deux goulots d'étranglement identifiés par la communauté robotique. Aucun déploiement industriel ni partenariat n'est annoncé : OpenEAI-Platform est un prétirage, et l'accès aux ressources complètes reste conditionnel à l'acceptation de l'article.

IA physique❧Opinion

1 source

47

2959arXiv cs.RO 

RobotValues : évaluer les robots domestiques face aux conflits de valeurs humaines

Une équipe de chercheurs a publié début juin 2026 RobotValues (arXiv:2606.03312), un benchmark constitué de 10 000 scénarios destinés à évaluer les robots domestiques dans des situations où les valeurs humaines entrent en conflit. Chaque instance associe une image réaliste d'intérieur résidentiel à plusieurs actions robot plausibles, chacune privilégiant une valeur différente : autonomie de l'utilisateur, efficacité, sécurité, ou respect de la vie privée. Le corpus a été généré par une pipeline semi-automatique combinant génération assistée par LLM, extraction de valeurs ancrée dans des retours de parties prenantes, génération d'images et contrôle qualité automatique. Les modèles de vision-langage (VLM) couramment utilisés comme planificateurs robotiques y ont été évalués, avec des résultats préoccupants : lorsqu'on leur demande explicitement de prioriser une valeur qui contredit leurs préférences par défaut, les modèles échouent dans 80 % des cas et maintiennent leur comportement initial. Ce résultat chiffré remet en cause un angle mort de l'évaluation robotique standard, qui se concentre quasi exclusivement sur le taux de complétion de tâche et la conformité aux règles de sécurité. Dans un foyer, un robot aspirateur qui désactive un microphone pour respecter la vie privée d'un utilisateur fait un choix contraire à l'efficacité opérationnelle mais aligné avec une valeur légitime. RobotValues formalise exactement ces arbitrages. Le constat que les modèles favorisent par défaut la sécurité et l'accommodement au détriment de la protection de la vie privée soulève des questions concrètes pour les intégrateurs B2B et les équipes produit déployant des assistants domestiques, notamment sur la robustesse des mécanismes d'instruction fine-grained dans les VLMs. Les VLMs utilisés comme planificateurs robotiques constituent une tendance lourde depuis les travaux de Google sur RT-2 et les architectures Vision-Language-Action (VLA) comme Pi-0 de Physical Intelligence ou OpenVLA. Ces modèles héritent de biais d'entraînement qui ne posent pas de problème dans des contextes de complétion de tâche pure, mais deviennent critiques dès que le robot opère dans un espace privé avec des occupants ayant des préférences potentiellement contradictoires. RobotValues s'inscrit dans un agenda de recherche plus large sur l'alignement des agents embarqués, distinct des débats sur les LLMs conversationnels. Aucun fabricant de robot domestique (Samsung, LG, Amazon Astro, ou les startups européennes comme Enchanted Tools) n'est cité dans le papier ; le benchmark reste pour l'instant un outil académique, mais sa structure modulaire et son échelle de 10 000 instances le positionnent comme un candidat sérieux à l'intégration dans les pipelines d'évaluation de prochaines générations de plateformes embarquées.

Recherche❖Paper

1 source

46

2960arXiv cs.RO 

VLA-Arena : un cadre open source pour évaluer les modèles vision-langage-action (VLA)

Une équipe de chercheurs a publié VLA-Arena, un framework open-source de benchmark conçu pour évaluer les modèles Vision-Language-Action (VLA), ces politiques robotiques généralisées capables d'interpréter commandes en langage naturel et observations visuelles pour générer des actions motrices. La version 2 du preprint (arXiv 2512.22539v2) présente un protocole structuré autour de 170 tâches, organisées selon quatre dimensions orthogonales : sécurité (Safety), gestion des distracteurs (Distractor), extrapolation hors-distribution (Extrapolation) et planification longue portée (Long Horizon). Chaque tâche existe en trois niveaux de difficulté (L0 à L2), le fine-tuning étant exclusivement réalisé sur L0 afin de tester la capacité de généralisation. En parallèle, des perturbations linguistiques (W0-W4) et visuelles (V0-V4) s'appliquent indépendamment à chaque tâche, permettant une analyse découplée de la robustesse. Les auteurs publient également les datasets VLA-Arena-S/M/L ainsi qu'un leaderboard public. Les résultats de l'évaluation des VLA de l'état de l'art sont sévères et contre-intuitifs pour ceux qui suivent les démonstrations marketing du secteur. Les modèles testés exhibent une forte tendance à la mémorisation plutôt qu'à la généralisation réelle : leurs performances s'effondrent dès que la tâche sort légèrement de la distribution d'entraînement. La robustesse est asymétrique selon l'axe perturbé (visuel vs. linguistique), les contraintes de sécurité sont quasi-ignorées, et la composition de compétences pour les tâches longue portée reste hors de portée de tous les modèles testés. Pour les intégrateurs industriels et les équipes R&D qui envisagent de déployer des VLA en production, ces résultats constituent un signal d'alerte : le "sim-to-real gap" n'est pas résolu, et les capacités affichées en démo ne tiennent pas face à des conditions réelles variables. VLA-Arena arrive dans un contexte de prolifération rapide des VLA généralistes : Physical Intelligence (Pi-0), NVIDIA (GR00T N2), Google DeepMind (RT-2, Gemini Robotics) et OpenVLA font tous état de progrès importants, mais sur des benchmarks hétérogènes et souvent propriétaires, rendant toute comparaison directe impossible. L'absence d'un protocole d'évaluation standardisé est depuis longtemps identifiée comme le principal obstacle à la progression scientifique rigoureuse du domaine. VLA-Arena n'est pas encore un standard industriel adopté, mais sa publication en open-source avec toolchain complet (définition de tâche, évaluation automatisée, datasets) le positionne comme candidat sérieux. Les prochaines étapes dépendront de l'adoption par les équipes qui développent ces modèles, et d'une éventuelle intégration dans les pipelines de validation avant déploiement réel en atelier.

Recherche❧Opinion

1 source

46

2961arXiv cs.RO 

NVIDIA Isaac Sim : une simulation GPU accélérée et évolutive pour la robotique

NVIDIA Isaac Sim s'est imposé comme une infrastructure centrale dans la recherche en robotique, et une étude de synthèse publiée sur arXiv (réf. 2606.03551) en propose la première analyse systématique. Contrairement aux simulateurs classiques comme Gazebo, PyBullet ou MuJoCo, Isaac Sim exploite l'accélération GPU pour permettre un entraînement parallèle à grande échelle et une modélisation physique haute fidélité. La plateforme intègre un pipeline de génération de données synthétiques qui pallie la rareté chronique des données d'entraînement de qualité, un verrou majeur pour le robot learning. Les auteurs analysent des études représentatives dans cinq grands domaines d'application et documentent les patterns d'usage dominants, notamment la génération de données et la simulation haute fidélité, sans se limiter à une liste de fonctionnalités marketing. L'enjeu industriel est significatif : la capacité à générer des données synthétiques crédibles et à entraîner des politiques en simulation massivement parallèle est aujourd'hui au coeur du débat sur le sim-to-real transfer. Pour les intégrateurs et les équipes R&D, une plateforme qui réduit le besoin de données réelles et compresse les cycles d'itération représente un avantage compétitif concret. Les auteurs pointent également les limites : la dépendance au matériel NVIDIA (GPU haut de gamme requis), des contraintes d'utilisabilité pratique, et des questions ouvertes autour de l'apprentissage en environnement ouvert (open-world learning), un domaine où aucun simulateur n'a encore apporté de réponse satisfaisante à l'échelle. Isaac Sim s'inscrit dans la stratégie plus large de NVIDIA dans la robotique, qui comprend le framework Isaac Lab, les modèles de fondation GR00T, et l'écosystème Omniverse. Face à lui, des alternatives open-source comme MuJoCo (DeepMind) ou Genesis gagnent du terrain, notamment pour leur accessibilité. L'étude identifie trois directions futures prioritaires : l'apprentissage physique en monde ouvert, les pipelines d'entraînement centrés sur la simulation, et la réduction des frictions d'adoption. Ces axes correspondent précisément aux blocages actuels pour industrialiser le déploiement de robots apprenants en dehors des labs.

Infrastructure❧Opinion

1 source

46

2962arXiv cs.RO 

De la vidéo au contrôle : étude des interfaces d'apprentissage de la manipulation à partir de données visuelles temporelles

Un article de synthèse publié sur arXiv (réf. 2604.04974, version 2) dresse un état de l'art structuré des méthodes permettant d'exploiter des vidéos temporelles non annotées en actions pour apprendre des interfaces de contrôle en manipulation robotique. Les auteurs ne s'appuient sur aucun label d'action : la vidéo seule, en captant comment les objets se déplacent, comment les contacts se déroulent et comment les scènes évoluent, constitue la source d'apprentissage. Le survey introduit une taxonomie centrée sur l'interface, organisée selon trois familles : les politiques vidéo-action directes, qui maintiennent l'interface implicite dans le réseau neuronal ; les méthodes à actions latentes, qui acheminent la structure temporelle via un espace intermédiaire compact appris ; et les interfaces visuelles explicites, qui prédisent des cibles interprétables (poses, waypoints, affordances) pour un contrôle aval découplé. Ce cadre de classification comble un vide méthodologique réel : la littérature traitait jusqu'ici ces trois familles de façon dispersée, sans analyser comment chacune ferme la boucle de contrôle, ce qui peut être vérifié avant exécution, et à quel stade les défaillances apparaissent. Pour les intégrateurs et les équipes R&D, cet angle est directement opérationnel : une interface latente est plus difficile à inspecter qu'une interface explicite à base de keypoints, ce qui modifie les stratégies de débogage et de déploiement. La synthèse inter-familles pointe un défi commun : la couche d'intégration robotique, les mécanismes qui relient les prédictions issues de la vidéo à un comportement robot fiable, reste le maillon faible indépendamment de la famille choisie. Ce survey s'inscrit dans une dynamique portée par les modèles VLA (Video-Language-Action) : RT-2 de Google DeepMind, Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et Helix de Figure AI exploitent tous, à des degrés divers, des données vidéo à grande échelle pour conditionner le contrôle moteur. Le fossé identifié dans le papier, entre prédiction vidéo et comportement physique fiable, correspond précisément au "sim-to-real gap" de cette nouvelle génération de modèles : une démonstration convaincante en vidéo ne garantit pas la robustesse en déploiement réel. Les auteurs proposent des pistes de recherche pour combler ce décalage, sans livrer de pipeline opérationnel, ce qui positionne ce travail comme une ressource de cartographie pour orienter la communauté plutôt que comme une solution clé en main.

Recherche❧Opinion

1 source

45

2963arXiv cs.RO 

Transfert de style de mouvement humain pour le contrôle physique de robots humanoïdes

Un groupe de chercheurs présente dans un preprint arXiv (2606.03536, soumis le 3 juin 2026) un framework de transfert de style de mouvement pour robots humanoïdes. Le système prend en entrée un court clip humain illustrant un style moteur désiré (rythme de marche, balancement des bras, posture) et un mouvement cible distinct, puis génère un mouvement corps entier stylisé adapté au robot. Le modèle central est un modèle de diffusion latente multi-condition, sensible à la physique, fusionnant conditions de style, de contenu et de trajectoire. La guidance classifier-free permet d'ajuster l'intensité du style sans réentraîner le modèle. Les références générées sont ensuite converties pour le robot Unitree G1 et exécutées par une politique de suivi corps entier entraînée via une stratégie "cluster-and-distill". Sur 125 essais sur robot réel, la méthode atteint un taux de réussite de 96,0 %, avec moins d'artefacts de contact et de jitter que les baselines orientées animation. Ce résultat remet en question le paradigme dominant où chaque comportement expressif d'un humanoïde est soit capturé en démonstration directe, soit scripté manuellement, deux approches coûteuses et non réutilisables entre contenus de mouvement différents. En permettant à un court clip humain de servir de source de style transférable sur des contenus arbitraires, le framework ouvre la voie à une personnalisation motrice procédurale. L'écart simulation-hardware est adressé directement par des régularisations de cohérence de contact et de lissage temporel imposées lors de l'entraînement, un point de friction récurrent dans la chaîne génération-contrôle. Un taux de 96 % sur 125 essais réels représente un résultat solide pour de la recherche académique dans ce domaine, où beaucoup de travaux restent confinés à la simulation. Le Unitree G1 (environ 16 000 dollars) s'est imposé ces 18 derniers mois comme la plateforme de référence pour la recherche humanoïde académique. Ces travaux s'inscrivent dans la tendance des modèles de diffusion appliqués à la génération de mouvement (MDM, MotionDiffuse), prolongée ici jusqu'au contrôle physique sur hardware réel. Dans la course à l'expression motrice des humanoïdes, Boston Dynamics (Atlas), Figure et 1X investissent massivement côté imitation learning et VLA end-to-end, tandis que ce preprint se positionne sur la génération procédurale contrôlée, approche complémentaire. Du côté européen, Wandercraft et Enchanted Tools (France, robot Mirokaï) travaillent sur des problématiques d'expression motrice proches, sur des architectures distinctes. La suite logique serait l'intégration de ce framework dans des pipelines de téléopération ou d'interfaces humain-robot en conditions industrielles réelles.

Humanoïdes❖Paper

1 source

45

2964arXiv cs.RO 

La variance du débruitage guide la replanification : découpage adaptatif pour politiques robotiques à base de flux

Des chercheurs ont publié le 3 juin 2026 sur arXiv (preprint non encore évalué par les pairs) une méthode baptisée DVAC (Denoising-Variance Adaptive Chunking), conçue pour améliorer l'inférence des politiques robotiques basées sur les flux de débruitage (flow-based policies, catégorie qui inclut les modèles de type diffusion). Le problème ciblé est précis : l'action chunking, stratégie qui consiste à prédire et exécuter plusieurs actions consécutives en un seul bloc, utilise aujourd'hui un horizon d'exécution fixe déterminé de manière empirique. DVAC remplace ce paramètre statique par un seuil adaptatif calculé à l'exécution, sans nécessiter de réentraînement. Le signal exploité est la variance des estimations d'actions nettes sur les dernières étapes du débruitage : faible lors des phases de déplacement en espace libre, élevée à l'approche de contacts ou d'opérations requérant de la précision. Appliqué à une politique basée sur π0.5 (Physical Intelligence), DVAC fait passer le taux de succès sur le benchmark LIBERO de 94,75 % à 98,00 %, tout en réduisant la fréquence de replanification de 43,0 %. Des gains sont également mesurés sur RoboTwin et CALVIN, ainsi qu'en manipulation réelle. L'intérêt industriel de cette approche tient à son applicabilité immédiate : DVAC s'insère en test-time sans modifier les poids du modèle, ce qui signifie qu'un intégrateur peut l'appliquer sur un pipeline existant basé sur des politiques de diffusion. Sur le plan technique, la méthode confirme que le processus de débruitage encode implicitement la structure de la tâche, une hypothèse structurante pour la recherche VLA (Vision-Language-Action). Réduire la replanification améliore aussi la latence effective et la fluidité d'exécution, deux critères critiques pour un déploiement en cellule industrielle. DVAC s'inscrit dans un effort plus large de la communauté pour rendre les politiques de diffusion exploitables en production, après les travaux fondateurs sur ACT, Diffusion Policy et π0 de Physical Intelligence. La calibration par estimation glissante de la variance locale suggère une robustesse aux variations entre tâches, point qui restera à valider sur des manipulateurs à morphologie variée (bras 7-DOF, mains dextres). Aucun déploiement commercial ni partenariat industriel n'est annoncé dans le preprint ; il s'agit pour l'instant d'une contribution de recherche avec évaluation sur benchmarks standard et une démonstration en environnement réel à périmètre non précisé.

Recherche❧Opinion

1 source

44

2965arXiv cs.RO 

IA incarnée fiable : un programme communautaire du test à la vérification formelle

Un article de position publié sur arXiv (2606.03593) dans le cadre du programme AAAI'26 Bridge sur la fiabilité des IA embarquées pose un constat cru : malgré l'accélération des déploiements en environnements ouverts, l'industrie ne dispose d'aucune méthodologie unifiée pour garantir le comportement sûr et prévisible de ces systèmes. Les auteurs identifient trois axes complémentaires : des tests par scénarios appuyés sur des spécifications validées et des métriques de couverture, une vérification compositionnelle via des représentations symboliques structurées, et des mécanismes d'assurance à l'exécution capables de gérer les incertitudes et les glissements de distribution (distribution shifts) en déploiement réel. Leur thèse centrale : ces trois approches doivent être intégrées dans un workflow d'assurance continu reliant tests, vérification formelle et adaptation runtime via des représentations neuro-symboliques partagées, sur l'ensemble du cycle de vie du système. L'enjeu est direct pour les intégrateurs et les COO industriels. Les systèmes d'IA embarquée, robots humanoïdes, AMR, bras de manipulation autonome, atteignent un niveau de capacité qui autorise des déploiements commerciaux, mais la certification de leurs comportements reste un angle mort. Là où l'automobile dispose de l'ISO 26262 et l'aéronautique de la DO-178C, la robotique IA ne dispose d'aucun cadre équivalent. Ce papier ne propose pas de norme : il trace un agenda de recherche communautaire pour combler cet écart. Prouver formellement les propriétés de sécurité d'un système dont les comportements émergent d'un réseau de neurones reste un problème ouvert, et l'absence de solution freine les déploiements à grande échelle en logistique, en industrie et dans les soins à la personne. Ce travail s'inscrit dans le sillage de l'essor des VLA (Vision-Language-Action models), Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure, qui ont rendu les robots plus capables mais aussi moins prédictibles, compliquant d'autant leur vérification. Des acteurs français comme Wandercraft (exosquelette marchant) et Enchanted Tools (robot Mirokaï) se heurtent au même verrou réglementaire dès qu'ils visent des environnements hospitaliers ou publics. La suite logique de cet agenda passe par la constitution de benchmarks partagés et d'outils de vérification formelle adaptés aux architectures neuro-symboliques, un chantier que le Bridge Program de l'AAAI'26, prévu pour 2026, entend contribuer à structurer.

Recherche❧Opinion

1 source

44

2966arXiv cs.RO 

IA incarnée et chaîne de pensée : vers une manipulation robotique généralisable

Une équipe de chercheurs publie en juin 2026 (arXiv:2606.03784) une réévaluation du chain-of-thought incarné (CoT) appliqué aux modèles vision-langage-action (VLA) pour la manipulation robotique généraliste. Pour mener cette étude à grande échelle, les auteurs ont constitué le plus grand corpus de ce type jamais assemblé : 978 743 trajectoires, 226,3 millions d'échantillons et 2 592,5 heures de données robot. Leur modèle ERVLA atteint 86,9 % de succès sur LIBERO-Plus et 53,2 % sur VLABench, surpassant les baselines de référence, notamment sur les tâches de désambiguïsation sémantique et d'exécution à longue portée en environnement réel. Le code, les données et les checkpoints seront prochainement disponibles en accès ouvert. Le principal apport théorique porte sur la manière d'intégrer le raisonnement linguistique dans une politique robotique. Les auteurs établissent que le CoT explicite, utilisé comme préfixe autorégressif avant chaque action, accumule des erreurs au fil des étapes et génère un couplage instable entre raisonnement et commande motrice. De même, le raisonnement de haut niveau seul, sans ancrage dans des descriptions concrètes comme les trajectoires d'effecteur terminal ou les positions dans l'espace image, n'apporte que des gains marginaux. ERVLA résout cette tension via une stratégie de "reasoning-dropout" : le modèle assimile des traces de raisonnement riches pendant l'entraînement, mais prédit les actions directement à l'inférence, sans décodage CoT. Ce découplage améliore la montée en échelle avec le volume de préentraînement et stabilise l'exécution. C'est un signal clair pour les équipes travaillant sur des politiques généralisables : la valeur du langage réside dans ce qu'il apprend au modèle, pas dans ce qu'il verbalise au moment du déploiement. Ces travaux s'inscrivent dans une compétition intense autour des fondations VLA capables de généraliser hors de leur distribution d'entraînement, aux côtés de Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. La mise à disposition de 2 592 heures de données robotiques en accès ouvert constitue en elle-même une contribution notable dans un secteur où la pénurie de données reste un verrou majeur. Aucun déploiement industriel n'est mentionné : ERVLA est à ce stade un résultat de recherche académique, avec des validations sur robot réel mais sans pipeline de production annoncé.

Recherche❧Opinion

1 source

44

2967arXiv cs.RO 

Les budgets de preuves visuelles pour des VLA plus généralisables : voir moins, spécifier davantage

Une équipe de chercheurs a publié début juin 2026 (arXiv:2606.02735) un framework baptisé S2, pour "See Less, Specify More", destiné à améliorer la généralisation des modèles vision-langage-action (VLA). S2 repose sur deux mécanismes complémentaires : "Specify More" reformule chaque trajectoire d'entraînement avec des instructions affinées au niveau de la sous-tâche, tout en préservant l'objectif global original, tandis que "See Less" impose un budget explicite de preuves visuelles, forçant le modèle à agir à partir d'un contexte visuel suffisant pour la tâche plutôt que d'un champ de vision non contraint. Le système a été évalué sur huit tâches réelles de manipulation sur deux plateformes robotiques : le TX-G2, une variante compatible AgiBot G2, et le Toyota HSR. Le résultat principal : le taux de succès moyen par sous-tâche passe de 54,2 % à 79,0 % par rapport au modèle de référence pi0.5 de Physical Intelligence. Ces résultats s'attaquent à l'un des verrous les plus documentés du domaine VLA : la dégradation des performances sous distracteurs visuels, changements d'apparence ou tâches sémantiquement similaires. Le problème identifié est ce que les auteurs nomment "supervision aliasing" : des instructions trop grossières créent une ambiguïté que le modèle doit résoudre seul, dégradant l'apprentissage. S2 contourne ce problème sans annotation de régions ou de masques, ce qui est notable en termes de coût de labellisation. La compatibilité avec des planificateurs VLM standards via le mécanisme d'in-context learning facilite également l'intégration dans des pipelines existants, sans refonte architecturale. S2 s'inscrit dans une course serrée autour des VLA généralisables. pi0.5, développé par Physical Intelligence (ex-startup fondée par des chercheurs de Google DeepMind et Stanford), constitue ici la baseline battue. La plateforme AgiBot G2, produite par la startup chinoise éponyme, gagne en visibilité comme banc d'essai de référence pour la manipulation humanoïde. Les concurrents directs incluent les approches OpenVLA (Stanford), Octo (Berkeley), et les travaux VLA de Google DeepMind autour de RT-2 et ses successeurs. L'absence de déploiement industriel annoncé maintient S2 dans la catégorie "résultat de recherche prometteur" plutôt que "produit embarqué", mais le gain de 25 points de succès sur des tâches réelles justifie une attention soutenue de la part des intégrateurs robotiques.

Recherche❧Opinion

1 source

43

2968arXiv cs.RO 

Assistax : un benchmark multi-agents accéléré par matériel pour l'apprentissage par renforcement en robotique assistive

Une équipe de chercheurs a publié Assistax, un benchmark open-source dédié à l'apprentissage par renforcement (RL) pour la robotique d'assistance aux personnes. Disponible sur GitHub (assistive-autonomy/assistax), la bibliothèque exploite JAX et l'accélération matérielle GPU pour atteindre des vitesses d'entraînement jusqu'à 370 fois supérieures aux alternatives CPU en temps réel (open-loop wall-clock time) lors de la vectorisation des runs d'entraînement. Le framework modélise l'interaction entre un robot d'assistance et un patient humain actif via l'apprentissage par renforcement multi-agent (MARL) : une population d'agents partenaires aux comportements variés est générée pour évaluer la capacité de coordination zero-shot d'un agent robotique embarqué face à des co-agents inconnus. L'enjeu est à la fois méthodologique et pratique. Les benchmarks RL ont jusqu'ici été dominés par les jeux vidéo et de plateau (Atari, Go), des environnements peu coûteux mais structurellement éloignés des contraintes de l'interaction physique réelle. Assistax comble ce fossé en proposant des scénarios de contrôle continu en simulation physique, représentatifs des défis concrets de la robotique d'assistance : gestion de la variabilité humaine, coordination en temps réel, robustesse à des comportements partenaires non vus à l'entraînement. Pour les équipes R&D développant des robots de soin, des exosquelettes ou des bras manipulateurs de service, le benchmark fournit des baselines fiables sur les algorithmes RL et MARL courants, réduisant le temps de comparaison et de validation algorithmique. Le contexte est celui d'une lacune reconnue dans l'écosystème RL : les environnements physiquement réalistes adaptés aux scénarios humain-robot restent rares et coûteux à exécuter. JAX, développé par Google DeepMind, s'impose progressivement comme infrastructure de référence pour la simulation massivement parallèle, en concurrence avec Isaac Lab (NVIDIA) et les frameworks basés sur MuJoCo. Assistax s'inscrit dans un mouvement plus large de spécialisation des benchmarks, BEHAVIOR, HumanoidBench ou SMPL-based environments ciblent des niches similaires, mais positionne explicitement l'assistance à la personne, segment encore peu couvert. Aucune timeline de déploiement réel n'est annoncée : Assistax reste un outil de recherche académique, et ses gains de vitesse annoncés (370x) méritent d'être contextualisés selon les configurations matérielles et les tâches testées.

Recherche❖Paper

1 source

43

2969arXiv cs.RO 

PHASER : rejeu d'expérience sémantique et par phase pour les modèles VLA

Des chercheurs ont publié sur arXiv (référence 2606.03598) un framework de continual learning baptisé PHASER (Phase-Aware and Semantic Experience Replay), conçu pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique. L'architecture est agnostique au backbone sous-jacent et a été évaluée sur trois modèles VLA distincts dans les suites de benchmarks LIBERO, une référence du domaine. Sur le scénario LIBERO-Goal CL (continual learning), PHASER atteint un taux de succès moyen (Average Success Rate, ASR) de 87,8 % en fin d'entraînement, soit un gain de 31 points de pourcentage par rapport à l'expérience replay uniforme standard avec le même budget mémoire. Le problème que PHASER attaque est celui de l'oubli catastrophique : lorsqu'un robot apprend séquentiellement de nouvelles compétences gestuelles, les représentations antérieures se dégradent rapidement dans les poids du modèle. L'expérience replay classique échoue parce qu'il échantillonne uniformément, sous-représentant les sous-phases courtes mais critiques d'une trajectoire de manipulation (la saisie, le transfert, la dépose), un phénomène que les auteurs nomment "phase starvation". PHASER corrige cela avec deux mécanismes : une allocation mémoire par phase (capacity allocation) pour garantir une couverture équilibrée de tous les sous-comportements, et un routage dynamique qui priorise les phases historiques à haut risque d'oubli. Un troisième composant, Auto-PC, automatise la détection des frontières temporelles entre sous-phases par analyse non supervisée des signaux d'action, validée ensuite par un VLM, évitant ainsi l'annotation manuelle coûteuse. Les VLA, qui conditionnent les actions du robot sur du langage naturel et des images, sont devenus un axe central de la robotique généraliste, portés notamment par des modèles comme OpenVLA (UC Berkeley), pi0 (Physical Intelligence) ou RT-2 (Google DeepMind). L'un des verrous majeurs à leur déploiement industriel reste précisément la capacité à apprendre de nouvelles tâches sans régression sur les anciennes, prérequis pour tout robot polyvalent en atelier. PHASER reste pour l'instant une contribution de recherche évaluée en simulation, mais son caractère agnostique au backbone en fait un candidat naturel pour une intégration dans des pipelines d'entraînement continuel sur des plateformes hardware comme Figure 02, Unitree G1 ou Boston Dynamics Atlas.

IA physique❧Opinion

1 source

43

2970arXiv cs.RO 

Mémoire épisodique pour robots à filtrage par surprise

Des chercheurs ont publié sur arXiv (référence 2606.03787) une architecture de mémoire épisodique sélective pour robots généralistes, baptisée "Surprise-Gated Episodic Memory". Le principe central : utiliser la surprise bayésienne comme filtre pour décider quels événements méritent d'être mémorisés à long terme. Plutôt que de stocker l'intégralité du flux sensoriel, un mécanisme de calcul de surprise opère dans l'espace latent de V-JEPA-2, le modèle vidéo de Meta, jugé sémantiquement riche et indépendant du contexte de déploiement. Cette mémoire épisodique filtrée vient augmenter une mémoire spatiale fondée sur des graphes de scène 4D. Sur les benchmarks de question-answering robot, l'approche surpasse les méthodes de référence d'au moins 12 % sur les questions temporelles, spatiales et binaires, et bat également des méthodes supervisées ainsi que des approches non-causales, avec une méthode non supervisée et causale pour la segmentation d'événements. L'enjeu derrière ce résultat est directement opérationnel : un robot généraliste déployé en entrepôt, en hôpital ou sur un chantier reçoit des instructions ancrées dans des événements passés ("Retourne là où le colis a été mal placé hier soir"). Sans mémoire épisodique sélective, soit le robot stocke tout et sature sa mémoire, soit il oublie et échoue à répondre. La surprise bayésienne comme critère de filtrage est élégante parce qu'elle ne nécessite aucun superviseur humain ni liste de tâches futures a priori, elle capte l'inhabituel de façon autonome. Que cette méthode non supervisée et causale batte des méthodes supervisées est un signal fort : le sim-to-real gap pour la mémoire sémantique pourrait se réduire sans annotation coûteuse. Ce travail s'inscrit dans un courant de recherche en pleine accélération autour de la mémoire à long terme pour les robots mobiles, face aux limites des approches purement réactives popularisées par les VLA (Vision-Language-Action models). V-JEPA-2, publié par Meta en 2025, s'impose progressivement comme fondation visuelle pour plusieurs équipes de recherche extérieures à Meta. Sur le plan concurrentiel, des approches comparables sont développées par des groupes travaillant sur les représentations spatiales pour l'embodied AI (CMU, Stanford, ETH Zurich). L'étape suivante naturelle serait de valider la méthode sur du matériel réel en conditions non contrôlées, les résultats actuels restant des benchmarks, la question du passage à l'échelle sur des robots comme Figure 03 ou Unitree G1 en déploiement continu reste entière.

Recherche❖Paper

1 source

43

2971arXiv cs.RO 

Saisie puis planification avec attribution d'échecs : un cadre fermé en deux étapes pour la manipulation robotique précise et généralisable

Des chercheurs ont soumis sur arXiv (arXiv:2606.03385) le framework GTP-FA, acronyme de Grasp-Then-Plan with Failure Attribution, une architecture en deux étapes pour la manipulation robotique de précision. L'approche découple explicitement la phase de saisie d'objets du planning de trajectoire: le système génère d'abord des candidats de prise en main, sélectionne le plus adapté à la tâche, puis conditionne la planification aval sur ce choix. Quand une séquence de manipulation échoue, un modèle d'attribution des échecs analyse la trajectoire défaillante pour isoler la source du problème, grasping ou planning, et se généralise à des prises non vues lors de l'entraînement. Sur cette base diagnostique, chaque module est optimisé: côté grasping, des priors orientés tâche et des pénalités de risque filtrent les prises instables ou incompatibles avec la tâche; côté planning, une collecte de données ciblée sur les états initiaux à haut risque affine le module de trajectoire. Les résultats sont validés en simulation et sur robot réel, bien que l'abstract ne détaille pas les chiffres précis de taux de succès obtenus. Ce que GTP-FA résout est un angle mort persistant: dans les pipelines grasping-planning couplés, l'origine d'un échec reste opaque, ce qui transforme l'optimisation en tâtonnement coûteux et peu reproductible. Le framework s'applique indifféremment aux paradigmes d'apprentissage par renforcement (RL), par imitation (IL), par diffusion policy, et aux architectures VLA (Vision-Language-Action), et améliore les taux de succès globaux dans chacun selon les auteurs. C'est une contribution méthodologique transversale: elle ne remplace pas les architectures VLA émergentes mais s'y superpose, ce qui la rend potentiellement intégrable dans des systèmes existants sans refonte architecturale. La manipulation robotique de précision est aujourd'hui l'un des principaux fossés entre les démonstrations en laboratoire et le déploiement industriel. Des acteurs comme Physical Intelligence (modèle pi-0), Google DeepMind (GR00T N2) ou Figure AI investissent massivement dans des architectures VLA généralisables, mais la fiabilité de la prise en main dans des conditions non contrôlées reste un verrou documenté. GTP-FA adresse ce verrou depuis la recherche académique, sans affiliation commerciale identifiée dans ce préprint. Les suites naturelles incluront la validation sur objets déformables ou transparents, catégories où le grasping échoue le plus fréquemment, et l'intégration dans des tâches à horizon long en environnements peu structurés.

Recherche❖Paper

1 source

43

2972arXiv cs.RO 

VLESA : un agent de sécurité incarnée vision-langage pour la surveillance des activités humaines

Des chercheurs ont publié sur arXiv (preprint 2606.03954, juin 2026) VLESA, un cadre de supervision de la sécurité humaine fondé sur la vision et le langage. Le système analyse des flux vidéo égocentrés (caméra portée à la première personne) pour prédire en temps réel si une action humaine imminente présente un risque, et déclenche une intervention avant que le danger se matérialise. Le coeur technique repose sur deux composants : un agent de prédiction d'intention-action qui infère conjointement l'objectif de l'opérateur et ses prochains gestes à partir de la vidéo, et un Q-filter de sécurité conditionné par l'objectif, entraîné via GRPO (Group Relative Policy Optimization). Ce filtre évalue la dangerosité d'une action en fonction du but inféré, sans nécessiter de ré-entraînement. Sur le benchmark ASIMOV-2.0, VLESA surpasse les baselines en précision d'intervention à la frame exacte, et le Q-filter GRPO améliore la sécurité des actions de plus de 41 points de pourcentage via un décodage contraint conditionné à l'intention. Le code est disponible publiquement sur GitHub. L'apport conceptuel central est la notion de "sécurité dépendante de l'intention" : une action physiquement identique peut être sûre ou dangereuse selon le contexte opérationnel. Saisir un couteau pour couper des légumes n'est pas la même chose que le saisir après un conflit verbal. Les approches classiques de détection d'anomalies ignorent cette ambiguïté et génèrent trop de faux positifs pour être industrialisables. En décomposant le problème en inférence d'intention puis évaluation de risque conditionnel, VLESA propose une architecture plus proche des besoins réels de la cobotique, des environnements de soin à domicile assisté, ou de la surveillance d'opérateurs en milieu industriel. Le gain de 41 points sur ASIMOV-2.0 est significatif si les conditions du benchmark reflètent la diversité du terrain, ce que la nature sélective d'un preprint ne permet pas encore de confirmer. Ce travail s'inscrit dans un champ en forte expansion, celui de la sécurité des systèmes embarqués et des agents physiques autonomes, porté par la montée des VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. L'approche VLESA se distingue en ciblant non pas le robot mais l'humain en interaction avec son environnement, positionnement plus proche des travaux en human activity recognition que de la robotique pure. Les acteurs établis du monitoring de sécurité industrielle (Pilz, Sick, Keyence côté capteurs) n'ont pas encore intégré de couche sémantique de ce niveau. Aucun déploiement pilote n'est annoncé dans l'article : il s'agit d'une contribution académique, avec dataset et code partagés, dont la trajectoire vers l'industrialisation dépendra de la robustesse des résultats sur des scénarios hors benchmark et de validations en conditions réelles.

Recherche❖Paper

1 source

43

2973arXiv cs.RO 

Human2Humanoid : transfert de mouvement multi-morphologie assisté par la physique pour robots humanoïdes

Une équipe de recherche a publié le 3 juin 2026 sur arXiv (référence 2606.03476) un framework baptisé Human2Humanoid, conçu pour transférer automatiquement des mouvements humains vers des robots humanoïdes sans nécessiter de données d'entraînement appariées. La méthode, entièrement non supervisée, a été validée sur le robot Unitree G1, un humanoïde à 23 degrés de liberté commercialisé par la société chinoise Unitree Robotics. L'architecture repose sur un réseau adversarial de type CycleGAN couplé à un réseau de convolution sur graphes sensible à la topologie squelettique, permettant de capturer les caractéristiques motrices dépendantes de la structure anatomique. Pour compenser les écarts de proportions entre morphologies humaine et robotique, les auteurs introduisent une fonction de perte dite "morphology-invariant end-effector consistency" qui aligne les trajectoires normalisées des effecteurs terminaux (mains et pieds) afin de préserver la sémantique du mouvement d'un corps à l'autre. Des contraintes de faisabilité physique explicites sont également imposées pour reproduire les patterns de contact de la séquence source et limiter les artefacts cinématiques. Ce travail s'attaque à un goulot d'étranglement majeur du secteur humanoïde : le retargeting de mouvement est fondamental pour le télé-opération, l'apprentissage par imitation et l'interaction homme-robot, mais les approches supervisées exigent des corpus de données appariées humain-robot quasi inexistants à grande échelle. En supprimant cette contrainte, Human2Humanoid ouvre la voie à l'exploitation de bibliothèques de capture de mouvement (mocap) existantes sans phase de labellisation. Les résultats expérimentaux indiquent que la méthode surpasse les approches concurrentes sur deux critères clés : contrôlabilité en aval (la politique apprise est plus exploitable pour des tâches réelles) et faisabilité physique (moins de violations de contraintes, meilleure reproductibilité des contacts). C'est un signal positif dans un contexte où le fossé démo-réalité reste la critique récurrente du secteur. Le retargeting de mouvement humain vers robot est un champ de recherche actif depuis plusieurs années, alimenté par la course aux humanoïdes commerciaux. Unitree, positionné comme fournisseur de plateformes matérielles accessibles face à Boston Dynamics, Figure AI (modèle Figure 03), Tesla (Optimus Gen 3) ou Agility Robotics, bénéficie directement de ce type de contribution académique qui enrichit l'écosystème logiciel autour de son G1. Du côté des méthodes concurrentes, on trouve notamment des approches à base de réseaux de retargeting supervisés ou de politiques d'imitation directe comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Human2Humanoid n'est pas encore un produit déployé : c'est une contribution de recherche fondamentale, sans annonce de pilote industriel associée. Les prochaines étapes naturelles seraient une validation sur d'autres plateformes humanoïdes et une intégration dans des pipelines d'apprentissage par renforcement ou d'imitation à grande échelle.

IA physique❖Paper

1 source

42

2974arXiv cs.RO 

GeoAlign : au-delà de la sémantique avec l'alignement spatial guidé par l'état dans les modèles VLA

GeoAlign, une architecture présentée le 3 juin 2026 sur arXiv (référence 2606.03240), aborde un angle mort persistant des modèles Vision-Langage-Action (VLA) : leur incapacité à raisonner avec précision sur la géométrie locale d'une scène. Les VLA actuels sont principalement entraînés pour le grounding sémantique, ce qui suffit pour identifier des objets ou interpréter des instructions, mais pas pour exécuter des mouvements de manipulation précis. GeoAlign introduit une branche RGB post-entraînée avec supervision RGB-D dans le domaine robotique, qui génère des features appelées GEP (Geometry-Enhanced Post-Trained) sans nécessiter de caméra de profondeur au déploiement. L'état proprioceptif du robot, c'est-à-dire la position de ses articulations à chaque instant, interroge dynamiquement cette grille de features pour produire des tokens géométriques adaptés à la phase courante du mouvement. Les résultats annoncés sont 99,0 % sur le benchmark LIBERO, 85,3 % sur trois tâches SimplerEnv-Fractal, et 78,8 % sur huit tâches réelles "geometry-critical" sur plateforme bi-manuelle ALOHA. Ce travail cible un problème bien identifié par les intégrateurs industriels : les VLA produisent des trajectoires sémantiquement cohérentes mais qui échouent lors du contact ou de la saisie fine, faute de modélisation géométrique locale. L'approche de GeoAlign est pragmatique, elle exploite la supervision RGB-D à l'entraînement sans alourdir le pipeline de déploiement qui reste en RGB pur. Le score de 78,8 % sur des tâches réelles est notable, mais le périmètre demeure étroit avec seulement huit tâches sur une seule plateforme, et la généralisation à d'autres morphologies ou environnements industriels n'est pas encore démontrée. Les ablations confirment l'apport des deux composantes, post-formation géométrique et requêtage guidé par l'état proprioceptif, ce qui renforce la crédibilité de l'architecture au-delà du simple ajustement de paramètres. Les VLA se sont imposés comme paradigme dominant depuis RT-2 de Google DeepMind en 2023, et se retrouvent au cœur de systèmes comme pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou OpenVLA. La tendance de fond depuis 2024 est à l'augmentation des capacités spatiales de ces modèles, avec SpatialVLA et d'autres architectures 3D-aware qui s'attaquent au même problème. La plateforme ALOHA, développée à Stanford et UC Berkeley, est aujourd'hui commercialisée par Trossen Robotics et AgileX, ce qui donne une certaine représentativité aux évaluations en conditions réelles. GeoAlign reste pour l'instant un preprint non relu par les pairs : sa reproductibilité sur d'autres plateformes et dans des contextes industriels variés déterminera si elle s'intègre effectivement dans les pipelines VLA de production.

IA physique❧Opinion

1 source

42

2975arXiv cs.RO 

AURA : une mémoire à déclenchement par action pour les politiques robotiques à VRAM constante

Des chercheurs ont publié sur arXiv (référence 2606.02775) une architecture mémoire baptisée AURA-Mem (Action-Utility Recurrent Adaptive Memory), conçue pour réduire drastiquement l'empreinte mémoire des politiques robotiques exécutées sur matériel embarqué. Le principe est simple : envelopper un backbone Vision-Language-Action (VLA) gelé avec une mémoire récurrente de taille fixe, pilotée par une porte apprise qui n'écrit en mémoire que lorsque l'observation courante modifierait l'action suivante. L'état d'inférence reste constant à 4 224 octets, quelle que soit la durée de l'épisode, là où un KV-cache standard atteint 6 061 fois cette taille après 100 000 pas. Sur le benchmark synthétique contrôlé, AURA-Mem produit entre 5,19 et 6,13 fois moins d'écritures que la meilleure baseline O(1), avec un pic à 9,19 fois moins sur les configurations plus faciles. Sur OpenVLA-OFT 7B évalué en boucle fermée sur LIBERO-Long (60 épisodes par bras), le taux de succès reste stable à 0,233, identique à la politique de base non gatée, et légèrement supérieur au bras KV always-write (0,217), tout en divisant par 7 le nombre d'écritures effectives. L'enjeu industriel est direct : les robots mobiles et les manipulateurs déployés en conditions réelles tournent sur hardware edge à mémoire haute bande passante limitée, avec une flash dont l'endurance en écriture est finie. Dans ce régime, c'est l'écriture mémoire, et non la puissance de calcul, qui devient le goulot d'étranglement. AURA-Mem démontre que le signal d'action-surprise, c'est-à-dire écrire uniquement quand l'observation changerait le comportement, est la clé du gain: les plannings d'écriture aléatoires ou périodiques à budget équivalent ne reproduisent pas les mêmes performances, ce qui isole clairement l'apport de la sélectivité apprise. C'est une réponse concrète au problème du déploiement longue durée des VLA sur robots réels, où la gestion de l'état de contexte est souvent traitée par des heuristiques peu robustes. AURA-Mem s'inscrit dans une vague de travaux visant à rendre les grands modèles VLA viables hors datacenter. OpenVLA, développé à Stanford et Embodied Intelligence, est l'un des modèles VLA open-source les plus utilisés en robotique de manipulation; la variante OFT (fine-tuning orienté action) à 7 milliards de paramètres est aujourd'hui un standard de facto pour les évaluations comparatives. La contribution reste pour l'instant une preuve de concept académique: les auteurs signalent eux-mêmes que la borne théorique sur la valeur de l'état d'information approximée est vacuante à cette échelle, et ne constitue pas encore une garantie formelle. Les travaux compétiteurs dans l'espace mémoire des VLA incluent les approches à fenêtre glissante, les mémoires épisodiques par reconstruction, et les architectures Mamba/SSM; AURA-Mem se distingue en ne nécessitant aucune modification du backbone et en ciblant explicitement les contraintes hardware embarquées. Les prochaines étapes naturelles seraient une validation sur robot physique en environnement non contrôlé et une intégration dans des pipelines de déploiement industriels, deux points absents de l'article actuel.

Recherche❧Opinion

1 source

42

2976arXiv cs.RO 

SimuScene : reconstruction compositionnelle de scènes 3D prêtes pour la simulation à partir d'une seule image

Une équipe de chercheurs a présenté SimuScene (arXiv:2606.03994, juin 2026), un pipeline de reconstruction 3D compositionnelle capable de produire, à partir d'une seule image, des scènes directement exploitables dans un simulateur physique. Le verrou technique adressé est précis : les méthodes existantes de reconstruction mono-image génèrent des géométries par objet plausibles visuellement, mais dès qu'on les compose dans une scène et qu'on lance la simulation, les objets s'interpénètrent, flottent ou s'enfoncent dans le sol, rendant la scène inutilisable pour l'entraînement robotique. SimuScene résout ce problème en intégrant le moteur physique non pas comme une étape de correction a posteriori, mais comme un outil de diagnostic pendant le processus de reconstruction lui-même. Concrètement, les objets reconstruits sont soumis à une simulation gravitationnelle ; les échecs de pénétration ou de support sont convertis en signaux de correction quantitatifs qui pilotent deux mécanismes : un étirement de la géométrie selon l'axe vertical ("gravity-axis stretching") et un rééchantillonnage de la forme amodale pour les parties non visibles. Les auteurs rapportent des résultats état de l'art sur des benchmarks de stabilité physique et d'alignement géométrique, et valident l'utilité de la pipeline sur des tâches de manipulation bras robotique et de contrôle humanoïde. Pour l'industrie robotique et la recherche en manipulation, l'enjeu est direct : l'un des goulots d'étranglement majeurs dans la génération de données simulées est la constitution d'environnements 3D physiquement cohérents. Si une seule image suffit à produire une scène immédiatement utilisable dans un simulateur comme Isaac Sim ou MuJoCo, le coût de création de données d'entraînement pour les VLA (Vision-Language-Action models) et les politiques de manipulation chute drastiquement. L'approche "physics-in-the-loop" pendant la génération, plutôt qu'en correction post-hoc, est une distinction architecturale importante : elle corrige les erreurs géométriques à la source plutôt que de les masquer par un réarrangement de layout, ce qui limite les artefacts cumulatifs. Cela dit, le papier étant un preprint, les benchmarks présentés restent à valider par la communauté, et les métriques de performance sur les tâches robotiques aval (taux de succès de saisie, généralisation hors distribution) ne sont pas détaillées dans l'abstract. SimuScene s'inscrit dans un axe de recherche actif depuis 2022 environ, alimenté par la convergence entre les reconstructeurs 3D génératifs (Zero-1-to-3, One-2-3-45, LRM) et le besoin croissant de données synthétiques pour l'entraînement de robots physiques. Les concurrents directs incluent les méthodes de layout correction physique comme PhyScene ou les pipelines de génération de scènes pour la simulation (GENESIS, RoboVerse), qui opèrent eux aussi sur ce créneau sim-to-real mais partent généralement de descriptions textuelles ou de scans multi-vues. La force revendiquée de SimuScene est la contrainte d'entrée minimale (une image) combinée à la validité physique en sortie. Les applications démontrées sur le contrôle humanoïde suggèrent un intérêt pour les labos travaillant sur des plateformes comme Figure 03, Unitree H1 ou Agility Digit, où la génération rapide d'environnements d'entraînement en simulation reste un facteur limitant. Aucun partenariat industriel ni timeline de déploiement n'est mentionné ; il s'agit pour l'instant d'un résultat de recherche académique.

Recherche❖Paper

1 source

42

2977arXiv cs.RO 

Apprentissage par renforcement multi-tâches sur GPU avec optimisation de politique guidée par démonstration

Une équipe de chercheurs a publié le 3 juin 2026 sur arXiv (2606.03335) une méthodologie pour construire des benchmarks d'apprentissage par renforcement multi-tâches sur GPU, et l'a instanciée sous le nom MT-Libero, en s'appuyant sur les assets et prédicats de tâches de LIBERO dans l'environnement de simulation Isaac Lab de NVIDIA. Le benchmark permet d'entraîner simultanément des politiques sur des suites de tâches hétérogènes de manipulation, avec rendu parallèle, randomisation physique, et support des entrées par état ou par caméra. En parallèle, les auteurs proposent DGPO (Demonstration Guided Policy Optimization), une méthode on-policy qui combine PPO pondéré par importance avec un clonage comportemental adaptatif sur des actions de démonstration appariées, permettant de doser l'influence des données de démo sur la politique apprise. L'intérêt de cette contribution est double. D'abord, elle s'attaque à un goulot d'étranglement structurel du domaine : la plupart des pipelines RL actuels en robotique entraînent une politique spécialisée par tâche, ce qui explose les coûts de calcul et limite la généralisation. Passer à un entraînement multi-tâches sur GPU en parallèle change fondamentalement l'économie de la simulation. Ensuite, DGPO résout un problème pratique récurrent : avec des signaux de récompense parcimonieux et peu de données de démonstration, les méthodes RL pures peinent à converger. Les auteurs montrent que leur approche surpasse à la fois le RL sans démonstration et les méthodes existantes à base de démonstration, tout en conservant la stabilité caractéristique de PPO on-policy et sa capacité d'amélioration continue en ligne. Le benchmark LIBERO, développé par des équipes académiques, est devenu une référence pour évaluer le transfert et la généralisation en manipulation robotique. Isaac Lab, le simulateur physique de NVIDIA, est de plus en plus utilisé pour le sim-to-real à grande échelle, notamment par Physical Intelligence (pi0), Figure AI et 1X Technologies. La problématique multi-tâches est au coeur des travaux actuels sur les VLA (Vision-Language-Action models) et les foundation models pour la robotique, où des acteurs comme DeepMind (RT-2, RT-X), Stanford et Berkeley (RoboAgent) cherchent à mutualiser l'apprentissage entre tâches. MT-Libero et DGPO sont publiés en preprint et n'ont pas encore été validés par un processus de peer-review ; les résultats restent à confirmer sur hardware réel.

Recherche❧Opinion

1 source

42

2978arXiv cs.RO 

RoboCade : la collecte de données robotiques par le jeu

Des chercheurs ont publié RoboCade, une plateforme de télé-opération gamifiée conçue pour collecter à grande échelle des données de démonstration robotique, un pré-requis critique pour l'apprentissage par imitation. La plateforme intègre des mécaniques de jeu classiques, retours visuels, effets sonores, barres de progression, classements et badges, dans une interface accessible à des utilisateurs non experts. Trois tâches de manipulation ont été instanciées sur la plateforme : arrangement spatial, scanning et insertion. Le résultat quantifié : les politiques robotiques entraînées en co-training avec des données issues de RoboCade améliorent leur taux de réussite sur des tâches cibles non gamifiées de 16 à 56 % selon la tâche. Une étude utilisateur auprès de novices montre en parallèle un gain de 24 % sur l'appréciation subjective de la plateforme gamifiée par rapport à une interface standard. L'enjeu derrière ces chiffres est structurel. La collecte de données de démonstration pour l'apprentissage par imitation (imitation learning) est aujourd'hui un goulot d'étranglement majeur dans la robotique d'autonomie : elle exige un accès physique à des robots réels, une main-d'œuvre qualifiée, et un investissement temporel soutenu sur des tâches répétitives. RoboCade déplace ce modèle vers un crowd-sourcing distant, ouvrant la collecte à un public large sans expertise robotique préalable. La hausse de performance constatée valide que des données produites par des utilisateurs non experts dans un contexte gamifié restent exploitables pour entraîner des politiques efficaces, ce qui conteste implicitement l'hypothèse selon laquelle la qualité de démonstration exige nécessairement un opérateur expert. Cette approche s'inscrit dans une tendance plus large visant à décorréler la qualité des politiques robotiques du coût de la collecte de données. Des initiatives comme Open X-Embodiment (Google DeepMind) ou BridgeData V2 ont montré la valeur des grands datasets partagés, mais ceux-ci restent produits en laboratoire. RoboCade propose une alternative orientée scalabilité via le grand public, sans nécessiter de déploiement physique robot côté utilisateur. La question qui reste ouverte, et que le papier ne traite pas encore, est celle du passage à l'échelle réel : quelle dégradation de signal introduit la variabilité des profils utilisateurs à très grande échelle, et comment filtrer les démonstrations sous-optimales sans supervision humaine intensive.

Recherche❖Paper

1 source

42

2979arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

Recherche❖Paper

1 source

42

2980arXiv cs.RO 

Modification des activations latentes : affinage à l'inférence des politiques apprises pour une navigation multi-robots plus sûre

Des chercheurs ont publié sur arXiv (référence 2509.20623v2) une méthode baptisée Latent Activation Editing (LAE) permettant d'améliorer la sécurité de politiques de contrôle multi-robots déjà entraînées, sans modifier leurs poids ni leur architecture. Le protocole cible la navigation de quadrotors multiples en environnements encombrés, un scénario où les politiques issues du renforcement (RL) restent exposées à des collisions rares mais critiques. LAE fonctionne en deux étapes : un classifieur en ligne surveille les activations intermédiaires du réseau de politique pour détecter les états à risque, puis un module d'édition modifie sélectivement ces activations pour orienter le comportement vers des régimes plus sûrs. Le composant central est un "latent collision world model" entraîné à prédire les activations pré-collision futures, forçant ainsi des réponses d'évitement plus précoces. Sur les Crazyflie de Bitcraze en conditions réelles, la méthode atteint une réduction de près de 90 % des collisions cumulées par rapport à la politique de base, tout en préservant le taux de complétion des trajectoires. L'intérêt industriel de cette approche réside dans son coût d'intégration quasi nul : aucun réentraînement, aucun risque de dégradation des compétences acquises (catastrophic forgetting), et une exécution compatible avec du matériel embarqué à ressources limitées. Pour les intégrateurs de flotte AMR ou les opérateurs de drones industriels, cela signifie qu'un correctif de sécurité peut s'appliquer post-déploiement sans toucher au pipeline de formation. La méthode transpose au contrôle robotique une technique bien établie en NLP (activation steering, popularisée notamment dans les travaux sur l'alignement des LLMs) et en vision générative, ce qui valide l'hypothèse d'une transférabilité cross-domaine des mécanismes de représentation latente. Le cadre LAE s'inscrit dans une tendance plus large de recherche sur la correction comportementale à l'inférence, distincte des approches de fine-tuning ou de constraint RL. Côté concurrents conceptuels, on trouve les méthodes de safe RL par barrières de Lyapunov, les approches CBF (Control Barrier Functions) ou le shielding symbolique, qui agissent elles aussi sans retraining mais à un niveau différent (sortie de politique plutôt qu'espace latent). Les auteurs n'annoncent pas de déploiement commercial : l'article reste une contribution académique avec validation en simulation étendue et expériences sur Crazyflie, sans timeline industrielle précisée. La prochaine étape logique serait la validation sur des architectures plus hétérogènes (quadrupèdes, bras, flottes mixtes) et dans des environnements dynamiques avec obstacles mobiles.

Recherche❧Opinion

1 source

42

2981arXiv cs.RO 

SeeTraceAct : planification latente par visibilité à partir de vidéos de démonstration multi-corps

Des chercheurs ont publié en juin 2026 SeeTraceAct, une architecture de politique robotique de type VLA (vision-language-action model) conçue pour exécuter des tâches inédites à partir d'une seule vidéo de démonstration, sans nécessiter de nouvelles données de téléopération spécifiques à la tâche. Le système conditionne la politique du robot sur cette unique vidéo de référence, puis génère de manière anticipée la trajectoire future de l'effecteur terminal en tenant compte de sa visibilité dans la scène, une technique baptisée "visibility-aware latent planning". Sur le benchmark RoboCasa-DC, que les auteurs publient en parallèle, SeeTraceAct obtient le meilleur taux de succès sur les quatre configurations testées. Sur un banc réel où un bras Franka Panda est guidé par des démonstrations humaines (cross-embodiment), le gain moyen atteint 12,5 points de pourcentage par rapport aux approches de référence. Le problème central que SeeTraceAct cherche à résoudre est le "demo-to-execution gap" : les VLA bout-en-bout existants échouent fréquemment dès que la tâche exige de localiser précisément une petite zone cible, visser un bouchon, saisir un connecteur miniature, aligner un composant. En forçant le modèle à prédire explicitement la trace spatiale de l'effecteur avant d'agir, le framework impose un ancrage géométrique qui manque aux approches purement end-to-end. Le fait que cela fonctionne en cross-embodiment (démonstrations humaines → bras industriel) réduit concrètement la barrière à l'entrée pour les intégrateurs : pas besoin d'un opérateur expert pour collecter des données de téléopération sur chaque nouvelle variante de tâche, une vidéo de référence suffit. RoboCasa-DC s'appuie sur RoboCasa, un simulateur de tâches domestiques développé à l'Université du Texas à Austin et publié fin 2024, étendu ici avec des vidéos humanoïdes appariées par épisode pour permettre une évaluation reproductible en cross-embodiment. SeeTraceAct s'inscrit dans une tendance de fond qui voit émerger des VLA généralisables, Pi-0 chez Physical Intelligence, GR00T N2 chez NVIDIA, OpenVLA à Berkeley, tous cherchant à réduire le coût de la collecte de données. La prochaine étape logique est l'extension à des manipulations multi-étapes et à des environnements moins contrôlés ; les auteurs ne mentionnent pas de déploiement industriel imminent, ce travail restant pour l'heure une contribution de recherche.

Recherche❧Opinion

1 source

42

2982arXiv cs.RO 

PointAction : les points 3D comme représentation universelle des actions pour le contrôle robotique

Des chercheurs ont publié le 3 juin 2026 PointAction (arXiv:2506.03943), un cadre de contrôle robotique qui fait le pont entre les Video-Action Models (VAMs) et les commandes exécutables sur bras physique. Le constat de départ est précis : les modèles vidéo entraînés uniquement sur du RGB ne permettent pas de contraindre la géométrie de contact 3D ni les marges spatiales métriques nécessaires à la manipulation, rendant le grounding des actions ambigu. PointAction répond à ce problème en affinant un modèle de génération vidéo de fondation pour prédire simultanément des frames RGB futurs et des pointmaps 3D dynamiques, produisant une représentation 4D (3D + temps) cohérente de la scène. Ces cartes de points servent d'interface structurée et embodiment-agnostic entre prédiction vidéo et contrôle moteur, qu'un décodeur d'actions basé sur la diffusion traduit ensuite en commandes exécutables. Les résultats publiés indiquent une qualité de génération 4D état de l'art sur scènes robotiques, une supériorité sur les baselines existantes en simulation, et une généralisation à deux bras robotiques absents du préentraînement. L'enjeu pour les intégrateurs est concret. Les VAMs peinent depuis plusieurs années à franchir le fossé entre rollout vidéo convaincant et action physique fiable : le RGB seul ne transmet ni la profondeur métrique, ni l'orientation des surfaces de contact, ni les tolérances de précision requises. En intercalant une couche intermédiaire explicite, les pointmaps 3D dynamiques, PointAction décompose le problème et réduit structurellement l'ambiguïté d'ancrage. L'interface embodiment-agnostic réduit aussi le coût de supervision nécessaire pour adapter un modèle à une nouvelle plateforme, argument concret pour les intégrateurs multi-robots. La généralisation à des bras non vus en préentraînement contredit partiellement l'hypothèse dominante selon laquelle les architectures VLA (Vision-Language-Action) exigent des volumes massifs de données spécifiques par embodiment, bien qu'aucun chiffre de transfert à l'échelle industrielle ne soit publié. PointAction s'inscrit dans une vague de recherche exploitant les modèles de diffusion vidéo pour la robotique, dans le sillage de pi-0 de Physical Intelligence, de GR00T N2 de NVIDIA et d'OpenVLA. La représentation en points 3D fait écho à des travaux antérieurs comme Tracking Any Point (TAP) ou 3D-DiffuserActor, mais PointAction les intègre dans la boucle de génération plutôt qu'en post-traitement. Le papier reste à l'étape pré-print arXiv, sans validation indépendante ni déploiement industriel annoncé ; les prochaines étapes probables incluent une extension à des manipulateurs à plus haut degré de liberté et à des configurations mobiles, ainsi qu'une intégration avec des pipelines VLA existants.

Recherche❧Opinion

1 source

42

2983arXiv cs.RO 

Sélection d'actions temporelle pour le regroupement d'actions

Une nouvelle approche algorithmique cherche à résoudre l'un des compromis fondamentaux de l'apprentissage par démonstration (LfD) en robotique. Publiée sur arXiv (2511.04421v2), la méthode baptisée Temporal Action Selection (TAS) s'attaque à un défaut structurel de l'action chunking, technique désormais standard qui consiste à prédire et exécuter des blocs de plusieurs actions plutôt que des décisions pas-à-pas. Le problème : en ne décidant qu'une fois l'ensemble du bloc exécuté, les systèmes basés sur l'action chunking voient leur fréquence de décision baisser mécaniquement, dégradant leur réactivité face aux perturbations ou aux environnements dynamiques. TAS propose une solution sans compromis : au lieu de choisir entre réactivité et cohérence des décisions, l'algorithme met en cache les blocs d'actions prédits à plusieurs pas de temps successifs, puis utilise un réseau sélecteur léger pour choisir dynamiquement l'action optimale à chaque instant. Les expériences menées sur plusieurs tâches, avec différentes architectures de politique de base, montrent une amélioration significative des taux de succès, tant en simulation que sur robots physiques. L'enjeu dépasse le cadre académique. L'action chunking est au coeur des politiques visuomotrices modernes, notamment les architectures VLA (Vision-Language-Action), largement utilisées dans les robots humanoïdes et manipulateurs actuels. Sa faiblesse face aux perturbations dynamiques constitue l'un des principaux obstacles à la robustesse en production réelle, au-delà des environnements contrôlés de démonstration. TAS démontre qu'il est possible d'obtenir simultanément une cohérence décisionnelle élevée et une réactivité fine, sans redessiner entièrement la politique de base. L'intégration de TAS comme couche intermédiaire dans un pipeline de reinforcement learning résiduel améliore de surcroît l'efficacité d'entraînement et le plafond de performance, ce qui ouvre une voie pratique pour le fine-tuning de politiques pré-entraînées sur des tâches exigeantes. L'action chunking a été popularisée notamment par des travaux comme ACT (Action Chunked Transformer) de l'Université Stanford, devenus des références LfD depuis 2023. La tension entre fréquence de décision et cohérence n'est pas nouvelle, mais les tentatives précédentes se soldaient généralement par des arbitrages sous-optimaux. TAS se positionne comme une solution légère et modulaire, compatible avec les architectures existantes, ce qui facilite son adoption sans refonte de pipeline. Aucune commercialisation ni déploiement industriel n'est annoncé à ce stade, le travail restant au niveau de la preuve de concept académique. Les prochaines étapes naturelles incluront l'évaluation sur des plateformes humanoïdes en conditions réelles, où la gestion des perturbations dynamiques est un critère critique de qualification.

Recherche❧Opinion

1 source

42

2984arXiv cs.RO 

OMP : politique Meanflow en une étape avec alignement directionnel

Une équipe de chercheurs publie OMP (One-step MeanFlow Policy), un framework de contrôle de manipulation robotique capable de générer des trajectoires d'action en une seule passe d'inférence, contre plusieurs dizaines pour les approches par diffusion actuellement dominantes. Présenté sur arXiv (2512.19347, version 3), OMP adapte le paradigme MeanFlow, conçu à l'origine pour la génération d'images, au domaine du contrôle robotique. L'architecture introduit deux contributions techniques principales : un mécanisme d'alignement directionnel (directional alignment) qui synchronise explicitement les vitesses prédites avec les vitesses moyennes réelles, et une Équation de Dérivation Différentielle (DDE) qui approxime l'opérateur Jacobien-Vecteur (JVP) pour découpler les passes avant et arrière, réduisant significativement la complexité mémoire. Évalué sur les benchmarks Adroit et Meta-World, OMP surpasse les méthodes état de l'art en taux de succès et précision de trajectoire, notamment sur les tâches haute précision. L'enjeu est direct pour les intégrateurs et équipes R&D : la latence d'inférence est aujourd'hui le principal goulot d'étranglement des politiques génératives en manipulation temps-réel. Les Diffusion Policies nécessitent typiquement 10 à 100 passes de débruitage par décision, rendant leur déploiement sur hardware embarqué ou dans des boucles de contrôle à haute fréquence difficile. Une politique single-step qui conserve ou dépasse la précision des diffusion models représenterait un saut d'utilisabilité industrielle significatif. La réduction de la complexité mémoire via DDE est également pertinente pour des cibles de déploiement à ressources contraintes. Les résultats sur Adroit et Meta-World sont encourageants, bien que ces benchmarks simulés restent éloignés des conditions de déploiement réel et que la generalisation sim-to-real demeure non démontrée. Le contexte académique dans lequel s'inscrit OMP est dense : les politiques par diffusion (Diffusion Policy, ACT) ont dominé le benchmark de manipulation ces deux dernières années, et l'émergence des VLA (Vision-Language-Action models) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a encore densifié le champ. Les approches par flow matching (dont MeanFlow est une variante) cherchent à concurrencer la diffusion en offrant une trajectoire d'inférence plus directe, inspirées des succès en génération d'images avec des modèles comme Stable Diffusion 3. OMP se positionne dans cette lignée avec une correction théorique spécifique aux pathologies robotiques (biais spectral, starvation de gradient en régime basse vitesse) absentes en vision. Aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade ; il s'agit d'une contribution de recherche fondamentale avec résultats sur simulateurs.

Recherche❖Paper

1 source

42

2985arXiv cs.RO 

Suivi du visage ou du corps pour l'interaction humain-robot : un jeu de données égocentrique

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.03694) une évaluation systématique des méthodes de suivi visuel pour la robotique sociale, en s'appuyant sur un jeu de données original capturé via le robot social Furhat. L'enjeu central est la continuité d'identification des utilisateurs pendant une interaction : lorsqu'un robot perd de vue son interlocuteur, même brièvement, il peut confondre deux personnes distinctes, phénomène désigné sous le terme "identity switch" (IDSW). L'étude compare deux approches (suivi par le visage versus suivi par le corps entier) et évalue l'effet de deux mécanismes complémentaires : la mémoire spatiale étendue et la réidentification par apparence (ReID). Le pipeline optimisé qui en résulte réduit les IDSW de 49 %, limitant ainsi les ruptures de dialogue entre humains et robots. Les résultats mettent en lumière une tension technique inattendue : la ReID améliore substantiellement la stabilité du suivi corporel, mais dégrade celui du visage en raison d'une sensibilité aux angles de profil. Ce comportement antagoniste n'est pas anodin pour les intégrateurs de systèmes HRI, qui ne peuvent pas transposer mécaniquement les mêmes optimisations à toutes les modalités de tracking. Plus fondamentalement, l'étude confirme que les modèles de vision par ordinateur les plus performants, conçus pour la vidéosurveillance ou la conduite autonome, ne couvrent pas les contraintes propres à la robotique sociale : occlusions mutuelles entre interlocuteurs, mouvements brusques, sorties et rentrées dans le champ de vision à courte distance. Le fossé entre démo contrôlée et déploiement réel reste ouvert pour les systèmes HRI en environnements denses. Furhat Robotics, entreprise suédoise spécialisée dans les robots conversationnels à tête projetée, fournit ici la plateforme matérielle, ce qui oriente naturellement l'évaluation vers les contextes face-à-face rapprochés. Dans le secteur plus large de la perception pour l'interaction humain-robot, des laboratoires académiques européens comme l'INRIA ou TU Delft, ainsi que des acteurs industriels tels SoftBank Robotics, travaillent sur des problématiques proches. Le point de friction central souligné par les auteurs reste l'absence de benchmarks publics capturant des occlusions denses à courte distance : sans jeux de données nativement sociaux, la validation des modèles de perception HRI demeure partielle. Les prochaines étapes naturelles consisteraient à tester ce pipeline sur d'autres plateformes et en conditions multi-utilisateurs réelles.

Recherche❖Paper

1 source

42

2986arXiv cs.RO 

Modélisation dynamique hybride d'un bras robotique flexible à 2 degrés de liberté

Une équipe de chercheurs a soumis sur arXiv (référence 2606.02969) une étude comparant trois méthodes de modélisation dynamique pour un bras robotique à 2 degrés de liberté (2-DoF) à liaisons flexibles. Deux approches dites "physics-informed" combinent des formulations de dynamique corps-rigide (RBD) avec un modèle de mélange gaussien (GMM) pour capturer les erreurs résiduelles et la flexibilité mécanique des segments. Une troisième approche, purement data-driven, sert de référence via régression cinématique. Sur un jeu de données open-source, les prédictions de couple ont été estimées par régression Ridge sur des variables cinématiques ; le modèle physique de référence a été construit à partir des spécifications constructeur publiées, puis une version alternative a estimé les mêmes paramètres directement par moindres carrés ordinaires (OLS). Résultat central : les paramètres issus des fiches techniques affichent la moins bonne précision, tandis que les estimateurs Ridge et OLS s'alignent significativement mieux avec les couples mesurés. Ce résultat fragilise une hypothèse répandue en robotique industrielle : que les modèles analytiques construits à partir des spécifications constructeur constituent une base fiable pour la commande ou la simulation. Pour les bras à liaisons flexibles, les déformations mécaniques sous charge introduisent des dynamiques non modélisées que les formulations corps-rigide classiques ignorent, creusant un écart mesurable entre modèle et réalité. L'étude démontre que la régularisation et l'identification directe par données comblent ces lacunes plus efficacement que les paramètres physiques bruts. Pour un intégrateur ou un ingénieur concevant des contrôleurs pour robots légers, cobots ou bras à câbles, cela implique concrètement de recalibrer les paramètres dynamiques sur des mesures in situ plutôt que de faire confiance aux valeurs datasheet. Le travail appuie également le développement des méthodes semi-paramétriques de "residual learning", qui associent un modèle physique imparfait à un correcteur appris, évitant ainsi le choix binaire entre approche analytique et approche purement données. La modélisation des robots à liaisons flexibles est un problème de recherche actif depuis plusieurs décennies, devenu particulièrement stratégique avec la montée des cobots et des manipulateurs légers dont les segments se déforment sous charge. Ce travail s'inscrit dans un mouvement plus large vers les réseaux physics-informed (PINN) et les méthodes hybrides physique-apprentissage. En Europe, plusieurs équipes travaillent sur des architectures similaires pour robots à câbles et manipulateurs souples. L'un des atouts de cette étude est d'utiliser un jeu de données ouvert, ce qui en fait une référence utilisable pour benchmarker de nouvelles approches. La suite logique est l'intégration de ces modèles hybrides dans des boucles de commande temps réel et leur extension à des architectures à plus de degrés de liberté.

Recherche❖Paper

1 source

42

2987arXiv cs.RO 

Laissez les dynamiques s'écouler : systèmes dynamiques par flux stable correspondant

Des chercheurs ont publié en juin 2026 un article de recherche (arXiv:2606.03834) introduisant les Stable Flow Matching Dynamical Systems (SFMDS), un cadre formel qui combine le flow matching -- technique générative désormais centrale dans l'apprentissage par imitation robotique -- avec des garanties de stabilité de type Lyapunov. Le flow matching permet d'apprendre des politiques de mouvement scalables, expressives et multimodales à partir de démonstrations, mais il ne fournit aucune garantie que le robot ne diverge pas en dehors de la distribution d'entraînement. SFMDS comble ce vide en paramétrant les systèmes dynamiques via le flow matching tout en contraignant le modèle à une famille de solutions stables. Deux variantes sont proposées : une contrainte douce basée sur un terme de pénalité ajouté à la loss, et une contrainte dure structurelle directement intégrée à l'architecture du réseau. Les deux formulations sont étendues aux groupes de Lie, ce qui permet de traiter naturellement les rotations en SO(3) et les transformations rigides -- omniprésentes en robotique. Les expériences couvrent des benchmarks de référence, des environnements de simulation, et un robot humanoïde physique, sur des espaces d'états de faible et de haute dimension. L'enjeu est direct pour les équipes qui déploient des politiques d'apprentissage en milieu industriel : les modèles génératifs actuels, aussi expressifs soient-ils, ne garantissent pas la convergence vers un état cible lorsque le robot rencontre une configuration non vue à l'entraînement. Sans stabilité formelle, un intégrateur doit compenser par des garde-fous logiciels ou matériels coûteux, ou limiter le domaine de déploiement. SFMDS apporte une garantie mathématique de stabilité asymptotique globale via la théorie de Lyapunov -- autrement dit, le système converge vers l'attracteur cible quelle que soit la perturbation initiale, dans les limites du domaine appris. Le fait que cette garantie soit compatible avec des distributions multimodales (plusieurs manières valides d'accomplir une tâche) est non trivial : les frameworks de systèmes dynamiques stables classiques comme SEDS ou CLF-DMP sacrifiaient typiquement l'expressivité pour la stabilité. Si les résultats sur humanoïde physique sont confirmés au-delà de l'article, cela représente un pas concret vers des politiques certifiables en environnement opérationnel. Le flow matching s'est imposé comme alternative aux politiques de diffusion (Diffusion Policy, Chi et al. 2023) grâce à une inférence plus rapide et une meilleure modélisation des distributions multimodales. Physical Intelligence (Pi-0), Unitree et Figure AI l'utilisent ou l'explorent dans leurs pipelines VLA. La stabilité des systèmes dynamiques pour l'apprentissage robot a une longue histoire académique (SEDS, DMP, CLF-DMP), mais ces méthodes n'ont jamais capturé la richesse des distributions requises par les tâches manipulation complexes. SFMDS tente de réconcilier les deux lignes. L'article est un preprint non encore soumis à revue par les pairs -- les performances sur robot humanoïde restent à reproduire de manière indépendante. Les suites naturelles incluent l'intégration dans des pipelines VLA complets (perception visuelle vers action) et l'évaluation sur des benchmarks industriels standardisés comme RoboSuite ou BiGym.

Recherche❧Opinion

1 source

41

2988arXiv cs.RO 

Planification de mouvement en environnements dynamiques : panorama des méthodes classiques aux approches modernes

Une revue systématique publiée sur arXiv (arXiv:2606.02677) recense et analyse 138 travaux sur la planification de mouvement en environnements dynamiques, publiés principalement entre 2015 et 2025. Les auteurs classifient les approches en cinq familles : méthodes par échantillonnage (type RRT), recherche sur graphe (A, D*), contrôle prédictif par modèle (MPC), apprentissage automatique (supervisé et par renforcement), et méthodes locales classiques regroupant obstacles de vitesse (velocity obstacles), champs de potentiel et fenêtres dynamiques. La revue intègre également la perception dynamique, couvrant la détection et la modélisation d'obstacles mobiles à partir de caméras, LiDAR et capteurs à événements (event-based sensors). Pour les chercheurs et praticiens, ce survey comble un angle mort réel : la littérature disposait de nombreuses synthèses sur la planification en environnements statiques, mais les revues ciblant spécifiquement les environnements dynamiques restaient rares et non systématiques. Les auteurs soulèvent trois défis que les benchmarks classiques sous-capturent : l'incertitude de prédiction des trajectoires d'obstacles tiers, la dynamique de l'interaction humain-robot, et le "freezing robot problem", phénomène où un robot se paralyse face à des flux humains denses, verrou concret pour tout déploiement en entrepôt peuplé, en hôpital ou en espace public. La grille de lecture proposée aide les intégrateurs à choisir une famille de méthodes selon leurs contraintes de latence, de prévisibilité et de disponibilité des données d'entraînement. La planification de mouvement dynamique concentre aujourd'hui les efforts des équipes mobilité dans des contextes aussi variés que les AMR d'entrepôt, les plateformes humanoïdes en déploiement industriel et les véhicules autonomes en milieu urbain. Le domaine est traversé par une tension structurante entre méthodes classiques, interprétables et certifiables mais rigides face aux scénarios non anticipés, et approches par apprentissage, plus adaptables mais encore fragiles face au sim-to-real gap et en dehors de la distribution d'entraînement. Ce survey paraît à un moment où les VLA (visual-language-action models) et les politiques RL commencent à être évalués à l'échelle réelle, rendant une taxonomie claire d'autant plus utile pour situer les nouvelles contributions. Les auteurs identifient la robustesse à l'incertitude prédictive et la généralisation hors distribution comme principaux axes de recherche ouverts.

Recherche❖Paper

1 source

41

2989arXiv cs.RO 

Quand le transfert simulation-réel nuit à l'apprentissage des politiques de contrôle, et comment y remédier

Une équipe de chercheurs publie sur arXiv (référence 2606.02636) un article qui remet en question une hypothèse centrale de la robotique moderne : l'idée que maximiser les efforts de transfert simulation-vers-réel (sim2real) améliore systématiquement l'apprentissage de politiques de contrôle. Leur diagnostic identifie deux effets négatifs concrets : un phénomène de "simulator lock-in", où les politiques restent prisonnières des hypothèses du simulateur, et une exploration appauvrie pendant l'entraînement, résultat des contraintes imposées prématurément par la compatibilité hardware. L'enjeu pour la communauté robotique est direct. Si la thèse tient, cela signifie que des pans entiers de la recherche sim2real ont optimisé le mauvais objectif : en voulant rapprocher la simulation du monde réel dès l'entraînement, on sacrifie la liberté d'exploration que la simulation est précisément supposée offrir. Cela concerne en priorité les équipes développant des politiques pour humanoïdes et les architectures Vision-Language-Action (VLA), où la qualité et la diversité des données de simulation sont déterminantes pour généraliser en déploiement réel. En réponse, les auteurs proposent un paradigme en deux étapes qu'ils appellent sim2sim2real : une première simulation sans contraintes réelles maximise l'exploration des comportements, puis un second transfert vers une simulation contrainte par la cinématique du robot prépare le passage au hardware. La seule limite imposée dès le départ est donc géométrique, pas physique. Cette approche s'inscrit dans la lignée du domain randomization et du curriculum learning, mais formalise explicitement la séparation des objectifs d'exploration et de transfert. À ce stade, l'article est un preprint sans validation expérimentale publiée.

Recherche❖Paper

1 source

41

2990arXiv cs.RO 

GN0 : vers un paradigme unifié pour la génération, l'évaluation et l'apprentissage de politiques en navigation visuo-langagière

Une équipe de chercheurs publie GN0 (arXiv:2606.03682, juin 2026), un cadre unifié de navigation robotique visuo-linguistique (VLN) structuré autour de trois contributions complémentaires. La première est GN-Matrix, un jeu de données de navigation 3D massif généré automatiquement via un moteur 3D Gaussian Splatting (3DGS), conçu pour pallier la pénurie de données d'entraînement du domaine. La deuxième est GN-Bench, présenté comme le premier benchmark en vue à vol d'oiseau (BEV) intégrant des avatars humains dynamiques en 3DGS pour évaluer les interactions homme-robot en navigation. La troisième est BAE (Break and Establish), un modèle de navigation par apprentissage par renforcement (RL) qui enchaîne apprentissage supervisé, DAgger (agrégation de trajectoires réelles pour sortir des distributions d'experts étroites) et exploration RL. Sur GN-Bench et le benchmark VLN-CE, GN-BAE surpasse les méthodes VLN de l'état de l'art selon les auteurs, sans que les conditions exactes des comparaisons soient détaillées dans le résumé. Le principal apport technique est la formalisation d'une mémoire spatiale compacte en BEV construite à partir de rendus 3DGS haute fidélité, exploitant le raisonnement spatial latent des grands modèles visuels-linguistiques (VLM). L'approche unifie dans un seul modèle de fondation des tâches avec et sans carte préétablie, suivre des instructions, escorter un humain, atteindre un objectif, ce qui contraste avec les pipelines fragmentés habituels du domaine. Si les résultats se confirment en conditions réelles, cela représente un pas concret vers des agents mobiles généraux capables de naviguer dans des environnements non cartographiés, une promesse centrale des robots de service et des AMR de nouvelle génération. La navigation visuo-linguistique est un champ actif depuis les benchmarks R2R (Anderson et al., 2018) et VLN-CE (Krantz et al., 2020). Les approches récentes exploitent des VLM tels que CLIP ou LLaVA pour relier instructions en langage naturel et perception visuelle, mais peinent sur les longues distances et dans des espaces non vus. Côté industrie, Boston Dynamics, Unitree ou les startups AMR intègrent progressivement la navigation sémantique sans publier de systèmes open-research comparables. En Europe, INRIA et des projets Horizon Europe explorent des directions proches. GN0 reste cependant une contribution académique en preprint sans partenaire industriel ni déploiement annoncé, ce qui invite à réserver le jugement sur le passage de la simulation au monde réel.

Recherche❧Opinion

1 source

41

2991arXiv cs.RO 

Humanoid-GPT : mise à l'échelle des données et de la structure pour le suivi de mouvement zéro-shot

Une équipe de chercheurs présente Humanoid-GPT, un Transformer de style GPT avec attention causale, entraîné sur un corpus de 2 milliards de frames de capture de mouvement pour le contrôle du corps entier de robots humanoïdes. Publiée en juin 2026 sur arXiv (preprint, non encore évaluée par les pairs), l'étude décrit un pré-entraînement sur un corpus retargeté qui unifie l'ensemble des jeux de données mocap publics majeurs et des enregistrements internes à grande échelle. L'objectif central est la généralisation zero-shot: le modèle doit suivre des mouvements hautement dynamiques et s'adapter à des tâches de contrôle inédites sans réentraînement spécifique. L'approche s'attaque au compromis agility-generalization qui bride les trackers MLP peu profonds, architecture dominante jusqu'ici mais limitée par la rareté des données d'entraînement. En scalant simultanément les données et la capacité du modèle, Humanoid-GPT prétend résoudre ces deux dimensions avec un unique modèle génératif. Si ces résultats se confirment à la validation indépendante, le résumé restant vague sur les benchmarks exacts et les conditions expérimentales, cela réduirait concrètement le coût de déploiement pour les intégrateurs de systèmes humanoïdes qui doivent aujourd'hui entraîner des politiques séparées pour chaque tâche ou morphologie de robot. Cette contribution s'inscrit dans la tendance au scaling des politiques de contrôle humanoïde: NVIDIA avec GR00T N2, Physical Intelligence avec pi-0 et pi-0.5, ou Berkeley Humanoid ont chacun montré que les Transformers absorbent massivement des données de démonstration pour produire des politiques plus généralisables. Humanoid-GPT se positionne spécifiquement sur le motion tracking en amont des pipelines d'action, plutôt que sur la manipulation de bout en bout. L'absence d'affiliation institutionnelle visible dans le résumé et la nature preprint du document invitent à la prudence sur les affirmations de "new performance frontier"; les benchmarks comparatifs et la revue par les pairs seront déterminants pour l'adoption dans la communauté.

IA physique❧Opinion

1 source

41

2992arXiv cs.RO 

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

Recherche❖Paper

1 source

40

2993arXiv cs.RO 

Génération de mouvements extrêmes par contrôle hybride en espace nul pour le suivi de trajectoire en ligne droite

Des chercheurs présentent dans un preprint arXiv (2606.03390) une méthode baptisée "extreme motion generation" qui vise à maximiser la longueur du chemin cartésien parcouru par un manipulateur à base fixe sur une trajectoire rectiligne prédéfinie. L'objectif concret : pousser un bras robotique jusqu'aux limites de son espace de travail sans déclencher les butées articulaires, ce qui est critique pour des applications continues comme le revêtement de surface ou le soudage. Le système a été évalué sur 10 000 tâches de suivi de chemin en ligne droite avec un Franka FR3 à 7 degrés de liberté. Résultat : une augmentation de 27 % de la longueur moyenne de trajectoire par rapport à une baseline entièrement basée sur un contrôleur modèle, avec des gains bien supérieurs sur les cas extrêmes. L'intérêt technique réside dans l'architecture hybride proposée. Un contrôleur par apprentissage par renforcement (RL) gère les décisions à long horizon, là où il excelle, tandis qu'un contrôleur modèle classique prend la relève lorsque le manipulateur s'approche des limites articulaires, une zone où la politique RL se dégrade en raison d'une couverture de données insuffisante. La bascule entre les deux modes se fait selon une distance normalisée aux limites articulaires. L'initialisation des configurations articulaires est résolue par un modèle de diffusion conditionnel, qui exploite un prior de mouvement appris pour choisir des configurations de départ favorables. Ce découplage explicite entre prise de décision à long terme (RL) et stabilisation locale (contrôle modèle) est une réponse directe au problème dit du "safety boundary avoidance" dans les trajectoires longues, un problème qui reste mal résolu par les approches purement data-driven. Ce travail s'inscrit dans un corpus croissant autour des contrôleurs hybrides RL+modèle pour la manipulation industrielle, à côté d'approches comme celles de Lux et al. ou des travaux sur le null-space control dans les bras redondants. Il ne s'agit pas ici d'un robot humanoïde ni d'une VLA généraliste, mais d'une contribution ciblée sur les manipulateurs fixes à tâche contrainte, directement pertinente pour les intégrateurs en soudage robotisé ou en peinture automatisée. Le Franka FR3 est un bras de recherche standard à 7 degrés de liberté, ce qui rend les résultats reproductibles mais limite leur généralisation directe à d'autres cinématiques. Les vidéos et le site projet sont accessibles publiquement ; aucun déploiement industriel ni partenariat commercial n'est mentionné dans ce preprint.

Industriel❖Paper

1 source

40

2994arXiv cs.RO 

EaDex : un cadre de manipulation dextérique multi-plateforme à partir de démonstrations à faible coût

EaDex, un framework de manipulation dextère multi-corps présenté dans un preprint arXiv (2606.03268, juin 2026), propose d'entraîner des mains robotiques articulées à partir de démonstrations humaines capturées avec une simple caméra RGB-D grand public. Le pipeline repose sur le modèle paramétrique MANO pour reconstruire la géométrie 3D de la main, suivi d'une étape de normalisation et de retargeting cinématique vers différentes morphologies robotiques. Le système a été évalué sur trois mains dextères distinctes et trois catégories de tâches d'ouverture d'objets articulés, couvrant neuf configurations cross-embodiment. Par rapport à une baseline sans mécanisme d'annealing de démonstrations, EaDex affiche une amélioration relative de 55,3 %. Le verrou adressé est structurel pour le secteur: le reinforcement learning pur en manipulation dextère exige une exploration interactive à grande échelle, coûteuse en temps machine et difficile à transférer, tandis que l'imitation learning classique dépend de démonstrations à haute fidélité collectées via des gants haptiques ou des systèmes de motion capture onéreux. EaDex cherche à abaisser ce seuil avec du matériel accessible. Son mécanisme central, l'"annealing dynamique de démonstrations basé sur les récompenses de contact", est notable: il guide l'exploration initiale en s'appuyant sur les trajectoires humaines, puis réduit progressivement cette dépendance à mesure que l'agent accumule des contacts réussis, évitant le sur-ajustement aux trajectoires de référence. Que le même pipeline fonctionne sur trois architectures de main aux cinématiques différentes est le point le plus pertinent pour un intégrateur: cela suggère une généralisation morphologique réelle, pas un résultat ajusté manuellement par configuration. L'approche s'inscrit dans un effort plus large de la communauté pour rendre la collecte de données de manipulation bon marché et scalable, face à des méthodes concurrentes comme DAPG ou DexMimicGen qui requièrent des infrastructures plus lourdes. Le papier n'annonce pas de déploiement industriel ni de partenariat commercial: c'est un résultat de recherche en phase preprint, sans validation sur des objets non-vus ni en conditions réelles non-contrôlées. Les suites naturelles incluront des tests sur des tâches plus complexes (bimanuel, objets déformables) et une comparaison systématique avec des pipelines VLA récents sur des benchmarks standardisés.

IA physique❖Paper

1 source

39

2995arXiv cs.RO 

Représentations statiques et dynamiques pour l'estimation de l'angle de contact tactile avec des capteurs à événements

Des chercheurs ont publié le 3 juin 2026 un preprint (arXiv:2606.03545) évaluant trois méthodes de représentation des données issues du NeuroTac, un capteur tactile neuromorphique event-based, pour l'estimation de l'angle de contact. Les flux d'événements générés lors du contact physique sont transformés en contours spatiaux selon trois approches : une représentation dynamique capturant l'activité événementielle la plus récente, une représentation statique reconstituant un état de contact persistant, et leur combinaison. Sur tous les scénarios de mouvement testés, les trois pipelines maintiennent une latence de traitement P99 inférieure à 10 ms, quel que soit l'intervalle d'échantillonnage utilisé. La représentation statique surpasse marginalement les deux autres en précision : elle atteint une MAE (erreur absolue moyenne) de 0,160° en roulement continu du capteur sur une surface, et de 0,251° lors de phases d'arrêt aléatoires intercalées dans le mouvement. Elle présente également une variance plus faible face aux variations de vitesse et de profondeur d'indentation. Pour les intégrateurs et les équipes de contrôle robotique, une latence P99 sous 10 ms représente le seuil en dessous duquel le retour tactile peut alimenter des boucles de contrôle temps-réel sans devenir le facteur limitant de la chaîne de commande. La précision de 0,160° en roulement est compatible avec des tâches d'assemblage ou d'insertion nécessitant un contrôle fin de l'orientation de contact. Le résultat le plus contre-intuitif est la performance supérieure de la représentation statique sur la dynamique : les capteurs event-based étant précisément réputés pour leur réactivité temporelle, l'hypothèse implicite était que les représentations exploitant cette dimension temporelle seraient les meilleures. Ici, la simplicité de la représentation statique s'avère plus robuste, ce qui réduit la complexité du traitement embarqué nécessaire. Le NeuroTac est issu des travaux du Bristol Robotics Laboratory, dans le groupe de Nathan Lepora, qui a d'abord développé le TacTip, un capteur optique tactile biomimétique, avant d'en produire une variante neuromorphique. Dans l'écosystème des capteurs tactiles de précision, il concurrence des dispositifs comme le DIGIT (Meta AI Research et CMU), le GelSight (MIT) ou les capteurs Xela Robotics. L'article demeure un preprint non soumis à peer review, et les scénarios évalués, fondés sur des mouvements de roulement contrôlés en laboratoire, restent éloignés des conditions d'une manipulation industrielle réelle. La validation sur des tâches multi-doigts ou des mains robotiques complètes comme la Shadow Hand constituerait une prochaine étape naturelle pour évaluer le passage à l'échelle.

Recherche❖Paper

1 source

39

2996arXiv cs.RO 

Système de navigation autonome pour robot de bibliothèque basé sur Unitree Go2 Edu

Des chercheurs ont publié sur arXiv (réf. 2606.03340) une architecture ROS 2 de navigation autonome déployée sur un Unitree Go2 Edu, robot quadrupède équipé d'un LiDAR 4D, d'une caméra de profondeur frontale et d'une centrale inertielle (IMU). L'objectif : faire circuler ce robot dans les allées étroites d'une bibliothèque réelle, en présence de lecteurs, de chaises, de sacs et de chariots, sans recourir aux hypothèses simplificatrices du terrain accidenté. La pile technique combine RTAB-Map pour la cartographie visuelle-LiDAR (SLAM), une fusion de capteurs par AMCL et filtre de Kalman étendu (EKF) pour la localisation, et la suite Nav2 avec algorithmes A* et DWA pour la planification de trajectoire et l'évitement local. Les résultats mesurés en environnement réel donnent un taux de succès de 100 % en scène statique, 96 % en présence d'obstacles dynamiques peu denses, et 88 % en haute densité dynamique. La précision cartographique, validée par comparaison avec des distances de référence levées sur site, affiche une erreur métrique moyenne de 3,7 cm. Ces chiffres sont notables car ils portent sur un déploiement en bibliothèque opérationnelle et non en laboratoire contrôlé. Le choix d'une plateforme à pattes plutôt que d'un AMR (robot mobile autonome) à roues basses répond à un problème concret : les transitions de sol (tapis, seuils, câbles au sol) et les passages partiellement obstrués dégradent la fiabilité des plateformes roulantes à faible garde au sol. La descente à 88 % en scène haute densité reste un plancher raisonnable pour un contexte de service public, mais les auteurs ne précisent pas la durée des séquences de test ni la reproductibilité statistique, ce qui limite l'extrapolation directe à un cahier des charges industriel. Unitree Robotics, constructeur chinois connu pour ses quadrupèdes grand public Go1 et Go2, positionne la variante Edu comme plateforme de recherche abordable face à des solutions comme le Spot de Boston Dynamics ou l'ANYmal de ANYbotics. Cette étude s'inscrit dans une tendance plus large d'adaptation des robots à pattes aux environnements intérieurs de service, jusqu'ici dominés par les AMR à roues. Les prochaines étapes naturelles incluent l'intégration d'une couche d'interaction vocale ou gestuelle avec les usagers, ainsi que des tests de robustesse sur des durées plus longues avec variabilité de l'achalandage.

Recherche❖Paper

1 source

38

2997arXiv cs.RO 

ConTrack : suivi du mouvement des mains sous contraintes avec contrôle adaptatif des compromis

ConTrack, un cadre d'apprentissage par renforcement (RL) publié sur arXiv en juin 2026 (arXiv:2606.03177), s'attaque à l'un des verrous les plus persistants de la manipulation dextère robotique : transférer fidèlement des démonstrations humaines vers un robot réel, en particulier dans des séquences longues impliquant de nombreux contacts. Le problème central, dit "kinematic gap", tient au fait qu'une politique de suivi doit simultanément maintenir les objets sur leurs trajectoires cibles, respecter la cinématique articulaire démontrée et reproduire les timings de contact, le tout sans pouvoir ajuster ses paramètres séquence par séquence. ConTrack résout cela en reformulant le suivi d'objet comme une contrainte plutôt que comme un terme de récompense : l'autorité de contrôle résiduelle est allouée à la fidélité du mouvement, et un mécanisme de mise à jour de variable duale permet d'ajuster dynamiquement le compromis tâche/style en ligne. Le système intègre également une bibliothèque de réinitialisations adaptatives en milieu de trajectoire, qui réutilise les états du simulateur atteignables par la politique courante pour stabiliser l'apprentissage sur des horizons longs. Les auteurs rapportent des améliorations significatives du taux de succès et de la précision de pose des objets par rapport aux approches existantes, validées à la fois en simulation et sur robot réel. L'intérêt de ConTrack pour les équipes de recherche et les intégrateurs robotiques tient à son passage à l'échelle : là où les méthodes précédentes nécessitaient un tuning manuel de la fonction de récompense pour chaque nouvelle séquence, l'approche par contraintes s'affranchit de ce goulot d'étranglement. C'est précisément ce type de réglage par séquence qui rendait les pipelines de manipulation dextère difficilement industrialisables. En séparant l'objectif de suivi d'objet de la préservation du style moteur, ConTrack offre une architecture plus modulaire, potentiellement applicable à des datasets de démonstrations humaines à grande échelle, un axe central dans les travaux récents sur les Visual Language Action (VLA) policies. Ce travail s'inscrit dans un courant très actif du sim-to-real pour la manipulation fine, aux côtés de travaux comme DexMimic, AnyTeleop ou les pipelines de l'équipe Stanford IRIS. L'absence d'affiliation institutionnelle explicite dans le résumé arXiv rend difficile le positionnement compétitif précis, mais la problématique rejoint directement les défis que rencontrent des acteurs comme Physical Intelligence (pi0), Dexterous AI ou les équipes manipulation de Boston Dynamics et Figure. La prochaine étape naturelle serait une évaluation sur des benchmarks standards comme DexArt ou TACO, et une validation sur une plus grande diversité de morphologies de mains robotiques. Il s'agit pour l'instant d'un preprint académique, sans déploiement industriel annoncé.

Recherche❖Paper

1 source

38

2998arXiv cs.RO 

Fonctions de navigation neuronales pour une planification de mouvement généralisable sans apprentissage préalable

Des chercheurs présentent en juin 2026 (arXiv 2606.03756) Neural Navigation Functions (Neural-NF), un planificateur réactif conçu pour opérer en transfert zéro-shot sur des géométries d'environnements jamais vus. La méthode intègre l'apprentissage dans un planificateur elliptique structuré : les features dérivées du Laplacien intrinsèque de la géométrie cible sont converties en coefficients locaux d'une équation aux dérivées partielles (EDP), dont la résolution produit une fonction de valeur globalement cohérente sur le domaine cible. Par construction, le comportement est garanti sans collision, avec descente monotone et minimum global unique à l'objectif, pour tout modèle admissible. Empiriquement, Neural-NF surpasse les planificateurs appris à prédiction directe de fonction de valeur d'un facteur allant jusqu'à 5, sur un ensemble de géométries variées. L'enjeu est la combinaison rare de garanties formelles et de capacité de généralisation. La quasi-totalité des planificateurs appris abandonnent les preuves de convergence pour s'adapter à de nouvelles géométries ; à l'inverse, les navigation functions classiques de Koditschek et Rimon offrent des garanties mathématiques mais sur des classes de géométries fixées à l'avance. En encapsulant l'apprentissage dans la structure PDE plutôt qu'en laissant le réseau prédire librement la sortie, Neural-NF préserve ces garanties par construction. Pour un intégrateur robotique ou un COO industriel, cela signifie un planificateur qui n'a pas besoin d'être ré-entraîné à chaque nouveau site de déploiement, tout en maintenant une trajectoire certifiée sans collision. Le facteur 5 annoncé mérite toutefois d'être nuancé : il est mesuré contre une famille spécifique de planificateurs à prédiction directe, et non contre l'état de l'art global de la planification de mouvement. La navigation function remonte aux travaux fondateurs de Koditschek et Rimon publiés dans l'International Journal of Robotics Research entre 1990 et 1992, qui établissaient des garanties de convergence dans des espaces à obstacles sphériques. Neural-NF s'inscrit dans l'effort actuel de généralisation à des géométries arbitraires, en concurrence avec les approches par champs de distances signées, représentations NeRF, ou planificateurs par diffusion. L'article reste un preprint non encore revu par les pairs, sans affiliation industrielle ni plan de commercialisation mentionné. Les prochaines étapes naturelles seraient une validation sur des benchmarks 3D partagés tels que Habitat ou MuJoCo, pour situer Neural-NF face aux planificateurs MPPI, par diffusion, et aux VLA appliqués à la navigation.

Recherche❖Paper

1 source

38

2999arXiv cs.RO 

SplitAdapter : loco-manipulation humanoïde sensible à la charge par adaptation factorisée

SplitAdapter est une architecture présentée sur arXiv (identifiant 2606.03297) visant à améliorer le contrôle de robots humanoïdes en loco-manipulation, soit la combinaison simultanée de la marche bipède et de la manipulation d'objets physiques. Le système part d'une politique de manipulation de boîtes préentraînée qu'il fige, puis lui greffe deux encodeurs de contexte indépendants : l'un capture les propriétés de la charge et de l'objet saisi, l'autre modélise les dynamiques internes du robot. Ces représentations sont injectées via une modulation FiLM hiérarchique (Feature-wise Linear Modulation), combinée à des objectifs split world-model et une régularisation cross-adversariale par gradient reversal (GRL). Les expériences couvrent des objets de 2, 4 et 6 kg, à des hauteurs de prise et de dépôt de 0, 30 et 60 cm, testés en sim-to-sim puis en déploiement sur robot réel. SplitAdapter améliore le taux de succès en tâche complète face à la politique de base et aux baselines FiLM à encodeur unique, avec les gains les plus marqués sous forte charge (6 kg). L'enjeu central est le transfert sim-to-réel sous charge variable : lorsqu'un humanoïde soulève un objet lourd, ses dynamiques changent sensiblement, et les adaptateurs existants qui fusionnent tous les signaux dans une seule représentation latente tendent à perdre en robustesse précisément dans les conditions les plus critiques. La factorisation proposée, un encodeur par source de variation, maintient une séparation explicite entre les incertitudes liées à l'objet et celles liées au robot, ce qui se révèle plus stable sous conditions extrêmes. Pour un intégrateur ou un OEM industriel, cela suggère qu'une politique généraliste préentraînée peut être adaptée modulairement selon la charge sans réentraînement complet, une propriété utile pour des lignes de production où les objets manipulés varient fréquemment. La loco-manipulation sur humanoïdes concentre des investissements massifs : Figure AI déploie son Figure 03 chez BMW, Boston Dynamics pousse Atlas en partenariat avec Hyundai, et des labos comme Physical Intelligence (Pi-0) ou NVIDIA (GR00T N2) misent sur des politiques généralisables de type VLA (Vision-Language-Action). SplitAdapter prend un pari différent, adapter une politique spécialisée existante plutôt que d'en entraîner une nouvelle de bout en bout, ce qui réduit les coûts de calcul mais soulève la question de la généralisabilité hors distribution. Le papier est une préimpression arXiv soumise début juin 2026, non encore évaluée par les pairs ; aucun déploiement industriel ni pilote commercial n'est annoncé à ce stade.

IA physique❖Paper

1 source

38

3000arXiv cs.RO 

TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA

Des chercheurs ont publié le 3 juin 2026 un article (arXiv:2606.03127) proposant TTT-VLA, un cadre d'entraînement au moment du test (test-time training, TTT) spécifiquement conçu pour les modèles Vision-Langage-Action (VLA). La méthode repose sur ce qu'ils appellent l'Optimisation de Prompt Latent (LPO) : pendant la phase d'entraînement, un vecteur de prompt latent est appris via une tâche auxiliaire de proxy qui génère un signal d'auto-supervision. Lors du déploiement, seul ce prompt latent est réoptimisé à partir des données d'interaction collectées dans l'environnement réel, sans toucher aux poids du modèle de base. Les expériences sont conduites sur SimplerEnv, un benchmark de manipulation robotique simulée, et montrent des gains de taux de succès cohérents sur des scénarios monolithiques et multi-embodiment. L'intérêt principal pour l'industrie robotique tient à la nature du problème résolu : le décalage de distribution (distribution shift) entre l'environnement d'entraînement et le site de déploiement est l'un des freins les plus documentés au passage en production des VLA. TTT-VLA propose une voie d'adaptation légère, puisque seul le prompt est modifié et non la politique elle-même. L'analyse des résultats révèle que les gains proviennent principalement de la correction d'un petit nombre de décisions critiques dans la séquence d'action, et non d'un changement global de comportement. C'est un résultat conceptuellement intéressant : il suggère que l'inadaptation d'un VLA en production est localisée, ce qui rend les approches de correction chirurgicale potentiellement plus efficaces que les fine-tunings complets. Les VLA sont devenus un axe de recherche central depuis les travaux fondateurs sur RT-2 (Google DeepMind, 2023), et des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA (Berkeley) illustrent la course actuelle. Le problème du sim-to-real et de l'adaptation au domaine reste entier pour tous ces systèmes dès qu'ils quittent les environnements contrôlés. TTT-VLA s'inscrit dans une tendance plus large qui emprunte aux LLMs la notion d'adaptation au test-time, appliquée ici à la manipulation physique. Les expériences restent pour l'instant limitées à SimplerEnv, ce qui laisse ouverte la question du transfert vers des robots réels et des environnements industriels non structurés.

IA physique❧Opinion

1 source