Aller au contenu principal

Actualités robotique — page 66

4 571 articles au fil, du plus récent au plus ancien.

Chine : le premier centre d'entraînement de robots humanoïdes hétérogènes ouvre à Shanghai
3251Interesting Engineering 

Chine : le premier centre d'entraînement de robots humanoïdes hétérogènes ouvre à Shanghai

La Chine ouvrira en juillet 2026 à Shanghai son premier centre de formation hétérogène pour robots humanoïdes, dans le quartier de Zhangjiang. Développé par le National and Local Co-Built Humanoid Robotics Innovation Center, le site couvre plus de 5 000 m² et accueille plus de 100 types de robots issus d'une dizaine d'entreprises, ce qui en fait le centre de formation le plus diversifié du pays selon le Global Times. Les robots y sont entraînés sur des tâches réelles dans des environnements simulant à la fois le foyer domestique et l'atelier industriel. Les données générées alimentent des bases de données à grande échelle destinées à soutenir les modèles d'IA utilisés dans la fabrication, les services, la santé et l'agriculture. Ce projet s'inscrit dans la continuité d'un premier centre ouvert à Pékin en décembre 2025, où des humanoïdes pratiquaient des tâches d'usine, des corvées ménagères, la cuisine et la gestion de colis. L'enjeu central de ce centre shanghaïen n'est pas simplement le volume d'entraînement, mais l'interopérabilité des données. Selon Xu Bin, directeur général du centre, les humanoïdes de différents fabricants varient en structure squelettique, en nombre de degrés de liberté et en systèmes moteurs, rendant leurs données d'entraînement mutuellement incompatibles. La plateforme vise à combler ces gaps et à standardiser la collecte de données entre systèmes hétérogènes, un problème structurel qui freine la montée en puissance de l'IA incarnée (embodied AI). Contrairement aux modèles de langage qui s'appuient sur des corpus internet massifs, les robots physiques dépendent de données d'interaction réelles, coûteuses à produire. Résoudre ce bottleneck à l'échelle industrielle représenterait un levier majeur pour l'ensemble de la filière, en accélérant la commercialisation des humanoïdes dans des secteurs à forte valeur comme la logistique et l'assemblage manufacturier. Cette initiative s'inscrit dans une course internationale aux infrastructures de formation robotique. En parallèle, l'Allemagne prépare le TUM RoboGym, développé en collaboration entre la Technische Universität München et NEURA Robotics, basée à Metzingen. Situé à proximité de l'aéroport de Munich, ce centre couvrira environ 2 322 m² et sera dédié à l'entraînement supervisé de robots humanoïdes sur des tâches de manipulation d'objets, d'assemblage de composants et de pliage. L'investissement est décrit comme "multi-millions de dollars", sans montant précis communiqué. Si la Chine mise sur la diversité des plateformes et le partage de données à grande échelle, avec une ambition clairement industrielle, l'approche allemande privilégie l'articulation recherche-industrie via un acteur académique de premier plan. Les deux modèles convergent néanmoins vers le même constat : la pénurie de données physiques de qualité est aujourd'hui le principal obstacle à la généralisation des humanoïdes en environnement réel.

Chine/AsieOpinion
1 source
La nouvelle usine d'ENGINEAI (12 000 m²) produit un robot humanoïde toutes les 15 minutes
3252Interesting Engineering 

La nouvelle usine d'ENGINEAI (12 000 m²) produit un robot humanoïde toutes les 15 minutes

ENGINEAI, startup robotique fondée en octobre 2023 et basée à Shenzhen, a inauguré une usine de fabrication en série de robots humanoïdes dans le district de Honghualing. L'installation couvre environ 12 000 m² et intègre l'ensemble de la chaîne de valeur : contrôle qualité entrant, tests de composants, assemblage, tests pré-expédition, logistique et service après-vente. Selon l'entreprise, la cadence de production atteint un robot toutes les 15 minutes, soit potentiellement jusqu'à 35 000 unités par an en rythme continu. Chaque machine doit passer 79 contrôles qualité et 46 tests de simulation avant expédition. Les premiers exemplaires du T800, robot humanoïde polyvalent à vocation industrielle lourde, ont déjà quitté la chaîne. En parallèle, ENGINEAI prépare un second site à Zhengzhou, dans la province du Henan, dédié à une ligne de production de 10 000 unités supplémentaires, intégrée dans le Yunzhi Science Park. Cette expansion s'appuie sur une levée de fonds de série B de 200 millions de dollars clôturée en avril 2026, valorisant la société à plus de 10 milliards de yuans (environ 1,4 milliard de dollars). Le passage à une production industrielle cadencée représente un signal structurant pour le secteur. Jusqu'ici, la quasi-totalité des constructeurs d'humanoïdes, y compris des acteurs bien financés comme Figure ou 1X, opéraient en mode artisanal ou semi-série, avec des volumes annuels comptés en dizaines ou centaines d'unités. Une cadence de 1 robot toutes les 15 minutes, si elle est confirmée en régime nominal et non seulement revendiquée en pic de démo, constituerait une rupture dans le ratio coût/volume. Elle valide aussi l'hypothèse que le goulot d'étranglement de la filière n'est plus uniquement logiciel (contrôleurs, VLA, sim-to-real), mais bien industriel. Pour les intégrateurs et décideurs B2B, cela change le calcul : la question n'est plus "aura-t-on accès à des robots ?" mais "à quel prix et avec quel support ?" La précision des 79 points de contrôle et 46 tests de simulation suggère une démarche sérieuse de standardisation, même si ENGINEAI n'a pas publié de données indépendantes sur les taux de défauts ou la fiabilité terrain. ENGINEAI s'inscrit dans une vague d'industriels chinois qui accélèrent sur l'humanoïde depuis 2024, portés par des politiques publiques favorables et une base de fournisseurs actuateurs/capteurs mature dans la région de Shenzhen. La société commercialise quatre plateformes : le T800 (humanoïde lourd), le PM01 (humanoïde généraliste), le SA02 (robot compagnon léger) et le JS01 (quadrupède). Ses cibles déclarées sont l'industrie et l'inspection, soit les mêmes segments qu'Agility Robotics (Digit, déployé chez Amazon), Figure (accord BMW), Unitree ou Fourier Intelligence. Sur le plan concurrentiel, la proximité géographique avec les fournisseurs de la chaîne d'approvisionnement shenzhenoise constitue un avantage structurel face aux acteurs américains. Les prochaines étapes annoncées incluent la montée en puissance du site de Zhengzhou et l'atteinte du seuil des 10 000 unités cumulées, sans calendrier précis communiqué à ce stade.

Chine/AsieOpinion
1 source
IntBot et Certis Group s'associent pour déployer l'IA physique en entreprise à Singapour
3253Robotics Business Review 

IntBot et Certis Group s'associent pour déployer l'IA physique en entreprise à Singapour

IntBot, startup californienne fondée à San Jose, et Certis, opérateur de sécurité et de services aux entreprises coté à la Bourse de Singapour, ont annoncé en mai 2026 un partenariat stratégique visant à développer des applications robotiques dites "socialement intelligentes" pour des environnements à forte affluence publique à Singapour. L'accord prévoit d'intégrer la technologie General Social Intelligence d'IntBot, un système de perception multimodale en temps réel couplé à une boucle d'interaction fermée, aux capacités opérationnelles de Certis dans la gestion de missions critiques. Les cas d'usage ciblés sont les robots concierges et assistants dans des environnements comme les hôtels, les centres de conférence et les campus. IntBot avait présenté son humanoïde de service Nylo au CES 2026, et affirme être déjà déployé dans le secteur de l'hôtellerie, sans fournir de chiffres précis sur l'échelle de ces déploiements ni de spécifications techniques (charge utile, degrés de liberté, temps de cycle). L'annonce reste à ce stade un accord d'exploration : aucun calendrier de déploiement ni volume contractuel n'est communiqué. Ce partenariat illustre un glissement progressif dans la robotique humanoïde commerciale : la manipulation physique des tâches cède progressivement sa place à l'interaction humaine comme principal verrou technologique. Lei Yang, cofondateur et PDG d'IntBot, l'articule explicitement : selon lui, avec la maturité des modèles multimodaux, le bottleneck décisif pour l'IA incarnée se déplace de la manipulation vers l'interaction sociale. Pour les intégrateurs et les décideurs B2B, l'enjeu est concret : un robot humanoïde en espace public doit interpréter les intentions des usagers, gérer un contexte social dynamique et maintenir une fiabilité opérationnelle compatible avec des environnements en exploitation réelle, sans cage de sécurité. L'approche de Certis, qui conçoit la sécurité, la gestion des installations et des effectifs comme un modèle opérationnel unifié, vise à fournir ce que la plupart des startups robotiques peinent à livrer seules : des workflows structurés et une intégration dans des opérations existantes à contraintes élevées. IntBot s'inscrit dans un champ concurrentiel dense, dominé par des acteurs disposant de ressources bien supérieures : Figure AI avec le Figure 03, Tesla avec l'Optimus Gen 3, Boston Dynamics avec l'Atlas, Physical Intelligence avec Pi-0, et Agility Robotics avec Digit, ainsi que Sanctuary AI et 1X pour le volet interaction sociale. Le choix de Singapour comme marché d'entrée est stratégique : la cité-État dispose d'une infrastructure smart-city avancée et d'un cadre réglementaire favorable à l'expérimentation robotique en milieu public. Certis, ancré institutionnellement en Asie-Pacifique, apporte une crédibilité opérationnelle que les startups ne peuvent pas construire seules. La prochaine étape attendue sera la définition concrète des cas d'usage par Certis avant tout déploiement à l'échelle, une phase qui, dans le secteur, prend historiquement bien plus longtemps que les communiqués de presse ne le laissent entendre.

HumanoïdesOpinion
1 source
Guide complet des événements du Robotics Summit & Expo 2026
3254The Robot Report 

Guide complet des événements du Robotics Summit & Expo 2026

Le Robotics Summit & Expo 2026 ouvre ses portes le 27 mai à Boston, au Thomas M. Menino Convention & Exhibition Center. L'événement réunit plus de 5 000 experts de la robotique et 200 exposants sur deux jours, avec plus de 50 sessions réparties en cinq tracks : intelligence artificielle, design et développement, technologies habilitantes, santé et logistique. Plus de 70 intervenants représentent des acteurs comme Amazon Robotics, Universal Robots, Locus Robotics, Boston Dynamics, Agility, Tesla, le Toyota Research Institute, Harmonic Drive, maxon, PickNik Robotics et Intrinsic. La première journée s'ouvre à 9h par le panel "Building the Next Era of Robot Autonomy", avec Aaron Parness (directeur de la science appliquée chez Amazon Robotics), Anders Beck (VP produits AI robotics chez Universal Robots), Hamid Montazeri (SVP software et IA chez Locus Robotics) et John Wall (président de QNX). À 10h suivra le panel "The State of Humanoids", incluant Alberto Rodriguez (directeur du comportement robot pour Atlas chez Boston Dynamics) et Pras Velagapudi (CTO d'Agility Robotics). Le 28 mai, Brian Gerkey (board chair d'Open Robotics et CTO d'Intrinsic) livrera la keynote "An Open Foundation for the Age of AI-Powered Robots", et la conférence se clôturera par le témoignage de Noland Arbaugh, premier utilisateur d'un implant cérébral Neuralink. La concentration de sessions de haut niveau sur l'autonomie et les humanoïdes reflète le basculement du secteur d'une phase de démonstration vers une phase de commercialisation active. La présence d'Alberto Rodriguez (Boston Dynamics) et de Pras Velagapudi (Agility) sur le même panel humanoïde est révélatrice : ces deux entreprises sont actuellement les seules à pouvoir revendiquer des déploiements clients documentés à échelle industrielle, et leur coprésence sur scène illustre une compétition directe pour les contrats pilotes. Le thème porté par Gerkey (Intrinsic, filiale Alphabet) sur les fondations logicielles ouvertes pour robots IA pointe une tension structurelle du secteur : la fragmentation des stacks ROS freine l'interopérabilité, et plusieurs acteurs cherchent à imposer un middleware de référence avant que le marché ne se verrouille autour d'un standard propriétaire. Le Robotics Summit est organisé par The Robot Report et Peerless Media, et constitue l'un des deux grands rendez-vous professionnels de la robotique aux États-Unis avec RoboBusiness. L'édition 2026 se tient dans un contexte de forte pression concurrentielle sur le segment humanoïde : Figure AI, 1X, Apptronik, Unitree et Fourier Intelligence ont multiplié les annonces depuis dix-huit mois, tandis que les déploiements réels documentés restent rares. L'absence dans le programme de représentants de Figure AI ou de 1X peut indiquer un positionnement délibéré de ces acteurs en dehors des canaux de conférence traditionnels, ou simplement un agenda non finalisé. Les RBR50 Innovation Awards, remis lors du dîner du soir du 27 mai, constitueront un baromètre utile des projets jugés les plus significatifs par la communauté professionnelle cette année.

Vidéo : ce robot humanoïde chinois à 42 000 $ associe mouvement en temps réel, vision et contrôle intelligent
3255Interesting Engineering 

Vidéo : ce robot humanoïde chinois à 42 000 $ associe mouvement en temps réel, vision et contrôle intelligent

LimX Dynamics, société chinoise de robotique fondée à Shenzhen, a présenté publiquement pour la première fois son humanoïde Luna lors du Taobao Influencer Festival en mars 2026, marquant selon l'entreprise la première démonstration publique mondiale de cette plateforme. Luna mesure 160 cm, dispose de 27 degrés de liberté et embarque le moteur de mouvement propriétaire Sys 0 de deuxième génération, couplé à des moteurs articulaires redessinés. L'engin est taillé pour des performances dynamiques à corps entier : danse, gymnastique, défilé. Sur le plan thermique, LimX annonce une réduction de 30 % de la température de surface des articulations en opération prolongée, et une autonomie batterie améliorée de 150 %. Le tout est proposé à 298 000 RMB, soit environ 41 000 dollars. À ce prix, Luna n'est pas positionnée comme robot industriel de manutention, mais comme plateforme d'interaction en environnement public. Elle intègre également un éditeur de tâches en langage naturel et une fonction video-to-motion permettant de répliquer des mouvements à partir de vidéos uploadées. Ce lancement illustre une tendance nette dans la robotique humanoïde chinoise : l'accent mis sur la commercialisation rapide plutôt que sur la recherche académique. Le positionnement de Luna, orienté interaction grand public et déploiement sans code, cible des intégrateurs et des opérateurs événementiels davantage que les lignes d'assemblage automobile. La démonstration synchronisée des 18 robots Oli, autre modèle de LimX (165 cm, 55 kg, bras à 7 DOF, portée de 70 cm, charge utile de 10 kg), est plus pertinente pour les décideurs industriels : elle illustre une capacité de déploiement coordonné autonome qui reste rare à cette échelle. Cela dit, les métriques annoncées méritent prudence : les améliorations thermiques et d'autonomie sont présentées sans conditions de test précises, et les vidéos publiées restent sélectionnées, ce qui rend difficile l'évaluation du gap simulation-réalité réel. LimX Dynamics opère dans un secteur sous forte pression concurrentielle. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (Pi-0), NVIDIA (GR00T N2) et Apptronik (Apollo) animent le segment occidental, pendant que côté chinois, Unitree, Agibot et Fourier Intelligence disputent le même territoire. LimX se distingue par son architecture logicielle COSA, présentée comme un système d'exploitation cognitif gérant le contrôle de mouvement corps entier via des modèles physiques basse latence, et par la plateforme modulaire Tron 2 qui décline en configurations bimanuelle, bipède complète et biped-sur-roues. Ces briques technologiques suggèrent une stratégie de plateforme plutôt que de produit unique. Les prochaines étapes vraisemblables incluent des pilotes en environnements retail et événementiel en Chine, avant une tentative d'internationalisation dans des marchés où le coût d'entrée à 41 000 dollars reste compétitif face aux offres occidentales souvent non tarifées publiquement.

Chine/AsieOpinion
1 source
LimX Dynamics dévoile Luna, un robot humanoïde qui apprend à danser par IA
3256TechNode 

LimX Dynamics dévoile Luna, un robot humanoïde qui apprend à danser par IA

LimX Dynamics a dévoilé lundi son robot humanoïde Luna, commercialisé à 298 000 RMB (environ 41 000 dollars). Mesurant 160 cm de haut, le Luna embarque 27 degrés de liberté répartis sur l'ensemble du corps et s'appuie sur le moteur de contrôle de mouvement SYS 0 de deuxième génération développé en interne. La machine reçoit également une autonomie batterie et un système de refroidissement améliorés par rapport à la génération précédente. Sur le plan logiciel, LimX intègre des capacités d'interaction multimodale et une interface sans code permettant de configurer des déclencheurs de tâches en langage naturel : l'utilisateur décrit son besoin, le robot génère automatiquement les workflows d'exécution correspondants. Les cas d'usage ciblés incluent l'assistance en centre commercial, les expériences de jeu de rôle immersif (personnages NPC humanoïdes) et les interactions en parcs à thème. La fonctionnalité la plus originale est l'apprentissage de chorégraphies par analyse de séquences vidéo : le robot reproduit des mouvements de danse à partir d'un simple clip. Ce positionnement dans le segment entertainment et commercial illustre une tendance de fond : plusieurs constructeurs d'humanoïdes cherchent à rentabiliser leurs plateformes avant d'atteindre la maturité industrielle lourde. À 41 000 dollars, le Luna se place dans une fourchette accessible pour des opérateurs de loisirs ou des intégrateurs retail, bien en dessous des plateformes à vocation industrielle comme l'Optimus de Tesla ou le Figure 03. La promesse du no-code et du langage naturel réduit théoriquement la barrière à l'intégration, un argument clé pour les décideurs B2B sans équipe robotique dédiée. Reste à évaluer la robustesse réelle du SYS 0 en conditions d'exploitation intensive et la fiabilité de l'apprentissage vidéo : la démonstration de danse est visuellement frappante, mais aucun chiffre de performance (précision, taux d'échec, temps d'apprentissage) n'est communiqué. LimX Dynamics est un constructeur chinois spécialisé en locomotion bipède et quadrupède, déjà connu pour ses plateformes de recherche CL-1 et P1. La société s'inscrit dans un écosystème chinois de la robotique humanoïde en pleine accélération, aux côtés d'Unitree (G1, H1), de Fourier Intelligence et d'Agibot. Face à eux, les acteurs occidentaux comme Boston Dynamics (Atlas), Agility Robotics (Digit) ou Physical Intelligence (Pi-0) ciblent davantage la logistique industrielle. LimX choisit une entrée par le marché grand public et l'entertainment, une stratégie qui rappelle celle d'Enchanted Tools en Europe avec son robot Miroki. Les prochaines étapes annoncées concernent des déploiements en centres commerciaux et parcs à thème en Chine, sans calendrier précis ni données de volume communiquées à ce stade.

Chine/AsieOpinion
1 source
Lightwheel AI lève un nouveau tour de table pour développer son infrastructure de données et de simulation pour l'IA physique
3257Pandaily 

Lightwheel AI lève un nouveau tour de table pour développer son infrastructure de données et de simulation pour l'IA physique

Lightwheel AI, startup pékinoise spécialisée dans l'infrastructure de données et de simulation pour l'IA physique, vient de boucler un nouveau tour de financement dont le montant n'a pas été divulgué. Les fonds seront affectés à trois axes : élargir les capacités de livraison, accélérer l'expansion internationale, et renforcer les partenariats avec des fabricants de robots, des développeurs de véhicules autonomes et des industriels. La société propose un triptyque de services : génération de données d'entraînement synthétiques haute qualité, environnements de simulation pour l'entraînement de modèles, et frameworks d'évaluation et de vérification. Son positionnement repose sur une boucle fermée couvrant la collecte terrain, le développement de simulateurs, l'évaluation et le déploiement en production. La technologie centrale est une approche propriétaire baptisée "calibration sur données réelles + amplification par simulation" : des données capteurs réelles servent de base de calibration, puis la simulation génère des jeux de données synthétiques à grande échelle qui reproduisent les propriétés statistiques du réel tout en étendant la couverture des cas limites et scénarios rares. Ce tour illustre une conviction croissante dans le secteur : avant d'entraîner des robots ou des VLA (Vision-Language-Action models) performants, il faut disposer d'une infrastructure de données robuste et reproductible. La plupart des acteurs de l'IA physique butent aujourd'hui sur le "sim-to-real gap" et sur le coût prohibitif de la collecte de données en environnement réel. Une approche de type "real data calibration + sim amplification" vise précisément à réduire ce coût tout en préservant la validité statistique des données, un défi technique non trivial. Si la méthode s'avère scalable, elle pourrait raccourcir significativement les cycles de développement pour les intégrateurs robotiques et réduire la dépendance aux flottes de collecte physique, aujourd'hui l'un des postes de coût les plus lourds du secteur. Matrix Partners China avait déjà mené le tour Pre-A de Lightwheel en décembre 2023, puis sursouscrit le Pre-A+ suivant, s'établissant comme principal investisseur institutionnel de la société. Ce suivi répété est un signal fort, dans un contexte où l'écosystème de l'IA physique chinois s'organise rapidement autour de couches d'infrastructure distinctes : données, simulation, fondation model, application. Les concurrents directs sur ce segment incluent des acteurs comme Scale AI ou Rendered.ai côté occidental, et plusieurs startups chinoises moins visibles à l'international. Le managing partner Tong Ti a déclaré que 2025-2026 marque "l'année du déploiement à l'échelle" pour l'IA physique, ce qui reste un cadrage marketing à surveiller : le passage de la démonstration au déploiement industriel réel, surtout dans la robotique humanoïde, prend systématiquement plus de temps qu'annoncé. Aucun client nommé, aucun volume de données chiffré, aucun site de déploiement mentionné dans le communiqué, ce qui limite pour l'instant l'évaluation indépendante des affirmations techniques.

InfrastructureActu
1 source
L’IA physique : le prochain marché que surveille déjà Wall Street
3258Robot Magazine FR 

L’IA physique : le prochain marché que surveille déjà Wall Street

Wall Street identifie désormais la "Physical AI" comme le prochain cycle d'investissement majeur après l'IA générative. Selon plusieurs cabinets spécialisés, le marché mondial de la robotique intelligente et de l'IA physique pourrait dépasser 3 000 milliards de dollars d'ici 2040. Goldman Sachs est plus précis sur le segment humanoïde : 150 milliards de dollars d'ici 2035, avec un marché global de robotique intelligente franchissant les 400 milliards. NVIDIA, valorisé à plus de 3 000 milliards de dollars en 2026, est présenté comme le principal bénéficiaire actuel de cette tendance, son PDG Jensen Huang ayant publiquement intégré la "Physical AI" à sa feuille de route. Tesla, de son côté, est repositionnée dans cette grille de lecture grâce à son robot humanoïde Optimus, au-delà de son coeur de marché automobile. À noter : ces chiffres sont des projections de marché, pas des revenus confirmés, et l'article ne cite aucune métrique opérationnelle de déploiement. La rupture que pointe cet article est structurelle : l'IA générative est restée confinée aux écrans (texte, images, code), tandis que la Physical AI vise à en faire une force de travail dans le monde réel, capable de manipuler des objets, se déplacer et exécuter des tâches physiques de manière autonome. Pour un COO industriel ou un intégrateur, ce changement de paradigme est pertinent dans un contexte de pénuries de main-d'oeuvre persistantes et d'accélération de l'automatisation. Ce qui change pour les décideurs B2B, c'est l'horizon de planification : les fonds se positionnent déjà, ce qui signifie que les valuations des acteurs émergents (robotique, simulation, edge computing industriel) vont probablement se comprimer dans les 18 à 36 prochains mois, avant même que des déploiements à grande échelle soient prouvés. Ce récit s'inscrit dans un cycle bien rodé : après le cloud (AWS, Azure), puis l'IA générative (NVIDIA, OpenAI), les analystes financiers cherchent le prochain thème de surperformance. NVIDIA a amorcé ce pivot avec ses plateformes Isaac (simulation robotique) et Cosmos (world model pour robots), et ses partenariats avec Figure, 1X, Agility Robotics ou Boston Dynamics. Tesla joue la même carte avec Optimus, dont les premières vidéos de ligne de production interne ont été diffusées fin 2024, sans chiffres de cadence publiés. L'article reste toutefois une analyse financière généraliste : il ne cite aucun robot spécifique avec des métriques techniques (DOF, payload, cycle time), aucun site de déploiement confirmé, et aucun acteur européen malgré la pertinence d'entreprises comme Wandercraft ou Enchanted Tools sur ce segment. Les prochaines étapes annoncées restent floues, ce qui est caractéristique du registre "thème d'investissement émergent" plutôt que d'un bilan opérationnel.

IA physiqueOpinion
1 source
Les progrès vers l'IPO d'Unitree stimulent les achats d'actions des sociétés exposées au fabricant de robots humanoïdes
3259SCMP Tech 

Les progrès vers l'IPO d'Unitree stimulent les achats d'actions des sociétés exposées au fabricant de robots humanoïdes

Unitree Robotics a franchi une étape décisive vers une introduction en bourse domestique en déposant une demande de cotation sur le Star Market de Shanghai, la place boursière dédiée aux entreprises technologiques chinoises. Lundi, la société a confirmé que l'autorité de la bourse examinerait son dossier la semaine suivante. Cette annonce a immédiatement déclenché une vague d'achats sur les titres des investisseurs pré-IPO et des partenaires commerciaux d'Unitree, les traders cherchant à s'exposer indirectement au fabricant de robots avant sa cotation officielle. Le montant de la valorisation cible n'est pas encore divulgué publiquement. L'engouement boursier illustre à quel point les humanoïdes sont devenus le thème d'investissement central de 2026. Une IPO réussie d'Unitree validerait la thèse selon laquelle le marché grand public des robots mobiles est commercialement viable, pas seulement au stade de la démonstration. Pour les intégrateurs et les décideurs industriels, cela signifie que des acteurs comme Unitree, dont le G1 humanoïde est affiché à environ 16 000 dollars, atteignent une maturité opérationnelle suffisante pour justifier une cotation publique avec les obligations de transparence financière que cela implique. Unitree, fondée par Wang Xingxing, s'est imposée comme le fournisseur de robots mobiles le plus agressivement tarifé du marché, avec la gamme Go2 (quadrupède) et les humanoïdes H1 et G1. La société fait face à la concurrence directe de Fourier Intelligence, Leju Robotics et Agibot en Chine, ainsi que de Figure AI, Agility Robotics et 1X Technologies à l'international. Une cotation sur le Star Market renforcerait sa capacité de R&D et de déploiement à grande échelle, au moment où la course au robot humanoïde s'accélère mondialement.

Chine/AsieOpinion
1 source
AgentGrounder : ancrage visuel 3D en zéro-shot dans des nuages de points via des modèles multimodaux
3260arXiv cs.RO 

AgentGrounder : ancrage visuel 3D en zéro-shot dans des nuages de points via des modèles multimodaux

Des chercheurs du laboratoire be2rlab publient sur arXiv (arXiv:2605.25901) AgentGrounder, un système de localisation visuelle 3D zéro-shot opérant directement sur des nuages de points colorés, sans entraînement spécifique à la tâche. L'architecture repose sur deux étapes : une phase hors ligne construit une table de correspondance d'objets (Object Lookup Table, OLT) regroupant identifiants d'instances, labels sémantiques et boîtes englobantes 3D ; une phase en ligne déploie un agent qui décompose chaque requête en langage naturel, récupère les candidats pertinents dans l'OLT, effectue un scoring géométrique, puis déclenche un rendu d'image à la demande lorsque des indices visuels supplémentaires (couleur, texture, angle de vue) sont nécessaires. Évalué sur les benchmarks ScanRefer et Nr3D en configuration zéro-shot, AgentGrounder surpasse SeeGround de +2,5 % en précision Acc@0.5 sur ScanRefer et de +6,3 % sur Nr3D, dont un gain de +6,3 % sur les requêtes indépendantes du point de vue. Le code est publié sur GitHub. Ce résultat est directement pertinent pour les équipes travaillant sur la manipulation robotique et la navigation en environnements intérieurs non structurés. L'absence d'entraînement dédié abaisse la barrière d'intégration : un robot équipé d'un LiDAR ou d'une caméra de profondeur pourrait répondre à des commandes en langage naturel sans fine-tuning sur l'environnement cible, ce qui simplifie les déploiements dans des entrepôts ou des espaces de service variables. Le mécanisme de récupération sélective dans l'OLT réduit les erreurs en cascade typiques des pipelines d'ancrage-cible fixes, qui saturent la fenêtre de contexte des modèles de langage avec des objets non pertinents. L'inspection visuelle adaptative évite par ailleurs de solliciter inutilement les capacités multimodales coûteuses lorsque la géométrie seule suffit à discriminer. La localisation visuelle 3D est un domaine de recherche structuré autour de benchmarks comme ScanRefer (2020) et Nr3D, qui évaluent la capacité à identifier un objet précis dans une scène intérieure 3D à partir d'une description textuelle ambiguë. Les méthodes zéro-shot antérieures supposaient souvent des ensembles d'images multi-vues préexistants et peinaient face aux limites sémantiques des outils de segmentation 3D standards, SeeGround représentant jusqu'ici l'état de l'art sur ces benchmarks. Côté industrie, NVIDIA intègre des capacités de grounding 3D dans son framework GR00T pour la manipulation robotique, tandis qu'Enchanted Tools en France et les équipes embodied AI de Meta FAIR travaillent sur des modules similaires de compréhension spatiale ouverte. AgentGrounder, encore au stade de preprint non évalué par les pairs, devra confirmer ses performances hors contexte académique avant toute adoption en conditions réelles.

RechercheOpinion
1 source
Comprendre l'impact des modèles fondation géométriques sur les modèles vision-langage-action (VLA)
3261arXiv cs.RO 

Comprendre l'impact des modèles fondation géométriques sur les modèles vision-langage-action (VLA)

Une étude déposée sur arXiv (2605.24642) analyse rigoureusement l'intégration des modèles de fondation géométriques (GFM) dans les modèles vision-langage-action (VLA) pour la robotique de manipulation. Les chercheurs ont choisi comme sujets d'étude GR00T N1.5, le VLA de NVIDIA dédié aux robots humanoïdes, et VGGT, un GFM spécialisé dans la reconstruction 3D multi-vues. À l'aide d'une technique de sondage linéaire (linear probing), ils ont quantifié pour la première fois ce qu'ils nomment le "geometric gap" : l'écart mesurable entre la représentation spatiale d'un GFM et celle d'un VLA contemporain. Trois architectures distinctes d'injection de la géométrie dans un VLA ont ensuite été implémentées et comparées, avec des détails bas niveau maintenus constants pour assurer l'équité expérimentale. L'équipe a également mesuré l'impact de facteurs non-architecturaux : volume de données d'entraînement, nombre de caméras utilisées, et qualité de la reconstruction 3D résultante. Ce travail répond à une question que beaucoup de praticiens esquivaient : les VLAs actuels "voient-ils" vraiment en 3D, ou s'appuient-ils sur des corrélations 2D apprises statistiquement ? La réponse est formellement négative. L'analyse quantitative démontre que les VLAs de dernière génération, y compris GR00T N1.5, manquent de représentations géométriques structurées, ce qui constitue un frein identifiable pour les tâches de manipulation fine en environnement non contrôlé. Pour les intégrateurs et les équipes R&D, cela valide l'hypothèse justifiant les architectures hybrides géométriques, tout en fournissant une méthodologie d'évaluation reproductible plutôt qu'une démonstration isolée, souvent peu généralisable. Les VLAs ont connu une accélération marquée depuis 2023, avec Physical Intelligence (pi0), Google DeepMind (RT-2) et NVIDIA (GR00T N1 puis N1.5, disponible depuis début 2025) qui rivalisent sur les benchmarks de manipulation. VGGT s'inscrit dans une vague de GFMs récents visant à fournir une compréhension 3D dense sans LiDAR. Cette étude s'intègre dans une tendance plus large : combler le sim-to-real gap par une modélisation spatiale explicite plutôt que par un simple scaling de données. Les suites logiques incluent l'extension de cette analyse comparative à d'autres paires VLA/GFM, et la validation sur robots physiques des trois architectures proposées pour trancher sur laquelle produit le meilleur transfer vers les tâches réelles.

IA physiqueOpinion
1 source
EXPO-FT : affinage par apprentissage par renforcement économe en données pour les modèles vision-langage-action (VLA)
3262arXiv cs.RO 

EXPO-FT : affinage par apprentissage par renforcement économe en données pour les modèles vision-langage-action (VLA)

EXPO-FT est un système de fine-tuning par apprentissage par renforcement (RL) destiné à améliorer la fiabilité des politiques robotiques issues de modèles Vision-Langage-Action (VLA) pré-entraînés. Présenté dans un preprint arXiv (2605.25477, mai 2026), le système atteint un taux de réussite parfait : 30 succès sur 30 tentatives sur trois tâches de manipulation exigeantes. Ces tâches incluent guider une guirlande lumineuse dans son connecteur pour la faire s'allumer, frapper une balle de billard dans une poche, et insérer une fleur dans un goulot de bouteille à vin. Les résultats sont obtenus avec seulement 19,1 minutes en moyenne de données collectées sur robot réel, sans recours à la simulation. Le code source est publié en open source. Ce résultat attaque directement le "reliability gap" : l'écart persistant entre les capacités de généralisation des VLA pré-entraînés et leur fiabilité effective en conditions opérationnelles. Les modèles comme pi-0 (Physical Intelligence), OpenVLA (UC Berkeley) ou RT-2 (Google DeepMind) montrent une bonne généralisation entre tâches, mais peinent à dépasser les seuils de succès nécessaires en production industrielle. EXPO-FT propose une voie médiane : ni repartir de zéro avec du RL pur, coûteux en données et instable, ni se limiter au fine-tuning supervisé qui plafonne rapidement. En moins de 20 minutes de données réelles, le système atteint la perfection sur des exercices combinant précision millimétrique, dynamique de mouvement et robustesse aux variations d'état initial. Pour un intégrateur ou un COO déployant des bras robotiques sur ligne, c'est un signal que le commissioning par RL pourrait se mesurer en minutes plutôt qu'en jours, si ces résultats se confirment hors conditions de laboratoire. Ce travail s'inscrit dans la convergence accélérée entre LLM fondationnels et contrôle robotique amorcée depuis 2023. Google DeepMind avec Gemini Robotics, Physical Intelligence avec pi-0 et Covariant ont démontré que des politiques pré-entraînées à grande échelle offrent une base solide, mais la question du "last mile" restait ouverte. EXPO-FT y répond en publiant une infrastructure de RL finetuning stable et accessible. Les concurrents directs sur ce créneau sont les approches de reinforcement finetuning développées chez 1X Technologies et dans plusieurs labos académiques américains. Côté européen, des acteurs comme Enchanted Tools ou Wandercraft n'ont pas encore publié de travaux équivalents sur le RL finetuning de VLA, soulignant un écart notable avec la recherche américaine sur ce segment précis.

IA physiqueOpinion
1 source
Étude de l'effet d'un retrofit à actionnement élastique en série sur des actionneurs boîte noire
3263arXiv cs.RO 

Étude de l'effet d'un retrofit à actionnement élastique en série sur des actionneurs boîte noire

Des chercheurs ont publié sur arXiv (référence 2605.24127, mai 2026) les résultats d'une étude portant sur le retrofit d'un élément élastique en série (SEA, Series Elastic Actuation) sur un actionneur dit "boîte noire", c'est-à-dire un actionneur commercial dont les paramètres internes sont inaccessibles. L'élément élastique torsionnel a été dimensionné par analyse en éléments finis (FE analysis), aboutissant à une raideur de 2 155,4 Nm/rad. Le résultat principal est une amélioration de la bande passante en contrôle d'effort en boucle ouverte, passant de 10,32 Hz pour le moteur seul à 30,32 Hz avec le module SEA intégré, soit un gain de 2,93x. En boucle fermée, le module surpasse un capteur d'effort commercial de 7,63%, pour un coût matière de seulement 25 GBP. Ce résultat a une portée directe pour les intégrateurs robotiques confrontés à des actionneurs industriels standard dont ils ne maîtrisent pas la couche logicielle basse. Les actionneurs rigides à faible jeu mécanique sont omniprésents en robotique industrielle précisément parce qu'ils garantissent répétabilité et précision, mais ils sont inadaptés dès que la tâche exige du contrôle d'effort ou une compliance face à des contacts incertains. Le principe SEA, qui insère un ressort entre le moteur et la charge pour mesurer les efforts via la loi de Hooke, est connu depuis les travaux de Gill Pratt au MIT dans les années 1990, mais son application reste généralement cantonnée aux plateformes conçues pour l'accepter dès l'origine. Ce travail démontre qu'un retrofit peu coûteux peut débloquer la mesure d'effort haute fidélité sans remplacer l'actionneur existant. L'approche s'inscrit dans un courant de recherche actif autour de la compliance en actionnement, qui irrigue aussi bien les robots humanoïdes (Boston Dynamics Atlas, Agility Digit, Figure 02) que les exosquelettes et cobots collaboratifs. Les concurrents directs de cette approche incluent le quasi-direct drive (QDD), popularisé par MIT Cheetah et repris chez nombre de fabricants chinois (Unitree, Fourier Intelligence), ainsi que les capteurs d'effort six axes montés en poignet. La limite principale du SEA reste la réduction de bande passante, que ce travail atténue mais ne supprime pas entièrement. Les prochaines étapes logiques concerneraient des validations sur tâches manipulatoires réelles et une caractérisation de la durée de vie mécanique de l'élément élastique retrofit dans des cycles répétitifs.

RecherchePaper
1 source
RoboManipBaselines : un cadre unifié d'apprentissage par imitation pour la manipulation robotique en environnements réels et simulés
3264arXiv cs.RO 

RoboManipBaselines : un cadre unifié d'apprentissage par imitation pour la manipulation robotique en environnements réels et simulés

Des chercheurs de l'ISRI-AIST, le laboratoire national de recherche industrielle japonais, ont publié RoboManipBaselines, un framework open-source unifié pour l'apprentissage par imitation appliqué à la manipulation robotique. Disponible sur GitHub et accompagné d'une page projet dédiée, ce cadre couvre l'intégralité du pipeline d'imitation learning : collecte de données, entraînement de politiques et exécution en rollout, aussi bien en simulation que sur robots réels. Concrètement, il supporte plusieurs simulateurs et environnements physiques via une interface unifiée, intègre des capteurs multimodaux (dont tactiles et capteurs 3D), et propose une bibliothèque de modèles de politiques variés. Les évaluations publiées s'appuient sur des datasets publics, ce qui est explicitement conçu pour garantir la reproductibilité des résultats. Plusieurs applications de recherche sont démontrées : augmentation de données, intégration de modèles tactiles, systèmes robotiques interactifs, évaluation de la perception 3D, et extensions matérielles. Ce framework répond à un problème structurel de la recherche en manipulation robotique : l'absence de benchmarks standardisés reproductibles, qui rend la comparaison entre approches quasi impossible et ralentit les transferts vers l'industrie. En proposant un pipeline cohérent du sim au réel, RoboManipBaselines facilite l'évaluation du sim-to-real gap, l'un des verrous critiques avant tout déploiement industriel. Pour un intégrateur ou un ingénieur robotique, l'extensibilité annoncée (ajout de nouveaux robots, tâches et politiques) réduit le coût d'entrée pour tester des architectures de type VLA (Vision-Language-Action) sur des configurations matérielles propres. C'est aussi un outil de validation expérimentale qui peut accélérer la qualification de politiques avant passage en production. L'imitation learning pour la manipulation connaît une effervescence depuis 2023-2024, portée par des modèles comme pi0 (Physical Intelligence), OpenVLA, ou encore les travaux de Stanford et Berkeley. Dans cet écosystème, plusieurs frameworks concurrents existent déjà, notamment LeRobot de HuggingFace, RoboSuite (Stanford), ou MimicGen. RoboManipBaselines se distingue par son accent explicite sur la reproductibilité via datasets publics et son ancrage dans un laboratoire national disposant de plateformes matérielles réelles. L'AIST, acteur historique de la robotique japonaise (humanoïde HRP inclus), apporte une crédibilité expérimentale que les frameworks purement académiques n'ont pas toujours. La prochaine étape naturelle serait une adoption par des équipes industrielles pour valider des politiques sur des tâches d'assemblage ou de picking en conditions non contrôlées.

RecherchePaper
1 source
SpecPrune-VLA : accélérer les modèles vision-langage-action via un élagage auto-spéculatif sensible aux actions
3265arXiv cs.RO 

SpecPrune-VLA : accélérer les modèles vision-langage-action via un élagage auto-spéculatif sensible aux actions

SpecPrune-VLA est une méthode d'élagage (pruning) des modèles Vision-Langage-Action (VLA) publiée sur arXiv (arXiv:2509.05614v3, version révisée). Les VLA sont les architectures neuronales qui transforment images et instructions en langage naturel en commandes motrices pour robots manipulateurs. Sans réentraînement requis, la méthode opère à deux niveaux : un élagage statique par action, combinant historique global et attention locale pour réduire les tokens visuels traités à chaque étape, et un élagage dynamique couche par couche selon l'importance estimée de chaque couche du réseau. Un troisième composant, un contrôleur léger, classifie chaque action en "grossière" ou "fine" selon la vitesse de l'effecteur terminal, et ajuste l'agressivité du pruning en conséquence. Résultats annoncés : facteur d'accélération de 1,57x en simulation LIBERO et 1,70x sur tâches réelles, avec dégradation négligeable du taux de succès. L'enjeu est directement industriel. Les modèles VLA tels que pi-0 et pi-0.5 de Physical Intelligence, OpenVLA ou GR00T N2 de NVIDIA sont progressivement déployés dans des cellules de manipulation robotique, mais leur latence d'inférence reste un verrou pour l'embarqué temps réel. Les méthodes d'accélération existantes, focalisées sur la seule information locale à chaque step, provoquent des chutes de taux de succès supérieures à 20%, ce qui est rédhibitoire pour des environnements de production. SpecPrune-VLA exploite la cohérence spatiale et temporelle inhérente aux tâches robotiques : des frames consécutives se ressemblant fortement, des tokens visuels redondants peuvent être supprimés sans sacrifier la précision motrice. L'absence de réentraînement abaisse significativement la barrière d'adoption pour les intégrateurs. Le gain de 1,70x sur tâches réelles est un résultat solide, même si les conditions expérimentales précises (type de robot, nature des tâches, payload) ne sont pas détaillées dans le résumé publié. Le pruning de tokens dans les transformers est une technique mature côté LLMs (SnapKV, DuoAttention), mais son application aux VLA soulève des défis spécifiques liés à la nature temporelle et multimodale des entrées, et au fait que les erreurs motrices se cumulent sur des horizons longs. Les principaux acteurs qui investissent dans la réduction de la latence d'inférence VLA sont NVIDIA avec Isaac GR00T, Physical Intelligence avec ses modèles pi, et Figure AI avec son architecture Helix. Aucun acteur français ou européen n'est mentionné dans ces travaux. La publication en version v3 sur arXiv signale des révisions substantielles depuis la soumission initiale, mais l'acceptation dans une conférence ou un journal n'est pas encore confirmée, ce qui invite à nuancer la portée des résultats annoncés en attendant une évaluation par les pairs.

IA physiqueOpinion
1 source
Optimisation par données des configurations de capteurs tactiles pour la manipulation dextérique
3266arXiv cs.RO 

Optimisation par données des configurations de capteurs tactiles pour la manipulation dextérique

Des chercheurs ont publié sur arXiv (arXiv:2409.20473v3) un cadre méthodologique permettant, pour la première fois, de quantifier la contribution individuelle de chaque capteur tactile à la performance d'une politique d'apprentissage par renforcement profond (DRL) appliquée à la manipulation dextère. L'étude cible la Shadow Hand, une main robotique à 24 degrés de liberté équipée de 92 capteurs tactiles. En deux étapes, les auteurs réduisent ce réseau dense à 14 capteurs tout en conservant plus de 90 % de la performance initiale sur trois tâches de manipulation standardisées (bloc, oeuf, stylo). La première phase, empirique, écrête le nombre de capteurs de 92 à 21 en maintenant 93 % des performances. La seconde phase, plus fine, combine une régression par processus gaussiens (GPR) et une régression Lasso pour classer l'importance fonctionnelle de chaque capteur restant. Le résultat le plus saillant contredit l'intuition habituelle en robotique : les capteurs du doigt médius contribuent négativement à l'apprentissage, dégradant activement la politique DRL plutôt que de l'améliorer. À l'inverse, le pouce, l'annulaire et l'auriculaire concentrent l'essentiel de l'information utile au contrôle de contact. Pour les intégrateurs et les équipes de R&D en manipulation robotique, cela signifie qu'une réduction drastique du nombre de capteurs n'est pas seulement possible sans sacrifier les performances, elle peut même les améliorer en éliminant des signaux redondants ou antagonistes. Des expériences de transfert zéro-shot sur deux nouveaux objets et une validation croisée sur l'Allegro Hand et la Leap Hand confirment que ces classements d'importance se généralisent au-delà de la plateforme d'entraînement. La problématique de placement de capteurs tactiles reste largement non résolue dans la littérature, en l'absence de méthodes systématiques comparables à celles développées pour la vision. Ce travail s'inscrit dans un contexte où plusieurs laboratoires et entreprises, dont Sanctuary AI, Agility Robotics ou encore OpenAI avec Dexterous Manipulation, investissent massivement dans la manipulation fine comme prochain verrou de la robotique humanoïde. Les concurrents directs sur la Shadow Hand incluent des frameworks basés sur le sim-to-real (IsaacGym, MuJoCo), qui peinent encore à modéliser fidèlement le retour tactile dense. Les auteurs proposent leurs critères de déploiement comme des guidelines quantitatifs applicables à d'autres morphologies robotiques, ouvrant la voie à des configurations capteurs optimisées dès la phase de conception mécanique plutôt qu'a posteriori.

RecherchePaper
1 source
Apprentissage de séquences d'actions continues haute fréquence dans l'espace latent
3267arXiv cs.RO 

Apprentissage de séquences d'actions continues haute fréquence dans l'espace latent

Des chercheurs de TARS Robotics ont publié sur arXiv (2605.24931) une méthode de contrôle robotique haute fréquence baptisée RTR (Reuse-then-Refine), visant à résoudre un problème identifié dans les politiques d'action chunking actuelles. À 60 Hz, les systèmes qui exécutent des séquences pré-calculées de commandes motrices génèrent des mouvements saccadés et spatialement incohérents, ce que les politiques standard ne parviennent pas à corriger. L'approche RTR déplace l'apprentissage depuis l'espace d'action direct vers un espace latent encodé par un auto-encodeur variationnel (VAE), ce qui améliore significativement la consistance temporelle et spatiale. Elle intègre également une stratégie de raffinement par chunk permettant une transition fluide entre séquences adjacentes lors d'une inférence asynchrone. Les auteurs valident la méthode sur trois tâches réelles à contact riche, avec une exécution continue et moins de pauses involontaires. Le code et les données sont publiés en open source sur GitHub (tars-robotics/RTR). Le passage de 10-30 Hz à 60 Hz représente une frontière critique pour la manipulation robotique : à basse fréquence, le robot doit compenser sa lenteur par des pauses de recalcul, limitant son utilité en production industrielle. Les politiques de type VLA (Vision-Language-Action) ou diffusion policy, actuellement dominantes en imitation learning, fonctionnent généralement en dessous de 30 Hz. En montrant qu'un encodage latent peut absorber la variance temporelle sans sacrifier la précision spatiale, RTR apporte une réponse concrète au problème de "jerkiness" qui freine le déploiement des robots manipulateurs en conditions réelles. Pour un intégrateur ou un décideur B2B, c'est une voie vers des systèmes capables d'assurer une cadence de travail continue sans interruption de flux de production. L'action chunking a été popularisé par ACT (Action Chunking with Transformers, Zhao et al., 2023) et les travaux sur Diffusion Policy, tous deux conçus pour des fréquences modérées. TARS Robotics se positionne dans un espace concurrentiel qui inclut Physical Intelligence avec pi0-FAST (ciblant 50-200 Hz via flow-matching) et les efforts de Figure AI, Agility Robotics et Boston Dynamics sur le contrôle haute cadence. RTR se distingue de pi0-FAST en proposant un raffinement incrémental du chunk existant plutôt qu'une régénération complète, ce qui réduit la charge computationnelle par inférence. Il s'agit pour l'instant d'une contribution de recherche validée en laboratoire sur robot réel, sans timeline de déploiement industriel ni partenariat annoncé.

RechercheOpinion
1 source
RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation
3268arXiv cs.RO 

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01. L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives. SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

RechercheOpinion
1 source
Accessibilité différentiable parallèle pour l'apprentissage et la planification avec dynamiques neuronales et contrôleurs certifiés
3269arXiv cs.RO 

Accessibilité différentiable parallèle pour l'apprentissage et la planification avec dynamiques neuronales et contrôleurs certifiés

Une équipe de recherche a publié en mai 2026 (arXiv:2605.25346) un cadre de vérification formelle parallélisable et différentiable pour systèmes robotiques pilotés par réseaux de neurones (NN). Implémenté en JAX pour exploiter le calcul GPU-batché, le framework combine la construction de "flowpipes" par modèles de Taylor avec la propagation de bornes linéaires de type CROWN, une technique issue de la vérification des NN adversariaux. Le résultat est une représentation unifiée qui préserve les dépendances affines tout en supportant la différentiation automatique. Sur cette base, les auteurs proposent deux applications concrètes : une méthode d'entraînement certifié qui pousse les modèles NN à produire des dynamiques "reachability-friendly", et un schéma de commande prédictive (MPC) combinant échantillonnage et raffinement par gradient. Les expériences couvrent la manipulation non préhensile (objets poussés sans saisie) et des drones quadrotors, avec des évaluations hardware et des systèmes allant jusqu'à 72 dimensions d'état. Le problème central que ce travail adresse est le fossé entre performance des NN et garanties formelles de sécurité : les outils de "reachability" existants (NNV, Veritex, CROWN-reach) produisent des sur-approximations valides des ensembles atteignables, mais sont trop lents pour être intégrés dans une boucle d'apprentissage ou de planification en ligne, et rarement différentiables. Rendre ce calcul GPU-compatible et différentiable ouvre la voie à une co-optimisation contrôleur/garantie, ce qui change la logique de déploiement : au lieu de vérifier après entraînement (post-hoc, coûteux), on certifie pendant l'entraînement. Pour les intégrateurs industriels et les équipes robotique, c'est un pas vers des robots NN-pilotés qui satisfont des contraintes de sécurité hard sans sacrifier la performance apprise. La vérification formelle pour les NN en robotique est un axe de recherche actif depuis 2018, porté notamment par les travaux CROWN (Zhang et al.), qui ciblaient initialement la robustesse adversariale en vision. L'extension à la dynamique continue et aux boucles fermées reste un problème ouvert, avec des groupes concurrents chez MIT, CMU et DeepMind. Ce preprint positionne JAX comme plateforme centrale pour ce type de pipeline hybride apprentissage/vérification, une tendance émergente face à PyTorch. Les prochaines étapes probables incluent des tests sur manipulateurs industriels à plus haute dimensionnalité et l'intégration dans des frameworks MPC embarqués.

RecherchePaper
1 source
Contrôle par échantillonnage en temps réel sous contraintes strictes : l'approche MPPI avec contraintes de variété
3270arXiv cs.RO 

Contrôle par échantillonnage en temps réel sous contraintes strictes : l'approche MPPI avec contraintes de variété

Une équipe du RCI Lab publie MC-MPPI (Manifold-Constrained Model Predictive Path Integral), un framework de contrôle temps-réel déposé sur arXiv le 26 mai 2026 (arXiv:2605.24813). La méthode répond à une limitation structurelle du MPPI standard : l'impossibilité de garantir des contraintes d'égalité strictes (hard constraints) lors de tâches de manipulation en chaîne fermée. MC-MPPI sépare le problème en deux niveaux : une planification dans un espace latent de faible dimension, apprise par un VAE (Variational Autoencoder) qui encode la variété de contraintes, suivie d'une correction d'exécution par un contrôleur QP (Quadratic Programming) résolvant en un seul appel l'erreur résiduelle. Sur un système bi-bras à 14 degrés de liberté en chaîne fermée, le framework tourne à 100 Hz aussi bien en simulation qu'en conditions réelles, et surpasse significativement les méthodes de référence en précision de suivi de trajectoire. Le verrou adressé est structurel : les pénalités de coût douces du MPPI standard ne garantissent pas la faisabilité des trajectoires candidates, rendant la méthode inapplicable à la manipulation bimanuelle contrainte, aux systèmes à deux points de contact rigide, ou à toute chaîne cinématique fermée. MC-MPPI conserve le parallélisme massif qui rend MPPI attractif : le VAE génère des trajectoires quasi-faisables sans modification par échantillon, permettant une linéarisation précise des contraintes et réduisant la correction d'exécution à un QP résolu en un seul passage au lieu d'une projection itérative coûteuse. Pour un intégrateur ou un responsable technique industriel, cela ouvre MPPI à des tâches d'assemblage et de manipulation précise jusqu'ici réservées aux solveurs par optimisation itérative comme iLQR ou SQP. MPPI est une méthode de contrôle prédictif par échantillonnage stochastique, introduite par Williams et al. à Georgia Tech en 2016 et depuis adoptée en navigation robotique et pour les systèmes sous-actionnés. Les extensions contraintes existantes recourent à des projections itératives coûteuses ou à des reformulations variationnelles qui dégradent la fréquence de contrôle. MC-MPPI se distingue en apprenant la géométrie de contrainte hors-ligne via le VAE, limitant la charge en ligne au seul QP. Les approches concurrentes incluent les méthodes CBF-QP (Control Barrier Function), le MPC différentiable, et les planificateurs neuronaux pour la manipulation bimanuelle. L'équipe met à disposition vidéos et implémentation à rcilab.github.io/mcmppi ; des validations sur des configurations plus complexes ou des manipulateurs mobiles constitueraient des étapes naturelles.

RecherchePaper
1 source
Modèles vision-langage-action (VLA) efficaces pour les longues séquences via découplage statique-dynamique
3271arXiv cs.RO 

Modèles vision-langage-action (VLA) efficaces pour les longues séquences via découplage statique-dynamique

Une équipe de chercheurs a publié sur arXiv (référence 2502.03983) un framework baptisé DySta, conçu pour rendre les modèles Vision-Language-Action (VLA) à la fois plus rapides et plus capables sur des tâches longues. Les VLA sont des architectures qui combinent compréhension visuelle, instructions en langage naturel et génération d'actions motrices pour des robots généralistes. DySta résout deux goulots d'étranglement structurels : la fenêtre de contexte limitée en entrée (qui contraint le nombre de frames exploitables) et la complexité quadratique de l'attention transformeur, aggravée par le grand nombre de paramètres. La solution repose sur une séparation explicite des tokens visuels en deux catégories : les tokens statiques (fond, structure de la scène, éléments invariants) et les tokens dynamiques (objets en mouvement, zones d'intérêt). Une seule copie des tokens statiques est conservée entre les frames, tandis qu'un mécanisme de "recache gate" décide de manière sélective quand rafraîchir le cache clé-valeur (KV cache) associé. Les gains sont mesurables : accélération de l'inférence de 2,0x en simulation (avec +2,3 points de succès) et 2,2x sur des tâches réelles générales (avec +10,6 points de succès), ainsi qu'une amélioration de 23,3 points de taux de réussite absolu sur des tâches réelles nécessitant de la mémoire temporelle. L'enjeu industriel est direct : les VLA déployés en milieu réel doivent aujourd'hui gérer des séquences longues (assemblage multi-étapes, manipulation d'objets variables, navigation conditionnelle) sans exploser le coût computationnel. La réduction du contexte via les tokens statiques répond précisément au compromis mémoire/vitesse qui bloque le passage à l'échelle de modèles comme OpenVLA, Pi-0 ou GR00T N2. Le gain de +10,6 points sur des tâches générales réelles est particulièrement significatif car il valide l'approche hors simulation, où le sim-to-real gap reste un défi non résolu pour la majorité des frameworks VLA actuels. DySta s'inscrit dans une vague de travaux d'efficacité VLA qui incluent des approches comme RoboFlamingo, SpatioTemporal Token Compression, ou les techniques de KV cache adaptatif venues du domaine NLP. Les VLA de première génération (RT-2, OpenVLA) ignoraient largement la redondance temporelle des frames visuelles ; DySta formalise ce problème et propose une solution modulaire intégrable à différentes architectures VLM de base. Le papier introduit également un benchmark dédié à l'évaluation de l'intégration multi-frames, comblant un angle mort méthodologique du domaine. Les prochaines étapes logiques incluent l'intégration à des modèles fondationnels ouverts (Llama-based VLAs) et l'évaluation sur des plateformes matérielles contraintes type Jetson, où le rapport latence/performance est critique pour la commercialisation.

IA physiqueOpinion
1 source
Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusion
3272arXiv cs.RO 

Distillation neuronale de Koopman dynamique pour le contrôle robotique en temps réel par modèles de diffusion

Une équipe de chercheurs a publié sur arXiv (2605.24924) un cadre nommé Dynamic Neural Koopman Distillation (DNKD), réduisant la latence d'inférence des politiques de diffusion robotiques à quelques millisecondes, contre des centaines pour les modèles originaux. Le problème central : les modèles de diffusion génèrent des trajectoires multimodales de qualité mais leur débruitage itératif (10 à 100 étapes) est incompatible avec la commande en boucle fermée à 50-100 Hz. La solution repose sur une couche Factorized Dynamic Koopman (FDK), qui distille ce processus en un seul passage avant via une transition latente factorisée à gains modaux dépendants de l'état. Validée sur les benchmarks D4RL MuJoCo et sur un bras Kinova physique, la méthode surpasse significativement les baselines de distillation à une étape sur les tâches de locomotion et maintient un taux de succès comparable en manipulation réelle. L'enjeu industriel est direct : les politiques de diffusion, plébiscitées pour leur gestion des tâches ambiguës à solutions multiples, étaient jusqu'ici confinées aux systèmes tolérant la latence. Ramener l'inférence au régime milliseconde ouvre la voie aux contrôleurs embarqués sans accélérateur dédié. Pour un intégrateur ou un COO industriel, c'est un accès aux politiques génératives puissantes sans compromis sur la réactivité, paramètre critique pour la sécurité machine et la cadence de production. La méthode confirme aussi que la distillation de connaissance, technique éprouvée en NLP, est transférable aux politiques d'action multimodales. Ce travail s'inscrit dans un courant ouvert par Diffusion Policy (Chi et al., 2023, Columbia) et industrialisé par Physical Intelligence avec pi-0. Les approches concurrentes pour l'accélération d'inférence incluent les consistency models, le rectified flow (présent dans GR00T N2 de NVIDIA) et DDIM. Le DNKD se distingue par son ancrage dans la théorie de l'opérateur de Koopman, qui linéarise la dynamique non linéaire dans un espace latent, garantie théorique absente des méthodes purement empiriques. La publication reste un preprint arXiv non évalué par les pairs, sans partenaire industriel annoncé ; les démonstrations sont disponibles sur fdkoopman.github.io.

RechercheActu
1 source
LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation
3273arXiv cs.RO 

LIBERO-PRO : vers une évaluation robuste et équitable des modèles vision-langage-action (VLA) au-delà de la mémorisation

Des chercheurs ont publié LIBERO-PRO, une extension critique du benchmark LIBERO largement utilisé pour évaluer les modèles Vision-Language-Action (VLA). Disponible sur GitHub (Zxy-MLlab/LIBERO-PRO), le travail, présenté sous forme d'arXiv preprint (arXiv:2510.03827v2), soumet les VLA à des perturbations systématiques selon quatre axes : substitution des objets manipulés, variation des états initiaux, modification des instructions de tâche, et changement d'environnement. Résultat sans appel : les modèles actuels qui atteignent plus de 90 % de succès sur l'évaluation LIBERO standard s'effondrent à 0,0 % dans le cadre généralisé de LIBERO-PRO. Concrètement, un modèle continue d'exécuter une séquence de saisie même lorsque l'objet cible est remplacé par un objet sans rapport, et ses sorties restent inchangées face à des instructions corrompues ou composées de tokens aléatoires. Ce résultat est un signal d'alarme direct pour les équipes qui fondent leurs décisions de recherche ou de déploiement sur les classements LIBERO. Il démontre que les modèles VLA n'ont pas acquis de compréhension générale des tâches ni de perception réelle de l'environnement : ils mémorisent des séquences d'actions et des configurations spatiales vues à l'entraînement. Autrement dit, le gap sim-to-real et le problème de généralisation restent entiers, quelle que soit la performance affichée sur le benchmark. Pour les intégrateurs industriels ou les équipes robotique qui envisagent de déployer des politiques basées sur des VLA, cela signifie que les scores publiés ne sont pas des indicateurs fiables de robustesse opérationnelle. LIBERO, introduit pour standardiser l'évaluation des politiques manipulatrices en langage naturel, est devenu une référence de facto dans la communauté. Mais comme tout benchmark sur-exploité, il a progressivement favorisé l'overfitting plutôt que la généralisation. LIBERO-PRO s'inscrit dans une tendance plus large de remise en question des protocoles d'évaluation VLA, aux côtés d'initiatives comparables sur les benchmarks de navigation et de saisie. La prochaine étape logique serait l'adoption de LIBERO-PRO comme standard par les principaux groupes travaillant sur des modèles comme OpenVLA, Octo ou pi0 (Physical Intelligence), afin de permettre des comparaisons réellement équitables et de pousser le secteur vers des politiques robustes en conditions réelles.

RechercheOpinion
1 source
Commande corpo-entière sûreté-critique pour robots humanoïdes via les barrières de contrôle entrée-état
3274arXiv cs.RO 

Commande corpo-entière sûreté-critique pour robots humanoïdes via les barrières de contrôle entrée-état

Des chercheurs ont publié sur arXiv (référence 2605.25546) un framework hiérarchique de contrôle sécurisé corps entier pour robots humanoïdes, fondé sur les fonctions barrières robustes aux perturbations (ISSf-CBF, Input-to-State Safe Control Barrier Functions). L'architecture s'articule en trois couches : un contrôleur whole-body cinématique (KinWBC) qui génère des références articulaires à partir de tâches priorisées, un filtre ISSf-CBF qui les ajuste au minimum pour satisfaire les contraintes de sécurité sous perturbations bornées, et un contrôleur whole-body dynamique (DynWBC) qui garantit la faisabilité corps entier et la stabilité des contacts. Les contraintes couvertes incluent les limites articulaires, l'évitement d'auto-collision, l'évitement d'obstacles et les frontières du workspace. Validé en simulation et sur robot réel, le système a été testé dans trois scénarios : locomotion, téleopération et équilibre monopode avec contrôle simultané des mains. L'intérêt de l'approche tient à un problème fondamental en robotique humanoïde : les garanties de sécurité formelles s'effondrent dès qu'apparaît un écart entre le modèle de simulation et le comportement physique réel. Les CBFs classiques supposent un système parfaitement connu et deviennent fragiles face aux incertitudes de modèle, aux erreurs de suivi de trajectoire ou aux perturbations externes, précisément les conditions d'un environnement industriel. Les ISSf-CBFs étendent ce formalisme en admettant des perturbations bornées tout en maintenant des garanties formelles transférables du niveau cinématique vers la dynamique complète. Le filtre intervient de façon minimalement invasive, ne corrigeant les références nominales que lorsque nécessaire, ce qui préserve la performance globale. C'est une réponse directe au "demo-to-reality gap" structurellement reproché aux humanoïdes actuels, et un prérequis pour toute certification de robot collaboratif en environnement humain. Les Control Barrier Functions sont un outil bien établi en automatique, popularisé dans les années 2010 pour les véhicules autonomes et les bras robotiques. Leur extension aux ISSf-CBFs pour la robustesse aux perturbations est plus récente, et leur application à un humanoïde corps entier avec des dizaines de degrés de liberté, des contacts multiples et des dynamiques non linéaires représente un saut de complexité notable. Dans la course actuelle aux humanoïdes, les acteurs comme Figure, Boston Dynamics, Tesla (Optimus), Agility Robotics, Apptronik ou Unitree publient peu sur les garanties de sécurité formelles corps entier, un domaine resté majoritairement académique. Ce travail n'annonce pas de déploiement industriel, mais fournit une brique méthodologique directement applicable aux pipelines de validation et de certification des futurs robots collaboratifs.

RecherchePaper
1 source
INSIGHT : introspection de séquence au moment de l'inférence pour générer des déclencheurs d'aide dans les modèles VLA
3275arXiv cs.RO 

INSIGHT : introspection de séquence au moment de l'inférence pour générer des déclencheurs d'aide dans les modèles VLA

Des chercheurs ont publié INSIGHT (INference-time Sequence Introspection for Generating Help Triggers), un framework d'apprentissage conçu pour doter les modèles Vision-Language-Action (VLA) d'un mécanisme d'introspection en temps réel. Construit sur π₀-FAST, le modèle de Physical Intelligence, INSIGHT extrait trois types de signaux d'incertitude au niveau du token : l'entropie, la log-probabilité, et des estimations bayésiennes de l'incertitude aléatoire et épistémique via une distribution de Dirichlet. Ces signaux sont ensuite injectés dans des classificateurs transformer compacts, entraînés à prédire le bon moment pour déclencher une demande d'aide vers un superviseur humain. Les auteurs ont comparé deux régimes de supervision : supervision forte (étiquettes denses, annotées finement) et supervision faible (étiquettes bruitées, plus scalables), en évaluant les deux sur des tâches in-distribution et out-of-distribution. La contribution principale est d'ordre systémique : aujourd'hui, les VLA échouent silencieusement. Un robot guidé par ces modèles peut poursuivre une action mal engagée sans aucun signal d'alerte interne, ce qui est rédhibitoire pour un déploiement industriel réel. INSIGHT constitue la première évaluation systématique de l'introspection basée sur l'incertitude dans les VLA, et démontre qu'une modélisation temporelle des signaux token par token, via transformer, surpasse nettement les scores statiques agrégés sur la séquence entière. Le trade-off identifié est clair et opérationnellement utile : les labels forts produisent une détection plus précise des dynamiques d'incertitude fine, mais les labels faibles restent compétitifs lorsque les conditions d'entraînement et d'évaluation sont alignées, ouvrant une voie scalable là où l'annotation dense est impossible. π₀ (pi-zero), développé par Physical Intelligence, est l'un des modèles VLA généraux les plus avancés publiquement disponibles, capable de contrôler des robots manipulateurs sur des tâches dextres variées. INSIGHT se positionne comme une couche de sécurité cognitive au-dessus de tels modèles, distincte des approches classiques de détection d'anomalie ou de confiance par seuillage de softmax. Les concurrents directs dans cet espace incluent les travaux sur le "robot asking for help" chez Google DeepMind (RT-2, SayCan) et les mécanismes de safe exploration en reinforcement learning. Les suites naturelles de ces travaux pointent vers l'active learning adaptatif et l'intervention humaine sélective en boucle fermée, deux problèmes ouverts critiques avant tout déploiement autonome à grande échelle en environnement non contrôlé.

IA physiqueOpinion
1 source
X-DiffVLA : têtes d'action par diffusion pour modèles VLA multi-corps
3276arXiv cs.RO 

X-DiffVLA : têtes d'action par diffusion pour modèles VLA multi-corps

Des chercheurs ont publié le 26 mai 2026 sur arXiv un nouveau modèle d'action robotique baptisé X-DiffVLA, conçu pour opérer sur plusieurs morphologies de robots sans nécessiter de réentraînement complet par plateforme. L'architecture repose sur un modèle de type VLA (Vision-Language-Action) combiné à une tête d'action par diffusion unifiée, capable de piloter des robots partageant une base commune mais équipés d'effecteurs distincts, pinces classiques ou mains dexteères à plusieurs doigts. Les évaluations rapportent des gains de 15,3 % sur le benchmark RoboCasa et de 12,5 % sur Isaac Gym par rapport aux méthodes de l'état de l'art, avec des validations en environnement réel confirmant la tenue des performances hors simulation. Le défi central que X-DiffVLA tente de résoudre est le goulot d'étranglement du fine-tuning spécifique à chaque embodiment : aujourd'hui, les modèles VLA préentraînés sur de larges corpus doivent être adaptés séparément pour chaque configuration robotique, ce qui fragmente la capitalisation des données et freine le transfert de connaissances entre plateformes similaires. Les auteurs introduisent deux mécanismes pour contourner cela. L'« Embodiment Forcing » est une technique de guidage sans classificateur (classifier-free guidance, inspirée des modèles de diffusion générative) qui oriente implicitement la génération d'actions vers les composantes fonctionnelles propres à chaque effecteur, sans supervision explicite. La « Morphological Tree Diffusion » structure les corrélations comportementales entre effecteurs hétérogènes en exploitant leur parenté morphologique, maximisant ainsi le transfert de démonstrations entre configurations. Ce travail s'inscrit dans une compétition intense autour des politiques robotiques universelles : Physical Intelligence (pi.) avec Pi-0, Google DeepMind avec RT-2 et ses successeurs, ainsi que des équipes académiques comme celles derrière OpenVLA, explorent tous des approches de généralisation cross-embodiment. X-DiffVLA se distingue par son ancrage diffusion plutôt qu'autorégressif, une tendance confirmée par des travaux récents montrant que les modèles de diffusion capturent mieux la multimodalité des distributions d'actions robotiques. Les résultats restent pour l'instant confinés à des benchmarks simulés et à quelques validations réelles non détaillées quantitativement dans l'abstract ; la robustesse à l'échelle industrielle reste à démontrer.

IA physiqueActu
1 source
IA incarnée : de la perception à la prise de décision
3277arXiv cs.RO 

IA incarnée : de la perception à la prise de décision

Une équipe de recherche a déposé sur arXiv (référence 2605.25813, mai 2026) EQA-Decision, un benchmark et dataset à grande échelle pour évaluer les capacités de raisonnement incarné des modèles vision-langage (VLM). Le corpus contient plus de quatre millions de paires question-réponse annotées hiérarchiquement, structurées autour de quatre dimensions : construction de scène statique, compréhension spatiale, raisonnement sur la dynamique des tâches, et décision instantanée. Les chercheurs publient également RoboDecision, un modèle baseline entraîné sur ce benchmark, conçu pour évaluer conjointement la perception, le raisonnement et la prise de décision au niveau de l'action dans des environnements incarnés simulés. Le problème adressé est structurel : les datasets existants pour l'EQA (Embodied Question Answering) sont fragmentés, chacun couvrant un sous-ensemble limité de compétences, compréhension spatiale d'un côté, raisonnement procédural de l'autre, sans cadre unifié permettant une évaluation complète. Pour les équipes qui développent des architectures VLA (vision-language-action) destinées à la manipulation ou à la navigation autonome, l'absence d'un tel benchmark rend la comparaison objective des approches difficile. EQA-Decision propose un cadre capable de tester la chaîne complète perception-raisonnement-action, plus proche des conditions réelles que les benchmarks purement perceptifs ou purement langagiers. L'EQA est un champ actif depuis les travaux fondateurs de Das et al. (Georgia Tech, 2018), où un agent naviguait dans un environnement 3D pour répondre à des questions visuelles. Depuis, plusieurs benchmarks ont émergé, OpenEQA de Meta, SQA3D, EmbodiedScan, chacun avec un périmètre étroit. EQA-Decision se positionne comme une synthèse unificatrice, avec une ambition d'échelle (4 millions de paires) comparable aux grands datasets de VQA généralistes. Il convient de noter qu'il s'agit d'un preprint arXiv, non encore soumis à peer review. RoboDecision sert de baseline de référence, mais les résultats ne correspondent pas à un déploiement sur robot physique : le gap sim-to-real reste entièrement ouvert.

IA physiquePaper
1 source
IsaacIPC : simulation haute fidélité et rendu réaliste couplés pour la robotique en contact
3278arXiv cs.RO 

IsaacIPC : simulation haute fidélité et rendu réaliste couplés pour la robotique en contact

Des chercheurs ont publié le 27 mai 2026 sur arXiv (référence 2605.24339) IsaacIPC, un framework de simulation robotique qui couple le moteur IPC (Incremental Potential Contact) accéléré GPU avec l'environnement IsaacSim/Lab de NVIDIA. Le coeur du système repose sur un mapping de déformation entre maillages de simulation et maillages de rendu, permettant un rendu visuel réaliste en temps réel pour des scénarios à contacts riches (manipulation déformable, préhension complexe). Les auteurs introduisent également le GMCP (Geometric Mortar Contact Potential), une nouvelle formulation de potentiel barrière appliquée aux surfaces tactiles pour résoudre les distributions pression-contact avec une précision supérieure aux approches existantes. Le framework est validé sur un robot quadrupède, une main dextre à doigts multiples et un préhenseur UMI (Universal Manipulation Interface). L'enjeu industriel est direct : la qualité des données de simulation conditionne la robustesse des politiques de manipulation entraînées en sim-to-real. IsaacIPC s'attaque au problème du rendu réaliste couplé à la physique du contact, un point de friction majeur pour l'entraînement de VLA (Vision-Language-Action models) et de politiques de manipulation fine. Une simulation visuellement fidèle réduit le domain gap sans recourir à la randomisation agressive, ce qui accélère le déploiement sur hardware réel. La précision tactile apportée par GMCP est particulièrement pertinente pour les intégrateurs travaillant sur l'assemblage ou la chirurgie assistée par robot. Le contexte scientifique est celui d'une compétition intense autour des simulateurs pour la robotique apprenante. IPC, initialement développé en infographie par Li et al. (2020), est reconnu pour sa robustesse aux contacts mais reste coûteux en calcul -- son intégration dans IsaacSim comble un écart entre fidelité physique et vitesse nécessaire à l'entraînement par reinforcement learning. En face, MuJoCo (DeepMind), Genesis et PhysX restent des références, mais peinent sur les déformables et la tactile. IsaacIPC reste à ce stade un preprint académique sans annonce de disponibilité publique dans Isaac Lab, mais son intégration dans l'écosystème NVIDIA ouvre une voie réaliste vers une adoption industrielle rapide si les benchmarks de contact tiennent à l'échelle.

IA physiquePaper
1 source
Actionneurs pneumatiques souples pour la robotique molle : revue des mécanismes d'actionnement et compromis de performance
3279arXiv cs.RO 

Actionneurs pneumatiques souples pour la robotique molle : revue des mécanismes d'actionnement et compromis de performance

Une équipe de chercheurs vient de déposer sur arXiv (réf. 2605.25109) une revue systématique des actionneurs pneumatiques souples, constituant l'une des technologies centrales de la robotique souple. Le papier organise ces systèmes selon quatre classes de mouvement : linéaire, flexion, torsion et omnidirectionnel. Pour chaque classe, les auteurs analysent les paramètres structurels qui définissent le chemin de déformation : angle de tresse, géométrie des plis, orientation des fibres, arrangement des chambres, asymétrie structurelle et couches de contrainte internes. Le constat de départ est net : la réponse mécanique de ces actionneurs ne dépend pas uniquement de la pression appliquée, mais de l'ensemble de leur architecture, ce que la littérature existante traite de façon fragmentée et difficilement comparable. L'intérêt de ce travail tient à un problème concret qui ralentit les équipes de développement : l'impossibilité de comparer les résultats publiés entre études. Deux actionneurs à base de flexion peuvent produire des déplacements similaires tout en différant radicalement sur la demande en débit d'air, la répétabilité ou la durée de vie en cycles. La revue introduit un cadre de conditions de sélection explicites à évaluer lors du choix ou de la comparaison d'actionneurs : pression de travail, condition de charge, taille physique de l'actionneur, disponibilité de l'alimentation pneumatique et hystérésis. Pour un intégrateur ou un ingénieur robotique, ce cadre réduit les essais empiriques coûteux en phase de prototypage, à condition que les publications futures adoptent ces métriques de manière systématique, ce qui reste une hypothèse de travail à ce stade. La robotique souple s'est imposée comme alternative aux systèmes rigides pour des applications en contact avec le corps humain ou des environnements non structurés, en compétition directe avec les actionneurs à câbles, les élastomères diélectriques et les alliages à mémoire de forme. Les applications visées par la revue sont explicitement le biomédical, le portabilité et la robotique mobile. En Europe, des acteurs comme Wandercraft sur les exosquelettes ou Enchanted Tools sur les robots collaboratifs opèrent précisément dans des espaces où ces arbitrages de conception sont déterminants. Ce papier de classification arrive au moment où plusieurs équipes tentent le passage du prototype de laboratoire au déploiement industriel, une transition qui exige la rigueur comparative que cette revue cherche à structurer, sans toutefois proposer de benchmarks quantitatifs normalisés propres à accélérer ce saut.

RecherchePaper
1 source
ParkourFormer : supervision prédictive et modélisation séquentielle pour la locomotion parkour
3280arXiv cs.RO 

ParkourFormer : supervision prédictive et modélisation séquentielle pour la locomotion parkour

Des chercheurs ont publié le 27 mai 2026 un preprint arXiv (2605.25782) présentant ParkourFormer, un système de locomotion pour humanoïdes capable de traverser des terrains variés, escaliers, fossés, pentes, surfaces irrégulières et obstacles -- sans changer de politique de contrôle. Le coeur de l'approche repose sur un Transformer qui reformule la locomotion comme un problème de décision conditionné par le futur : l'état courant du robot interroge via un mécanisme de cross-attention un historique de trajectoires sensorimotrices, tandis qu'une tête de prédiction légère anticipe les états proprioceptifs à court horizon. Ces états futurs prédits, supervisés par un signal d'apprentissage dédié, sont fusionnés avec les caractéristiques temporelles pour générer les commandes motrices. Les expériences en simulation et sur un robot humanoïde réel donnent un taux de succès moyen de 93,85 % sur l'ensemble des terrains testés, avec des gains allant jusqu'à 42,73 % par rapport aux baselines MLP, MLP à mélange d'experts (MoE) et Transformer standard. Ce résultat est notable parce qu'il cible précisément le talon d'Achille des politiques de locomotion agile actuelles : leur caractère purement réactif. La plupart des systèmes RL existants mappent directement observations vers actions, sans modéliser l'évolution du corps dans le temps. Or pour des transitions de contact rapides -- typiques du parkour ou d'un environnement industriel encombré -- anticiper la dynamique corporelle quelques centièmes de seconde à l'avance change fondamentalement la robustesse. Le fait qu'une politique unique couvre cinq classes de terrain sans spécialisation par environnement est également un signal fort pour les intégrateurs : réduire la fragmentation des politiques simplifie le déploiement sur robots physiques. ParkourFormer s'inscrit dans une vague de travaux qui cherchent à dépasser le gap simulation-réalité pour la locomotion agile humanoïde, aux côtés de systèmes comme PKU-DynaGait, Agility Robotics Digit ou les travaux open-source de Berkeley Humanoid. L'article reste un preprint non encore évalué par les pairs, et les vidéos de démonstration n'ont pas encore été rendues publiques à la date de soumission -- ce qui invite à réserver son jugement sur les performances réelles. Les auteurs n'annoncent pas de déploiement industriel ni de partenariat commercial ; les prochaines étapes naturelles seraient une évaluation sur des plateformes humanoïdes commerciales (Unitree H1/G1, Fourier GR-1) et une confrontation à des conditions extérieures non contrôlées.

RecherchePaper
1 source
CollaBot : manipulation collaborative simultanée guidée par modèle vision-langage
3281arXiv cs.RO 

CollaBot : manipulation collaborative simultanée guidée par modèle vision-langage

Une équipe de chercheurs a publié sur arXiv (arXiv:2508.03526v2) CollaBot, un framework généraliste de manipulation collaborative simultanée par plusieurs robots. L'approche articule trois composants : un module de segmentation de scène basé sur SEEM (Segment Everything Everywhere all at once Model) pour isoler l'objet cible dans l'environnement, un framework de saisie collaborative qui décompose la tâche en génération locale de poses de préhension par chaque robot et coordination globale entre agents, et un module de planification en deux étapes pour produire des trajectoires sans collision. Testé sur des configurations variées, nombre de robots, types d'objets (dont des objets volumineux comme des tables), types de tâches, CollaBot atteint un taux de réussite de 72 %, surpassant les méthodes basées sur le behavior cloning. Des expériences en conditions réelles confirment la faisabilité de l'approche hors simulation. Ce résultat pointe un angle mort structurel de la robotique de manipulation : la quasi-totalité des frameworks existants ciblent des robots seuls opérant sur des objets de petite taille, alors que les environnements industriels et domestiques exigent fréquemment la manipulation coordonnée d'objets volumineux, tables, panneaux, charges lourdes. La décomposition explicite du problème (saisie locale + coordination globale) se révèle plus robuste que l'apprentissage bout-en-bout pur pour la généralisation multi-robot, ce qui constitue une piste d'architecture à retenir pour les intégrateurs industriels cherchant à déployer des cellules multi-bras flexibles. Le taux de 72 % mérite toutefois d'être nuancé : le papier ne détaille pas précisément la diversité des objets testés en conditions réelles ni les critères de succès retenus, ce qui limite la comparaison directe avec d'autres systèmes. La manipulation multi-robot collaborative reste un champ en structuration, sans cadre généraliste interopérable établi à ce jour. CollaBot s'inscrit dans une tendance plus large d'intégration de modèles vision-langage dans la planification robotique, dans l'esprit des architectures VLA portées par Physical Intelligence avec Pi-0, Figure AI avec Figure 03, ou Google DeepMind avec GR00T N2, mais appliqué spécifiquement à la coordination multi-agents sur objets larges, un scénario que les VLA classiques traitent mal. Les suites logiques seraient de tester le framework avec un nombre de robots plus élevé, dans des environnements encombrés, et de publier des benchmarks complets pour permettre une reproductibilité indépendante et une comparaison sérieuse avec les approches concurrentes.

RecherchePaper
1 source
HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées
3282arXiv cs.RO 

HumanEgo : apprentissage robotique zéro-shot à partir de quelques minutes de vidéos égocentrées

Des chercheurs ont publié le 27 mai 2026 sur arXiv (2605.24934) HumanEgo, un framework permettant d'entraîner un robot à manipuler des objets en lui montrant uniquement des vidéos egocentrées filmées par un humain, sans aucune donnée robot, sans télé-opération, et sans recollecte hardware. Avec seulement 30 minutes de vidéos humaines par tâche, le système atteint 92,5 % de taux de succès moyen sur quatre tâches de manipulation en conditions réelles. Avec 15 minutes de vidéos, ce score descend à 75 %, ce qui reste compétitif. Comparé à une collecte de données robot par télé-opération sur le même budget temps, HumanEgo surpasse cette baseline de 41 points de pourcentage. Le transfert est dit zero-shot : une politique entraînée sur des vidéos humaines s'exécute directement sur des robots, caméras et environnements non vus pendant l'entraînement. L'enjeu central que HumanEgo adresse est le "embodiment gap" : la différence d'apparence visuelle et de cinématique entre une main humaine et un effecteur robot rend l'imitation directe peu fiable. Le framework contourne ce problème en extrayant une représentation intermédiaire dite "entity-level" des interactions main-objet, puis en entraînant une politique par flow matching enrichie d'objectifs auxiliaires denses qui exploitent chaque frame de chaque trajectoire. Cela signifie que la collecte de données peut être confiée à n'importe quel humain avec une caméra egocentric (type GoPro ou lunettes), réduisant drastiquement le coût et le temps de déploiement dans un contexte industriel ou logistique. Pour les intégrateurs robotiques, c'est un levier potentiel majeur : les goulots d'étranglement liés à la télé-opération spécialisée ou aux bras de démo pourraient être contournés. HumanEgo s'inscrit dans un corpus de travaux récents cherchant à exploiter des données "in the wild" pour généraliser les politiques robot, aux côtés d'approches comme ACT, Diffusion Policy, ou pi-0 de Physical Intelligence. Contrairement à ces dernières, qui restent dépendantes de données robot, HumanEgo pousse plus loin la séparation entre collecte humaine et exécution robot. Le paper ne mentionne pas de partenaires industriels ni de timeline de déploiement commercial ; il s'agit d'une publication académique. Les prochaines questions ouvertes sont la robustesse sur des tâches à plus haute complexité gestuelle et la scalabilité au-delà de quatre tâches contrôlées.

IA physiqueOpinion
1 source
Elevator-LIO : odométrie LiDAR-inertielle robuste pour la navigation multi-étages dans les ascenseurs
3283arXiv cs.RO 

Elevator-LIO : odométrie LiDAR-inertielle robuste pour la navigation multi-étages dans les ascenseurs

Une équipe de chercheurs a publié sur arXiv (arXiv:2605.24495) Elevator-LIO, un framework d'odométrie LiDAR-inertielle conçu pour maintenir la localisation continue d'un robot pendant ses déplacements en ascenseur. Le système repose sur un modèle d'estimation d'état découplé qui modélise séparément le mouvement du robot par rapport à la cabine et le mouvement de la cabine elle-même, intégré dans un filtre de Kalman itératif à erreur d'état dépendant du mode. Un gestionnaire de mode détecte l'entrée et la sortie de l'ascenseur via des statistiques de télémétrie LiDAR, puis déclenche des mises à jour de vitesse nulle et d'accélération nulle lorsque la cabine est à l'arrêt afin de supprimer la dérive verticale accumulée. Une stratégie de sous-échantillonnage voxel adaptatif maintient un nombre stable de points efficaces lors des changements d'échelle environnementale. Les tests portent sur 20 séquences réelles comprenant 79 trajets en ascenseur, couvrant des espaces de grande dimension, de longs déplacements verticaux, des piétons en mouvement et des réflexions sur miroirs. L'erreur de hauteur terminale reste inférieure à 1 cm dans 17 séquences sur 20. Ce résultat est significatif pour les déploiements de robots mobiles autonomes (AMR) en environnement multi-étages, un cas d'usage que les systèmes LIO conventionnels gèrent mal : les accélérations non inertielles d'un ascenseur saturent le filtre IMU standard et provoquent des dérives cumulatives qui corrompent la carte et la pose estimée. Elevator-LIO démontre qu'une modélisation explicite du référentiel non inertiel, plutôt qu'un post-traitement correctif, permet une localisation robuste sans recalage a posteriori. Les auteurs indiquent également que la méthode reste compétitive sur les benchmarks Hilti 2022 et 2023, ce qui suggère qu'elle n'est pas spécialisée au détriment des scénarios intérieurs standards. La navigation multi-étages est depuis plusieurs années l'un des verrous opérationnels majeurs pour les robots de livraison et de service en milieu tertiaire ou hospitalier. Des acteurs comme Boston Dynamics (Spot), Keenon Robotics ou Savioke affrontent ce problème avec des solutions ad hoc souvent dépendantes d'infrastructure. Dans l'écosystème européen, des entreprises comme Enchanted Tools (Miroki) ou Exotec opèrent principalement en environnement mono-niveau, mais la pression vers des déploiements bâtimentaires complets s'intensifie. Elevator-LIO est pour l'instant un prototype académique sans déploiement annoncé, mais son intégration dans des stacks LIO open-source comme FAST-LIO2 ou LIO-SAM serait techniquement directe, ce qui pourrait accélérer l'adoption industrielle.

RecherchePaper
1 source
Quelles questions les robots devraient-ils pouvoir répondre ? Un jeu de données pour la robotique explicable
3284arXiv cs.RO 

Quelles questions les robots devraient-ils pouvoir répondre ? Un jeu de données pour la robotique explicable

Une équipe de chercheurs a publié sur arXiv (référence 2510.16435) un jeu de données de 1 893 questions posées par des utilisateurs à des robots domestiques, issu d'une collecte auprès de 100 participants recrutés via la plateforme Prolific. Les données ont été structurées en 12 catégories et 70 sous-catégories, à partir de 22 stimuli au total : 15 vidéos et 7 scénarios textuels dépeignant des robots effectuant des tâches ménagères variées. Dans le jeu de données final, les questions les plus fréquentes portent sur les détails d'exécution des tâches (21,4 %), les capacités du robot (12,6 %) et l'évaluation de ses performances (10,7 %). À noter que les questions relatives aux scénarios difficiles ou à la fiabilité du comportement sont moins nombreuses, mais que les participants les jugent comme les plus importantes auxquelles un robot devrait pouvoir répondre. Ce travail comble un angle mort structurel dans la recherche en robotique explicable : la quasi-totalité des travaux existants se concentre sur les questions de type "pourquoi" (justification d'une décision), alors que ce dataset couvre un spectre bien plus large, des détails opérationnels aux hypothèses contrefactuelles. Pour les intégrateurs et concepteurs de systèmes d'interaction humain-robot, cela signifie que les modules de question-réponse embarqués doivent gérer des requêtes que les architectures conversationnelles actuelles ne priorisent pas. Le constat que les utilisateurs novices posent des questions plus factuelles et immédiates, tandis que les utilisateurs expérimentés interrogent davantage les capacités généralisées du robot, a des implications directes pour la conception des interfaces et la gestion du niveau de détail dans les réponses. Ce dataset s'inscrit dans un contexte où les grands modèles de langage (LLMs) sont de plus en plus intégrés comme couche conversationnelle dans des systèmes robotiques, des plateformes comme Boston Dynamics Spot aux robots de service de PAL Robotics ou Enchanted Tools. Il constitue une ressource de référence pour trois usages : identifier quelles données les robots doivent logger et exposer via une interface conversationnelle, benchmarker les modules de QA en HRI, et aligner les stratégies d'explication avec les attentes réelles des utilisateurs. Les prochaines étapes naturelles incluent l'extension du dataset à d'autres contextes (industriel, médical) et son utilisation pour entraîner ou évaluer des modèles vision-langage-action (VLA) dans des scénarios d'interaction explicite.

RecherchePaper
1 source
Système LiDAR-SLAM décentralisé à optimalité certifiée pour l'optimisation de graphe de poses
3285arXiv cs.RO 

Système LiDAR-SLAM décentralisé à optimalité certifiée pour l'optimisation de graphe de poses

Des chercheurs ont publié sur arXiv (référence 2605.25051v1) un système de LiDAR-SLAM décentralisé conçu pour les missions multi-robots collaboratives, intégrant pour la première fois un backend d'optimisation de graphe de poses (PGO) certifié optimal. Le coeur de l'approche repose sur l'algorithme de descente de coordonnées par blocs riemanniens (RBCD), qui garantit mathématiquement la convergence vers une solution globalement cohérente sans nécessiter d'estimation initiale précise. Contrairement aux méthodes existantes qui s'arrêtent à des optima locaux ou n'alignent les repères qu'une seule fois en début de mission, ce système maintient une cohérence globale de trajectoire tout au long de la mission. Les expériences rapportées montrent une amélioration de la RMSE de trajectoire allant jusqu'à 48,9 % par rapport à DiSCo-SLAM, référence actuelle pour les architectures décentralisées. L'enjeu est substantiel pour les intégrateurs de flottes robotiques autonomes. Le SLAM multi-robot est un pilier des missions en environnements sans GPS : entrepôts, mines souterraines, bâtiments industriels, zones sinistrées. Le problème central est la cohérence globale : quand plusieurs robots fusionnent leurs cartes locales construites indépendamment, les dérives cumulées et les ambiguïtés géométriques (couloirs symétriques, espaces ouverts) conduisent souvent à des incohérences non détectées. Que l'optimisation soit "certifiablement optimale" signifie qu'on peut prouver formellement l'optimalité de la solution, ce que les approches à recherche locale comme iSAM2 ou DCS ne peuvent pas garantir. Pour un COO déployant des flottes d'AMR en logistique ou un intégrateur en robotique d'inspection, c'est une promesse de robustesse qualitativement différente des solutions actuelles. Le SLAM décentralisé multi-robot est un domaine de recherche actif depuis une décennie. DiSCo-SLAM, Kimera-Multi et LAMP 2.0 représentent les références récentes, mais tous s'appuient sur des heuristiques d'optimisation locale. L'introduction du RBCD dans ce contexte transpose des techniques issues de l'optimisation riemannienne vers la robotique de terrain. À ce stade, le travail reste un preprint expérimental sans déploiement industriel annoncé ni partenaire commercial identifié. Les prochaines étapes naturelles seraient une validation sur des jeux de données publics de référence comme MulRan ou KITTI, et des tests en conditions réelles avec des robots hétérogènes.

RecherchePaper
1 source
InvariantCloud : un framework de nuage de points globalement invariant et indexé de manière unique pour le suivi robuste de pose tactile à 6 DOF
3286arXiv cs.RO 

InvariantCloud : un framework de nuage de points globalement invariant et indexé de manière unique pour le suivi robuste de pose tactile à 6 DOF

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (arXiv:2605.25216) un framework de suivi de pose tactile 6-DoF baptisé InvariantCloud, conçu pour les capteurs tactiles visuels, ces dispositifs équipés d'une caméra interne qui observe une surface gel texturée en contact avec un objet. L'approche repose sur l'exploitation de la constellation globale des marqueurs de surface du capteur comme référentiel invariant : plutôt que de suivre localement les déplacements relatifs des marqueurs, InvariantCloud effectue un recalage de nuage de points globalement invariant en une seule passe (one-shot), ce qui supprime l'accumulation de dérive caractéristique des méthodes séquentielles. Les expérimentations montrent des performances supérieures aux benchmarks existants sur la précision du suivi en lacet (rotation autour de l'axe Z) et sur la répétabilité de la relocalisation dans des tâches longues durée. Le problème de la dérive cumulative dans l'estimation du lacet est notoire dans la littérature sur la perception tactile : les approches incrémentales perdent leur référence absolue sur les longues séquences, rendant les manipulations fines peu fiables. InvariantCloud adresse directement ce point aveugle en ancrant chaque estimation à une référence globale plutôt qu'à l'état précédent, ce qui le rend particulièrement pertinent pour les tâches de manipulation précise en robotique industrielle ou dans les bras téléopérés. La convergence actuelle entre l'apprentissage par imitation (imitation learning) et les modèles vision-langage-action (VLA) crée une demande accrue pour une perception tactile haute fidélité fiable sur des horizons longs, domaine où ce travail apporte une contribution mesurable. Les capteurs tactiles visuels de référence -- GelSight, DIGIT, Soft-Bubble -- souffrent tous de limitations similaires sur l'estimation du lacet, un problème ouvert depuis plusieurs années. InvariantCloud s'insère dans un écosystème de recherche actif incluant des travaux récents comme TactiFind ou DenseTact, avec lesquels il se compare expérimentalement. Il s'agit à ce stade d'un preprint non encore soumis à peer review, ce qui invite à la prudence sur la généralisation des résultats : les conditions expérimentales précises, la diversité des objets testés et les capteurs supportés ne sont pas détaillés dans le résumé disponible. Des travaux d'intégration dans des pipelines de manipulation open-source constitueraient une prochaine étape naturelle pour valider l'applicabilité industrielle.

RecherchePaper
1 source
Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique
3287arXiv cs.RO 

Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique

Des chercheurs du Collaborative Robotics Lab de Virginia Tech ont publié Language Movement Primitives (LMP), un framework qui relie les modèles de vision-langage (VLM) aux Dynamic Movement Primitives (DMP), une famille de contrôleurs de trajectoire établie en robotique depuis les années 2000. Le principe: les DMP définissent des trajectoires continues et stables via un faible nombre de paramètres interprétables, et les VLM configurent ces paramètres directement à partir d'instructions en langage naturel. Testé sur 31 tâches de manipulation de bureau en conditions réelles, LMP atteint un taux de succès de 65%, contre 35% pour le meilleur système de référence évalué. Le pipeline fonctionne en mode zéro-shot, sans fine-tuning spécifique aux tâches cibles. L'article est disponible sur arXiv (2602.02839, troisième révision) et accompagné de vidéos de démonstration. Le vrai problème que LMP cible est le "grounding" moteur: transformer un raisonnement abstrait en commandes physiquement cohérentes. Les VLM comme GPT-4V excellent à décomposer une tâche en étapes logiques, mais produire des trajectoires exécutables reste hors de leur portée native. À l'inverse, les modèles de fondation robotique tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou RT-2 de Google génèrent des actions directement, mais nécessitent généralement un fine-tuning coûteux en données in-domain pour s'adapter à de nouvelles tâches. LMP propose une troisième voie: les DMP servent d'interface structurée entre le raisonnement LLM et le contrôle bas niveau, préservant la stabilité dynamique sans apprentissage supplémentaire. Le gain de 30 points de pourcentage en zéro-shot sur des tâches réelles est notable, même si le choix des baselines et les conditions de test précises mériteront une vérification indépendante par la communauté. Les DMP ont été formalisés par Schaal et al. dans les années 2000 et restent un outil de référence pour la manipulation grâce à leur stabilité et leur capacité de généralisation. L'approche de LMP s'inscrit dans la lignée de SayCan (Google) et Code-as-Policies (Liang et al.), mais descend plus bas dans la pile de contrôle sans passer par un réseau de politique intermédiaire. Les concurrents directs sont les VLA bout-en-bout comme OpenVLA ou le récent Helix d'Figure AI, qui offrent plus de flexibilité mais restent tributaires de larges jeux de données de démonstration. Les prochaines étapes probables incluent l'extension à des environnements non-tabulaires et à des robots à plus haute dimensionnalité, notamment la manipulation dextre sur bras 7-DOF.

RechercheOpinion
1 source
NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel
3288arXiv cs.RO 

NeuralTouch : des descripteurs neuronaux pour un contrôle tactile précis en transfert simulation-réel

Une équipe de chercheurs a publié sur arXiv (réf. 2510.20390v2) NeuralTouch, un framework multimodal combinant les Neural Descriptor Fields (NDF) avec le retour haptique pour améliorer la précision de préhension des robots manipulateurs. Le principe repose sur deux étages : les NDF génèrent une représentation implicite de la géométrie de contact cible à partir de données visuelles, puis une politique d'apprentissage par renforcement profond (deep RL) affine la saisie en temps réel via des capteurs tactiles. Le système a été validé sur des tâches de manipulation fine, insertion de cheville dans un trou (peg-out-in-hole) et ouverture de bouchon de bouteille, avec un transfert zéro-shot du simulateur vers l'environnement physique, sans fine-tuning supplémentaire. Les études d'ablation en simulation et les tests réels montrent une amélioration significative de la précision et de la robustesse par rapport aux baselines, bien que les métriques quantitatives précises ne figurent pas dans le résumé publié. Le problème adressé est bien connu des intégrateurs : les NDF seuls souffrent d'imprécisions dues à une calibration caméra imparfaite, des nuages de points incomplets et la variabilité géométrique des objets. À l'inverse, les approches tactiles existantes restent cantonnées à des géométries de contact prédéfinies et simples, ce qui limite leur déployabilité industrielle. NeuralTouch contourne cette dualité en conditionnant la politique RL sur les descripteurs neuronaux sans nécessiter de spécification explicite du type de contact, ce qui est précisément le verrou que le secteur cherche à lever pour rendre les bras manipulateurs économiquement viables dans des environnements non structurés. La capacité de généralisation inter-catégories d'objets sans ré-entraînement représente un argument concret pour les COO industriels cherchant à réduire les coûts d'intégration. Ce travail s'inscrit dans un courant actif autour du sim-to-real pour la manipulation de précision, où Stanford, MIT et CMU rivalisent avec des acteurs industriels comme Sanctuary AI, 1X Technologies et Physical Intelligence, dont le modèle pi-0 cible également la manipulation généraliste. NeuralTouch se distingue par son approche hybride vision-tactile conditionnée sur des descripteurs neuronaux, évitant la fragmentation habituelle entre les pipelines purement visuels et les politiques haptiques spécialisées. Reste à démontrer la robustesse du framework sur une gamme plus large de géométries et sur des plateformes robotiques commerciales, étapes qui conditionneront le passage d'une démonstration académique à un outil industriellement pertinent.

RecherchePaper
1 source
Combler le fossé : permettre au Soft Actor Critic des performances élevées en locomotion sur pattes
3289arXiv cs.RO 

Combler le fossé : permettre au Soft Actor Critic des performances élevées en locomotion sur pattes

Une équipe de chercheurs publie sur arXiv (preprint 2605.24975, mai 2026) une série de modifications ciblées permettant à l'algorithme Soft Actor-Critic (SAC) d'atteindre les performances de Proximal Policy Optimization (PPO) dans l'entraînement à grande échelle de robots à pattes. PPO s'impose depuis plusieurs années comme l'algorithme de référence pour la locomotion bipède et quadrupède, notamment dans les environnements de simulation massivement parallèles comme IsaacLab (NVIDIA). Son défaut structurel est son caractère on-policy : chaque mise à jour de gradient exige de nouvelles données fraîches, le rendant inutilisable pour un apprentissage continu directement sur le robot physique. SAC, algorithme off-policy capable de réutiliser l'expérience passée, était un candidat naturel, mais échouait systématiquement à rivaliser en performance dans ces mêmes conditions. Les auteurs identifient trois correctifs spécifiques : une initialisation améliorée de la politique, un calcul de la valeur cible corrigé pour les épisodes tronqués (timeout-aware critic targets), et une estimation multi-pas du retour (multi-step return estimation). Ces ajustements ferment entièrement l'écart avec PPO, validé sur plusieurs plateformes de robots à pattes et une diversité de tâches de locomotion. L'enjeu pour l'industrie robotique est concret. PPO contraint les équipes à retourner systématiquement en simulation pour chaque cycle d'amélioration, allongeant les boucles de développement et compliquant l'adaptation à des environnements physiques non anticipés. Un SAC équivalent en performance à l'entraînement offline ouvre la voie à un workflow unifié : un seul algorithme pour la phase de simulation initiale, puis pour l'adaptation en ligne sur le robot déployé, sans boucle retour sim-to-real. Pour les intégrateurs travaillant sur des robots mobiles à pattes en inspection industrielle ou logistique, cela réduit potentiellement les cycles de re-entraînement lors de changements de terrain ou de configuration. Ce résultat conteste aussi l'hypothèse selon laquelle le sim-to-real gap exige des algorithmes fondamentalement différents entre entraînement et déploiement. PPO a été popularisé pour la locomotion robotique par les travaux de l'ETH Zurich sur ANYmal (2019-2022) et s'est généralisé avec l'adoption massive d'IsaacLab comme environnement de référence. SAC avait été introduit en 2018 par Tuomas Haarnoja et ses collègues à l'UC Berkeley, mais ses applications à la locomotion à grande échelle se heurtaient à des instabilités numériques en parallèle massif. Boston Dynamics, Unitree et Agility Robotics n'ont pas divulgué leurs pipelines d'entraînement internes, mais la littérature académique récente sur les robots H1 (Unitree) ou Digit (Agility) reste majoritairement dans l'écosystème PPO. Ce preprint demeure une contribution de recherche et non un produit déployé : sa portée pratique dépendra d'implémentations publiques dans IsaacLab ou MuJoCo et de validations indépendantes par la communauté.

RecherchePaper
1 source
Échantillonnage guidé à l'inférence par un vérificateur de progression des tâches pour la manipulation robotique
3290arXiv cs.RO 

Échantillonnage guidé à l'inférence par un vérificateur de progression des tâches pour la manipulation robotique

Une équipe de recherche publie TapSampling (arXiv:2605.25547, mai 2026), un cadre plug-and-play d'échantillonnage au moment de l'inférence pour la manipulation robotique. Là où la majorité des travaux du domaine cherchent à améliorer les performances en augmentant la taille des données d'entraînement ou des modèles, TapSampling explore un axe différent : l'exploitation du calcul disponible à l'inférence. Le système repose sur deux composants. D'abord, un Action-VAE qui projette les actions générées par la politique dans un espace latent de faible dimension via une distribution postérieure compressée, permettant de tirer un nombre arbitraire d'actions candidates approximant la distribution réelle. Ensuite, un vérificateur sémantique qui reformule la sélection d'actions comme une prédiction de progression de tâche (task-progress outcome prediction), en exploitant la structure séquentielle intrinsèque des jeux de données robotiques pour choisir l'action la plus prometteuse de façon interprétable. L'intérêt principal réside dans l'agnosticisme vis-à-vis de la politique sous-jacente : TapSampling s'applique sans fine-tuning additionnel à des modèles généralistes existants, qu'ils soient basés sur la diffusion ou sur des architectures autorégressives. Les expériences présentées en simulation et en conditions réelles montrent des améliorations qualifiées de « substantielles » sur plusieurs politiques généralistes, bien que l'abstract ne fournisse pas de chiffres précis de taux de réussite, ce qui invite à la prudence avant de juger de l'ampleur réelle des gains. Pour les ingénieurs robotique et les intégrateurs, l'approche ouvre la possibilité d'améliorer des politiques déjà déployées sans réentraînement, en ajoutant simplement un surcoût computationnel à l'inférence. Ce travail s'inscrit dans une tendance plus large consistant à transposer le test-time compute scaling, popularisé par les grands modèles de langage (OpenAI o1, DeepSeek-R1), vers la robotique embodied. D'autres approches comparables incluent le Best-of-N sampling avec des modèles de récompense appris séparément, ainsi que les méthodes de vérification intégrées dans des politiques comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). TapSampling se distingue par un vérificateur ancré dans la progression de tâche plutôt que dans une récompense exogène, ce qui lui confère une meilleure lisibilité sémantique. Le code et les modèles sont mis à disposition via la page projet des auteurs, ce qui permettra une reproduction et une évaluation indépendante des résultats annoncés.

IA physiqueActu
1 source
Débruitage par priorité d'action pour un découpage fluide en temps réel
3291arXiv cs.RO 

Débruitage par priorité d'action pour un découpage fluide en temps réel

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (réf. 2605.25537) une méthode baptisée Soft RTC (Soft Real-Time Chunking), visant à rendre les politiques d'action par blocs plus fluides lorsqu'elles opèrent sous délai d'inférence. Le problème de départ est concret : les politiques de type diffusion génèrent les commandes motrices en « chunks » (séquences d'actions), mais l'inférence prend du temps. Le RTC standard résout cela en conditionnant chaque nouveau chunk sur les actions déjà engagées par le précédent, grâce à un masque binaire de préfixe. Soft RTC remplace ce masque binaire par un mécanisme de dénaturation partielle (action-prior denoising) : les tokens de chevauchement entre deux chunks ne partent plus d'un bruit pur, mais d'états partiellement dénaturés, alignés sur le chunk précédent via une règle de mélange par token. Sur les 12 niveaux Kinetix publiés (environnements de simulation de manipulation complexe), un fenêtrage "soft" court atteint un taux de résolution de 0,809 contre 0,815 pour le hard RTC, soit un écart marginal. Un fenêtrage medium réduit quant à lui le delta d'action et le jerk (à-coup) en régime de fort délai de respectivement 9,1 % et 9,6 % par rapport au hard RTC classique. Une étude préliminaire sur robot réel en tri d'objets confirme l'amélioration de la complétion et donne à Soft RTC les meilleures métriques de douceur de commande parmi les politiques testées. L'enjeu pour la robotique industrielle est précis : le jerk élevé, c'est l'usure mécanique, les alarmes de sécurité, et l'impossibilité de travailler en cobotique. Les politiques de diffusion pour la manipulation (pi-0 de Physical Intelligence, ACT, Diffusion Policy) ont démontré des capacités de généralisation impressionnantes, mais leur déploiement en temps réel reste contraint par la latence d'inférence, typiquement plusieurs centaines de millisecondes sur GPU embarqué. Hard RTC avait déjà attaqué ce problème ; Soft RTC prouve qu'on peut gagner significativement en douceur de mouvement sans sacrifier ni le taux de succès ni le coût computationnel, les deux variantes conservent un overhead « quasi-naïf » à l'inférence, sans guidance coûteuse au déploiement. Ce résultat contredit l'idée que fluidité et performance sont nécessairement en tension dans les politiques diffusion pour la manipulation. La problématique du délai d'inférence dans les politiques d'action par diffusion est active depuis que ces architectures ont montré leur supériorité en manipulation dextère, notamment avec les travaux de Stanford (Diffusion Policy, 2023) et de Physical Intelligence (pi-0, 2024). Le hard RTC de référence avait établi une baseline robuste mais au prix de transitions sèches entre chunks. Côté acteurs, Physical Intelligence, Unitree, Figure AI et les équipes de Google DeepMind (GR00T, RT-2) travaillent tous sur des politiques à base de diffusion pour leurs humanoïdes et bras manipulateurs. Soft RTC s'inscrit dans la couche d'inférence basse latence de ces systèmes, indépendamment de l'architecture VLA sous-jacente. Aucun partenaire industriel ni timeline de déploiement n'est mentionné, il s'agit d'une contribution de recherche, avec code et niveaux Kinetix publiés, mais sans implémentation industrielle annoncée à ce stade.

RecherchePaper
1 source
Agir face à l'invisible : filtrage collaboratif sans communication pour l'allocation décentralisée de tâches multi-robots
3292arXiv cs.RO 

Agir face à l'invisible : filtrage collaboratif sans communication pour l'allocation décentralisée de tâches multi-robots

Des chercheurs ont présenté sur arXiv (2605.25584) un cadre théorique et algorithmique baptisé Zero-Knowledge MRTA (ZK-MRTA), conçu pour l'allocation de tâches dans des équipes de robots sans aucune communication inter-agent, sans modèle de tâche préalable et sans coordinateur central. Dans ce régime, chaque robot ne dispose que d'une vue partielle et bruitée du flux public des résultats de ses coéquipiers. L'algorithme proposé, SwarmCF, exploite une structure cachée de faible rang (low-rank) qui gouverne l'adéquation entre chaque robot et chaque type de tâche, en appliquant du filtrage collaboratif en ligne, le même principe mathématique que les systèmes de recommandation Netflix ou Spotify. Les expériences montrent que SwarmCF récupère environ 80 % des performances d'un système centralisé avec communication complète, et maintient cet avantage même sous contention de capacité 1 (chaque tâche assignée à un seul robot à la fois). L'enjeu théorique est substantiel: les auteurs prouvent formellement que tout algorithme sans structure est coincé au plancher d'erreur de la moyenne a priori sur les paires (robot, tâche) jamais tentées, tandis que SwarmCF atteint une complexité d'échantillonnage par robot en Theta(d) au lieu de Theta(n), où d est le rang de la structure latente et n le nombre total de tâches, typiquement d est très inférieur à n. Cette séparation est catégorielle, pas un simple facteur constant. Pour les intégrateurs de flottes robotiques (entrepôts AMR, inspection industrielle, agriculture), cela signifie qu'une flotte hétérogène peut s'auto-organiser sur des tâches inédites sans infrastructure de communication, ce qui réduit la complexité système et améliore la résilience aux pannes réseau. Le scaling est positif: la compétence par robot sur les tâches non vues augmente avec la taille de l'équipe. Le problème d'allocation multi-robots (MRTA) est étudié depuis les années 2000, avec des approches classiques comme les enchères distribuées (CBBA), les méthodes à base de marché ou les algorithmes de consensus qui supposent toutes un canal de communication fiable. ZK-MRTA s'attaque au cas extrême opposé, commun dans les déploiements industriels réels (réseaux dégradés, robots hétérogènes sans protocole commun) mais largement ignoré en théorie. Côté concurrence, des travaux récents sur le multi-armed bandit collaboratif ou le federated reinforcement learning adressent des problèmes voisins mais supposent soit une communication périodique, soit un modèle de récompense partagé. La prochaine étape naturelle serait de valider SwarmCF sur des flottes physiques, notamment dans des contextes entrepôts ou de manipulation, où le sim-to-real gap reste la principale inconnue pour les méthodes fondées sur l'observation passive de coéquipiers.

RecherchePaper
1 source
Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation
3293arXiv cs.RO 

Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation

Des chercheurs ont publié sur arXiv (référence 2603.06218v2) un framework baptisé "Few-Shot Neural Differentiable Simulator", conçu pour calibrer des simulateurs analytiques rigides à partir d'un volume réduit de données réelles, puis générer des jeux de données synthétiques à grande échelle. L'approche combine un simulateur analytique traditionnel, utilisé comme générateur de données après calibration, avec un réseau de neurones sur graphe (GNN) basé sur des maillages 3D, chargé de modéliser la dynamique avant des corps rigides. La contribution technique centrale réside dans la dérivation de gradients de substitution pour la détection de collision, rendant l'ensemble du pipeline entièrement différentiable. Les expériences portent sur des scénarios d'interaction multi-objets, où le système apprend des politiques de manipulation directement par optimisation basée sur les gradients dans le simulateur. Ce travail s'attaque à l'un des verrous majeurs du apprentissage robotique : le coût prohibitif de la collecte de données réelles et l'écart persistant entre simulation et réalité (sim-to-real gap). En n'exigeant qu'un petit nombre d'épisodes réels pour recaler le simulateur analytique, plutôt que des milliers de trajectoires pour entraîner un modèle purement appris, le framework réduit significativement la barrière d'accès à la simulation haute-fidélité. La différentiabilité complète est un avantage concret pour les concepteurs de politiques robotiques : elle permet de propager des gradients à travers la dynamique de contact, évitant le recours à des méthodes d'optimisation sans gradient (evolutionary strategies, RL model-free) typiquement moins efficaces en échantillons. Les résultats présentés indiquent que le GNN ainsi entraîné surpasse des baselines différentiables analytiques pour répliquer des trajectoires réelles, bien que ces résultats restent à ce stade expérimentaux et non validés en conditions industrielles réelles. Le problème de la simulation de contact rigide mobilise depuis plusieurs années des équipes académiques et industrielles majeures. Les simulateurs dominants comme MuJoCo (DeepMind), Isaac Sim (NVIDIA) et PyBullet offrent une différentiabilité partielle, mais peinent à modéliser fidèlement les contacts complexes sans paramétrage expert lourd. Des approches concurrentes comme DiffTaichi ou Brax (Google) ont exploré la différentiabilité à l'échelle, tandis que des laboratoires comme MIT CSAIL et Stanford travaillent sur des simulateurs neuronaux pour la manipulation. Ce preprint, non encore soumis à révision par pairs, ouvre une direction crédible vers des simulateurs "grounded" en peu de données réelles, pertinente pour les déploiements en manipulation industrielle et en robotique de service où les données réelles sont coûteuses à acquérir.

RecherchePaper
1 source
Manipulation souple par poussée non-préhensile
3294arXiv cs.RO 

Manipulation souple par poussée non-préhensile

Des chercheurs ont publié sur arXiv (2605.25672) une méthode permettant à un bras manipulateur de pousser des objets en milieu humain sans les saisir, tout en maintenant une compliance passive. L'approche étend un modèle de poussée existant intégré à un contrôle en impédance, puis construit un cadre de commande prédictive (MPC) qui module conjointement position et vitesse du robot pour produire la force de contact voulue et adapter le point de contact selon la trajectoire désirée de l'objet. Un filtre de passivité basé sur un "energy tank" module ensuite la vitesse de référence pour éviter l'accumulation incontrôlée d'énergie lors d'interactions extérieures imprévues. La méthode a été validée en simulation puis expérimentalement sur deux systèmes robotiques physiques distincts. Ce travail répond à un besoin croissant dans la robotique collaborative: déplacer des objets sans préhension dans des espaces humains sans risquer de blesser un opérateur en cas de contact non planifié. La plupart des approches MPC pour la manipulation par poussée supposent un robot rigide, ce qui les rend inadaptées aux environnements partagés. En combinant impédance et passivité, cette méthode ouvre la voie à des manipulateurs opérant en mode "open floor" dans des entrepôts ou sur des lignes d'assemblage. Le mécanisme d'energy tank, issu de la robotique haptique, applique ici un principe de stabilité éprouvé à la manipulation non-préhensile. Limite notable: le papier ne fournit pas de métriques de cycle time ni de masse utile testée en conditions réalistes, ce qui limite les conclusions directes pour les intégrateurs industriels. Ce développement s'inscrit dans un champ actif où des équipes comme celles de Berkeley (pushing as pre-grasp manipulation) et d'ETH Zurich (planar pushing) ont posé les bases théoriques; la brique compliance manquait pour un transfert industriel crédible. Côté commercial, la manipulation sans préhension reste peu déployée: Righthand Robotics et Covariant privilégient la préhension adaptative, tandis que des solutions de poussée planaire existent dans les AMR mais sans bras articulé compliant. En France, les acteurs logistiques comme Exotec restent dépendants de la préhension pour la manipulation fine d'objets. La prochaine étape naturelle serait une validation sur scénario d'entrepôt réel avec un spectre plus large de géométries et masses d'objets, perspective que les auteurs mentionnent explicitement.

RecherchePaper
1 source
MuJoCoUni : des primitives d'exécution persistantes et vectorisées pour MuJoCo
3295arXiv cs.RO 

MuJoCoUni : des primitives d'exécution persistantes et vectorisées pour MuJoCo

Un préprint arXiv (réf. 2605.24922, mai 2026) présente MuJoCoUni, une distribution dérivée du simulateur physique MuJoCo ciblant l'apprentissage robot en ligne et l'évaluation physique batchée. L'objet central de la bibliothèque est le BatchEnvPool, un exécuteur écrit en C++ et exposé via pybind11, qui maintient des copies indépendantes de mjModel par environnement, des workers mjData par thread, et un pool de threads interne. BatchEnvPool comble ce que l'API upstream mujoco.rollout ne couvrait pas : l'exécution stateful d'environnements en parallèle, avec stepping final-state-only, reset sparse, randomisation de domaine au moment du reset (reset-lifecycle domain randomization), évaluation forward des capteurs sans avancer la dynamique, et requêtes batchées de Jacobiens et de champs de hauteur. Le package est disponible en open source via pip install mujoco-uni. L'enjeu pratique est significatif pour les pipelines de reinforcement learning robotique. L'entraînement RL en ligne exige un débit élevé de transitions simulées, souvent plusieurs milliers d'environnements en parallèle. La plupart des solutions à haute cadence comme Isaac Lab (NVIDIA) ou Brax (Google/JAX) sacrifient la fidélité physique de MuJoCo, notamment sa gestion fine des contacts et des contraintes, au profit de la vitesse GPU. MuJoCoUni prend le parti inverse : conserver la sémantique CPU de MuJoCo intacte, solveur, modèle de contact et intégrateur compris, en parallélisant uniquement au niveau de la couche de liaison Python, sans forker le coeur du simulateur. C'est une approche plus conservative, mais potentiellement plus fiable pour les tâches où la précision physique conditionne le transfert sim-to-real, notamment en manipulation dextre ou en locomotion sur terrain irrégulier. MuJoCo, développé initialement à l'Université de Washington par Emo Todorov, a été acquis par DeepMind en 2021 puis rendu open source en octobre 2022 sous licence Apache 2.0, ce qui a considérablement élargi son adoption dans la communauté RL robotique. L'écosystème s'est depuis structuré autour de plusieurs stacks concurrentes : Isaac Lab (GPU-natif, NVIDIA), Genesis (multi-backend, open source) et Brax (JAX). MuJoCoUni occupe un créneau spécifique : exécution batchée stateful sur CPU avec sémantique MuJoCo garantie, utile pour les équipes qui ne disposent pas d'infrastructure GPU ou qui exigent la reproductibilité exacte du simulateur de référence. Les auteurs publient simultanément des scripts de validation et de benchmark avec le package. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade ; il s'agit d'une contribution infrastructure open source à destination des équipes de recherche et des intégrateurs construisant des pipelines RL robotiques.

InfrastructurePaper
1 source
PACT : une approche proactive pour l'assistance continue aux tâches en collaboration humain-robot
3296arXiv cs.RO 

PACT : une approche proactive pour l'assistance continue aux tâches en collaboration humain-robot

Des chercheurs ont publié PACT (Proactive Asking for Continual Task Assistance), un framework de collaboration humain-robot sur la durée, soumis sur arXiv en mai 2026 (arXiv:2605.24350). Le problème posé est concret : un assistant robotique déployé sur plusieurs jours ignore initialement les habitudes et préférences de son utilisateur, rendant l'inférence passive peu fiable dès les premières interactions. PACT propose une logique "ask-or-act" : plutôt que d'agir sans certitude, le robot décide à chaque instant s'il doit demander une clarification ou exécuter directement la tâche. Le système combine les observations courantes avec un historique d'interactions multi-jours pour évaluer la suffisance contextuelle avant d'agir. L'implémentation principale repose sur du reinforcement learning, et les auteurs introduisent une nouvelle métrique, la "clarification utility", qui mesure le compromis entre précision de l'assistance et fréquence des interruptions imposées à l'utilisateur. Ce framework répond à un déficit structurel des robots d'assistance actuels : en inférant silencieusement, un robot avec un modèle utilisateur incomplet accumule les erreurs et dégrade rapidement la confiance opérationnelle. PACT inverse la logique -- le robot reconnaît son incertitude et l'exprime plutôt que de la masquer. Pour les intégrateurs envisageant des robots en assistance à domicile, en co-robotique de bureau ou en environnement industriel léger, cette approche réduit la nécessité d'une modélisation préalable exhaustive des préférences utilisateur. Les expériences en scénarios multi-jours montrent des gains consistants en précision et en utilité des clarifications face aux baselines d'inférence passive, bien que la validation sur plateforme matérielle réelle reste à démontrer. Le défi de l'adaptation continue en collaboration humain-robot est partagé par plusieurs axes de recherche actifs, dont les benchmarks domestiques ALFRED et les travaux de personnalisation menés chez Figure, 1X ou Boston Dynamics pour leurs robots humanoïdes. Des équipes européennes -- INRIA, TU Delft -- explorent également ces mécanismes d'apprentissage en contexte prolongé. PACT se distingue en traitant l'incertitude épistémique par le dialogue explicite plutôt que par des mécanismes d'inférence silencieux, une approche complémentaire aux méthodes VLA (Vision-Language-Action) actuellement dominantes. La publication reste un preprint sans validation industrielle annoncée ; l'étape critique sera de quantifier le coût cognitif réel des clarifications répétées pour l'utilisateur dans des contextes de travail prolongés.

RecherchePaper
1 source
OASIS : alignement espace observation-action par prédiction de trajectoire SE(3) pour la manipulation robotique
3297arXiv cs.RO 

OASIS : alignement espace observation-action par prédiction de trajectoire SE(3) pour la manipulation robotique

Des chercheurs ont soumis sur arXiv (réf. 2505.25829) OASIS, un nouveau modèle de politique visuomotrice pour la manipulation robotique dont le nom complet est "Observation-Action Space Alignment via SE(3) Trajectory Prediction". L'architecture combine un encodeur de features 3D qui fusionne données visuelles, linguistiques et de profondeur métrique, avec un prédicteur de trajectoire dans le groupe SE(3), l'espace mathématique des rotations et translations rigides en trois dimensions. Ce prédicteur génère une trajectoire de l'effecteur terminal dans le référentiel caméra; ses états cachés, supervisés par pose, conditionnent ensuite un décodeur d'actions qui produit des blocs d'actions ("action chunks") géométriquement cohérents. Les auteurs rapportent des expériences en simulation et en conditions réelles sur des tâches de manipulation, surpassant les baselines VLA et WAM sur le taux de succès et la généralisation hors-distribution. Aucun chiffre absolu n'est fourni dans l'abstract, ce qui invite à attendre la lecture complète du papier avant toute conclusion quantitative. Le problème visé est structurel dans les modèles VLA actuels : leurs représentations intermédiaires restent dans l'espace d'observation (pixels, tokens) alors que la manipulation exige une géométrie de corps rigide. Forcer le décodeur à récupérer cette géométrie implicitement introduit un biais que les auteurs considèrent coûteux en données et en robustesse. L'alignement explicite via SE(3) est une piste sérieuse, et l'amélioration annoncée sur la généralisation hors-distribution est la métrique la plus pertinente pour les intégrateurs industriels, pour qui re-collecter des données à chaque nouvelle variante de tâche est prohibitif. Si les résultats se confirment à la lecture complète, OASIS apporte un argument concret au débat sur la bonne inductive bias à injecter dans les VLA. Le champ des VLA a été structuré ces dix-huit mois par Pi-0 (Physical Intelligence), OpenVLA, RoboVLMs, et plus récemment GR00T N2 de NVIDIA, tous cherchant à unifier compréhension linguistique et contrôle moteur fin. Les WAMs ont ajouté la prédiction d'états visuels futurs comme signal auxiliaire. OASIS s'inscrit dans ce second courant en changeant l'espace de prédiction : des pixels vers une trajectoire géométrique explicite en SE(3), un choix qui converge avec des travaux antérieurs comme SE(3)-DiffusionFields ou EquiBot. L'URL du projet (npuhandsome.github.io) suggère une affiliation avec la Northwestern Polytechnical University de Xi'an, laboratoire actif en robotique et apprentissage. Le papier est un preprint non encore évalué par les pairs; les démonstrations vidéo sur la page projet sont à interpréter avec la prudence habituelle avant tout déploiement applicatif.

RechercheOpinion
1 source
FusionCore : filtre de Kalman UKF à 23 états pour la fusion IMU, encodeur de roue, GPS et SLAM visuel sous ROS 2
3298arXiv cs.RO 

FusionCore : filtre de Kalman UKF à 23 états pour la fusion IMU, encodeur de roue, GPS et SLAM visuel sous ROS 2

FusionCore est un package ROS 2 open-source de fusion de capteurs, présenté dans un preprint arXiv (arXiv:2605.25239) par Manan Kharwar. Le système fusionne quatre sources de mesure -- centrale inertielle (IMU), odométrie par encodeurs de roues, GPS et pose Visual SLAM -- en un flux d'odométrie unique à 100 Hz, via un filtre de Kalman non-parfumé (UKF) à 23 états. Le 23e état constitue la particularité technique principale : il modélise en temps réel le biais systématique de vitesse angulaire (yaw rate bias) des encodeurs de roues, estimé par cross-covariance avec le cap GPS, puis soustrait lors des coupures GPS pour limiter la dérive angulaire en mode "coast". Le package gère nativement les coordonnées GPS en ECEF (Earth-Centered, Earth-Fixed), intègre un filtrage des mesures aberrantes par distance de Mahalanobis (chi-squared gating calibré aux degrés de liberté de chaque capteur), et adapte automatiquement les covariances de bruit à partir de la séquence d'innovation. Évalué sur le dataset public NCLT (12 séquences de 55 à 92 minutes chacune), FusionCore obtient un Absolute Trajectory Error (ATE) inférieur à celui de robotlocalization sur 10 des 12 séquences, avec des gains allant de 1,2x à 22,2x. robotlocalization diverge numériquement sur la totalité des 12 séquences. Le code est disponible sous licence Apache 2.0. robotlocalization est depuis des années le filtre de référence dans l'écosystème ROS/ROS 2 : la divergence numérique constatée sur l'ensemble du benchmark NCLT est un résultat sévère pour la bibliothèque dominante. Pour les intégrateurs de robots mobiles autonomes (AMR) et les équipes de navigation, FusionCore adresse deux problèmes concrets : la dérive angulaire en l'absence de GPS (fréquente en entrepôt, tunnel ou parking couvert) et la fusion transparente avec n'importe quel système VSLAM existant, y compris après réinitialisation de carte. L'estimation en ligne du biais des encodeurs est particulièrement utile sur les plateformes différentielles ou skid-steer, où ce biais varie avec l'usure des roues et la charge embarquée. Ces résultats restent à ce stade un preprint non soumis à peer review, mais reposent sur un dataset public standardisé, ce qui en renforce la reproductibilité. La fusion de capteurs pour robots mobiles est un champ dominé côté ROS par robotlocalization (Moore et Stouch, 2014), largement intégré dans les stacks Nav2. Les alternatives graph-based comme GTSAM ou iSAM2 offrent une précision supérieure mais impliquent une intégration plus lourde. FusionCore vise le créneau "plug-and-play" ROS 2 sans dépendances lourdes. L'auteur ne mentionne ni affiliation industrielle ni déploiement en production : il s'agit d'une contribution académique open-source. Les suites naturelles seraient une soumission à ICRA ou IROS, des évaluations sur KITTI ou Oxford RobotCar, et des intégrations dans des stacks Nav2 réels. Aucun acteur européen ou français n'est impliqué dans ces travaux.

RechercheOpinion
1 source
MASt3R-Nav : navigation WayPixel dans des cartes 3D relatives
3299arXiv cs.RO 

MASt3R-Nav : navigation WayPixel dans des cartes 3D relatives

Une équipe de chercheurs a publié fin mai 2026 sur arXiv (réf. 2605.24111) une nouvelle méthode de navigation visuelle pour robots, baptisée MASt3R-Nav. Le système repose sur une représentation de carte appelée "WayPixel Costmap", fondée sur le concept de connectivité pixel-relative. À partir d'une séquence d'images, le système établit des correspondances entre pixels dans les référentiels 3D propres à chaque paire d'images, sans exiger de cohérence géométrique globale à l'échelle de la carte complète. Ces liaisons inter-images forment un graphe dense, progressivement sparsifié pour permettre une planification de trajectoire globale. Un contrôleur est ensuite entraîné à prédire des séquences de déplacement à partir de ce costmap dense. La méthode a été validée sur quatre types de tâches de navigation en simulation, complétées par des démonstrations en environnement réel. L'intérêt de l'approche tient à sa position charnière entre deux paradigmes établis. Les systèmes SLAM classiques (ORB-SLAM3, OpenVINS) offrent une géométrie précise mais imposent une cohérence globale coûteuse en calcul et sensible aux dérives. Les graphes topologiques à base d'images évitent ce problème, mais cantonnent la navigation au mode "enseigner puis répéter" (teach-and-repeat), incapable de s'adapter à des modifications d'environnement. MASt3R-Nav démontre que la connectivité pixel-relative constitue une variable de conditionnement statistiquement plus précise que ses équivalents image ou objet pour la prédiction de contrôle, ouvrant la voie à des robots mobiles autonomes (AMR) plus généralisables sans pipeline SLAM complet. Le nom MASt3R fait référence au modèle de mise en correspondance 3D du même nom, présenté à CVPR 2024 par des équipes européennes dont l'INRIA, dont les capacités de matching géométrique dense servent de fondation à cette méthode. Dans le paysage concurrentiel, MASt3R-Nav se positionne face aux approches topologiques neuronales comme NetVLAD ou AnyLoc, et aux systèmes de navigation end-to-end récents tels que GNFactor. À noter qu'il s'agit à ce stade d'un preprint sans validation industrielle annoncée ; les métriques de performance restent issues d'environnements simulés et de démonstrations sélectionnées, sans benchmark standardisé public. Les prochaines étapes naturelles concernent l'évaluation sur des plateformes mobiles réelles en conditions non contrôlées.

RecherchePaper
1 source
RED : ordonnancement adaptatif de DAG en temps réel pour l'inférence robotique en environnements dynamiques
3300arXiv cs.RO 

RED : ordonnancement adaptatif de DAG en temps réel pour l'inférence robotique en environnements dynamiques

Des chercheurs ont publié le 26 mai 2026 sur arXiv (identifiant 2605.24044) une architecture de planification temps-réel baptisée RED, pour Robotic Environmental Dynamics scheduling. L'objectif : permettre à des robots déployés dans des environnements dynamiques d'exécuter simultanément plusieurs réseaux de neurones profonds sur du matériel embarqué contraint, sans violer les contraintes de timing. Le système a été implémenté et évalué sur deux familles de plateformes : la gamme NVIDIA Jetson (standard de facto du bord embarqué robotique) et des MacBook équipés de puces Apple M-series. Les charges de travail testées couvrent des scénarios de navigation autonome représentatifs de l'inférence robotique réelle. L'architecture repose sur un ordonnanceur sensible aux échéances qui attribue des sous-échéances intermédiaires aux tâches organisées en graphes orientés acycliques (DAG), permettant de gérer des graphes de calcul évolutifs et des inférences asynchrones induites par des conditions imprévisibles. Le problème visé est concret et sous-estimé en production : lorsqu'un robot perçoit son environnement en temps réel, les tâches d'inférence ne sont pas statiques. De nouveaux objets apparaissent, les relations de précédence entre tâches changent, et la structure globale du calcul évolue à l'échelle de la milliseconde. RED introduit une procédure de raffinement de charge couplée à une reconstruction du graphe pour aligner la structure des MIMONet (réseaux multi-entrées multi-sorties qui mutualisent les poids afin de réduire la pression mémoire) avec les exigences de planifiabilité. Les auteurs annoncent des gains sur les méthodes existantes en débit, respect des échéances, robustesse aux interférences et overhead d'exécution, sans publier de métriques chiffrées dans le résumé, ce qui rend toute évaluation indépendante de l'amplitude réelle des améliorations impossible à ce stade. Ce travail s'inscrit dans un domaine en forte activité : l'inférence embarquée pour la robotique autonome, où l'edge computing doit concilier contraintes temps-réel strictes et workloads d'IA croissants. RED se positionne face aux ordonnanceurs EDF (Earliest Deadline First) classiques et aux executors ROS 2. Il n'y a pas d'annonce de commercialisation associée : il s'agit d'un preprint académique, dont les suites dépendront du peer-review et d'éventuelles collaborations industrielles. Les équipes travaillant sur des architectures VLA (Vision-Language-Action) embarquées, notamment en Europe chez Enchanted Tools ou Wandercraft, trouveront dans cette approche une piste concrète pour résoudre le sim-to-real gap lié aux contraintes d'ordonnancement.

RecherchePaper
1 source