Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Dossier arXiv cs.RO — page 28

2437 articles · page 28 sur 49

Les preprints robotique sur arXiv cs.RO : les avancées techniques avant publication, dont planification, learning from demos, sim2real, manipulation.

ADAPT : un chariot élévateur autonome pour les chantiers de construction
1351arXiv cs.RO IndustrielPaper

ADAPT : un chariot élévateur autonome pour les chantiers de construction

Des chercheurs ont publié sur arXiv (réf. 2503.14331, version 4) ADAPT, pour Autonomous Dynamic All-terrain Pallet Transporter, un chariot élévateur tout-terrain entièrement autonome conçu pour les chantiers de construction. Contrairement aux robots AMR d'entrepôt qui opèrent dans des espaces balisés et prévisibles, ADAPT doit composer avec des terrains non revêtus et accidentés, des obstacles dynamiques (ouvriers, engins en mouvement) et des conditions météorologiques variables. Le système associe des techniques de perception par intelligence artificielle à des méthodes classiques de planification de trajectoire et de contrôle. Les auteurs ont évalué le dispositif lors de tests en conditions réelles, en comparant ses performances en continu à celles d'un opérateur humain expérimenté sous plusieurs conditions climatiques, et revendiquent un niveau de performance proche du seuil humain. La logistique matériaux sur chantier est l'un des derniers angles morts de l'automatisation industrielle. Là où les entrepôts disposent de solutions AMR matures portées par des acteurs comme Exotec, Locus Robotics ou Seegrid, les chantiers restent quasi exclusivement manuels, avec les retards, accidents et pénuries de main-d'oeuvre qui en découlent. L'enjeu central d'ADAPT est de prouver que les techniques de perception robuste, rodées en environnement indoor, peuvent tenir dans un contexte extérieur non structuré, ce qui constituerait une avancée significative sur le problème du sim-to-real en robotique mobile. La revendication "niveau humain" appelle néanmoins à la prudence : il s'agit d'un preprint non encore validé par les pairs, aucune métrique précise (temps de cycle, charge utile, taux d'incidents) n'est publiée dans l'abstract, et les conditions exactes de la comparaison restent à qualifier. La robotique de chantier est un segment émergent mais encore peu peuplé. Built Robotics automatise des excavatrices aux États-Unis, Dusty Robotics déploie des robots de traçage au sol sur des projets de construction commerciale, et les grands constructeurs de chariots industriels comme Toyota Material Handling et Jungheinrich développent des solutions autonomes qui restent cantonnées à l'indoor. Sur le segment outdoor tout-terrain, le créneau est quasi vierge. Les prochaines étapes logiques pour l'équipe de recherche seront de publier les métriques complètes, de conduire des pilotes à plus grande échelle sur des chantiers réels, et de trouver un partenaire industriel ou équipementier pour franchir le fossé entre prototype académique et déploiement opérationnel.

1 source
Apprentissage de la sécurité robotique à partir de rares retours humains par prédiction conforme
1352arXiv cs.RO 

Apprentissage de la sécurité robotique à partir de rares retours humains par prédiction conforme

Des chercheurs ont publié sur arXiv (référence 2501.04823v2) une méthode permettant d'apprendre les préférences de sécurité d'un opérateur humain à partir de retours binaires très limités, puis de les traduire en garanties statistiques formelles pour un robot autonome. Le principe : un humain visionne des trajectoires effectuées par le robot et signale simplement les comportements jugés dangereux. L'algorithme applique ensuite la prédiction conforme (conformal prediction) sur ces annotations pour délimiter, dans l'espace d'état du robot (ou dans un espace latent appris), une zone suspecte dont il est garanti qu'elle contiendra au moins une fraction spécifiée des futures erreurs de la politique. Un système d'alerte se déclenche dès que le robot pénètre cette zone. La méthode a été validée expérimentalement sur des quadrirotor en vol libre : 30 vols répartis sur 6 tâches de navigation, avec pour objectif de franchir un portique désigné en suivant une politique visuomotrice. Le classifieur par plus proches voisins, combiné à la prédiction conforme, détecte de manière fiable quand la politique va rater le franchissement, sans nécessiter de jeu de données de calibration séparé. L'intérêt industriel de cette approche réside dans deux points souvent négligés dans les déploiements robotiques actuels : la subjectivité de la sécurité et la fragilité des politiques entraînées sur données "sûres". Un robot formé sur des trajectoires correctes peut produire des comportements dangereux hors distribution, et les contraintes définies manuellement ratent systématiquement les cas limites. Ici, la garantie de taux de manqués (miss rate) est mathématiquement contrôlée par l'utilisateur, ce qui est exploitable dans un cahier des charges de déploiement. La méthode est également "sample-efficient" : elle évite la pratique courante en prédiction conforme de geler une partie des données de calibration, ce qui compte lorsque les retours humains sont coûteux à collecter. Pour un intégrateur déployant des robots mobiles ou des drones d'inspection, c'est un outil de qualification potentiellement plus réaliste que les approches par fonctions de barrière de contrôle (CBF) ou vérification formelle, qui supposent des modèles analytiques précis. La prédiction conforme gagne depuis 2022 une traction notable en robotique apprise, notamment pour quantifier l'incertitude dans les politiques de type Vision-Language-Action (VLA) et les planificateurs model predictive control (MPC) -- c'est précisément ce dernier que les auteurs améliorent ici. Les approches concurrentes incluent les CBFs (moins flexibles avec des politiques neuronales), le safe reinforcement learning avec contraintes Lagrangiennes, et les méthodes de détection d'anomalies par reconstruction. L'article ne mentionne pas de partenaire industriel ni de timeline de transfert ; il s'agit d'un preprint académique, code et vidéos publiés, sans peer review finalisé à ce stade. Les suites naturelles seraient une validation sur des robots manipulateurs ou des AMR en environnement d'entrepôt, et l'extension à des retours humains plus granulaires que le binaire safe/unsafe.

RecherchePaper
1 source
Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real
1353arXiv cs.RO 

Préhension dextérique sans vision par apprentissage tactile Real2Sim2Real

Des chercheurs ont publié en juin 2026 sur arXiv (réf. 2606.11767) un framework Real2Sim2Real pour la saisie aveugle par main dextre, sans aucune entrée visuelle, en s'appuyant exclusivement sur des capteurs tactiles distribués. Déployé sur une LEAP Hand quatre-doigts équipée de capteurs tactiles sur chaque phalange, le système atteint 27 % de taux de succès en conditions réelles sur 20 objets (10 vus à l'entraînement, 10 inédits), sans démonstration humaine ni caméra. L'architecture combine trois composants : un pipeline de calibration Real2Sim construisant un simulateur jumeau numérique fidèle aux signaux tactiles physiques ; un encodeur tactile layout-aware intégrant la géométrie des capteurs via préentraînement auto-supervisé, pour compenser la faible expressivité des signaux épars ; et une Diffusion Policy agrégant les trajectoires réussies d'experts en apprentissage par renforcement, spécialisés par objet dans le simulateur calibré. Le 27 % de taux de succès reste modeste opérationnellement, mais l'enjeu réel est la fermeture du tactile sim-to-real gap, l'un des obstacles les plus tenaces à la généralisation des mains dextres hors laboratoire. La plupart des systèmes antérieurs substituent la vision au toucher ou se limitent à des capteurs de force simples. Ici, la calibration contact-level du simulateur permet d'entraîner des politiques qui transfèrent sur le hardware sans fine-tuning en monde réel, résultat que les ablations confirment sur la cohérence des événements de contact sim-à-hardware. Pour un intégrateur ou un responsable industriel, c'est une preuve de concept que la manipulation en environnement occlus ou non éclairé devient accessible via simulation, sans collecter de données réelles coûteuses. Ce travail s'inscrit dans un écosystème en rapide structuration autour de la manipulation tactile dextre. La LEAP Hand, développée à Carnegie Mellon et commercialisée à bas coût pour la recherche, est devenu un banc de test de référence dans ce domaine. La Diffusion Policy, popularisée par Columbia University dès 2023, continue de s'imposer comme backbone standard pour l'imitation learning dextre. L'écosystème de capteurs reste fragmenté entre XELA Robotics, GelSight et diverses peaux tactiles propriétaires. Aucun partenaire industriel ni déploiement en production n'est annoncé, positionnant clairement ce preprint comme contribution académique ; les prochaines étapes probables passent par une taxonomie d'objets plus large et une densité de capteurs accrue pour dépasser ce premier seuil de 27 %.

RecherchePaper
1 source
Main dextérique modulaire et anthropomorphique : conception par analyse comparative multi-paramètres des doigts
1354arXiv cs.RO 

Main dextérique modulaire et anthropomorphique : conception par analyse comparative multi-paramètres des doigts

Des chercheurs ont publié en juin 2026 sur arXiv (arXiv:2606.11826) un framework de conception pour mains robotiques anthropomorphiques dextres, fondé sur une approche modulaire de sélection des doigts. Le principe : évaluer quantitativement des prototypes de doigts de manière indépendante, via une batterie de benchmarks, avant leur intégration dans une main complète téléopérée. Les variations testées portent sur le type d'articulation, la structure osseuse, les matériaux de peau et le placement des capteurs. Le framework a été validé sur deux tâches concrètes : la saisie simultanée de plusieurs objets et le vissage d'une ampoule, deux exercices représentatifs de la manipulation dextre à contraintes mécaniques variables. Ce travail s'attaque à un verrou structurel du domaine : la conception de mains dextres souffre d'un espace de design trop vaste, où morphologie, actuation et capteurs interagissent de façon non-linéaire. Les méthodes d'optimisation existantes traitent rarement plus d'un critère à la fois, ce qui rend les comparaisons inter-prototypes difficiles et les itérations coûteuses. En découplant l'optimisation des doigts de la validation au niveau de la main entière, le framework proposé réduit potentiellement le temps de screening et établit un lien quantitatif entre les métriques composant et la performance globale en tâche. Pour les équipes d'ingénierie et les intégrateurs, c'est une promesse de pipeline de développement plus prédictif, moins dépendant de l'empirisme. À noter : l'article est un preprint arXiv, sans peer review encore validé, et les gains de performance sur les deux tâches choisies restent difficiles à extrapoler à des scénarios industriels réels. La conception de mains dextres est un enjeu central pour les robots humanoïdes actuels : Figure AI, 1X, Apptronik, et Agility Robotics dépendent toutes de mains capables d'alimenter des pipelines de téléopération et d'apprentissage par imitation pour entraîner des modèles VLA. Côté académique, des groupes à Stanford, CMU et au MIT travaillent sur des architectures similaires, tandis que Shadow Robotics (UK) reste la référence commerciale en matière de main dextre à actuation tendon. En Europe, Pollen Robotics (Bordeaux) intègre des mains articulées dans sa plateforme Reachy, et Enchanted Tools (Paris) développe des mains expressives pour ses robots Miroka. Ce preprint ne s'accompagne pas d'annonce commerciale ni de calendrier de déploiement, mais la méthodologie de benchmarking modulaire pourrait être adoptée comme standard de facto dans les équipes hardware des startups d'humanoïdes, où la vitesse d'itération sur les effecteurs est aujourd'hui un facteur différenciant clé.

UEPollen Robotics (Bordeaux) et Enchanted Tools (Paris) sont directement mentionnés comme bénéficiaires potentiels de cette méthodologie de benchmarking modulaire, qui pourrait accélérer leurs cycles d'itération sur les effecteurs.

RecherchePaper
1 source
OMG : génération de mouvements omnimodaux pour le contrôle généraliste des humanoïdes
1355arXiv cs.RO 

OMG : génération de mouvements omnimodaux pour le contrôle généraliste des humanoïdes

Une équipe de chercheurs a déposé le 10 juin 2026 sur arXiv (ref. 2606.10340) un système baptisé OMG, Omni-Modal Motion Generation, conçu pour le contrôle whole-body généraliste des robots humanoïdes. L'architecture adopte une structure hiérarchique inspirée du système moteur biologique : un module supérieur de génération de mouvement basé sur la diffusion joue le rôle de "cerveau" planificateur, tandis qu'un contrôleur de suivi réactif bas niveau fait office de "cervelet". Ce cerveau est conditionnable simultanément sur du langage naturel, des signaux audio et des mouvements de référence humains. Le système s'appuie sur un pipeline de curation, filtrage et labellisation de données conçu pour couvrir un large spectre de comportements whole-body. Les auteurs revendiquent des performances state-of-the-art sur les benchmarks de contrôle humanoïde généraliste, ainsi qu'un comportement de scaling en fonction de la taille du modèle, deux propriétés clés pour qui veut construire un foundation model robotique. L'intérêt de OMG tient à son traitement simultané de deux limitations structurelles du domaine : d'un côté, les politiques spécialisées actuelles exigent un reward engineering intensif et ne généralisent pas au-delà de quelques skills ; de l'autre, les motion trackers existants peinent à intégrer de nouvelles modalités d'entrée sans refonte architecturale. En conditionnant un unique modèle sur des entrées multimodales extensibles, le papier prolonge la logique des VLA (Vision-Language-Action models) vers la génération de mouvement full-body. Si les résultats survivent à l'évaluation externe, cela plaiderait pour qu'un seul modèle généraliste remplace plusieurs politiques spécialisées par déploiement, un argument commercial direct pour les intégrateurs. Point de vigilance : il s'agit d'un preprint non évalué par les pairs, sans données de déploiement physique publiées à ce stade. Le papier s'inscrit dans une course active autour du contrôle humanoïde généraliste. Physical Intelligence a publié Pi-0 et Pi-0.5 autour d'architectures diffusion-based, NVIDIA a présenté GR00T N2 comme backbone transformer pour whole-body control, et Figure déploie Helix sur ses plateformes H1/H2 dans des environnements d'entrepôt. L'abstract ne mentionne ni institution d'origine ni robot physique cible, ce qui rend la comparaison directe avec ces systèmes impossible à ce stade. Les prochaines étapes naturelles seraient une soumission à CoRL ou RSS 2026 et une validation sur hardware réel, deux éléments absents de la publication actuelle.

IA physiqueOpinion
1 source
HandCept : un cadre de fusion visuo-inertielle pour la proprioception précise des mains dextériques
1356arXiv cs.RO 

HandCept : un cadre de fusion visuo-inertielle pour la proprioception précise des mains dextériques

Une équipe de chercheurs a publié sur arXiv en mai 2025 (référence 2505.08213) HandCept, un framework de proprioception visuo-inertielle pour mains dextres robotiques. Le système combine une caméra RGB-D montée au poignet et des IMU à 9 axes (accéléromètre, gyroscope, magnétomètre) pour estimer les angles articulaires en temps réel, via un filtre de Kalman étendu (EKF) sans latence ajoutée. Les erreurs d'estimation se situent entre 2° et 4° sur les angles articulaires, sans dérive observable sur la durée, surpassant selon les auteurs les approches purement visuelles ou purement inertielles. L'approche repose sur un apprentissage zero-shot, sans données réelles annotées, rendu possible par un pipeline de rendu photoréaliste haute fidélité sous Blender, publié en open-source sur GitHub. La proprioception, c'est-à-dire la capacité d'une main robotique à connaître précisément la position de ses propres doigts, reste l'un des verrous techniques de la manipulation dextre généraliste. Les encodeurs magnétiques et capteurs de force embarqués dans des mains multi-DOF imposent des contraintes de volume, de câblage et de calibration souvent incompatibles avec un déploiement à l'échelle. HandCept contourne ces limites en s'appuyant sur des capteurs déjà présents dans de nombreuses plateformes humanoïdes ou cobots, et la fusion EKF temps réel réduit le fossé sim-to-real, point critique pour accélérer le déploiement de politiques d'imitation learning ou de VLA (Vision-Language-Action) apprises en simulation. La précision annoncée de 2 à 4° reste toutefois à contextualiser: les résultats sont issus de conditions de laboratoire contrôlées et le papier n'a pas encore été évalué par les pairs. La course à la manipulation dextre s'est intensifiée en 2024-2025 avec des mains à haute densité d'actionneurs chez Figure (Figure 03), Sanctuary AI, Physical Intelligence (pi0), ou encore LEAP Hand côté recherche ouverte. La précision proprioceptive conditionne directement les performances de ces architectures. HandCept reste à ce stade un résultat de laboratoire: les auteurs n'annoncent ni partenaire industriel, ni timeline de commercialisation, ni intégration sur une plateforme humanoïde spécifique. Le pipeline Blender open-sourcé constitue néanmoins une contribution tangible pour la communauté, en facilitant la génération de données synthétiques pour d'autres équipes travaillant sur des architectures similaires sans accès à un système de capture de mouvement coûteux.

RecherchePaper
1 source
Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée
1357arXiv cs.RO 

Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée

Un groupe de chercheurs a publié sur arXiv (réf. 2505.01458, version 2, mai 2025) un état de l'art sur l'utilisation des simulateurs physiques pour entraîner des robots à la navigation et à la manipulation dans le cadre de l'IA incarnée (Embodied AI). L'étude analyse comment les moteurs de simulation réduisent le "sim-to-real gap", c'est-à-dire l'écart de performance constaté quand un agent entraîné en simulation est déployé dans le monde réel. Le survey passe en revue les caractéristiques des principaux simulateurs, leurs contraintes matérielles, et propose un inventaire structuré de datasets de référence, métriques d'évaluation et méthodes existantes. Aucun code ou outil nouveau n'est publié: il s'agit d'une contribution bibliographique et méthodologique. Cette revue intervient alors que le sim-to-real gap demeure l'obstacle principal au déploiement industriel de robots humanoïdes et de bras manipulateurs. Entraîner directement sur du matériel réel est coûteux, lent et risqué, ce qui place la simulation au cœur des pipelines de développement des VLA (Vision-Language-Action models) et des systèmes de navigation autonome. En consolidant des propriétés peu documentées des simulateurs, le survey aide ingénieurs et chercheurs à sélectionner l'outil adapté à leurs contraintes hardware sans avoir à faire une veille exhaustive de la littérature. Les simulateurs en compétition dans cet espace incluent Isaac Sim (NVIDIA), MuJoCo (DeepMind/Google), PyBullet, Webots et Genesis, un moteur GPU-natif récent. L'intérêt pour ce type de synthèse est alimenté par l'accélération du secteur: Figure AI, Physical Intelligence (pi zero), Boston Dynamics, Unitree et Agility Robotics multiplient les annonces de déploiements en environnements industriels réels. Ce survey constitue un point d'entrée structuré pour les équipes qui montent leur pipeline sim-to-real en 2025, à condition de ne pas attendre de benchmarks neutres et indépendants: l'évaluation des simulateurs reste largement conduite par leurs propres éditeurs.

RecherchePaper
1 source
MIND-V : modèle du monde hiérarchique pour la manipulation robotique à long horizon avec alignement physique par RL
1358arXiv cs.RO 

MIND-V : modèle du monde hiérarchique pour la manipulation robotique à long horizon avec alignement physique par RL

Des chercheurs ont publié MIND-V, un modèle de monde hiérarchique conçu pour générer automatiquement des vidéos d'entraînement de manipulation robotique à long horizon, problème resté en grande partie non résolu jusqu'ici. L'architecture s'articule autour de trois modules : un Semantic Reasoning Hub (SRH) qui s'appuie sur un vision-language model pré-entraîné pour la planification de tâches, un Behavioral Semantic Bridge (BSB) qui traduit ces instructions abstraites en représentations invariantes au domaine, et un Motor Video Generator (MVG) chargé du rendu vidéo conditionnel. Pour garantir la cohérence physique des séquences générées, les auteurs ont introduit une phase de post-entraînement par reinforcement learning GRPO pilotée par une récompense inédite, la Physical Foresight Coherence (PFC), qui mobilise V-JEPA2 (le modèle de monde de Meta) comme arbitre de physique dans l'espace latent. Les expériences en simulation montrent des résultats état de l'art sur les benchmarks long-horizon, selon les auteurs. Le problème central que MIND-V adresse est la pénurie de données diversifiées pour l'intelligence incarnée : entraîner des politiques de manipulation requiert des milliers d'épisodes réussis sur des tâches enchaînées, données coûteuses à collecter en réel et difficiles à simuler de façon convaincante. L'approche est entièrement autonome, sans trajectoires définies manuellement, ce qui la distingue des générateurs de vidéos robotiques antérieurs limités à des clips courts et des gestes simples. La valeur opérationnelle est directe pour les équipes qui développent des VLA (Vision-Language-Action models) : des pipelines de synthèse de données à grande échelle pourraient réduire significativement la dépendance aux démonstrations téléopérées, principal goulot d'étranglement des robots comme Figure 03, Optimus ou 1X NEO. Ce travail s'inscrit dans une vague de recherche sur les world models pour la robotique, aux côtés de Dreamer, GAIA-1 adapté au robot, et du propre V-JEPA2 de Meta qu'il intègre comme brique de validation physique. L'article, initialement soumis en décembre 2024 (arXiv:2512.06628) et mis à jour en juin 2026, reste à ce stade un résultat en simulation uniquement : aucun déploiement physique ni intégration industrielle n'est mentionné, et le franchissement du sim-to-real gap reste à démontrer sur hardware réel.

IA physiqueOpinion
1 source
UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI
1359arXiv cs.RO 

UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI

Une équipe de recherche a déposé le 10 juin 2026 le preprint arXiv 2606.10382 décrivant UMI-Bench 1.0, présenté comme le premier benchmark entièrement dédié à l'évaluation en conditions réelles de politiques de manipulation robotique entraînées via l'Universal Manipulation Interface (UMI). Le benchmark cible la manipulation d'objets sur table (tabletop manipulation) et couvre l'intégralité de la chaîne de validation : collecte de données, réinitialisation de scène entre essais, exécution de politique, journalisation des résultats et analyse par facteurs de tâche. Il opère en mode "local-first", c'est-à-dire que les évaluations tournent directement sur robot réel, sans couche de simulation intermédiaire. L'UMI couple observations depuis une caméra montée au poignet, représentation des actions, collecte de démonstrations humaines et déploiement physique, une architecture dont les performances dépendent de la cohérence de chaque maillon. Ce benchmark répond à un problème structurel de l'apprentissage par imitation : l'absence de protocole standardisé conduit chaque équipe à évaluer ses politiques dans des conditions non comparables, ce qui rend la littérature difficile à arbitrer pour un intégrateur ou un décideur industriel. En rendant le processus reproductible et auditable, UMI-Bench permet de mesurer concrètement dans quelle mesure une politique entraînée sur des démonstrations généralise à des configurations physiques inédites, ce que les chercheurs appellent la sim-to-real (ici demo-to-real) generalization. C'est un enjeu central pour les politiques de diffusion (Diffusion Policy) et les VLA (Vision-Language-Action models), dont les performances en démonstration sélectionnée restent difficiles à quantifier sans infrastructure de test commune. L'UMI a été introduit en 2023-2024 par Cheng Chi et al. (Columbia University) comme interface portable de collecte de démonstrations : un opérateur guide un gripper équipé d'une caméra et d'un module de localisation, et les trajectoires servent directement à entraîner des politiques. Le paysage concurrent des benchmarks comprend LIBERO, DROID et le framework LeRobot de Hugging Face, qui proposent leurs propres protocoles mais sans calibration spécifique pour le pipeline UMI. L'étape logique suivante serait l'intégration de modèles fondationnels comme pi-0 (Physical Intelligence) ou OpenVLA dans ce protocole de référence, et l'extension à des tâches multi-étapes.

RecherchePaper
1 source
AllDayNav : navigation permanente par apprentissage par renforcement en environnement réel
1360arXiv cs.RO 

AllDayNav : navigation permanente par apprentissage par renforcement en environnement réel

Des chercheurs ont publié sur arXiv (réf. 2606.10927) AllDayNav, un système de navigation robotique lifelong capable d'évoluer indéfiniment dans des environnements dynamiques sans carte explicite. Son architecture combine un grand modèle d'un milliard de paramètres, entraîné par apprentissage par renforcement directement en conditions réelles, et une mémoire multimodale auto-évolutive qui agrège images-clés visuelles, descriptions sémantiques et contexte temporel. Ce mécanisme permet au robot de générer automatiquement des instructions en vocabulaire ouvert, des objectifs visuels et des récompenses structurées, sans annotation humaine à chaque nouvelle tâche. Évalué sur des scénarios de navigation inter-pièces, inter-épisodes et inter-tâches, AllDayNav atteint des taux de succès proches de 100 % et surpasse des baselines de type SLAM, VLM et RL classique en efficacité de trajectoire et en robustesse, aussi bien en simulation qu'en environnement physique. Ce travail remet en question une hypothèse structurante du domaine : la navigation autonome fiable nécessiterait une représentation spatiale explicite de l'environnement (cartes métriques, graphes de scènes). AllDayNav montre qu'un modèle suffisamment large, affiné en continu par RL avec une mémoire implicite, peut dépasser ces approches y compris hors contextes contrôlés. Pour les intégrateurs de robots mobiles (AMR en logistique, robots de service en espaces publics), cela préfigure des systèmes adaptables aux modifications d'environnement sans reconfiguration manuelle. La prudence reste de mise : les chiffres de "100 % de succès" proviennent d'un preprint non encore évalué par les pairs, sans détail complet sur les conditions exactes d'évaluation ni sur la variabilité entre scènes. AllDayNav s'inscrit dans une tendance de fond visant à remplacer les pipelines modulaires perception-cartographie-planification par des modèles de fondation entraînés de bout en bout. Google DeepMind (travaux NavIRL, SayCan), CMU et Berkeley explorent des directions similaires pour la navigation mobile généraliste, tandis que des acteurs comme Boston Dynamics et ANYbotics continuent de s'appuyer sur des approches hybrides métriques. Soumis le 10 juin 2026, ce papier reste une contribution académique : aucun déploiement industriel ni partenariat commercial n'est annoncé à ce stade.

UEImpact indirect pour les intégrateurs européens d'AMR logistique : si les résultats se confirment après peer review, cette approche pourrait réduire les coûts de reconfiguration dans des entrepôts et espaces publics dynamiques.

IA physiquePaper
1 source
MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)
1361arXiv cs.RO 

MotionVLA : intégration du mouvement géométrique dans un modèle vision-langage-action (VLA)

Un preprint déposé sur arXiv le 9 juin 2026 (arXiv:2606.08288) introduit MotionVLA, une interface de mémoire motrice conçue pour améliorer les modèles vision-language-action appliqués à la manipulation robotique longue portée. Le principe : plutôt qu'alimenter le modèle avec une séquence d'images passées traitées indépendamment, MotionVLA convertit une courte fenêtre vidéo récente en tokens de champ de trajectoire (trajectory-field tokens), compacts et temporellement continus. Ces tokens encodent le mouvement cohérent entre les observations, et les tokens visuels courants les interrogent pour extraire les informations de mouvement pertinentes à la tâche en cours. Le tout est réinjecté dans le flux VLA via une supervision ancrée sur les trajectoires. Les auteurs rapportent des améliorations sur des benchmarks de simulation ainsi que des essais préliminaires sur robot réel, avec des exécutions décrites comme plus fluides et plus directes. L'enjeu est théorique, mais les implications pratiques sont directes. Les VLA actuels -- pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure) -- cherchent à résoudre l'ambiguïté des tâches longues en injectant toujours plus de contexte : historique d'images, profondeur, features 4D. L'hypothèse implicite est "plus de contexte spatio-temporel équivaut à une meilleure politique". MotionVLA conteste cette hypothèse : un contexte incohérent en termes de mouvement introduit de la dérive géométrique, des indices temporels fragmentés et une génération d'actions instable. Reformuler la mémoire comme un champ de mouvement plutôt que comme un empilement de frames résout le problème à la source, ce qui intéresse directement les équipes cherchant à stabiliser des VLA en déploiement industriel sans exploser le budget de calcul. Ce travail s'inscrit dans une course intense à l'architecture VLA optimale. Les approches concurrentes incluent les modèles à base de profondeur (SpatialVLA), de features 4D (CogACT), ou de diffusion de trajectoires (pi-0). MotionVLA se rapproche davantage des travaux sur le flot optique dense et les représentations de mouvement continu. Deux mises en garde s'imposent : les résultats sur robot réel sont explicitement qualifiés de "préliminaires" par les auteurs, et aucun chiffre de benchmark précis n'est disponible dans la publication actuelle. À ce stade, il s'agit d'une contribution de recherche, non d'un produit industrialisé ni d'une démonstration validée à l'échelle.

RechercheOpinion
1 source
Revisiter la perception des parties articulées en manipulation robotique
1362arXiv cs.RO 

Revisiter la perception des parties articulées en manipulation robotique

Des chercheurs ont déposé en juin 2026 (arXiv:2606.08103) une nouvelle approche pour la perception des parties articulées d'objets du quotidien, portes, boîtes et poignées, baptisée GPS (Geometric Primary Structure). Ce cadre représente la géométrie des parties mobiles sous une forme abstraite et générique, collectée via un dispositif de réalité virtuelle portable : l'annotation d'une séquence d'objets prend moins d'une minute, contre plusieurs dizaines de minutes pour les pipelines de labellisation manuelle classiques. Appliqué sur 234 objets répartis en six classes de parties, le système a constitué un corpus de 41 000 frames. Le modèle GPS entraîné accepte en entrée une unique image RGB-D et, sans aucun fine-tuning spécifique au domaine, atteint un taux de réussite de 73 % sur 270 états initiaux couvrant 9 objets en manipulation robotique réelle, à partir d'une politique heuristique basée sur la prédiction GPS. Ce résultat illustre un point clé pour les intégrateurs et les équipes R&D industrielles : la qualité de la représentation perceptive conditionne directement la robustesse de la politique de manipulation. Les deux approches dominantes présentent des compromis défavorables. Les méthodes basées sur la pose nécessitent une annotation intensive et ne passent pas à l'échelle, tandis que les méthodes affordance-based, qui extraient le mouvement futur par point tracking, souffrent de données bruitées ou incomplètes. GPS tente d'occuper le terrain intermédiaire. Un taux de 73 % sans fine-tuning in-domain est une indication sérieuse de généralisation réelle, même si la validation sur 9 objets seulement invite à la prudence avant de conclure que le fossé entre démonstration et déploiement industriel est comblé. Le problème de la manipulation d'objets articulés constitue un verrou reconnu depuis les travaux fondateurs sur WHERE2ACT et les datasets de type OPD (OpenDoors-Dataset). GPS s'inscrit dans un mouvement plus large visant à remplacer les bases de connaissances statiques par des systèmes de perception apprenants et annotables à faible coût. Les auteurs rendent publics le code, les données et l'outil VR (enlighten0707.github.io/gps), ce qui favorise la reproductibilité et l'adoption en recherche. Les extensions naturelles incluent l'intégration avec des politiques de type VLA (Vision-Language-Action), la généralisation à des parties déformables, et la validation sur des objets industriels hors distribution.

RecherchePaper
1 source
Apprentissage par renforcement dans un espace d'embedding linéaire pour un contrôle généralisable sur différentes configurations de robots souples
1363arXiv cs.RO 

Apprentissage par renforcement dans un espace d'embedding linéaire pour un contrôle généralisable sur différentes configurations de robots souples

Une équipe de chercheurs présente, dans un préprint arXiv déposé en juin 2026 (arXiv:2606.08104), un système de contrôle généraliste pour robots souples capables de s'adapter à 33 configurations mécaniques distinctes sans réentraînement complet. La méthode repose sur un espace d'embedding linéaire dit de Koopman, dans lequel la dynamique du robot est encodée indépendamment de sa morphologie. L'apprentissage par renforcement est appliqué dans cet espace partagé, ce qui permet au contrôleur de se transférer d'une configuration à une autre avec 75 fois moins d'échantillons de transfert que les approches conventionnelles. Le système maintient des performances robustes sous contraintes sévères : mouvements rapides, charges utiles élevées et pannes simultanées de plusieurs actionneurs. Le verrou que ce travail cherche à lever est structurel dans le domaine des robots souples : chaque changement de configuration (matériau, rigidité, morphologie) impose aujourd'hui une refonte du contrôleur spécifique, rendant la reconfiguration coûteuse en temps ingénieur et en données d'entraînement. En découplant la politique de contrôle de la morphologie via l'espace de Koopman, les auteurs ouvrent la voie à des robots souples reconfigurables à la demande, exploitables en production industrielle ou en milieu médical sans pipeline de réentraînement long. La réduction de 75x du coût de transfert est significative, mais le préprint ne précise pas les conditions opérationnelles exactes des 33 configurations testées ni si les évaluations couvrent des tâches réelles ou des benchmarks en simulation. Les robots souples, inspirés des pieuvres et des trompes d'éléphants, font l'objet d'une recherche matériaux intense depuis une décennie, mais leur contrôle restait l'obstacle principal à tout déploiement à l'échelle. Sur le front concurrent, les approches classiques par modèles (éléments finis, modèles de Cosserat) peinent à généraliser, tandis que les méthodes d'apprentissage profond nécessitent typiquement des jeux de données configuration-spécifiques massifs. L'opérateur de Koopman, déjà utilisé en robotique rigide pour linéariser des systèmes non linéaires, fait ici son entrée dans le contrôle de robots souples à grande échelle. Aucun partenariat industriel ni timeline de commercialisation n'est mentionné dans le préprint ; les suites naturelles seront la validation sur des tâches de manipulation réelle et l'extension à des configurations hybrides rigides-souples, segment sur lequel des spinoffs de laboratoires académiques européens et des acteurs comme Wandercraft cherchent à se positionner.

UEImpact indirect : des équipes académiques et spinoffs européens en robotique souple pourraient exploiter cette méthode Koopman pour réduire leur coût de réentraînement morphologique, mais aucun partenariat industriel ou déploiement européen n'est identifié à ce stade.

RecherchePaper
1 source
La 6G au service de la robotique du futur : vers les systèmes autonomes de nouvelle génération
1364arXiv cs.RO 

La 6G au service de la robotique du futur : vers les systèmes autonomes de nouvelle génération

Un article de recherche publié sur arXiv (référence 2602.12246, version 2) propose un cadre architectural pour intégrer les capacités de la 6G, normalisée sous l'appellation IMT-2030 par l'UIT, aux systèmes robotiques autonomes de prochaine génération. Les auteurs établissent une cartographie systématique entre les indicateurs de performance clés (KPI) définis par IMT-2030 et les blocs fonctionnels d'un robot : perception sensorielle, cognition, actuation et auto-apprentissage. Sur cette base, ils proposent une architecture à trois plans distincts, un plan robotique, un plan intelligent et un plan de services réseau, conçus pour fonctionner de manière cohérente. L'article illustre ce cadre avec un cas d'usage concret : un système de sécurité dynamique en temps réel pour la collaboration homme-robot dans des espaces partagés, rendu possible par les latences sub-milliseconde et les débits massifs promis par la 6G. L'intérêt de ce travail pour les intégrateurs et décideurs industriels réside dans l'approche structurée qu'il offre pour anticiper les dépendances réseau des futures plateformes robotiques. La 6G ne se résume pas à plus de bande passante : la fiabilité ultra-élevée, le positionnement centimétrique natif et la communication machine-to-machine à très faible latence ouvrent des cas d'usage impossibles avec la 5G actuelle, notamment pour les flottes d'AMR (robots mobiles autonomes) denses ou les bras collaboratifs opérant sans cage de sécurité. Le couplage explicite entre les KPI réseau et les fonctions robotiques permet de dimensionner les infrastructures télécoms dès la phase de conception des cellules robotisées. Ce travail s'inscrit dans un effort académique plus large pour préparer l'écosystème industriel à la 6G, dont le déploiement commercial est attendu autour de 2030. Les groupes de standardisation comme l'ETSI et le 3GPP ont déjà ouvert des groupes de travail dédiés aux cas d'usage robotiques et industrie 4.0. Du côté industriel, les initiatives comme l'Open RAN poussent vers des architectures réseau plus flexibles, ce qui converge avec la logique de plans découplés proposée ici. Ce papier reste cependant un travail théorique de cadrage : aucun prototype ni déploiement n'est mentionné, et les performances annoncées pour IMT-2030 demeurent des objectifs normatifs, pas des mesures terrain.

UEL'ETSI et le 3GPP, deux organismes de normalisation à forte ancrage européen, pilotent déjà des groupes de travail sur les cas d'usage robotiques 6G, ce qui positionne l'UE comme acteur central dans la définition des standards qui structureront les futures cellules robotisées industrielles d'ici 2030.

InfrastructureOpinion
1 source
ω-EVA : anticiper, vérifier et agir avec des modèles du monde interactifs latents
1365arXiv cs.RO 

ω-EVA : anticiper, vérifier et agir avec des modèles du monde interactifs latents

Une équipe de recherche a présenté ω-EVA (omega-EVA) en juin 2026 sur arXiv, un système de contrôle robotique qui introduit une boucle "Envision-Verify-Act" pour la génération d'actions en manipulation. Le coeur du système est un modèle de monde latent interactif structuré en trois étapes: apprentissage de dynamiques latentes conditionnées par l'action, entraînement d'une politique de flux conditionnée par le langage sur des représentations visuelles "dynamiques-aware", puis rétroalimentation de la proposition d'action à travers ce même modèle. Un raffineur tri-branche raisonne simultanément sur l'état courant, le futur conditionné par la proposition, et l'action candidate pour produire le chunk d'action final. Le modèle compte environ 1,2 milliard de paramètres et n'a pas nécessité de préentraînement sur des données robotiques supplémentaires. Les évaluations couvrent des tâches de manipulation à bras unique, bimanuelle, à horizon long et en environnements perturbés, toutes menées en simulation. La plupart des politiques robotiques actuelles, y compris les VLA (Vision-Language-Action models) comme π0 de Physical Intelligence ou GR00T N2 de NVIDIA, mappent directement les observations vers les actions sans inspecter les conséquences des actions candidates avant exécution. ω-EVA propose un changement de paradigme: le modèle de monde devient un module de rétroaction actif à l'inférence, permettant à la politique de "vérifier" dans l'espace latent l'effet probable de son action avant de la valider. Point clé du design: cette vérification se fait entièrement dans l'espace des features latentes, sans génération de vidéo future, ce qui maintient une charge computationnelle raisonnable à l'inférence. Pour un intégrateur industriel ou un roboticien, l'enjeu est concret: filtrer les actions à risque avant qu'elles atteignent l'effecteur, un problème structurel des VLA déployés en milieu non contrôlé où le "demo-to-reality gap" reste critique. L'utilisation des world models comme module de rétroaction à l'inférence reste rare dans la littérature; la majorité des travaux existants, dont la série Dreamer de Hafner (2019-2023), les exploite pour l'entraînement ou la planification hors ligne. Dans la course aux VLA, les acteurs dominants, Physical Intelligence (π0, π0.5), NVIDIA (GR00T N2), Figure (Helix) et 1X Technologies, misent sur des architectures plus larges et des datasets propriétaires massifs. ω-EVA propose une alternative compacte à 1,2 milliard de paramètres sans ce prérequis en données, ce qui peut intéresser des laboratoires académiques ou des startups à ressources limitées. L'article étant un preprint arXiv non encore soumis à peer review, et les benchmarks étant exclusivement en simulation, la validation sur robot physique en environnement réel reste l'étape déterminante à franchir.

UEL'approche compacte (1,2 Md paramètres, sans données robotiques supplémentaires) pourrait intéresser les laboratoires académiques européens et les startups FR/EU à ressources limitées travaillant sur les VLA, mais aucun acteur européen n'est directement impliqué.

IA physiqueOpinion
1 source
OASIS : de la collecte de données en simulation à la loco-manipulation humanoïde en conditions réelles
1366arXiv cs.RO 

OASIS : de la collecte de données en simulation à la loco-manipulation humanoïde en conditions réelles

Une équipe de chercheurs publie sur arXiv (juin 2026) le framework OASIS, une approche pour entraîner des robots humanoïdes à des tâches de loco-manipulation, combinaison de locomotion et de manipulation d'objets, en s'appuyant exclusivement sur des données de simulation. Le système reconstruit automatiquement des assets 3D réalistes à partir d'images du monde réel via un modèle génératif, puis collecte des trajectoires par télé-opération dans ce simulateur. Ces trajectoires sont ensuite augmentées par randomisation de domaine : variations d'éclairage, de textures et de configuration environnementale. Une politique visuomotrice hiérarchique, entraînée sur ces données simulées, est déployée en zero-shot sur un robot humanoïde physique, sans fine-tuning sur données réelles. Les résultats publiés indiquent que cette politique dépasse, sur la majorité des tâches testées, les performances d'une politique entraînée sur des données de télé-opération réelle. Ce résultat, à prendre avec prudence, le preprint n'étant pas encore soumis à peer review, va à contre-courant d'une hypothèse largement répandue : que la qualité des données terrain serait irremplaçable pour la manipulation fine. Le principal facteur explicatif avancé par les auteurs est la couverture plus large des variations d'éclairage et d'environnement dans le rendu simulé, que la collecte physique peine à égaler à grande échelle. Si le résultat se confirme, il soulage considérablement le goulot d'étranglement de la collecte terrain, qui implique aujourd'hui des resets manuels coûteux et une infrastructure dédiée par tâche. La loco-manipulation reste l'un des défis les plus complexes en robotique humanoïde, car elle exige une coordination simultanée du contrôle de marche et de la manipulation d'objets. Des plateformes comme Figure 03, l'Optimus Gen 3 de Tesla ou l'Atlas de Boston Dynamics cherchent des solutions via des approches diverses : imitation learning sur données réelles (pi-0 de Physical Intelligence), politiques VLA (GR00T N2 de Nvidia) ou RL massivement simulé (Unitree). OASIS positionne la simulation augmentée comme alternative crédible à la télé-opération physique, ce qui pourrait accélérer le bootstrapping de nouvelles tâches sans mobiliser de cellules robotiques dédiées. Les prochaines étapes attendues sont une évaluation sur un spectre plus large de tâches industrielles et une soumission à une conférence avec évaluation par les pairs.

RechercheOpinion
1 source
TBD-VLA : modèle vision-langage-action à diffusion par blocs temporels
1367arXiv cs.RO 

TBD-VLA : modèle vision-langage-action à diffusion par blocs temporels

Une équipe de chercheurs propose TBD-VLA (Temporal Block Diffusion Vision Language Action Model), un nouveau cadre de génération d'actions pour les modèles Vision-Language-Action (VLA) robotiques, publié le 9 juin 2026 sur arXiv (identifiant 2606.07895). L'approche repose sur la diffusion discrète par blocs temporels : les séquences d'actions sont partitionnées en blocs, à l'intérieur desquels un processus de diffusion masquée génère les tokens d'action en parallèle, tandis que la génération reste autoregressive d'un bloc à l'autre. Le modèle intègre également une fonctionnalité baptisée "Real-Time Chunking", qui permet l'exécution asynchrone des blocs d'action via un mécanisme d'interpolation temporelle (temporal in-painting). Les auteurs rapportent des gains de performance significatifs sur benchmarks en simulation et sur des tâches de manipulation en environnement réel par rapport aux approches VLA antérieures, sans préciser de métriques chiffrées dans l'abstract. L'enjeu central que TBD-VLA cherche à résoudre est double : la latence d'inférence élevée des VLA discrets classiques, et l'absence de modélisation explicite des dépendances temporelles dans les architectures de décodage parallèle récentes. Les VLA discrets standard génèrent les actions token par token de manière autoregressive, une approche précise mais trop lente pour les contraintes temps-réel d'un bras manipulateur industriel. Les tentatives précédentes de décodage parallèle accélèrent l'inférence mais sacrifient la cohérence temporelle entre tokens. TBD-VLA propose un compromis structuré : parallélisme intra-bloc pour la vitesse, autoregressivité inter-blocs pour la cohérence. Si les gains annoncés se confirment à l'échelle, cette architecture offre une voie vers des VLA déployables en milieu industriel avec des contraintes de cycle time réalistes. Le développement des VLA robotiques s'est accéléré depuis 2023 avec des modèles comme Pi-0 de Physical Intelligence (basé sur la diffusion continue), OpenVLA de l'Université de Californie Berkeley, et les approches RoboVLMs. TBD-VLA se distingue en restant dans l'espace des tokens discrets, aligné avec les architectures LLM standards, tout en empruntant à la diffusion pour la génération intra-bloc. Le papier publie un site de projet (tbd-vla.github.io) et présente des résultats sur simulation et manipulation réelle, mais reste à ce stade une contribution académique sans déploiement industriel annoncé. La prochaine étape logique serait une intégration dans des pipelines de fine-tuning sur données propriétaires, terrain sur lequel Physical Intelligence et Figure AI conservent une avance significative.

IA physiqueOpinion
1 source
Livraison et collecte dynamiques multi-agents dans les systèmes d'entrepôt robotisé cellulaire
1368arXiv cs.RO 

Livraison et collecte dynamiques multi-agents dans les systèmes d'entrepôt robotisé cellulaire

Une équipe de chercheurs publie sur arXiv (réf. 2606.05669, juin 2026) la première formalisation du problème de collecte et livraison multi-agents (MAPD) intégrant l'évolution dynamique des commandes dans les entrepôts robotisés à cellules (RCWS). Le constat de départ est un angle mort opérationnel connu: les algorithmes MAPD classiques supposent des tâches figées, alors que dans la réalité industrielle, de nouvelles références (SKU) s'ajoutent à une commande pendant son exécution. Pour y répondre, les auteurs proposent deux algorithmes de replanification en ligne déclenchés par événements, construits sur le paradigme du token passing. Le premier, Dynamic Token Passing (DTP), effectue une replanification localisée à chaque mise à jour via une décomposition add-order et un ordonnancement prioritaire des accès, tout en garantissant l'absence de collisions entre robots. Le second, Cooperative Token Passing (CTP), mobilise en plus les robots inactifs pour absorber opportunément les nouveaux pickups ajoutés en cours d'exécution. Des simulations en environnement RCWS montrent une réduction significative du flowtime de commandes par rapport aux baselines statiques et non coopératives, sans que les auteurs ne publient de chiffres précis à ce stade. L'enjeu pour les intégrateurs d'entrepôts automatisés est direct: toute modification de commande en cours force aujourd'hui soit une replanification globale coûteuse en temps de calcul, soit une dégradation de la qualité de service. Ce travail comble pour la première fois l'écart entre la littérature académique sur le MAPD et les contraintes opérationnelles réelles des ERP industriels. Le mécanisme coopératif du CTP est particulièrement notable: il exploite la capacité oisive des flottes denses plutôt que de relancer un planning complet, remettant en question l'hypothèse selon laquelle la planification statique par vagues suffit aux RCWS commerciaux actuels. Le token passing est un paradigme bien établi dans la recherche en planification multi-agents (MAPF), notamment autour des travaux de Sven Koenig. Son application aux RCWS cible des architectures déployées par AutoStore (Norvège), Ocado Technology et Hai Robotics, ainsi que par l'acteur français Exotec (Villeneuve-d'Ascq) avec son système Skypod, dont les configurations à grille dense concentrent des centaines de robots sur un volume compact. Ces environnements sont précisément ceux où la coordination dynamique devient critique à mesure que les densités de flotte augmentent. Ce travail reste à ce stade une contribution académique sans déploiement ni partenariat industriel annoncé; la prochaine étape logique serait une validation sur environnement physique et une intégration avec des WMS industriels existants.

UEExotec (Villeneuve-d'Ascq), dont le système Skypod est explicitement cité comme architecture cible, pourrait bénéficier de ces algorithmes si intégrés dans un WMS industriel, renforçant sa compétitivité face à AutoStore et Ocado dans les entrepôts à haute densité de flotte.

RecherchePaper
1 source
LadderMan : apprentissage de l'escalade d'échelles par un humanoïde perceptif
1369arXiv cs.RO 

LadderMan : apprentissage de l'escalade d'échelles par un humanoïde perceptif

Des chercheurs ont publié le 5 juin 2026 sur arXiv (preprint 2606.05873) un système baptisé LadderMan, conçu pour permettre à des robots humanoïdes de grimper des échelles de géométries variées et d'effectuer des tâches de manipulation en position perchée. L'architecture repose sur un pipeline d'apprentissage en deux étapes : une phase de suivi de mouvement hybride extrait plusieurs politiques d'escalade expertes à partir d'une seule motion de référence, puis une phase de distillation fusionne ces experts en une politique visuomotrice unifiée, pilotée par caméra de profondeur, via une combinaison d'imitation et de renforcement. Pour combler l'écart simulation-réel sur la perception de profondeur, l'équipe exploite des modèles de vision fondationnels. La manipulation en hauteur est gérée par une formulation dite "dual-agent" : un agent dédié à la stabilité sur l'échelle, un autre à la manipulation, avec télé-opération comme signal superviseur. Les expériences rapportent un transfert zéro-shot vers le hardware réel, sans fine-tuning supplémentaire. L'escalade d'échelle constitue l'un des tests les plus discriminants pour les humanoïdes : les points d'appui sont rares et fixes, la coordination corps entier est critique, et la moindre erreur de perception ou de contrôle peut provoquer une chute. Le transfert zéro-shot réussi de la simulation au réel est ici le résultat le plus significatif : il suggère que les modèles de vision fondationnels permettent d'atténuer suffisamment le sim-to-real gap sur des tâches perceptivo-motrices contraintes, une hypothèse longtemps débattue dans la communauté. La capacité à manipuler des objets depuis une position instable ouvre des perspectives concrètes pour l'inspection industrielle, la maintenance en hauteur et les chantiers de construction. Il convient cependant de souligner qu'il s'agit d'un preprint de recherche, non d'un produit commercialisé, et que les vidéos publiées sur ladderman-robot.github.io restent sélectionnées par les auteurs. Ce travail s'inscrit dans une vague active de recherche poussant les humanoïdes vers des environnements contraints et à risque élevé. Aucune entreprise commerciale n'est identifiée dans le preprint, ce qui suggère une origine académique. Sur le plan concurrentiel, aucun constructeur humanoïde majeur, ni Boston Dynamics (Atlas), ni Figure (Figure 03), ni Tesla (Optimus Gen 3), ni Agility Robotics (Digit), n'a à ce jour publié de démonstration d'escalade d'échelle à ce niveau de robustesse et de transfert zéro-shot. Les prochaines étapes logiques seraient un test sur une gamme plus large de robots humanoïdes commerciaux et une intégration de la manipulation autonome, sans télé-opération.

RecherchePaper
1 source
CLAW : apprentissage de modèles du monde à actions latentes continues par régularisation latente adversariale
1370arXiv cs.RO 

CLAW : apprentissage de modèles du monde à actions latentes continues par régularisation latente adversariale

Des chercheurs ont publié sur arXiv (2606.04130) un cadre d'apprentissage auto-supervisé baptisé CLAW (Continuous Latent Action World Models via Adversarial Latent Regularization), conçu pour apprendre simultanément un modèle du monde et des représentations d'actions latentes continues à partir de vidéos non annotées. La méthode ne nécessite aucun label d'action : elle s'appuie sur une régularisation adversariale des représentations latentes et sur la génération vidéo par diffusion pour inférer une structure sémantique des actions directement depuis les transitions visuelles observées. Le modèle d'action latente (LAM) et le modèle du monde sont entraînés conjointement en bout en bout, permettant au système de raisonner sur la façon dont les actions inférées induisent des transitions dans l'environnement. CLAW supporte deux modes d'utilisation : le clonage comportemental par imitation depuis l'observation, où les actions latentes extraites de vidéos brutes suffisent à reproduire un comportement, et la planification dirigée par objectif, où le système génère des séquences d'actions latentes puis les mappe vers des actions exécutables. L'enjeu central ici est l'accès aux données. La robotique souffre d'un déficit chronique de données d'entraînement annotées avec des paires (observation, action), car les capteurs proprioceptifs et la capture de mouvement sont coûteux. CLAW ouvre la voie à l'exploitation de vidéos tierces non instrumentées, comme des démonstrations humaines filmées ou des contenus web, pour entraîner des politiques et des planificateurs. Si les résultats se confirment hors laboratoire, cela réduit drastiquement le coût de collecte de données pour les intégrateurs robotiques et les équipes d'ingénierie travaillant sur le transfer sim-to-real. Les auteurs rapportent des performances supérieures aux méthodes existantes sur des tâches variées et plusieurs morphologies robotiques, bien que les benchmarks spécifiques et les métriques quantitatives détaillées ne soient pas accessibles dans l'abstract seul. CLAW s'inscrit dans un courant de recherche actif sur les modèles d'actions latentes (LAM), dont les travaux fondateurs incluent LAPO et des approches basées sur des modèles de dynamique inversale (IDM). Il se distingue en combinant génération par diffusion et régularisation adversariale là où ses prédécesseurs utilisaient souvent des encodeurs déterministes ou des VQ-VAE. Les concurrents directs dans l'espace des world models pour la robotique comprennent UniSim (Google DeepMind), GAIA-1 (Wayve) côté génération vidéo, et des approches VLA comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) côté politique. CLAW se positionne en amont de ces pipelines, comme brique d'apprentissage de représentation plutôt que comme politique complète. Les prochaines étapes naturelles seront une validation sur des environnements physiques réels et l'intégration dans des boucles de fine-tuning pour des robots humanoïdes ou manipulateurs.

IA physiqueOpinion
1 source
Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique
1371arXiv cs.RO 

Apprentissage par renforcement avec supervision humaine calibré sur les préférences pour la manipulation robotique

Une équipe de chercheurs publie dans un préprint arXiv daté du 3 juin 2026 PACT (Preference-calibrated Actor-Critic Training), un cadre d'apprentissage par renforcement avec supervision humaine (HIL-RL) pour la manipulation robotique. Le problème ciblé est connu : quand un opérateur reprend la main pour corriger le robot, les trajectoires collectées contiennent des segments suboptimaux que les méthodes actuelles propagent indistinctement dans le calcul des récompenses, surestimant les Q-valeurs et biaisant la politique vers des comportements sous-performants. PACT introduit un modèle de progression entraîné sur des démonstrations humaines pour identifier ces segments défaillants, puis construit des paires de préférence entre l'action correctrice humaine et l'action rééchantillonnée de la politique au même état d'intervention. Cette comparaison génère un avantage contrefactuel qui pénalise les cibles de Bellman sur les segments suboptimaux, complété par un alignement direct de la politique sur les actions correctives dans l'espace des moyennes bornées. Sur cinq tâches de manipulation réelle-robot, PACT affiche une amélioration moyenne du taux de succès de 24,5 % et une convergence 1,3 fois plus rapide que les méthodes HIL-RL de référence. Le code est disponible en open source sur dépôt GitHub anonymisé. Ces résultats s'attaquent à un goulot d'étranglement pratique du HIL-RL : la supervision humaine améliore l'efficacité en échantillons, mais introduit du bruit quand les corrections arrivent après plusieurs actions déjà incorrectes. En extrayant les signaux de préférence implicitement des interventions, sans annotation post-hoc coûteuse, PACT permet à un opérateur non-expert d'intervenir naturellement pendant l'entraînement sans dégrader la qualité des données. La convergence accélérée réduit directement le temps d'adaptation sur de nouvelles tâches, un facteur critique pour le déploiement en environnements industriels variables. Le HIL-RL s'appuie sur des travaux fondateurs comme DAgger (Ross et al., 2011) et IWR (Mandlekar et al., 2020), complétés par des variantes comme HG-DAgger, qui pondèrent les transitions différemment sans toutefois distinguer explicitement les segments suboptimaux. PACT se positionne comme une extension ciblée de cette famille. La manipulation robotique est par ailleurs traversée par les approches VLA (Vision-Language-Action), comme pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui misent sur la généralisation zero-shot, une stratégie complémentaire plutôt qu'opposée au fine-tuning supervisé par intervention humaine. Le préprint, non encore peer-reviewed, ne mentionne ni partenaires industriels ni calendrier de déploiement ; la distance entre banc de test robotique de laboratoire et production industrielle reste entière.

UEImpact indirect : ce cadre HIL-RL open-source pourrait accélérer les travaux des équipes européennes de robotique industrielle cherchant à réduire le coût d'adaptation de robots à de nouvelles tâches en production.

RecherchePaper
1 source
GN0 : vers un paradigme unifié pour la génération, l'évaluation et l'apprentissage de politiques en navigation visuo-langagière
1372arXiv cs.RO 

GN0 : vers un paradigme unifié pour la génération, l'évaluation et l'apprentissage de politiques en navigation visuo-langagière

Une équipe de chercheurs publie GN0 (arXiv:2606.03682, juin 2026), un cadre unifié de navigation robotique visuo-linguistique (VLN) structuré autour de trois contributions complémentaires. La première est GN-Matrix, un jeu de données de navigation 3D massif généré automatiquement via un moteur 3D Gaussian Splatting (3DGS), conçu pour pallier la pénurie de données d'entraînement du domaine. La deuxième est GN-Bench, présenté comme le premier benchmark en vue à vol d'oiseau (BEV) intégrant des avatars humains dynamiques en 3DGS pour évaluer les interactions homme-robot en navigation. La troisième est BAE (Break and Establish), un modèle de navigation par apprentissage par renforcement (RL) qui enchaîne apprentissage supervisé, DAgger (agrégation de trajectoires réelles pour sortir des distributions d'experts étroites) et exploration RL. Sur GN-Bench et le benchmark VLN-CE, GN-BAE surpasse les méthodes VLN de l'état de l'art selon les auteurs, sans que les conditions exactes des comparaisons soient détaillées dans le résumé. Le principal apport technique est la formalisation d'une mémoire spatiale compacte en BEV construite à partir de rendus 3DGS haute fidélité, exploitant le raisonnement spatial latent des grands modèles visuels-linguistiques (VLM). L'approche unifie dans un seul modèle de fondation des tâches avec et sans carte préétablie, suivre des instructions, escorter un humain, atteindre un objectif, ce qui contraste avec les pipelines fragmentés habituels du domaine. Si les résultats se confirment en conditions réelles, cela représente un pas concret vers des agents mobiles généraux capables de naviguer dans des environnements non cartographiés, une promesse centrale des robots de service et des AMR de nouvelle génération. La navigation visuo-linguistique est un champ actif depuis les benchmarks R2R (Anderson et al., 2018) et VLN-CE (Krantz et al., 2020). Les approches récentes exploitent des VLM tels que CLIP ou LLaVA pour relier instructions en langage naturel et perception visuelle, mais peinent sur les longues distances et dans des espaces non vus. Côté industrie, Boston Dynamics, Unitree ou les startups AMR intègrent progressivement la navigation sémantique sans publier de systèmes open-research comparables. En Europe, INRIA et des projets Horizon Europe explorent des directions proches. GN0 reste cependant une contribution académique en preprint sans partenaire industriel ni déploiement annoncé, ce qui invite à réserver le jugement sur le passage de la simulation au monde réel.

UEINRIA et des projets Horizon Europe explorent des directions proches en navigation visuo-linguistique, mais GN0 reste un preprint académique sans déploiement ni partenariat industriel européen annoncé.

RechercheOpinion
1 source
Quand le transfert simulation-réel nuit à l'apprentissage des politiques de contrôle, et comment y remédier
1373arXiv cs.RO 

Quand le transfert simulation-réel nuit à l'apprentissage des politiques de contrôle, et comment y remédier

Une équipe de chercheurs publie sur arXiv (référence 2606.02636) un article qui remet en question une hypothèse centrale de la robotique moderne : l'idée que maximiser les efforts de transfert simulation-vers-réel (sim2real) améliore systématiquement l'apprentissage de politiques de contrôle. Leur diagnostic identifie deux effets négatifs concrets : un phénomène de "simulator lock-in", où les politiques restent prisonnières des hypothèses du simulateur, et une exploration appauvrie pendant l'entraînement, résultat des contraintes imposées prématurément par la compatibilité hardware. L'enjeu pour la communauté robotique est direct. Si la thèse tient, cela signifie que des pans entiers de la recherche sim2real ont optimisé le mauvais objectif : en voulant rapprocher la simulation du monde réel dès l'entraînement, on sacrifie la liberté d'exploration que la simulation est précisément supposée offrir. Cela concerne en priorité les équipes développant des politiques pour humanoïdes et les architectures Vision-Language-Action (VLA), où la qualité et la diversité des données de simulation sont déterminantes pour généraliser en déploiement réel. En réponse, les auteurs proposent un paradigme en deux étapes qu'ils appellent sim2sim2real : une première simulation sans contraintes réelles maximise l'exploration des comportements, puis un second transfert vers une simulation contrainte par la cinématique du robot prépare le passage au hardware. La seule limite imposée dès le départ est donc géométrique, pas physique. Cette approche s'inscrit dans la lignée du domain randomization et du curriculum learning, mais formalise explicitement la séparation des objectifs d'exploration et de transfert. À ce stade, l'article est un preprint sans validation expérimentale publiée.

RecherchePaper
1 source
Humanoid-GPT : mise à l'échelle des données et de la structure pour le suivi de mouvement zéro-shot
1374arXiv cs.RO 

Humanoid-GPT : mise à l'échelle des données et de la structure pour le suivi de mouvement zéro-shot

Une équipe de chercheurs présente Humanoid-GPT, un Transformer de style GPT avec attention causale, entraîné sur un corpus de 2 milliards de frames de capture de mouvement pour le contrôle du corps entier de robots humanoïdes. Publiée en juin 2026 sur arXiv (preprint, non encore évaluée par les pairs), l'étude décrit un pré-entraînement sur un corpus retargeté qui unifie l'ensemble des jeux de données mocap publics majeurs et des enregistrements internes à grande échelle. L'objectif central est la généralisation zero-shot: le modèle doit suivre des mouvements hautement dynamiques et s'adapter à des tâches de contrôle inédites sans réentraînement spécifique. L'approche s'attaque au compromis agility-generalization qui bride les trackers MLP peu profonds, architecture dominante jusqu'ici mais limitée par la rareté des données d'entraînement. En scalant simultanément les données et la capacité du modèle, Humanoid-GPT prétend résoudre ces deux dimensions avec un unique modèle génératif. Si ces résultats se confirment à la validation indépendante, le résumé restant vague sur les benchmarks exacts et les conditions expérimentales, cela réduirait concrètement le coût de déploiement pour les intégrateurs de systèmes humanoïdes qui doivent aujourd'hui entraîner des politiques séparées pour chaque tâche ou morphologie de robot. Cette contribution s'inscrit dans la tendance au scaling des politiques de contrôle humanoïde: NVIDIA avec GR00T N2, Physical Intelligence avec pi-0 et pi-0.5, ou Berkeley Humanoid ont chacun montré que les Transformers absorbent massivement des données de démonstration pour produire des politiques plus généralisables. Humanoid-GPT se positionne spécifiquement sur le motion tracking en amont des pipelines d'action, plutôt que sur la manipulation de bout en bout. L'absence d'affiliation institutionnelle visible dans le résumé et la nature preprint du document invitent à la prudence sur les affirmations de "new performance frontier"; les benchmarks comparatifs et la revue par les pairs seront déterminants pour l'adoption dans la communauté.

IA physiqueOpinion
1 source
Planification de mouvement en environnements dynamiques : panorama des méthodes classiques aux approches modernes
1375arXiv cs.RO 

Planification de mouvement en environnements dynamiques : panorama des méthodes classiques aux approches modernes

Une revue systématique publiée sur arXiv (arXiv:2606.02677) recense et analyse 138 travaux sur la planification de mouvement en environnements dynamiques, publiés principalement entre 2015 et 2025. Les auteurs classifient les approches en cinq familles : méthodes par échantillonnage (type RRT), recherche sur graphe (A, D*), contrôle prédictif par modèle (MPC), apprentissage automatique (supervisé et par renforcement), et méthodes locales classiques regroupant obstacles de vitesse (velocity obstacles), champs de potentiel et fenêtres dynamiques. La revue intègre également la perception dynamique, couvrant la détection et la modélisation d'obstacles mobiles à partir de caméras, LiDAR et capteurs à événements (event-based sensors). Pour les chercheurs et praticiens, ce survey comble un angle mort réel : la littérature disposait de nombreuses synthèses sur la planification en environnements statiques, mais les revues ciblant spécifiquement les environnements dynamiques restaient rares et non systématiques. Les auteurs soulèvent trois défis que les benchmarks classiques sous-capturent : l'incertitude de prédiction des trajectoires d'obstacles tiers, la dynamique de l'interaction humain-robot, et le "freezing robot problem", phénomène où un robot se paralyse face à des flux humains denses, verrou concret pour tout déploiement en entrepôt peuplé, en hôpital ou en espace public. La grille de lecture proposée aide les intégrateurs à choisir une famille de méthodes selon leurs contraintes de latence, de prévisibilité et de disponibilité des données d'entraînement. La planification de mouvement dynamique concentre aujourd'hui les efforts des équipes mobilité dans des contextes aussi variés que les AMR d'entrepôt, les plateformes humanoïdes en déploiement industriel et les véhicules autonomes en milieu urbain. Le domaine est traversé par une tension structurante entre méthodes classiques, interprétables et certifiables mais rigides face aux scénarios non anticipés, et approches par apprentissage, plus adaptables mais encore fragiles face au sim-to-real gap et en dehors de la distribution d'entraînement. Ce survey paraît à un moment où les VLA (visual-language-action models) et les politiques RL commencent à être évalués à l'échelle réelle, rendant une taxonomie claire d'autant plus utile pour situer les nouvelles contributions. Les auteurs identifient la robustesse à l'incertitude prédictive et la généralisation hors distribution comme principaux axes de recherche ouverts.

RecherchePaper
1 source
OneVLA : un cadre unifié pour les tâches d'IA incarnée
1376arXiv cs.RO 

OneVLA : un cadre unifié pour les tâches d'IA incarnée

Une équipe de recherche a publié fin mai 2026 sur arXiv (référence 2606.01241) un modèle baptisé OneVLA, présenté comme une architecture unifiée Vision-Langage-Action (VLA) capable de gérer à la fois la navigation autonome et la manipulation d'objets au sein d'un seul et même réseau. Le principe central repose sur une tête d'action commune qui génère des commandes de déplacement et des gestes de manipulation sans module séparé ni variante spécialisée selon la tâche. L'entraînement suit une stratégie progressive en plusieurs étapes, avec construction de jeux de données curés et un fine-tuning par Chain-of-Thought (CoT) visant à créer un transfert positif entre les deux domaines. Les expériences rapportées couvrent des environnements simulés et réels, et les auteurs affirment surpasser les modèles spécialisés à tâche unique ainsi que les approches cross-task existantes. Le code source et les poids du modèle sont annoncés comme devant être rendus publics, sans date précisée. L'enjeu est structurel pour le secteur : la quasi-totalité des VLA actuellement déployés ou publiés restent monolithiques par domaine. Pi-0 de Physical Intelligence excelle en manipulation dextère, GR00T N2 de NVIDIA intègre des capacités de navigation mais avec des têtes d'action distinctes, et la plupart des agents issus des travaux RT-X ou OpenVLA ne combinent pas les deux modalités de façon cohérente. Un modèle qui transfère positivement entre navigation et manipulation éviterait aux équipes d'intégration de maintenir deux pipelines d'inférence séparés, un coût opérationnel significatif en production. Le CoT appliqué à la planification motrice est également notable : il indique que le raisonnement symbolique peut renforcer la généralisation comportementale, une hypothèse jusqu'ici difficile à valider à l'échelle réelle. Ce travail s'inscrit dans une tendance de fond amorcée depuis 2024 vers les architectures dites "fondation" pour la robotique généraliste. Les limitations à signaler : il s'agit d'un preprint sans revue par les pairs, les benchmarks précis de performance (taux de succès par scénario, temps de cycle, conditions d'éclairage ou de charge) ne sont pas détaillés dans l'abstract, et aucune institution commerciale ni déploiement industriel n'est mentionné. Les prochaines étapes naturelles seraient la publication du code pour permettre une évaluation indépendante, ainsi qu'une validation sur plateformes humanoïdes réelles, là où la fusion navigation-manipulation est la plus critique pour des cas d'usage entrepôt ou logistique.

IA physiqueOpinion
1 source
PHASOR : représentations d'actions universelles ancrées en phase pour les humanoïdes
1377arXiv cs.RO 

PHASOR : représentations d'actions universelles ancrées en phase pour les humanoïdes

Une équipe de chercheurs a publié sur arXiv (2606.01851) PHASOR, un cadre de représentation d'actions conçu pour l'apprentissage de politiques sur robots humanoïdes. Le problème ciblé est fondamental : les méthodes actuelles produisent des espaces latents opaques, non structurés et liés à une plateforme spécifique. PHASOR exploite la périodicité intrinsèque du mouvement en le factorisant en deux composantes : un manifold de phase capturant les structures cycliques via des coefficients FFT (transformée de Fourier rapide), et une branche de pose conditionnant ce manifold sur les configurations non périodiques. Combiné à une distillation de sémantique de mouvement, le système produit un espace de représentations agnostique à l'embodiment, pré-entraîné sur des données de mouvement humain et transférable à plusieurs plateformes humanoïdes de morphologies différentes. L'enjeu industriel est direct. Les architectures actuelles obligent à ré-entraîner les politiques à chaque changement de plateforme matérielle, un coût élevé pour les intégrateurs gérant des flottes hétérogènes. PHASOR traite l'espace d'embedding d'actions comme un objet de conception à part entière : la qualité de la politique émerge de la qualité de la représentation. Les résultats publiés montrent des gains cohérents sur les tâches robotiques en aval et une forte capacité de récupération cross-embodiment, c'est-à-dire qu'un mouvement appris sur un robot peut être retrouvé et transféré à un autre. Il s'agit toutefois d'un preprint sans revue par les pairs, ce qui invite à rester prudent sur la portée des benchmarks présentés. La question du transfert inter-embodiment est au coeur de la compétition humanoïde. Figure AI (Figure 03), Tesla (Optimus Gen 3), Physical Intelligence (pi0), NVIDIA (GR00T N2) et Agility Robotics développent chacun des architectures de politiques rarement compatibles entre elles. Des travaux comme RT-2 ou OpenVLA avaient montré l'utilité du pré-entraînement sur données humaines pour la vision et le langage, mais l'espace d'actions restait un angle mort. PHASOR s'attaque directement à ce manque. Les prochaines étapes naturelles passeraient par une validation sur plateformes physiques, Unitree H1/H2 ou Apollo d'Apptronik en tête, et une confrontation avec des benchmarks standardisés comme HumanoidBench.

IA physiquePaper
1 source
Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique
1378arXiv cs.RO 

Tau-zéro WM : un modèle du monde vidéo-action unifié pour la manipulation robotique

Des chercheurs ont déposé le 1er juin 2026 sur arXiv (réf. 2606.01027) τ₀-WM (tau-zéro World Model), une architecture unifiée vidéo-action pour la manipulation robotique. Le modèle repose sur un backbone de diffusion vidéo partagé qui intègre simultanément apprentissage de politique, prédiction vidéo et évaluation d'actions au sein d'un même cadre prédictif. Il expose deux interfaces complémentaires : un modèle d'action vidéo qui prédit conjointement des représentations visuelles latentes futures et des séquences d'actions continues à partir d'observations multi-caméras, d'instructions en langage naturel et de l'état courant du robot ; et un simulateur vidéo conditionné sur l'action, capable de dérouler des séquences candidates en projections multi-vues tout en attribuant des scores denses de progression de tâche. L'entraînement porte sur environ 27 300 heures de données combinant téléopération réelle, interactions de style UMI (Universal Manipulation Interface, protocole de collecte de données en bimanuel développé par Stanford), vidéos égocentrées humaines, et trajectoires de succès comme d'échecs. L'intérêt principal réside dans la convergence entre politique et modèle de monde au sein d'une architecture commune. Les VLA (Vision-Language-Action models) actuels génèrent des actions sans anticiper leurs conséquences, laissant la gestion des erreurs à des modules séparés. τ₀-WM introduit un mécanisme de rectification à l'inférence : le simulateur évalue chaque séquence candidate via un score dense de progression, et les candidats jugés insuffisants sont corrigés par re-débruitage. Ce test-time scaling structuré pourrait réduire les interventions humaines sur des tâches longue durée, un enjeu clé pour les intégrateurs industriels qui peinent encore à déployer des robots autonomes sur des séquences de plus de quelques étapes. Sur les benchmarks de manipulation fine et longue séquence, les auteurs déclarent surpasser les baselines comparables, sans préciser les conditions expérimentales ni les contraintes matérielles testées. Ce travail s'inscrit dans une course engagée depuis fin 2024 entre Physical Intelligence (pi-0), NVIDIA (GR00T N2) et Figure (Helix) pour des architectures VLA à grande échelle, mais rares sont celles qui intègrent simulation interne et évaluation d'action dans un seul modèle plutôt que dans un pipeline découplé. L'usage de données UMI signale une stratégie d'agrégation multi-source qui dépasse les corpus propriétaires et pourrait favoriser la généralisation à de nouveaux environnements. Le papier reste pour l'instant un preprint non soumis à revue par les pairs : les performances annoncées restent à valider sur robot physique en conditions réelles, et aucune date de déploiement ou partenariat industriel n'est mentionné.

IA physiqueOpinion
1 source
GIFT : transfert fonctionnel induit par la géométrie pour la manipulation d'objets par catégorie
1379arXiv cs.RO 

GIFT : transfert fonctionnel induit par la géométrie pour la manipulation d'objets par catégorie

Des chercheurs ont publié sur arXiv (2503.15371v2) un framework de transfert de compétences robotiques baptisé GIFT (Geometry-Induced Functional Transfer), conçu pour permettre à un robot de reproduire des manipulations complexes à partir d'une seule démonstration humaine. Le système s'appuie sur le cadre des Cartes Fonctionnelles (Functional Maps, FMC), une technique issue de la géométrie computationnelle, pour extraire des représentations centrées sur les interactions objet-environnement. Une fois ces fonctions d'interaction cartographiées, le robot peut les transférer à des objets de topologie similaire, même si leurs formes diffèrent significativement. Pour générer des trajectoires fluides respectant les contraintes de la démonstration, GIFT intègre l'interpolation par vis (ScLERP, Screw Linear Interpolation). Aucun réentraînement n'est requis : le système s'adapte à de nouveaux environnements directement à l'inférence, validé sur des configurations réelles sans données supplémentaires. L'enjeu industriel est concret. La manipulation d'objets inconnus reste l'un des principaux goulots d'étranglement de la robotique de service et de logistique : chaque nouvelle catégorie d'objet exige aujourd'hui des données d'entraînement supplémentaires ou une reprogrammation manuelle, ce qui alourdit considérablement le coût de déploiement. Un framework one-shot capable de généraliser à travers des catégories d'objets sans réentraînement réduirait le temps de mise en production de façon significative. GIFT s'attaque à ce problème en prouvant qu'une représentation géométrique bien choisie peut absorber la variabilité de forme, offrant une alternative aux approches Vision-Language-Action (VLA) comme Pi-0 de Physical Intelligence ou RT-2 de Google DeepMind, qui nécessitent des volumes de données considérables. Les Functional Maps sont une technique mature en traitement de surfaces 3D, mais leur application au transfert de compétences robotiques reste récente. Ce travail s'inscrit dans un mouvement plus large visant à réduire le data gap de la manipulation, aux côtés d'approches comme ACT (Stanford), DexCap ou UMI, qui explorent également le few-shot learning pour des tâches de manipulation fine. La publication est à ce stade un preprint arXiv (soumis en mars 2025, v2 en remplacement), sans partenaire industriel annoncé ni métrique de cycle time publiée. L'absence de comparatifs quantitatifs avec des baselines VLA laisse ouverte la question de la robustesse à grande échelle.

RecherchePaper
1 source
Représentation hiérarchique des objets pour la perception spatiale des robots : points, maillages et superquadriques
1380arXiv cs.RO 

Représentation hiérarchique des objets pour la perception spatiale des robots : points, maillages et superquadriques

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.01545) un pipeline de représentation hiérarchique des objets pour la perception spatiale des robots, baptisé Hickory et disponible en open source. Le système organise la scène en quatre couches progressives : données brutes de capteurs RGB-D, nuages de points partiels, maillages 3D denses, puis primitives analytiques appelées superquadriques, des formes géométriques paramétriques capables de modéliser objets convexes et concaves avec un nombre réduit de paramètres. Cette architecture s'intègre dans le cadre des 3D Scene Graphs (3DSG), représentations hiérarchiques combinant informations métriques, sémantiques et topologiques utilisées pour l'autonomie longue durée des robots. Les expériences ont été conduites sur quatre jeux de données de référence (HOPE, ReplicaCAD, Kimera-Multi, NUS Campus Dataset), le dernier étant collecté avec un robot quadrupède Unitree B2 en environnement extérieur réel. L'apport concret réside dans deux lacunes comblées simultanément. Premièrement, les méthodes existantes de 3DSG utilisent des représentations géométriques simplistes, boîtes englobantes ou nuages de points partiels, insuffisantes pour la planification de trajectoire en environnement dense et encombré. Les superquadriques permettent ici une vérification analytique des collisions, plus rapide et plus précise que les méthodes volumétriques classiques. Deuxièmement, sur la tâche d'alignement de cartes (map alignment), critique pour la re-localisation multi-robot, le pipeline surpasse ROMAN, l'état de l'art actuel basé sur les objets. Pour un intégrateur déployant une flotte d'AMR en entrepôt, ou un équipementier embarquant de la navigation autonome, c'est un signal que la couche de représentation peut devenir un point de différenciation concret. Le travail s'inscrit dans une tendance de fond : enrichir les cartes métriques-sémantiques au-delà du simple voxel ou du bounding box. Des projets comme Khronos (MIT SPARK Lab) ou les travaux de Kimera ont posé les fondations des 3DSG ; Hickory pousse la granularité au niveau objet avec une couche analytique exploitable directement par un planificateur de mouvement. Les concurrents directs sur le créneau de la représentation objet compacte incluent les approches par ellipsoïdes (EllipsoidSLAM) et les Neural Radiance Fields objets (NeRF-based SLAM), mais ces derniers restent coûteux en inférence. Le code est public sur GitHub (perceptica-robotics/Hickory), ce qui facilite l'évaluation par des équipes tiers, à vérifier en conditions réelles de déploiement sur des scènes non contrôlées.

RecherchePaper
1 source
Voir, Planifier, Revenir en arrière : des modèles VLA sensibles à la progression pour une manipulation robotique robuste
1381arXiv cs.RO 

Voir, Planifier, Revenir en arrière : des modèles VLA sensibles à la progression pour une manipulation robotique robuste

Une équipe de chercheurs propose SPR (See, Plan, Rewind), un framework de type vision-language-action (VLA) conçu pour rendre la manipulation robotique plus robuste face aux échecs d'exécution. Publié sur arXiv (arXiv:2506.09292v2), le système découpe chaque tâche en sous-objectifs spatiaux intermédiaires, puis opère en boucle fermée selon trois étapes : observer l'état courant et le prochain jalon, planifier une trajectoire vers le waypoint 2D suivant, et rembobiner vers un état récupérable si la progression stagne. Sur le benchmark LIBERO, SPR dépasse la ligne de base MolmoAct de 5 points de pourcentage. Sur LIBERO-Plus, une variante plus exigeante qui introduit des instructions et des états initiaux inédits, SPR affiche la plus faible dégradation de performance parmi les modèles testés, surpassant OpenVLA-OFT et UniVLA sur les scénarios hors-distribution. Ce que SPR apporte concrètement, c'est un mécanisme de récupération d'erreur intégré qui ne nécessite ni données d'entraînement supplémentaires, ni modèle auxiliaire dédié. C'est un point non trivial : la plupart des systèmes VLA actuels échouent silencieusement quand la séquence d'actions diverge, sans capacité à détecter le blocage et à se repositionner. La mesure explicite du progrès par jalons intermédiaires permet ici au modèle de savoir où il en est dans la tâche, ce qui adresse directement l'un des verrous principaux du déploiement industriel : la robustesse à l'imprévu. Les résultats sur LIBERO-Plus constituent une validation partielle de la résistance hors-distribution, même si les benchmarks simulés restent éloignés des contraintes physiques réelles. Le domaine des VLA pour la robotique de manipulation connaît une accélération marquée depuis 2023, avec des modèles comme RT-2 (Google DeepMind), OpenVLA (Berkeley), et plus récemment UniVLA et les variantes OFT d'OpenVLA. SPR se positionne dans ce paysage en ajoutant une couche de monitoring de progression là où ses concurrents restent en boucle ouverte ou délèguent la récupération à des modules séparés. Aucun déploiement physique ni partenariat industriel n'est mentionné dans ce preprint : il s'agit d'une contribution de recherche académique, avec des validations entièrement en simulation. La prochaine étape naturelle serait une évaluation sur robot physique pour quantifier le sim-to-real gap que les chiffres LIBERO ne permettent pas de mesurer.

RechercheOpinion
1 source
Trans2Occ : estimation de l'occupation en voxels et préhension d'objets transparents par transfert simulation-réel
1382arXiv cs.RO 

Trans2Occ : estimation de l'occupation en voxels et préhension d'objets transparents par transfert simulation-réel

Des chercheurs ont publié début juin 2026 sur arXiv (arXiv:2606.01777) un framework baptisé Trans2Occ, conçu pour permettre à un bras robotique de percevoir et saisir des objets transparents à partir d'une unique image RGB, sans capteur de profondeur ni caméra supplémentaire. Le coeur du système convertit cette image en une représentation volumétrique par voxels, c'est-à-dire une estimation 3D de l'espace occupé par l'objet, directement exploitable pour calculer une stratégie de préhension. Pour entraîner le modèle à grande échelle, les auteurs ont construit un pipeline de simulation générant automatiquement des paires image/annotation de voxels sous des conditions variées de matériaux et d'éclairage. Le système est ensuite transféré tel quel vers un environnement réel, sans fine-tuning, et une règle de saisie déterministe construite sur la carte d'occupation permet d'atteindre des performances de préhension jugées fiables dans les expériences présentées. L'enjeu industriel est réel : les objets transparents (flacons en verre, contenants de laboratoire, pièces en polycarbonate) causent des échecs de perception systématiques avec les capteurs depth standards, qu'ils soient structurés-lumière ou ToF, en raison des phénomènes de réfraction et de réflexion. Les approches existantes contournent le problème via reconstruction multi-vues ou complétion de profondeur, deux méthodes difficiles à industrialiser par leurs exigences en calibration et en temps de cycle. Un pipeline mono-image RGB transférable sans adaptation domain-spécifique représenterait une simplification significative pour les intégrateurs de cellules de picking. Cela dit, les métriques présentées restent issues de conditions laboratoire contrôlées, et le passage à des scènes encombrées ou à des objets partiellement occultés n'est pas démontré dans cet article de recherche préliminaire. La manipulation d'objets transparents est un sous-problème persistant en robotique depuis les travaux ClearGrasp de Google (2019), qui introduisait la complétion de profondeur par réseau de neurones. D'autres approches comme KeyPose ou les méthodes fondées sur la polarimétrie ont proposé des alternatives mais restent difficiles à déployer hors laboratoire. Trans2Occ s'inscrit dans la tendance des représentations occupancy-based popularisées par les travaux en véhicules autonomes (Tesla Occupancy Networks, TPVFormer) et désormais transposées à la manipulation. L'absence de fine-tuning sim-to-real, si elle se confirme sur des benchmarks publics standardisés comme TOD ou TRANS, constituerait un argument sérieux pour une intégration industrielle. La prochaine étape logique serait une évaluation sur robot industriel en conditions semi-contrôlées, avec mesures de taux de succès de préhension sur des séries d'objets réels variés.

RecherchePaper
1 source
SSR : locomotion humanoïde stable et symétrique étendue au monde ouvert
1383arXiv cs.RO 

SSR : locomotion humanoïde stable et symétrique étendue au monde ouvert

Des chercheurs ont publié fin mai 2026 sur arXiv (preprint 2605.30770) un framework baptisé SSR, pour "Surefooted and Symmetric Robotics", destiné à la locomotion en environnement ouvert pour robots humanoïdes. L'approche est entièrement end-to-end et s'appuie sur la vision égocentrique (caméra embarquée sur le robot) pour guider le placement des pieds en temps réel sur des terrains hétérogènes. Le système a été validé expérimentalement sur escaliers à géométrie variable, plateformes surélevées, passages à larges écarts et parcours outdoor longue distance, des scénarios qui constituent précisément les points de rupture des pipelines classiques de locomotion bipedale. Aucune entreprise commerciale n'est mentionnée : il s'agit d'un travail académique, à ce stade sans déploiement industriel annoncé. SSR apporte trois contributions techniques distinctes. La première, "imagined foothold guidance", consiste à modéliser par anticipation les contacts futurs du pied en phase d'oscillation (swing phase) avant l'atterrissage, orientant le mouvement vers des zones de support stables et réduisant les glissades en bordure d'obstacle, un problème récurrent sur les robots qui réagissent uniquement au contact. La deuxième, une augmentation de symétrie dans l'espace latent par équivariance, force une coordination bilatérale cohérente (gauche-droite) même sous des observations visuelles haute dimension, ce que les méthodes classiques de data augmentation peinent à garantir. La troisième, des discriminateurs de mouvement spécialisés par type de terrain, pousse le robot vers des comportements anthropomorphes contextualisés plutôt qu'une démarche générique. Ces trois mécanismes adressent directement le "demo-to-reality gap" : la locomotion reste stable sans nécessiter de détection terrain explicite ni de carte métrique préétablie. Le problème de traversée en vision égocentrique pour humanoïdes a été abordé ces dernières années par plusieurs axes : les approches model-based (Boston Dynamics Atlas, avec planification explicite), les méthodes RL aveugles (Unitree H1, Agility Robotics Digit), et plus récemment les VLA (Vision-Language-Action) comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui cherchent à généraliser via des fondations préentraînées. SSR se positionne dans une voie intermédiaire, apprentissage de bout en bout sans modèle de terrain, mais sans large fondation multimodale. L'absence de chiffres de cycle time, de payload ou de taux de succès quantifiés dans l'abstract invite à la prudence avant d'évaluer la portée réelle ; les résultats complets sont dans le papier. Les prochaines étapes naturelles seraient un benchmark comparatif standardisé (type parkour DARPA ou ANYmal) et un pilote sur plateforme commerciale existante.

HumanoïdesPaper
1 source
Dialogue multi-agents à plusieurs tours pour la reconstruction collaborative améliore légèrement les performances des VLM en raisonnement spatial
1384arXiv cs.RO 

Dialogue multi-agents à plusieurs tours pour la reconstruction collaborative améliore légèrement les performances des VLM en raisonnement spatial

Une équipe de chercheurs a publié sur arXiv (identifiant 2605.31387) une étude évaluant les capacités des modèles vision-langage (VLM) dans des tâches de reconstruction collaborative en plusieurs tours de dialogue. Le protocole repose sur un cadre multi-agents où deux VLMs communiquent via le langage pour reconstruire une structure cible à partir d'entrées visuelles et textuelles. Les chercheurs ont testé des modèles open-weight et des modèles propriétaires selon plusieurs paramètres : modalités d'entrée, représentations d'image (entières ou décomposées), et formats de description de la cible. Résultat principal : les VLMs peinent à raisonner spatialement sur des représentations visuelles, et les gains obtenus grâce au dialogue multi-tours restent modestes. Le titre lui-même ne cache pas l'ambivalence : "improves VLM performance... but only barely". Ce résultat est significatif pour les équipes qui intègrent des pipelines VLM ou VLA (Vision-Language-Action) dans des systèmes robotiques. La recherche confirme que la compréhension spatiale visuelle, pourtant centrale pour des robots opérant en environnements non structurés, reste un point faible structurel des VLMs actuels. Fait notable pour les intégrateurs : les représentations textuelles détaillées de la structure cible surpassent systématiquement les représentations purement visuelles, quelle que soit la modalité testée. Autrement dit, pour une tâche d'assemblage collaboratif, une description sémantique structurée s'avère plus fiable que de laisser le modèle interpréter une image de référence. Les représentations d'images décomposées, où la scène est fragmentée en éléments distincts, améliorent les performances mais ne comblent pas l'écart. Ce travail s'inscrit dans un courant de recherche croissant autour des agents VLM pour la robotique collaborative, stimulé par des architectures comme RT-2 de Google DeepMind, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, qui font le pari que des VLMs pré-entraînés peuvent généraliser à des tâches robotiques complexes via du fine-tuning ou du prompting. L'étude nuance cet optimisme en exposant les limites actuelles du raisonnement spatial ancré (grounded), particulièrement dans des scénarios de dialogue interactif. Les pistes identifiées incluent l'amélioration des mécanismes de grounding spatial et le raffinement des représentations d'images dans les boucles de dialogue multi-agents, des axes qui intéressent directement les labos travaillant sur la manipulation en environnements non structurés.

RechercheActu
1 source
DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables
1385arXiv cs.RO 

DeMaVLA : un modèle fondation vision-langage-action (VLA) pour la manipulation de matériaux déformables

Des chercheurs ont publié DeMaVLA, un modèle fondation de type Vision-Langage-Action (VLA) conçu pour la manipulation d'objets déformables, en particulier le pliage de vêtements. Annoncé en preprint arXiv (2605.31286, mai 2026), DeMaVLA couple un backbone VLM à un module appelé "action expert" qui génère des trajectoires continues par flow matching. Pour réduire les coûts d'entraînement et d'inférence, cet action expert est construit en élaguant une couche transformer sur deux du backbone, tout en préservant l'alignement entre les deux modules. Le modèle est d'abord pré-entraîné sur environ 5 000 heures de démonstrations bimanuals en conditions réelles, puis affiné via un pipeline DAgger (Data Aggregation) avec supervision humaine : des trajectoires correctives sont collectées à partir des échecs du robot sur plusieurs tâches de pliage, puis réinjectées en entraînement. Les résultats sont compétitifs sur le benchmark RoboTwin et solides sur un benchmark maison de pliage domestique. La plupart des systèmes VLA actuels entraînent des politiques séparées par catégorie d'objet (un réseau pour les t-shirts, un autre pour les pantalons), ce qui limite la généralisation et alourdit la maintenance. DeMaVLA propose une politique unifiée capable de traiter des vêtements de géométries, matières et états initiaux variés sans réentraînement par catégorie, ce qui est directement pertinent pour les intégrateurs en robotique domestique et logistique. Le recours au DAgger avec boucle humaine est aussi un signal industriel : les corrections issues des échecs du robot, structurées et réinjectées, améliorent concrètement la robustesse au-delà des seules démonstrations expertes. Cela valide l'hypothèse que les données correctives à grande échelle sont un levier clé pour réduire le sim-to-real gap sur des tâches à haute variabilité. La manipulation d'objets déformables reste l'un des problèmes ouverts les plus difficiles en robotique physique : contrairement aux objets rigides, un vêtement n'a pas d'état canonique stable, ce qui complique radicalement la planification et la perception. Plusieurs équipes travaillent sur ce terrain : Physical Intelligence avec Pi-0 (manipulation généraliste bimanuels), NVIDIA avec GR00T N2, et divers laboratoires académiques (Columbia, CMU) sur la manipulation textile. DeMaVLA se positionne sur le créneau des fondations multi-tâches déformables, en combinant pré-entraînement à grande échelle et fine-tuning correctif. Ce travail reste un preprint non encore évalué par les pairs, et les benchmarks maisons appellent à une validation indépendante. Les suites naturelles sont l'extension à d'autres objets déformables (câbles, sacs souples) et l'évaluation sur des plateformes robotiques commerciales en environnement non contrôlé.

IA physiqueOpinion
1 source
EXACT-MPPI : navigation par distance signée pour robots à empreinte arbitraire depuis des nuages de points
1386arXiv cs.RO 

EXACT-MPPI : navigation par distance signée pour robots à empreinte arbitraire depuis des nuages de points

Des chercheurs ont publié sur arXiv (preprint 2605.29663) EXACT-MPPI, un framework de navigation locale sans entraînement pour robots au sol dont l'empreinte est non-convexe en raison de charges utiles, d'accessoires ou d'outils fixés à la plateforme. Le système cartographie directement des observations en nuage de points locaux vers des commandes de mouvement, sans grille d'occupation ni champ de distances intermédiaire. Son cœur est un évaluateur analytique de distance signée exacte, intégré dans un contrôleur MPPI (Model Predictive Path Integral) : l'empreinte du robot est décrite comme un polygone simple, convexe ou concave, avec une spécialisation rectangulaire pour les formes rectilinéaires. À chaque itération MPPI, les points d'obstacles observés sont transformés dans le repère du corps prédit et évalués contre ce polygone. Toutes les opérations sont vectorisées sous JAX pour exploiter le parallélisme GPU en temps réel. L'apport principal est l'élimination des approximations qui réduisent les trajectoires faisables : les planificateurs locaux courants simplifient l'empreinte par une enveloppe convexe ou l'inflatent, ce qui supprime des mouvements valides lorsque la clearance est comparable à la géométrie réelle. Les expériences montrent qu'EXACT-MPPI accélère l'évaluation des distances par lot par rapport aux baselines apprises de type point-à-robot, préserve des mouvements que les planificateurs à empreinte convexe refusent, et reste robuste face à des obstacles statiques et mobiles denses. Aucun entraînement, décomposition convexe, inflation ni encodeur appris n'est requis, ce qui simplifie considérablement le déploiement. Ce travail répond à un défi persistant dans les AMR industriels et agricoles : les robots réels portent des fourches, bras ou outils qui rendent l'empreinte irrégulière, mais la majorité des stacks de navigation supposent une géométrie simplifiée. EXACT-MPPI se déploie sur des plateformes à entraînement différentiel, Ackermann, omnidirectionnelles et hybrides en changeant uniquement la description de l'empreinte et le modèle de mouvement, sans réentraînement. Face aux approches neuronales concurrentes qui nécessitent des jeux de données spécifiques à chaque configuration, cet évaluateur analytique est plus facilement auditable et intégrable dans un pipeline industriel existant. La principale contrainte reste la dépendance à un accélérateur GPU pour le contrôle temps réel, un frein non négligeable pour les plateformes embarquées contraintes en énergie.

RecherchePaper
1 source
HumanoidMimicGen : génération de données pour la loco-manipulation par planification corps entier
1387arXiv cs.RO 

HumanoidMimicGen : génération de données pour la loco-manipulation par planification corps entier

Des chercheurs ont présenté HumanoidMimicGen (arXiv:2605.27724), une méthode de génération automatique de données d'apprentissage par imitation pour robots humanoïdes devant à la fois marcher et manipuler des objets. Le problème central: la téléopération pour collecter ces démonstrations est lente et coûteuse, particulièrement difficile pour des humanoïdes dont l'espace d'action composite intègre bras, jambes et torse simultanément. Le système adapte des compétences corps entier riches en contacts à partir d'un petit nombre de démonstrations sources vers de nouveaux états et configurations d'objets, en combinant planification de la locomotion et de la manipulation à un ou deux bras. Un benchmark de simulation en 9 tâches de loco-manipulation valide l'approche: les politiques visuomotrices co-entraînées avec les données générées surpassent de 20% celles entraînées uniquement sur des données réelles. La rareté des données d'entraînement reste le principal verrou au déploiement des humanoïdes en contexte industriel. Les méthodes existantes de génération de données, conçues pour bras fixes, échouent sur les humanoïdes en raison de la coordination complexe entre locomotion et manipulation dans un espace d'état de haute dimension. HumanoidMimicGen apporte un argument concret: multiplier automatiquement les démonstrations à partir de quelques exemples et gagner 20% sur les politiques apprises conteste directement l'hypothèse que les humanoïdes nécessitent obligatoirement des milliers d'heures de téléopération. Pour les décideurs industriels et les intégrateurs, c'est un signal que le goulot des données pourrait être levé par simulation, compressant potentiellement les cycles de développement. HumanoidMimicGen prolonge directement MimicGen, publié en 2023 pour des bras manipulateurs à base fixe. L'extension aux humanoïdes répond à la pression commerciale entre Figure (modèles 01, 02), Agility Robotics (Digit), 1X, Unitree (G1, H1) et Boston Dynamics (Atlas), tous en quête de méthodes d'apprentissage scalables sans exploser les budgets de téléopération. Du côté recherche, Physical Intelligence (pi0) et NVIDIA (GR00T N2) travaillent également sur des politiques visuomotrices corps entier généralisables. Ce travail demeure un résultat académique pré-publication sur arXiv, sans déploiement industriel annoncé et avec des expériences exclusivement en simulation. La robustesse du transfert sim-to-real, non abordée dans ce papier, constituera l'étape critique avant tout passage en conditions réelles.

RecherchePaper
1 source
Mag-VLA : modèle vision-langage-action pour la manipulation bimanuelle de microrobots à actionnement magnétique
1388arXiv cs.RO 

Mag-VLA : modèle vision-langage-action pour la manipulation bimanuelle de microrobots à actionnement magnétique

Des chercheurs proposent Mag-VLA, un modèle vision-langage-action (VLA) conçu pour piloter des microrobots à actionnement magnétique via deux bras robotiques équipés d'aimants permanents. Le système adapte le backbone Qwen2.5-VL-7B par fine-tuning LoRA pour traiter des observations visuelles et des instructions en langage naturel, puis générer des trajectoires coordonnées pour les deux bras simultanément dans un espace de travail partagé. Pour structurer le contrôle multi-étapes, l'architecture intègre un classificateur de phase sensible au mouvement et un décodeur ACT (Action Chunking Transformer) conditionné par cette phase. L'équipe a constitué un jeu de données de manipulation téléopérée couvrant trois configurations de difficulté croissante. En expérimentation réelle, Mag-VLA atteint 90 % de taux de succès à l'approche toutes tâches confondues, et des taux de transport de 80 %, 70 % et 50 % selon la complexité de la tâche. Ce résultat compte parce que les microrobots magnétiques sont des candidats sérieux pour la chirurgie mini-invasive, délivrance ciblée de médicaments, navigation vasculaire, ophtalmologie, mais leur pilotage reste difficile en raison de l'actionnement indirect, des capteurs limités et des interactions magnétiques non linéaires. Mag-VLA montre que le paradigme VLA, jusqu'ici évalué principalement sur des bras industriels ou des humanoïdes à l'échelle centimétrique, peut s'étendre au microscale. La coordination bimanuelle permet notamment la réorientation du microrobot, une opération difficilement réalisable avec un seul actionneur magnétique. Les études d'ablation du papier confirment que le décodeur ACT surpasse significativement les têtes d'action génératives alternatives, ce qui valide les choix architecturaux. Le contrôle de microrobots magnétiques est un axe de recherche actif depuis une quinzaine d'années, porté notamment par des groupes à l'ETH Zurich et au Max Planck Institute for Intelligent Systems, via des contrôleurs classiques ou de l'apprentissage par renforcement spécialisé, sans généralisation par langage naturel. L'essor des VLA macroscopiques comme pi0 de Physical Intelligence ou OpenVLA ouvre une voie transférable que Mag-VLA tente de valider à l'échelle micrométrique. Il s'agit pour l'instant d'un preprint académique (arXiv 2605.28486), sans partenaire industriel ni horizon de déploiement clinique annoncé. Les prochaines étapes logiques incluent des tests en milieu fluidique in vitro, la réduction de la latence du décodeur pour un contrôle temps réel, et la généralisation à un éventail plus large de géométries de microrobots.

UELe Max Planck Institute für Intelligente Systeme (Allemagne) est un acteur historique du contrôle de microrobots magnétiques ; une validation clinique de Mag-VLA renforcerait à terme la compétitivité européenne en chirurgie robotique mini-invasive, mais aucun déploiement ni partenaire industriel EU n'est annoncé à ce stade.

RechercheOpinion
1 source
PrimitiveVLA : apprentissage de primitives de mouvement réutilisables pour une manipulation robotique efficace et généralisable
1389arXiv cs.RO 

PrimitiveVLA : apprentissage de primitives de mouvement réutilisables pour une manipulation robotique efficace et généralisable

Des chercheurs ont publié le 28 mai 2026 sur arXiv (référence 2605.28634) PrimitiveVLA, un cadre d'apprentissage pour modèles VLA (Vision-Language-Action) ciblant deux faiblesses récurrentes de la robotique généraliste : l'inefficacité des données d'entraînement et la mauvaise généralisation à des tâches nouvelles. Le diagnostic des auteurs est structurel : les architectures VLA actuelles mappent directement les instructions vers des séquences de contrôle moteur, forçant le modèle à mémoriser des trajectoires entières spécifiques à chaque tâche, sans capitaliser sur des motifs de mouvement réutilisables. PrimitiveVLA propose à la place un paradigme "Disassemble & Assemble" centré sur les primitives : une pipeline automatisée décompose les démonstrations en unités de mouvement invariantes, encodées dans une Représentation Canonique Multimodale (MCR) partagée. À l'inférence, un planificateur VLM et un module de commutation généré par LLM assurent l'exécution en boucle fermée. Les expériences reportées montrent une meilleure efficacité des données et une généralisation zero-shot sur des tâches non vues et de longue durée. L'enjeu pour les intégrateurs et les décideurs industriels est immédiat : les modèles VLA généralistes exigent aujourd'hui des milliers de démonstrations par variation de tâche, rendant leur déploiement en production coûteux et peu flexible. Si l'approche par primitives réutilisables tient ses promesses, elle pourrait significativement réduire ce volume de données pour personnaliser un bras manipulateur sur une nouvelle ligne. La boucle fermée via le module de commutation LLM répond aussi à une faiblesse connue des politiques open-loop, sujettes à la dérive face à des imprévus. Ces résultats restent cependant à confirmer : il s'agit d'un preprint non encore soumis à évaluation par des pairs, sans validation hardware en conditions industrielles réelles. L'approche s'inscrit dans un courant de recherche sur la découverte de compétences composites (skill discovery en RL), ici appliqué aux architectures vision-langage-action. Elle entre en concurrence directe avec pi-0 de Physical Intelligence, OpenVLA, et les politiques de type Diffusion Policy, tous visant à améliorer la généralisation des manipulateurs à partir de peu de données. Aucun partenaire industriel ni site de déploiement n'est mentionné dans l'article, qui demeure une contribution académique pure. Les prochaines étapes naturelles seraient une validation sur hardware physique hors-laboratoire et une comparaison de sample efficiency avec pi-0 ou OpenVLA sur des benchmarks standardisés tels que LIBERO ou BridgeData.

IA physiqueOpinion
1 source
TCBiRRT : planification rapide de mouvement pour manipulateur spatial à deux bras couplés par expansion aléatoire dans l'espace des tâches
1390arXiv cs.RO 

TCBiRRT : planification rapide de mouvement pour manipulateur spatial à deux bras couplés par expansion aléatoire dans l'espace des tâches

Des chercheurs ont publié le 27 mai 2026 sur arXiv (identifiant 2605.27167) un algorithme de planification de mouvement baptisé TCBiRRT (Task-space Constrained Bidirectional Rapidly-exploring Random Tree), conçu pour les manipulateurs spatiaux bi-bras à chaîne cinématique fermée. Le problème visé est concret : lors de l'assemblage orbital de grandes structures spatiales, un bras double qui tient rigidement un objet forme une boucle fermée entre ses deux effecteurs, ce qui réduit drastiquement l'espace de configurations valides. TCBiRRT contourne cette difficulté en effectuant l'échantillonnage aléatoire directement dans l'espace tâche, défini par la pose de l'objet manipulé, plutôt que dans l'espace articulaire de haute dimension. Un algorithme de cinématique inverse sur chemin mappe ensuite chaque noeud tâche vers une trajectoire articulaire continue, intégré dans un cadre RRT bidirectionnel avec mécanisme de re-saisie. Les simulations portent sur plusieurs scénarios d'assemblage orbital à complexité environnementale variable. Les résultats annoncés sont significatifs sur le plan algorithmique : taux de succès nettement supérieurs et temps de planification améliorés de plusieurs ordres de grandeur par rapport aux planificateurs de référence. Pour un intégrateur travaillant sur des systèmes robotiques orbitaux, cela se traduit par des fenêtres d'action plus courtes et une meilleure fiabilité dans des environnements encombrés, pièces de structure, équipements déjà déployés. Il faut cependant souligner que tous les résultats reposent exclusivement sur simulation ; aucun test en microgravité réelle ni sur prototype physique n'est rapporté à ce stade. Le gap sim-to-real reste donc entier, question centrale pour toute qualification de vol. La planification de mouvement sous contraintes de chaîne fermée est un problème ancien en robotique, mais son application aux manipulateurs orbitaux bi-bras, type Canadarm2 ou les projets plus récents de bras d'assemblage pour les stations lunaires Gateway et les futures plateformes LEO commerciales, redevient stratégique. Côté concurrence algorithmique, les approches existantes (CBiRRT, planificateurs config-space classiques) peinent à passer à l'échelle dans des environnements complexes : c'est précisément ce verrou que TCBiRRT prétend lever. Aucun lien industriel ni partenariat agence spatiale n'est mentionné dans le préprint ; les prochaines étapes naturelles seraient une validation matérielle et une intégration dans des simulateurs de référence comme NASA's RSVP ou ESA's VREP.

UEAucun partenariat institutionnel européen confirmé, mais l'ESA VREP est cité comme cible d'intégration naturelle pour une validation future, ce qui représente un intérêt indirect pour les projets orbitaux européens (Gateway, stations LEO commerciales).

RecherchePaper
1 source
Débruitage par priorité d'action pour un découpage fluide en temps réel
1391arXiv cs.RO 

Débruitage par priorité d'action pour un découpage fluide en temps réel

Une équipe de chercheurs a publié le 26 mai 2026 sur arXiv (réf. 2605.25537) une méthode baptisée Soft RTC (Soft Real-Time Chunking), visant à rendre les politiques d'action par blocs plus fluides lorsqu'elles opèrent sous délai d'inférence. Le problème de départ est concret : les politiques de type diffusion génèrent les commandes motrices en « chunks » (séquences d'actions), mais l'inférence prend du temps. Le RTC standard résout cela en conditionnant chaque nouveau chunk sur les actions déjà engagées par le précédent, grâce à un masque binaire de préfixe. Soft RTC remplace ce masque binaire par un mécanisme de dénaturation partielle (action-prior denoising) : les tokens de chevauchement entre deux chunks ne partent plus d'un bruit pur, mais d'états partiellement dénaturés, alignés sur le chunk précédent via une règle de mélange par token. Sur les 12 niveaux Kinetix publiés (environnements de simulation de manipulation complexe), un fenêtrage "soft" court atteint un taux de résolution de 0,809 contre 0,815 pour le hard RTC, soit un écart marginal. Un fenêtrage medium réduit quant à lui le delta d'action et le jerk (à-coup) en régime de fort délai de respectivement 9,1 % et 9,6 % par rapport au hard RTC classique. Une étude préliminaire sur robot réel en tri d'objets confirme l'amélioration de la complétion et donne à Soft RTC les meilleures métriques de douceur de commande parmi les politiques testées. L'enjeu pour la robotique industrielle est précis : le jerk élevé, c'est l'usure mécanique, les alarmes de sécurité, et l'impossibilité de travailler en cobotique. Les politiques de diffusion pour la manipulation (pi-0 de Physical Intelligence, ACT, Diffusion Policy) ont démontré des capacités de généralisation impressionnantes, mais leur déploiement en temps réel reste contraint par la latence d'inférence, typiquement plusieurs centaines de millisecondes sur GPU embarqué. Hard RTC avait déjà attaqué ce problème ; Soft RTC prouve qu'on peut gagner significativement en douceur de mouvement sans sacrifier ni le taux de succès ni le coût computationnel, les deux variantes conservent un overhead « quasi-naïf » à l'inférence, sans guidance coûteuse au déploiement. Ce résultat contredit l'idée que fluidité et performance sont nécessairement en tension dans les politiques diffusion pour la manipulation. La problématique du délai d'inférence dans les politiques d'action par diffusion est active depuis que ces architectures ont montré leur supériorité en manipulation dextère, notamment avec les travaux de Stanford (Diffusion Policy, 2023) et de Physical Intelligence (pi-0, 2024). Le hard RTC de référence avait établi une baseline robuste mais au prix de transitions sèches entre chunks. Côté acteurs, Physical Intelligence, Unitree, Figure AI et les équipes de Google DeepMind (GR00T, RT-2) travaillent tous sur des politiques à base de diffusion pour leurs humanoïdes et bras manipulateurs. Soft RTC s'inscrit dans la couche d'inférence basse latence de ces systèmes, indépendamment de l'architecture VLA sous-jacente. Aucun partenaire industriel ni timeline de déploiement n'est mentionné, il s'agit d'une contribution de recherche, avec code et niveaux Kinetix publiés, mais sans implémentation industrielle annoncée à ce stade.

RecherchePaper
1 source
Échantillonnage guidé à l'inférence par un vérificateur de progression des tâches pour la manipulation robotique
1392arXiv cs.RO 

Échantillonnage guidé à l'inférence par un vérificateur de progression des tâches pour la manipulation robotique

Une équipe de recherche publie TapSampling (arXiv:2605.25547, mai 2026), un cadre plug-and-play d'échantillonnage au moment de l'inférence pour la manipulation robotique. Là où la majorité des travaux du domaine cherchent à améliorer les performances en augmentant la taille des données d'entraînement ou des modèles, TapSampling explore un axe différent : l'exploitation du calcul disponible à l'inférence. Le système repose sur deux composants. D'abord, un Action-VAE qui projette les actions générées par la politique dans un espace latent de faible dimension via une distribution postérieure compressée, permettant de tirer un nombre arbitraire d'actions candidates approximant la distribution réelle. Ensuite, un vérificateur sémantique qui reformule la sélection d'actions comme une prédiction de progression de tâche (task-progress outcome prediction), en exploitant la structure séquentielle intrinsèque des jeux de données robotiques pour choisir l'action la plus prometteuse de façon interprétable. L'intérêt principal réside dans l'agnosticisme vis-à-vis de la politique sous-jacente : TapSampling s'applique sans fine-tuning additionnel à des modèles généralistes existants, qu'ils soient basés sur la diffusion ou sur des architectures autorégressives. Les expériences présentées en simulation et en conditions réelles montrent des améliorations qualifiées de « substantielles » sur plusieurs politiques généralistes, bien que l'abstract ne fournisse pas de chiffres précis de taux de réussite, ce qui invite à la prudence avant de juger de l'ampleur réelle des gains. Pour les ingénieurs robotique et les intégrateurs, l'approche ouvre la possibilité d'améliorer des politiques déjà déployées sans réentraînement, en ajoutant simplement un surcoût computationnel à l'inférence. Ce travail s'inscrit dans une tendance plus large consistant à transposer le test-time compute scaling, popularisé par les grands modèles de langage (OpenAI o1, DeepSeek-R1), vers la robotique embodied. D'autres approches comparables incluent le Best-of-N sampling avec des modèles de récompense appris séparément, ainsi que les méthodes de vérification intégrées dans des politiques comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). TapSampling se distingue par un vérificateur ancré dans la progression de tâche plutôt que dans une récompense exogène, ce qui lui confère une meilleure lisibilité sémantique. Le code et les modèles sont mis à disposition via la page projet des auteurs, ce qui permettra une reproduction et une évaluation indépendante des résultats annoncés.

IA physiqueActu
1 source
Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation
1393arXiv cs.RO 

Simulateur différentiable neuronal adaptatif : modélisation des contacts rigides par transfert réel-vers-simulation

Des chercheurs ont publié sur arXiv (référence 2603.06218v2) un framework baptisé "Few-Shot Neural Differentiable Simulator", conçu pour calibrer des simulateurs analytiques rigides à partir d'un volume réduit de données réelles, puis générer des jeux de données synthétiques à grande échelle. L'approche combine un simulateur analytique traditionnel, utilisé comme générateur de données après calibration, avec un réseau de neurones sur graphe (GNN) basé sur des maillages 3D, chargé de modéliser la dynamique avant des corps rigides. La contribution technique centrale réside dans la dérivation de gradients de substitution pour la détection de collision, rendant l'ensemble du pipeline entièrement différentiable. Les expériences portent sur des scénarios d'interaction multi-objets, où le système apprend des politiques de manipulation directement par optimisation basée sur les gradients dans le simulateur. Ce travail s'attaque à l'un des verrous majeurs du apprentissage robotique : le coût prohibitif de la collecte de données réelles et l'écart persistant entre simulation et réalité (sim-to-real gap). En n'exigeant qu'un petit nombre d'épisodes réels pour recaler le simulateur analytique, plutôt que des milliers de trajectoires pour entraîner un modèle purement appris, le framework réduit significativement la barrière d'accès à la simulation haute-fidélité. La différentiabilité complète est un avantage concret pour les concepteurs de politiques robotiques : elle permet de propager des gradients à travers la dynamique de contact, évitant le recours à des méthodes d'optimisation sans gradient (evolutionary strategies, RL model-free) typiquement moins efficaces en échantillons. Les résultats présentés indiquent que le GNN ainsi entraîné surpasse des baselines différentiables analytiques pour répliquer des trajectoires réelles, bien que ces résultats restent à ce stade expérimentaux et non validés en conditions industrielles réelles. Le problème de la simulation de contact rigide mobilise depuis plusieurs années des équipes académiques et industrielles majeures. Les simulateurs dominants comme MuJoCo (DeepMind), Isaac Sim (NVIDIA) et PyBullet offrent une différentiabilité partielle, mais peinent à modéliser fidèlement les contacts complexes sans paramétrage expert lourd. Des approches concurrentes comme DiffTaichi ou Brax (Google) ont exploré la différentiabilité à l'échelle, tandis que des laboratoires comme MIT CSAIL et Stanford travaillent sur des simulateurs neuronaux pour la manipulation. Ce preprint, non encore soumis à révision par pairs, ouvre une direction crédible vers des simulateurs "grounded" en peu de données réelles, pertinente pour les déploiements en manipulation industrielle et en robotique de service où les données réelles sont coûteuses à acquérir.

RecherchePaper
1 source
Agir face à l'invisible : filtrage collaboratif sans communication pour l'allocation décentralisée de tâches multi-robots
1394arXiv cs.RO 

Agir face à l'invisible : filtrage collaboratif sans communication pour l'allocation décentralisée de tâches multi-robots

Des chercheurs ont présenté sur arXiv (2605.25584) un cadre théorique et algorithmique baptisé Zero-Knowledge MRTA (ZK-MRTA), conçu pour l'allocation de tâches dans des équipes de robots sans aucune communication inter-agent, sans modèle de tâche préalable et sans coordinateur central. Dans ce régime, chaque robot ne dispose que d'une vue partielle et bruitée du flux public des résultats de ses coéquipiers. L'algorithme proposé, SwarmCF, exploite une structure cachée de faible rang (low-rank) qui gouverne l'adéquation entre chaque robot et chaque type de tâche, en appliquant du filtrage collaboratif en ligne, le même principe mathématique que les systèmes de recommandation Netflix ou Spotify. Les expériences montrent que SwarmCF récupère environ 80 % des performances d'un système centralisé avec communication complète, et maintient cet avantage même sous contention de capacité 1 (chaque tâche assignée à un seul robot à la fois). L'enjeu théorique est substantiel: les auteurs prouvent formellement que tout algorithme sans structure est coincé au plancher d'erreur de la moyenne a priori sur les paires (robot, tâche) jamais tentées, tandis que SwarmCF atteint une complexité d'échantillonnage par robot en Theta(d) au lieu de Theta(n), où d est le rang de la structure latente et n le nombre total de tâches, typiquement d est très inférieur à n. Cette séparation est catégorielle, pas un simple facteur constant. Pour les intégrateurs de flottes robotiques (entrepôts AMR, inspection industrielle, agriculture), cela signifie qu'une flotte hétérogène peut s'auto-organiser sur des tâches inédites sans infrastructure de communication, ce qui réduit la complexité système et améliore la résilience aux pannes réseau. Le scaling est positif: la compétence par robot sur les tâches non vues augmente avec la taille de l'équipe. Le problème d'allocation multi-robots (MRTA) est étudié depuis les années 2000, avec des approches classiques comme les enchères distribuées (CBBA), les méthodes à base de marché ou les algorithmes de consensus qui supposent toutes un canal de communication fiable. ZK-MRTA s'attaque au cas extrême opposé, commun dans les déploiements industriels réels (réseaux dégradés, robots hétérogènes sans protocole commun) mais largement ignoré en théorie. Côté concurrence, des travaux récents sur le multi-armed bandit collaboratif ou le federated reinforcement learning adressent des problèmes voisins mais supposent soit une communication périodique, soit un modèle de récompense partagé. La prochaine étape naturelle serait de valider SwarmCF sur des flottes physiques, notamment dans des contextes entrepôts ou de manipulation, où le sim-to-real gap reste la principale inconnue pour les méthodes fondées sur l'observation passive de coéquipiers.

RecherchePaper
1 source
Combien d'échantillons d'entraînement sont nécessaires pour résoudre la cinématique inverse par réseaux de neurones artificiels
1395arXiv cs.RO 

Combien d'échantillons d'entraînement sont nécessaires pour résoudre la cinématique inverse par réseaux de neurones artificiels

Une étude publiée sur arXiv (réf. 2605.23583) apporte une réponse chiffrée à une question pratique restée sans consensus dans la communauté robotique : combien de données d'entraînement sont nécessaires pour qu'un réseau de neurones artificiels (ANN) résolve correctement la cinématique inverse (IK) d'un bras manipulateur ? Les chercheurs ont généré des jeux de paires position-articulation de tailles croissantes pour entraîner des réseaux feedforward sur un manipulateur articulé, puis ont évalué la précision, la convergence et la capacité de généralisation des modèles obtenus. Résultat principal : au-delà de 125 échantillons d'entraînement, l'ajout de données supplémentaires n'améliore plus significativement l'efficacité du modèle ni la précision d'approximation de l'effecteur terminal. Ce seuil de 125 paires joint-position est une donnée concrète pour les intégrateurs robotiques et les équipes embarquées : il signifie qu'une couverture d'entraînement minimale suffit pour obtenir un solveur IK neuronal opérationnel, sans nécessiter de campagnes de collecte longues ou coûteuses. Cela contredit l'hypothèse implicite selon laquelle les approches par apprentissage exigent systématiquement des volumes de données importants pour rivaliser avec les méthodes analytiques classiques. Pour des systèmes à ressources contraintes, des robots collaboratifs ou des déploiements edge, cette efficacité de données ouvre la voie à une mise en oeuvre plus rapide et moins coûteuse des solveurs IK appris. La cinématique inverse est l'un des problèmes fondamentaux de la commande de bras robotiques : calculer les angles articulaires qui placent l'effecteur à une position cible donnée. Les méthodes traditionnelles, géométriques, algébriques ou basées sur le jacobien, présentent des limites connues face aux configurations singulières ou aux manipulateurs redondants. Les ANN ont émergé comme alternative depuis une dizaine d'années, portés par des travaux issus de laboratoires académiques et de groupes comme OpenAI Robotics ou des équipes universitaires spécialisées en apprentissage robotique. Cette étude comble un manque pratique dans la littérature : elle fournit un cadre mathématique liant taille du dataset et précision du modèle, et constitue un guide dimensionnel directement exploitable pour optimiser le compromis coût de calcul / qualité de prédiction dans des applications industrielles réelles.

RecherchePaper
1 source
Quatre estimateurs proprioceptifs simples pour robots à pattes
1396arXiv cs.RO 

Quatre estimateurs proprioceptifs simples pour robots à pattes

Des chercheurs ont publié sur arXiv (réf. 2605.23100) un rapport technique présentant quatre estimateurs d'état proprioceptifs pour robots à pattes, conçus pour corriger la dérive des centrales inertielles (IMU) de grade consommateur embarquées sur ces plateformes. Le problème central est connu : une IMU seule accumule des erreurs de position et d'orientation au fil du temps en raison du bruit de mesure. L'approche proposée exploite les contacts intermittents des pieds avec le sol comme événements de recalage, sans recourir à des capteurs extéroceptifs (caméras, lidar). L'état estimé comprend l'attitude, la position, la vitesse et les biais IMU. Les quatre variantes progressent en complexité : un filtre de Kalman étendu invariant assisté par contacts (EKF invariant, d'après les travaux de Hartley et al.) à taux de mise à jour réduit, puis ce même filtre augmenté d'une mise à jour par graphe de facteurs, puis un lisseur à décalage fixe intégrant des points d'appui par épisode de contact, avec et sans modélisation d'un biais IMU évolutif. Les quatre implémentations sont disponibles dans la bibliothèque GTSAM (Dellaert et al.) et accompagnées d'une interface compatible ROS2. L'intérêt pratique de cette contribution est double : elle fournit une baseline reproductible permettant de comparer rigoureusement des architectures d'estimation proprioceptive, et elle abaisse le seuil d'entrée pour les équipes d'intégration qui déploient des robots à pattes en environnements sans GPS ni infrastructure de localisation. Disposer d'un odométre fiable à partir des seuls capteurs embarqués est une condition préalable à toute navigation autonome robuste, avant même d'envisager des couches de cartographie ou de planification. Le fait que les quatre variantes soient directement disponibles dans GTSAM, outil standard en robotique académique et industrielle, facilite l'adoption et la comparaison objective des compromis vitesse-précision. Ce travail s'inscrit dans une longue tradition de recherche sur l'estimation d'état pour robots à pattes, où l'EKF invariant de Hartley (Michigan) fait figure de référence depuis 2019. GTSAM, développé par Frank Dellaert à Georgia Tech, est le socle sur lequel reposent de nombreux systèmes de SLAM et d'odométrie dans le domaine. L'article n'est pas associé à un déploiement industriel annoncé : il s'agit d'un preprint académique, pas d'un produit commercialisé. Dans un contexte où Boston Dynamics, ANYbotics, Unitree et des startups comme Figure ou Agility Robotics intensifient leurs efforts sur la fiabilité en milieu réel, la disponibilité d'estimateurs ouverts et testables représente une ressource utile pour accélérer la recherche comparative.

RecherchePaper
1 source
Mobile UMI : politique de diffusion multi-vues à cinématique découplée pour la manipulation mobile
1397arXiv cs.RO 

Mobile UMI : politique de diffusion multi-vues à cinématique découplée pour la manipulation mobile

Mobile UMI, soumis sur arXiv (arXiv:2605.20894) en mai 2026, présente un framework de collecte de démonstrations sans robot dédié pour l'apprentissage par imitation sur manipulateur mobile. Le dispositif repose sur trois composants: un rig à deux caméras portées par l'opérateur humain (poitrine pour la navigation globale, poignet pour l'interaction locale), une ancre spatiale ChArUco en prise unique qui recale les deux repères visuels-inertiels et découple la trajectoire de manipulation en SE(3) de celle de navigation en SE(2), et un exécuteur asynchrone à horizon glissant (receding-horizon) qui réaligne en temps réel chaque chunk d'actions généré sur la pose physique courante du robot. Sur quatre tâches domestiques longue-séquence évaluées à 100 essais chacune, le système atteint un taux de réussite moyen de 83,8%, devançant les baselines ACT et Diffusion Policy testées dans les mêmes conditions. Ce résultat s'attaque à deux goulots structurels du mobile manipulation: les labels d'action contaminés par la locomotion humaine lors de la collecte, et la latence d'inférence des politiques de diffusion (plusieurs centaines de millisecondes), pendant laquelle la base avance et rend les waypoints planifiés caducs. En découplant cinématiquement la main du torse, les trajectoires d'entraînement deviennent cohérentes indépendamment de la démarche de l'opérateur. L'approche est architecturalement agnostique, ce qui est un point fort concret pour les intégrateurs: aucune modification de la politique sous-jacente n'est requise, et les ablations confirment que le référentiel thoracique seul comble l'essentiel de l'écart de performance, la synchronisation d'état fermant le reste. Mobile UMI étend l'Universal Manipulation Interface (UMI) de Chi et al. (Stanford/Columbia, 2023), interface poignet à bas coût qui a popularisé la collecte téléopérée pour la manipulation sur table. L'extension à la base mobile était un verrou reconnu: les approches dominantes comme RT-2, OpenVLA ou Pi-0 de Physical Intelligence ciblent essentiellement des bras fixes ou des déplacements très contraints. Des acteurs comme Boston Dynamics avec Spot et son bras, ou des projets académiques comme MoMa (Mobile Manipulation), opèrent dans ce même espace concurrentiel. Le travail reste un preprint non évalué, sans déploiement industriel annoncé ni partenaire matériel cité; les conditions précises des essais (charge utile, vitesse de base, surface de test) ne sont pas détaillées dans l'abstract, ce qui limite la comparabilité directe avec d'autres benchmarks publiés.

RechercheOpinion
1 source
L'apprentissage conjoint de prédicats et d'actions permet la composition zéro-shot de compétences
1398arXiv cs.RO 

L'apprentissage conjoint de prédicats et d'actions permet la composition zéro-shot de compétences

Des chercheurs ont publié le 21 mai 2026 sur arXiv un préprint intitulé "Jointly Learning Predicates and Actions Enables Zero-Shot Skill Composition", introduisant PACTS (Predicate Action Skills), une nouvelle classe de politiques visuomotrices en boucle fermée pour la robotique. Le problème posé est précis : les approches actuelles d'apprentissage par démonstration (LfD) permettent à un robot d'acquérir des compétences isolées, mais échouent à les recombiner de façon inédite sans réentraînement. PACTS y répond en modélisant chaque compétence comme un processus génératif joint sur deux flux simultanés : les trajectoires d'action et les trajectoires de croyance prédicative, c'est-à-dire des représentations symboliques de l'état du monde induites par chaque action. Un seul modèle produit ainsi des séquences action-résultat cohérentes, sans pipeline séparé. L'enjeu est structurel pour la robotique industrielle et de service : la capacité de composition zéro-shot signifie qu'un robot formé sur des briques de base peut enchaîner des tâches nouvelles sans nouvelle collecte de données ni réentraînement, ce qui est un verrou majeur dans le déploiement à grande échelle. Les politiques génératives modernes, notamment les VLA (Vision-Language-Action models) comme pi-0 de Physical Intelligence ou les modèles de diffusion appliqués aux trajectoires, ne modélisent que la distribution des actions, sans raisonnement explicite sur les états symboliques intermédiaires. PACTS utilise les prédictions de prédicats en ligne comme interface symbolique pour séquencer les compétences et surveiller leur exécution, s'approchant ainsi d'une forme de planification symbolique intégrée. Les auteurs montrent que la génération jointe améliore à la fois la qualité des actions produites et la classification des prédicats, deux métriques qui se renforçaient rarement dans les approches précédentes. Ce travail s'inscrit dans un débat actif entre approches purement neuronales (end-to-end) et approches hybrides neuro-symboliques pour la manipulation robotique. Les méthodes de Task and Motion Planning (TAMP) classiques atteignent une bonne compositionnalité mais nécessitent des modèles symboliques prédéfinis ; les politiques d'imitation modernes générealisent mal sans représentation intermédiaire explicite. PACTS tente de combler les deux, en apprenant les symboles depuis les données de démonstration plutôt qu'en les codant manuellement. Le code et les expériences sont annoncés sur le site du projet (planpacts.github.io), mais le préprint n'est pas encore évalué par des pairs, et aucun résultat de déploiement terrain ni partenaire industriel n'est mentionné à ce stade.

RechercheOpinion
1 source
Manipulation corps entier des humanoïdes via un cerveau spatial actif et un cervelet d'action généralisable
1399arXiv cs.RO 

Manipulation corps entier des humanoïdes via un cerveau spatial actif et un cervelet d'action généralisable

Des chercheurs ont publié le 27 mai 2026 un preprint (arXiv:2605.21133) présentant un framework de loco-manipulation pour robots humanoïdes baptisé ASB-GAC, articulé autour de deux modules distincts. Le premier, Active Spatial Brain (ASB), assure la perception spatiale active et la planification de tâches en décomposant les objectifs en sous-tâches. Le second, Generalizable Action Cerebellum (GAC), traduit ces décisions en commandes moteur exécutables sur robot réel. L'approche s'appuie sur des grands modèles multi-agents pour orchestrer perception et génération d'actions. Les auteurs ont conçu un jeu de tâches de manipulation spatiale dépassant le cadre classique de la table rase, couvrant des environnements 3D avec des relations spatiales variées, et mesurent les performances sur deux axes : compréhension spatiale et exécution physique réelle. Le point saillant de ce travail est l'affirmation que GAC génère des actions robot exécutables sans données réelles spécifiques à chaque tâche, ce qui s'attaque directement au goulot d'étranglement majeur du secteur : collecter des trajectoires sur robot physique coûte cher et ne se généralise pas. Si la validité de cette approche se confirme au-delà des benchmarks maison, cela pourrait réduire significativement le cycle de développement pour les intégrateurs cherchant à déployer des humanoïdes sur des tâches variées d'entrepôt ou d'assemblage. Toutefois, le preprint ne fournit pas de métriques de cycle time, de taux de succès détaillés ni de comparaisons quantitatives directes avec des baselines comme pi0 (Physical Intelligence) ou GR00T N2 (NVIDIA), ce qui limite l'évaluation indépendante des claims de généralisation. Ce travail s'inscrit dans une dynamique de recherche très active sur la manipulation whole-body, où la fracture entre simulation et réalité reste un verrou central. Des acteurs comme Figure AI avec Figure 03, Tesla avec Optimus Gen 3, ou Physical Intelligence avec pi0 ont tous investi massivement dans la collecte de données réelles pour combler ce fossé. L'approche sim-to-real et l'utilisation de VLA (Vision-Language-Action models) comme vecteur de généralisation sont aujourd'hui les deux grandes stratégies concurrentes. Ce preprint propose une troisième voie par décomposition hiérarchique via LLM multi-agents, mais sans nom d'entreprise, sans robot cible identifié, et sans annonce de pilote industriel : il s'agit pour l'instant d'un résultat académique à surveiller avant tout transfert vers le terrain.

IA physiquePaper
1 source
PAPO-VLA : une optimisation de politique adaptée à la planification pour les modèles vision-langage-action
1400arXiv cs.RO 

PAPO-VLA : une optimisation de politique adaptée à la planification pour les modèles vision-langage-action

Des chercheurs ont publié en mai 2026 sur arXiv (2605.19580) PAPO-VLA, une méthode d'optimisation pour les modèles Vision-Language-Action (VLA) appliqués à la manipulation robotique guidée par le langage naturel. L'observation centrale est qu'une politique VLA opère en boucle fermée : chaque action modifie l'état de la scène et conditionne toutes les décisions suivantes, ce qui rend une erreur de planification particulièrement coûteuse. Les auteurs distinguent donc deux rôles dans une politique VLA : le planificateur, qui prend des décisions orientées tâche susceptibles de rediriger l'exécution, et l'exécuteur, qui les traduit en actions continues denses. PAPO-VLA identifie les "actions de planification" en croisant variation d'action et issue de trajectoire, estime leur importance causale via deux critères formels (suffisance et nécessité causales), puis intègre ces poids dans l'estimation d'avantage du GRPO (Group Relative Policy Optimization), de sorte que les moments critiques reçoivent une emphase d'optimisation plus forte sans abandonner le signal de trajectoire globale. Des améliorations sont rapportées sur plusieurs benchmarks de manipulation robotique, sans chiffres précis disponibles dans le résumé public. L'apport clé est de combler un angle mort des approches existantes : l'imitation de trajectoires et l'optimisation par retour de trajectoire entière traitent toutes les actions avec la même importance, alors que certains instants de décision ont un impact causal disproportionné sur le succès de la tâche. Quantifier cet impact via des métriques causales formelles plutôt qu'heuristiques est une avancée méthodologique notable. Pour les équipes déployant des VLA en environnement réel, sur des plateformes comme pi-0 (Physical Intelligence), OpenVLA (Berkeley) ou GR00T N2 (NVIDIA), la méthode promet d'améliorer la fiabilité sans données de démonstration supplémentaires. Depuis RT-2 (Google DeepMind, 2023), le secteur des VLA cherche à combler l'écart entre performance en démonstration contrôlée et robustesse en déploiement réel. Le GRPO, popularisé par DeepSeek-R1 pour le raisonnement en LLM, est ici adapté à la robotique via une pondération causale des actions, dans un axe de recherche croissant autour du renforcement causal appliqué aux robots. PAPO-VLA est un preprint non encore revu par les pairs ; la validation expérimentale complète, avec benchmarks précis et comparaisons contrôlées, reste à confirmer via publication.

RechercheOpinion
1 source