Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

Recherche — page 22

2264 articles · page 22 sur 46

Publications scientifiques en robotique : arXiv cs.RO, ICRA, IROS, Humanoids, CoRL — nouveaux algorithmes, benchmarks et datasets.

HumanoïdesIA physiqueIndustrielFR/EU ecosystemeChine/AsieBusinessExosquelettesRegulationInfrastructureSociete/EthiqueAutre
TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense
1051arXiv cs.RO RecherchePaper

TacForeSight : un modèle du monde tactile guidé par la force pour la manipulation en contact dense

Des chercheurs ont publié sur arXiv (référence 2606.11184) TacForeSight, un framework léger d'anticipation tactile guidée par la force pour la manipulation en contact riche. Le système repose sur deux composants : TacForceWM, un modèle du monde tactile qui prédit les dynamiques latentes tactiles à court horizon à partir de capteurs bi-doigts conditionnés par les signaux de force et de couple au poignet à haute fréquence, et une politique conditionnée par l'anticipation tactile (Predictive Tactile-Conditioned Policy) qui exploite ces prédictions comme priors de contact, modélise l'évolution tactile courante-vers-future via cross-attention, et fusionne les features visuo-tactiles via un module de gating adaptatif. Les expériences portent sur cinq tâches représentatives de manipulation sur robot réel et trois scénarios de perturbation en cours de manipulation, avec des résultats supérieurs aux baselines existantes dans tous les cas, notamment sous perturbations de contact dynamiques. Le code et les datasets seront mis à disposition publiquement sur tacforesight.github.io. L'apport technique central est de modéliser explicitement les rôles asymétriques de la force globale au poignet (basse résolution spatiale, haute fréquence) et du toucher local bi-doigts (haute résolution spatiale, dynamique plus lente), distinction que la plupart des méthodes d'imitation learning actuelles ignorent. En opérant entièrement dans un espace latent compact, le framework permet un raisonnement de contact proactif compatible avec le contrôle haute fréquence, là où les approches réactives échouent sous perturbations imprévues. Pour les intégrateurs industriels et les équipes travaillant sur l'assemblage ou le conditionnement robotisé, c'est une démonstration concrète que la fusion force+tactile dans un world model améliore la robustesse réelle sans alourdir l'inférence en temps réel. Ce travail s'inscrit dans une vague de recherche combinant world models et retour tactile pour la manipulation dextre, aux côtés d'approches comme Pi-0 (Physical Intelligence) ou les travaux sur GR00T N2 de NVIDIA qui intègrent également des politiques tactile-aware. Aucun concurrent français ou européen direct n'est identifié sur ce créneau précis, bien que des acteurs comme Pollen Robotics ou Enchanted Tools s'appuient aussi sur la manipulation fine. Il s'agit ici d'un preprint non encore évalué par les pairs, sans déploiement industriel ni partenaire annoncé : les résultats, bien que prometteurs sur cinq tâches de laboratoire, devront être reproduits sur des géométries et conditions de contact plus variées avant de valider la généralisation à l'échelle industrielle.

UEImpact indirect : le code open-source prévu sur tacforesight.github.io pourrait être exploité par des équipes européennes travaillant sur la manipulation fine, comme Pollen Robotics ou les labos CEA-List, mais aucun acteur FR/EU n'est impliqué dans ce travail.

1 source
Sémantique et exécution physique : une architecture neuro-symbolique pour l'assemblage robotique multi-paire
1052arXiv cs.RO 

Sémantique et exécution physique : une architecture neuro-symbolique pour l'assemblage robotique multi-paire

Une équipe de chercheurs présente un cadre neuro-symbolique de bout en bout conçu pour l'assemblage robotique multi-paires en environnements non structurés, publié sur arXiv (2606.10808). Le système fonctionne à partir d'une caméra RGB-D montée sur le bras (configuration eye-on-hand) et s'appuie sur un bras UR3 d'Universal Robots. Le pipeline traite chaque paire pièce-cible en générant un sous-graphe optimal via un grand modèle de langage (LLM), puis coordonne l'ensemble des sous-graphes en une séquence globale cohérente grâce à une étape de résolution topologique. Des arbres de comportement dynamiques intégrant des compétences atomiques pilotées par retour d'effort ferment la boucle d'exécution physique. Sur 100 scènes réelles évaluées hors ligne, le framework atteint 97 % d'exécutabilité globale, et le déploiement sur robot réel obtient un taux de succès de 90 % avec une tolérance de 0,5 mm sous forte interférence entre pièces. Ce résultat est notable parce qu'il adresse deux défauts symétriques qui bloquent l'industrialisation de la planification autonome d'assemblage. Les planificateurs classiques (recherche d'état, PDDl) explosent combinatoirement dès que le nombre de pièces augmente. Les approches purement neuronales ou LLM-only produisent des "hallucinations logiques" : séquences d'actions syntaxiquement valides mais physiquement incohérentes (conflits topologiques, collisions ignorées). Le framework proposé découple les deux niveaux : le LLM génère uniquement des actions basiques pour limiter les hallucinations, tandis qu'un discriminateur léger insère les actions de support pour les cas limites. La tolérance de 0,5 mm sous interférence forte est un indicateur concret de robustesse, même si les vidéos de démonstration disponibles ne couvrent pas l'ensemble des 100 configurations testées, ce qui limite la vérification indépendante des chiffres annoncés. Le problème de l'assemblage multi-paires est un verrou industriel identifié depuis les années 1990 dans la robotique manufacturière, avec des applications directes en électronique, aéronautique et assemblage de sous-systèmes automobiles. Les approches concurrentes actuelles incluent les planificateurs symboliques classiques (MoveIt, OpenRAVE), les politiques d'imitation learning (ACT, Diffusion Policy) et les Visual Language Action models (pi-0 de Physical Intelligence, RoboFlamingo). Ce framework se positionne entre la planification symbolique vérifiable et l'inférence neuronale généraliste. Les auteurs soulignent que l'architecture est extensible à faible coût par ajout de nouvelles paires ou actions. Les prochaines étapes logiques seraient un déploiement sur des bras à plus haute charge utile et une validation sur des lignes d'assemblage industrielles réelles, domaine où des acteurs européens comme Wandercraft ou Enchanted Tools pourraient trouver des synergies applicatives.

UELes équipes R&D robotique européennes (notamment dans l'aéronautique et l'électronique) pourraient intégrer cette architecture pour automatiser des tâches d'assemblage multi-pièces à tolérance serrée, un verrou industriel non résolu par les planificateurs classiques.

RecherchePaper
1 source
RoboGPT-R1 améliore la planification des tâches robotiques grâce à l'apprentissage par renforcement
1053arXiv cs.RO 

RoboGPT-R1 améliore la planification des tâches robotiques grâce à l'apprentissage par renforcement

Des chercheurs ont publié RoboGPT-R1, un framework d'entraînement en deux étapes conçu pour améliorer la planification de tâches des agents robotiques incarnés, présenté dans un preprint arXiv (2510.14828, version 3). Le système repose sur une séquence supervisée classique, qui ancre les connaissances fondamentales via des démonstrations expertes, suivie d'un apprentissage par renforcement (RL) ciblé sur les lacunes en compréhension visuo-spatiale et en raisonnement multi-étapes. Le modèle de base choisi est Qwen2.5-VL-3B, un vision-language model open-source de 3 milliards de paramètres. Les résultats publiés sur le benchmark EmbodiedBench montrent que RoboGPT-R1 dépasse GPT-4o-mini de 21,33 points de pourcentage, et surclasse d'autres approches entraînées sur Qwen2.5-VL-7B de 20,33 points, ce dernier disposant pourtant de plus du double de paramètres. Le cœur technique du framework est une fonction de récompense basée sur des règles qui prend en compte simultanément les performances à long horizon et les contraintes d'action dans l'environnement physique simulé. Ces résultats viennent étayer une thèse qui s'impose progressivement dans la communauté robotique : le fine-tuning supervisé seul génère des agents fragiles hors distribution, en particulier pour les tâches de manipulation longue séquence dans des environnements non contrôlés. RoboGPT-R1 démontre qu'un modèle compact peut surpasser des architectures significativement plus grandes dès lors que le RL est utilisé pour affiner la compréhension physique et la cohérence des séquences d'actions. Pour les équipes d'intégration et les responsables techniques, cela pointe vers une trajectoire viable vers des solutions embarquables sur hardware contraint, sans sacrifier les capacités de planification complexe. Un écart de 21 points sur un benchmark spécialisé par rapport à GPT-4o-mini indique que la spécialisation domaine via RL compense largement le désavantage de taille brute. RoboGPT-R1 s'inscrit dans une dynamique post-SFT amplifiée depuis fin 2024, en large partie accélérée par les travaux DeepSeek-R1 qui ont popularisé le RL comme levier de raisonnement pour les LLMs. Dans le champ robotique, Physical Intelligence avec Pi-0 et Pi-0.5, Google DeepMind avec GR00T N2 et RT-X, ou encore OpenVLA, explorent des trajectoires d'alignement vision-language-action (VLA) comparables. RoboGPT-R1 se distingue par son positionnement sur la planification symbolique de haut niveau plutôt que le contrôle moteur bas niveau, et par sa base Qwen2.5-VL open-source qui favorise la reproductibilité. Important à noter : il s'agit à ce stade exclusivement d'une validation sur EmbodiedBench, un benchmark simulé. Aucun déploiement physique n'est annoncé et le sim-to-real gap, question centrale pour tout passage en production, reste une problématique que l'article ne traite pas.

RechercheOpinion
1 source
Modèles de tiges pour le contrôle des robots continus et souples : une revue
1054arXiv cs.RO 

Modèles de tiges pour le contrôle des robots continus et souples : une revue

Une équipe de chercheurs a publié sur arXiv (référence 2407.05886, troisième révision) une revue exhaustive des modèles de tiges (rod models) appliqués à la modélisation et au contrôle des robots continus et souples. Le travail couvre les fondements mathématiques des théories de tiges, leur application à la modélisation de structures déformables, et les stratégies de contrôle dérivées, tant model-based que learning-based. Les auteurs proposent une classification des modèles selon le type de déformation pris en compte, contribution qui fait défaut dans la littérature existante. Les domaines applicatifs ciblés incluent la santé, l'agriculture, le milieu marin et l'espace, où les robots rigides conventionnels montrent leurs limites face à des environnements non structurés et à des interactions mécaniques en contact permanent. L'intérêt principal de ce survey est de structurer un sous-champ marqué par une forte fragmentation de la littérature. Les modèles de type Cosserat ou Kirchhoff proposent une approximation dimensionnellement réduite du comportement de corps élancés et déformables, offrant un meilleur équilibre que les méthodes éléments finis (FEM) entre précision et coût computationnel temps-réel. Pour les équipes R&D travaillant sur des bras flexibles endoscopiques, des cathéters guidés ou des manipulateurs agricoles, ce panorama unifié permet d'arbitrer entre approche physique et apprentissage, et de cibler les lacunes identifiées : robustesse au contact incertain, calibration en conditions réelles, et fermeture du fossé sim-to-real. Les modèles de tiges appliqués à la robotique souple se sont imposés comme cadre de référence depuis le milieu des années 2010, portés par l'essor des actionneurs à câbles, pneumatiques et à base d'élastomères. Plusieurs groupes académiques restent moteurs sur le sujet : INRIA, MIT CSAIL, IIT Gênes, Universität Stuttgart. Dans l'écosystème industriel, les applications en chirurgie mini-invasive et en manipulation agricole sont directement confrontées à ces problèmes de modélisation. Le papier identifie trois directions ouvertes : gestion du contact multi-points, intégration avec les architectures VLA (vision-langage-action), et généralisation à des morphologies hybrides rigides-souples. Ces fronts devraient alimenter le champ dans les deux à trois prochaines années.

UEINRIA figure parmi les groupes académiques moteurs du domaine ; les applications ciblées (chirurgie mini-invasive, manipulation agricole) concernent directement des acteurs industriels et projets de recherche européens.

RecherchePaper
1 source
Ce qui compte dans l'orchestration des politiques robotiques : étude systématique des agents VLA hiérarchiques
1055arXiv cs.RO 

Ce qui compte dans l'orchestration des politiques robotiques : étude systématique des agents VLA hiérarchiques

Une équipe de chercheurs a publié en juin 2026 sur arXiv (réf. 2606.10267) une étude systématique des architectures hiérarchiques VLA, désignées Hi-VLA, pour la manipulation robotique. Ces systèmes couplent un planificateur de haut niveau basé sur un grand modèle vision-langage (VLM) avec un contrôleur bas niveau de type VLA (vision-language-action) : le planificateur décompose une tâche complexe en sous-objectifs formulés en langage naturel, que le contrôleur exécute séquentiellement. Les auteurs unifient plusieurs architectures Hi-VLA existantes sous un cadre commun dit « options-style » et les évaluent sur trois familles de tâches : courte horizon, longue horizon et à forte charge de raisonnement. Les expériences combinent simulation et validation physique sur un robot ALOHA, le manipulateur bimanuel développé initialement par Stanford et repris par Google DeepMind. Ce travail comble un manque réel dans la littérature : jusqu'ici, les systèmes Hi-VLA divergeaient dans leurs choix de planificateurs, de contrôleurs, de mécanismes de transition et de représentation mémoire, sans base de comparaison commune. Les résultats montrent qu'une hiérarchie bien conçue surpasse clairement le contrôle VLA plat (non-hiérarchique) ainsi qu'une hiérarchie naïve, ce qui valide empiriquement l'approche mais souligne que les gains dépendent fortement des interfaces entre niveaux et du choix des modèles. Pour les intégrateurs industriels qui explorent les VLA comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), ces principes de conception fournissent un cadre d'arbitrage concret entre flexibilité de planification et précision de contrôle. L'article s'inscrit dans une dynamique de consolidation méthodologique qui suit une période d'expérimentation empirique rapide. Depuis 2023-2024, des systèmes comme SayCan (Google), RoboCat (DeepMind) ou les architectures de Physical Intelligence ont démontré la faisabilité des VLA à grande échelle, mais les recettes de design restaient opaques. Les concurrents directs sur le segment de la planification hiérarchique incluent des travaux comme Code-as-Policies ou Voyager. La prochaine étape naturelle sera l'extension de ces principes à des environnements non structurés hors laboratoire ; le site du projet (jiahenghu.github.io/hi-vla) propose des vidéos de démonstration, mais aucun déploiement industriel n'est annoncé à ce stade.

RechercheOpinion
1 source
UniDexTok : un tokeniseur unifié pour mains dextériques à partir de données réelles
1056arXiv cs.RO 

UniDexTok : un tokeniseur unifié pour mains dextériques à partir de données réelles

Une équipe de chercheurs a publié mi-juin 2026 sur arXiv (arXiv:2606.10683) un travail intitulé UniDexTok, proposant une représentation unifiée pour les états de mains dextres hétérogènes, humaines et robotiques. Le coeur du système est le Unified Dexterous Hand Model (UDHM), une interface sémantique partagée à 22 degrés de liberté (DoF) qui normalise les états articulaires de n'importe quelle main dans un espace commun. Sur cette base, UniDexTok est un tokenizer d'états appris exclusivement depuis des données réelles, sans recours au retargeting ni à la simulation. Les gains de précision par rapport à la baseline UniHM sont significatifs : l'erreur angulaire moyenne par articulation (MPJAE) chute de 15,63° à 0,16° (réduction de 98,98 %), et l'erreur de position par articulation (MPJPE) passe de 18,51 mm à 0,18 mm (réduction de 99,03 %), ramenant la reconstruction de l'échelle centimétrique à une précision sub-millimétrique. La portée industrielle de ce résultat tient moins aux chiffres absolus qu'à ce qu'ils rendent possible : un entraînement cross-embodiment sans pipeline de retargeting, qui a longtemps constitué un goulot d'étranglement dans la constitution de datasets pour mains dextres. Jusqu'ici, les données capturées sur une Shadow Hand, une Allegro ou une LEAP Hand étaient difficilement réutilisables pour un autre robot, faute de représentation commune. UniDexTok permet de les agréger : les expériences montrent que des données provenant d'autres embodiments améliorent la reconstruction sur l'embodiment cible, validant le principe de transfert cross-morphologie. Le système affiche également des capacités zero-shot et few-shot lors de l'introduction de nouvelles mains, ce qui réduit le coût d'intégration pour les intégrateurs qui déploient plusieurs plateformes en parallèle. La manipulation dextre reste l'un des défis les plus ouverts de la robotique humanoïde, avec une fragmentation des efforts entre labos (Dexterous Manipulation Group chez CMU, OpenAI Dactyl suspendu, Physical Intelligence avec Pi-0) et industriels (Tesla Optimus, Figure, Unitree). Les approches précédentes comme UniHM avaient posé la question de la représentation unifiée mais avec des erreurs de reconstruction trop élevées pour être exploitables en contrôle fin. UniDexTok s'inscrit dans un mouvement plus large vers des politiques robotiques génériques multi-embodiments, analogue à ce que les VLA (Vision-Language-Action models) tentent du côté de la perception. Les auteurs n'annoncent pas de déploiement industriel ni de partenariat ; il s'agit d'une contribution de recherche fondamentale, dont l'intégration dans des pipelines de formation de politiques reste à démontrer en conditions réelles.

RecherchePaper
1 source
Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques
1057arXiv cs.RO 

Apprentissage en ligne auto-supervisé pour la co-adaptation dans les politiques de diffusion hiérarchiques

Des chercheurs proposent ORCHID, un cadre d'auto-entraînement présenté sur arXiv (2603.05291) qui s'attaque à un problème structurel de la manipulation robotique longue durée : la désynchronisation entre planificateur haut niveau et contrôleur bas niveau au sein des politiques hiérarchiques. Dans ces architectures, un planificateur décompose une instruction en langage naturel en sous-objectifs intermédiaires, que le contrôleur exécute physiquement. La difficulté est que les deux modules, entraînés séparément, opèrent sur des distributions de sous-objectifs incompatibles. ORCHID corrige cela en ligne : le système génère des trajectoires, les filtre selon le feedback de l'environnement (réussite ou échec de la tâche complète), puis distille les trajectoires conjointement réussies dans les deux modules via apprentissage supervisé. Il en résulte une co-adaptation bidirectionnelle : le planificateur ancre ses sous-objectifs dans les capacités réelles du contrôleur, tandis que le contrôleur se spécialise dans les structures de trajectoire que produit le planificateur. Sur le benchmark CALVIN, référence pour la manipulation séquentielle guidée par le langage, un modèle léger entraîné avec ORCHID surpasse les méthodes purement offline, y compris un modèle Vision-Language-Action (VLA) deux fois plus grand en paramètres. L'impact est notable sur deux points. En termes d'efficacité paramétrique, qu'un modèle léger dépasse un VLA deux fois plus lourd remet en question l'hypothèse courante que l'échelle seule suffit pour les tâches complexes. En termes de stabilité d'entraînement, combiner RL hiérarchique et modèles de diffusion est notoirement instable à cause de la propagation des gradients. ORCHID contourne ce problème en substituant la distillation supervisée sur échantillons filtrés au RL gradient classique, une voie potentiellement plus praticable dans les contextes industriels où la reproductibilité de l'entraînement est critique. Le mécanisme de co-adaptation proposé constitue un principe architectural plus général, transférable à d'autres familles de politiques hiérarchiques au-delà des modèles de diffusion. Le travail s'inscrit dans la dynamique actuelle autour des politiques de diffusion pour la robotique, portée par des frameworks comme Diffusion Policy (Chi et al., 2023) et π₀ de Physical Intelligence. ORCHID se distingue en ciblant non l'architecture mais la coordination inter-niveaux, un aspect souvent sous-traité par les approches VLA end-to-end qui fusionnent planification et contrôle dans un seul réseau. Le benchmark CALVIN, développé à l'Université de Freiburg, est la référence principale pour évaluer la généralisation en manipulation séquentielle sur des tâches à horizon long. Les prochaines étapes naturelles incluent une validation sur robots physiques et une extension à des horizons temporels plus longs, deux points que cet article n'aborde pas encore.

RechercheOpinion
1 source
CAST : les étiquettes contrefactuelles améliorent le suivi d'instructions dans les modèles VLA
1058arXiv cs.RO 

CAST : les étiquettes contrefactuelles améliorent le suivi d'instructions dans les modèles VLA

Des chercheurs ont publié sur arXiv (réf. 2508.13446, juin 2025) une méthode appelée CAST, Counterfactual Augmentation for Semantic Tracking, qui cible l'un des angles morts majeurs des modèles VLA (Vision-Language-Action) : leur incapacité à suivre des instructions linguistiques fines. L'approche ne nécessite aucune collecte de nouvelles données robot. Elle s'appuie sur des modèles de vision-langage (VLM) pour reannoter automatiquement les trajectoires existantes avec des labels contrefactuels, c'est-à-dire des descriptions alternatives de ce qui aurait pu se passer si l'instruction avait été différente. Les modèles entraînés sur ces données augmentées sont évalués sur des tâches de navigation visuo-linguistique dans trois environnements distincts (intérieur et extérieur) ainsi que sur des tâches de manipulation avec distracteurs. Le résultat clé : doublement du taux de succès par rapport aux VLAs entraînés sur les données brutes non augmentées, avec des performances dépassant les méthodes de l'état de l'art sur des commandes référentielles complexes. Ce résultat est significatif parce qu'il attaque directement le problème du language grounding dans les datasets robotiques actuels, jugé pauvre en diversité sémantique pour des observations similaires. Le fait d'obtenir ces gains sans collecte additionnelle réduit drastiquement le coût d'amélioration des politiques robot, un levier critique pour les équipes qui opèrent avec des budgets de téléopération limités. Plus structurellement, CAST valide l'hypothèse que la qualité du signal de supervision linguistique pèse autant que le volume de données brutes, une nuance souvent sous-estimée dans la course au scaling des VLAs. Les VLAs de type généraliste ont émergé comme paradigme dominant depuis 2023-2024, portés par des systèmes comme OpenVLA (Stanford), pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou RT-2 (Google DeepMind). Tous partagent la même tension : un corpus de démonstrations robot coûteux à collecter, annotées en langage naturel souvent trop homogène. CAST s'inscrit dans un courant de recherche sur l'augmentation synthétique des annotations, concurrent des approches basées sur la simulation procédurale ou le re-labeling par LLM pur. Il s'agit d'un preprint arXiv, pas encore d'un système déployé, les résultats restent à confirmer sur des robots physiques à grande échelle.

RechercheOpinion
1 source
Transfert de trajectoires humain-robot centré sur la main à partir de vidéos via localisation de contacts en monde ouvert
1059arXiv cs.RO 

Transfert de trajectoires humain-robot centré sur la main à partir de vidéos via localisation de contacts en monde ouvert

Des chercheurs ont publié sur arXiv (arXiv:2606.10743, juin 2026) HOWTransfer, un cadre algorithmique centré sur la main pour transférer des démonstrations humaines filmées en trajectoires exécutables par un bras robotique. Le système fonctionne en trois étapes : reconstruction 3D temporellement cohérente du mouvement du poignet humain, localisation automatique des intervalles de contact main-objet à partir de cues visuels d'interaction, puis génération d'hypothèses de saisie en pince parallèle (parallel-jaw grasp) propagées le long de la trajectoire du poignet. Une phase finale d'édition raffine l'alignement de contact et produit plusieurs variantes exécutables depuis une seule vidéo de démonstration. Sur un ensemble de tâches de manipulation variées, le système atteint 86 % de taux de succès et est préféré aux trajectoires téléopérées dans une étude comparative en aveugle. Ce résultat mérite attention parce qu'il attaque directement le goulot d'étranglement principal du learning from demonstration (LfD) : collecter suffisamment de données de qualité. La téléopération reste coûteuse, lente et non scalable en industrie ; si un système peut extraire des trajectoires robotes directement depuis des vidéos de travailleurs humains filmés sur une chaîne d'assemblage ou en entrepôt, le coût d'entrée pour déployer de la manipulation apprise s'effondre. Fait notable : HOWTransfer ne s'appuie pas sur des descripteurs d'objets prédéfinis ni sur un tracking d'état explicite, ce qui le rend potentiellement généraliste sur des objets non vus. Le 86 % de succès annoncé est encourageant, mais les conditions expérimentales exactes (diversité des objets, profondeur de la caméra, nombre de tâches, robot cible) ne sont pas précisées dans le résumé, ce qui justifie une lecture du papier complet avant toute intégration industrielle. Le transfert de démonstration humaine vers robot via vidéo est un domaine en pleine effervescence depuis 2022-2023, porté par des travaux comme DROID, RoboAgent ou les approches VLA (Vision-Language-Action) de Google DeepMind et Physical Intelligence (Pi-0). HOWTransfer se distingue en adoptant une approche sans modèle de langage ni segmentation objet, ce qui le rend plus léger mais aussi plus fragile sur les scènes encombrées. Aucune affiliation industrielle ni partenariat de déploiement n'est mentionné : il s'agit pour l'instant d'un preprint académique, pas d'un produit. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux (Franka, UR, ou humanoïdes comme Figure 03 ou Unitree G1) et une évaluation sur des benchmarks standardisés comme RLBench ou LIBERO pour situer la performance par rapport à l'état de l'art.

RecherchePaper
1 source
GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique
1060arXiv cs.RO 

GHOST : politiques hiérarchiques à sous-objectifs pour généraliser la manipulation robotique

Des chercheurs ont publié le 10 juin 2026 un preprint arXiv (2606.10025) présentant GHOST, un framework pour politiques visuomotrices de manipulation robotique capables de généraliser au-delà de leur distribution d'entraînement. L'architecture repose sur une factorisation hiérarchique en deux niveaux : une politique haut niveau qui prédit le prochain sous-objectif sous forme de distribution sur les poses 3D de l'effecteur terminal à partir d'observations RGB-D multi-vues, et un contrôleur bas niveau conditionné sur ces objectifs qui génère les actions spécifiques à l'embodiment physique du robot. Pour relier les deux niveaux, les auteurs introduisent une interface spatiale qui projette les sous-objectifs 3D prédits dans le plan image sous forme de heatmaps de l'effecteur, une représentation volontairement simple mais compatible avec les pipelines d'entraînement existants. La politique haut niveau est entraînée sur des vidéos de démonstrations humaines brutes, sans retargeting d'actions, tandis que la politique bas niveau reste entraînée exclusivement sur des données robot. Le résultat central est que cette décomposition hiérarchique améliore systématiquement les performances et la robustesse par rapport à une Diffusion Policy plate (architecture de référence populaire depuis les travaux de Chi et al. en 2023) sur une suite de tâches de manipulation. L'insight clé est que les sous-objectifs en espace cartésien de l'effecteur sont largement "embodiment-agnostic" : la même politique haut niveau peut s'appliquer à différentes architectures de robots sans réentraînement complet. Cela contourne un goulot d'étranglement majeur dans le domaine, le retargeting d'actions depuis les démonstrations humaines, qui introduit habituellement un bruit significatif et limite la qualité des données d'entraînement. GHOST s'inscrit dans un courant actif de recherche sur l'utilisation des vidéos humaines comme source de supervision low-cost pour la robotique de manipulation, aux côtés d'approches comme pi-0 de Physical Intelligence ou des travaux sur les VLA (Visual-Language-Action models) de Google DeepMind avec RT-2 et GR00T N2 de NVIDIA. La principale limitation à noter : il s'agit d'un preprint non encore peer-reviewed, sans données de déploiement réel ni métriques de cycle time en contexte industriel. Les résultats concernent une suite de tâches de laboratoire ; la tenue à l'échelle dans des environnements moins contrôlés reste à démontrer. Aucun partenariat industriel ni timeline de commercialisation n'est annoncé.

RecherchePaper
1 source
Dexterous Point Policy : apprentissage de politiques de main habile à partir de démonstrations humaines
1061arXiv cs.RO 

Dexterous Point Policy : apprentissage de politiques de main habile à partir de démonstrations humaines

Une équipe de recherche a déposé le 10 juin 2026 sur arXiv (réf. 2606.10614) un framework baptisé Dexterous Point Policy (DPP), capable d'apprendre des politiques de manipulation dextère directement à partir de vidéos humaines, sans aucune démonstration sur robot. Le système extrait des points-clés 3D (keypoints) des objets de la tâche et des mains humaines, en ciblant spécifiquement les poignets et les bouts de doigts, puis entraîne un transformer autorégressif sur ces représentations unifiées. Sur un banc d'essai réel couvrant la saisie-dépôt (pick-and-place) et la manipulation d'outils, DPP atteint 75,0 % de succès, contre seulement 1,0 % pour le meilleur baseline de type VLA (Vision-Language-Action model) disponible. La méthode généralise également à des scénarios non vus pendant l'entraînement, notamment des environnements multi-objets et de nouvelles catégories d'objets. L'apport principal est d'éliminer le goulet d'étranglement le plus coûteux du cycle d'apprentissage robotique: la collecte de données en téléopération. Les auteurs rappellent que téléopérer une main multi-doigts pour une seule tâche atomique peut mobiliser plusieurs jours de travail humain, ce qui rend le fine-tuning classique des modèles de fondation sur données robotiques particulièrement onéreux à l'échelle. L'intuition centrale de DPP est que, au niveau des keypoints (poignets et bouts de doigts), les comportements humains et robotiques s'alignent suffisamment pour permettre un transfert direct de politique sans adaptation supplémentaire. Avec un écart de performance de 75x par rapport au baseline VLA, le résultat contredit l'idée selon laquelle combler l'embodiment gap entre humain et robot exige obligatoirement des données proprioceptives ou d'actionnement robotique. Ce travail s'inscrit dans le courant des modèles de fondation robotiques pré-entraînés sur vidéos humaines, dont Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA sont des représentants récents, qui butaient tous sur ce même problème de transfert au déploiement réel. DPP propose une réponse architecturale en choisissant une représentation intermédiaire qui abstrait la morphologie spécifique de chaque effecteur, rendant la politique agnostique à la géométrie exacte de la main robotique. Il s'agit pour l'instant d'un preprint non relu par les pairs, sans affiliation institutionnelle précisée dans le résumé public, et les tests restent limités à des tâches de complexité modérée. Les étapes naturelles seraient une validation sur des mains multi-doigts plus variées et des manipulations de plus haute complexité, comme l'assemblage de précision ou la manipulation d'outils déformables, pour confirmer la scalabilité réelle de l'approche.

RecherchePaper
1 source
AgniNav : planification locale multi-plateforme pilotée par configuration pour la navigation robotique
1062arXiv cs.RO 

AgniNav : planification locale multi-plateforme pilotée par configuration pour la navigation robotique

Une équipe de recherche a publié en juin 2026 sur arXiv (référence 2606.10903) un framework de navigation locale appelé AgniNav, conçu pour permettre à des robots de morphologies radicalement différentes de naviguer en autonomie à partir d'une unique caméra RGB, sans recourir à un capteur de profondeur actif et sans réentraînement du modèle. Le système repose sur une enveloppe de sécurité définie par quatre paramètres mesurables : hauteur critique pour la détection de collisions, longueur avant, longueur arrière, demi-largeur. Ces paramètres conditionnent simultanément un réseau image-vers-scan qui prédit un pseudo-laserscan 1D à partir d'une image couleur monoculaire, et un planificateur local qui adapte la vérification de collisions au gabarit du robot. Les expérimentations ont été conduites sur trois plateformes réelles : le Turtlebot2 (base à roues), l'Unitree Go2 (quadrupède), et l'Accelerated Evolution K1 (humanoïde). Les taux de succès sont respectivement de 39/40, 18/20 et 18/20, avec 0, 1 et 2 collisions sur l'ensemble des essais, le tout tournant à 30 Hz sur un Jetson Orin. Ce qui distingue AgniNav des travaux existants est précisément l'absence de retraining par plateforme. La quasi-totalité des politiques de navigation visuelle actuelles sont entraînées pour un couple caméra/gabarit fixe, ce qui rend leur transfert d'un robot à un autre coûteux en données et en temps. Ici, le même réseau, entraîné une fois sur des paires couleur-profondeur supervisées par des labels de scan générés à la volée, se déploie sans adaptation sur des morphologies aussi différentes qu'un rover plat et un humanoïde. Pour un intégrateur gérant une flotte hétérogène, ou pour un OEM souhaitant embarquer la navigation sur plusieurs SKUs avec un seul modèle, c'est un changement d'économie non négligeable. La navigation cross-embodiment est un problème ouvert depuis plusieurs années dans la communauté robotique : les approches concurrentes, comme celles mobilisant des politiques VLA (vision-language-action) ou des pipelines basés sur la simulation, exigent généralement soit du matériel dédié (LiDAR, caméra de profondeur RGB-D), soit des cycles de fine-tuning par plateforme. AgniNav s'inscrit dans un courant de travaux cherchant à normaliser la couche de perception au niveau de l'enveloppe physique plutôt que du modèle de robot complet. Le résultat présenté reste à ce stade une contribution de recherche, pas un produit ou un SDK distribué. Les prochaines étapes naturelles incluent la validation sur des environnements dynamiques et des densités d'obstacles plus élevées, ainsi que l'extension à des architectures d'enveloppe plus complexes pour les humanoïdes à forte variation de posture.

RecherchePaper
1 source
UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI
1063arXiv cs.RO 

UMI-Bench 1.0 : un benchmark ouvert et reproductible pour la manipulation robotique de surface avec données UMI

Une équipe de recherche a déposé le 10 juin 2026 le preprint arXiv 2606.10382 décrivant UMI-Bench 1.0, présenté comme le premier benchmark entièrement dédié à l'évaluation en conditions réelles de politiques de manipulation robotique entraînées via l'Universal Manipulation Interface (UMI). Le benchmark cible la manipulation d'objets sur table (tabletop manipulation) et couvre l'intégralité de la chaîne de validation : collecte de données, réinitialisation de scène entre essais, exécution de politique, journalisation des résultats et analyse par facteurs de tâche. Il opère en mode "local-first", c'est-à-dire que les évaluations tournent directement sur robot réel, sans couche de simulation intermédiaire. L'UMI couple observations depuis une caméra montée au poignet, représentation des actions, collecte de démonstrations humaines et déploiement physique, une architecture dont les performances dépendent de la cohérence de chaque maillon. Ce benchmark répond à un problème structurel de l'apprentissage par imitation : l'absence de protocole standardisé conduit chaque équipe à évaluer ses politiques dans des conditions non comparables, ce qui rend la littérature difficile à arbitrer pour un intégrateur ou un décideur industriel. En rendant le processus reproductible et auditable, UMI-Bench permet de mesurer concrètement dans quelle mesure une politique entraînée sur des démonstrations généralise à des configurations physiques inédites, ce que les chercheurs appellent la sim-to-real (ici demo-to-real) generalization. C'est un enjeu central pour les politiques de diffusion (Diffusion Policy) et les VLA (Vision-Language-Action models), dont les performances en démonstration sélectionnée restent difficiles à quantifier sans infrastructure de test commune. L'UMI a été introduit en 2023-2024 par Cheng Chi et al. (Columbia University) comme interface portable de collecte de démonstrations : un opérateur guide un gripper équipé d'une caméra et d'un module de localisation, et les trajectoires servent directement à entraîner des politiques. Le paysage concurrent des benchmarks comprend LIBERO, DROID et le framework LeRobot de Hugging Face, qui proposent leurs propres protocoles mais sans calibration spécifique pour le pipeline UMI. L'étape logique suivante serait l'intégration de modèles fondationnels comme pi-0 (Physical Intelligence) ou OpenVLA dans ce protocole de référence, et l'extension à des tâches multi-étapes.

RecherchePaper
1 source
Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée
1064arXiv cs.RO 

Revue des approches de navigation et manipulation robotique avec simulateurs physiques à l'ère de l'IA incarnée

Un groupe de chercheurs a publié sur arXiv (réf. 2505.01458, version 2, mai 2025) un état de l'art sur l'utilisation des simulateurs physiques pour entraîner des robots à la navigation et à la manipulation dans le cadre de l'IA incarnée (Embodied AI). L'étude analyse comment les moteurs de simulation réduisent le "sim-to-real gap", c'est-à-dire l'écart de performance constaté quand un agent entraîné en simulation est déployé dans le monde réel. Le survey passe en revue les caractéristiques des principaux simulateurs, leurs contraintes matérielles, et propose un inventaire structuré de datasets de référence, métriques d'évaluation et méthodes existantes. Aucun code ou outil nouveau n'est publié: il s'agit d'une contribution bibliographique et méthodologique. Cette revue intervient alors que le sim-to-real gap demeure l'obstacle principal au déploiement industriel de robots humanoïdes et de bras manipulateurs. Entraîner directement sur du matériel réel est coûteux, lent et risqué, ce qui place la simulation au cœur des pipelines de développement des VLA (Vision-Language-Action models) et des systèmes de navigation autonome. En consolidant des propriétés peu documentées des simulateurs, le survey aide ingénieurs et chercheurs à sélectionner l'outil adapté à leurs contraintes hardware sans avoir à faire une veille exhaustive de la littérature. Les simulateurs en compétition dans cet espace incluent Isaac Sim (NVIDIA), MuJoCo (DeepMind/Google), PyBullet, Webots et Genesis, un moteur GPU-natif récent. L'intérêt pour ce type de synthèse est alimenté par l'accélération du secteur: Figure AI, Physical Intelligence (pi zero), Boston Dynamics, Unitree et Agility Robotics multiplient les annonces de déploiements en environnements industriels réels. Ce survey constitue un point d'entrée structuré pour les équipes qui montent leur pipeline sim-to-real en 2025, à condition de ne pas attendre de benchmarks neutres et indépendants: l'évaluation des simulateurs reste largement conduite par leurs propres éditeurs.

RecherchePaper
1 source
Politiques hiérarchiques à partir de signaux verbaux et égocentrés pour l'interaction naturelle homme-robot
1065arXiv cs.RO 

Politiques hiérarchiques à partir de signaux verbaux et égocentrés pour l'interaction naturelle homme-robot

Des chercheurs ont présenté EDITH (Egocentric Data for Intent from The Human), un cadre de contrôle robotique qui intègre les signaux non-verbaux humains, notamment le regard et la vue égo-centrique, comme entrées directes d'une politique de robot, en complément des instructions verbales. Le système repose sur des lunettes intelligentes portées par l'opérateur, qui diffusent en temps réel un flux vidéo à la première personne, le point de regard (gaze tracking) et la parole transcrite automatiquement en texte. Une architecture hiérarchique à deux niveaux traite ces signaux : un module haut niveau infère l'intention et génère une séquence de sous-tâches, chacune représentée par une instruction textuelle fine associée à une image-clé (keyframe) ancrant l'objet cible dans la scène ; un module bas niveau exécute ensuite ces sous-tâches sur le robot physique. Les expériences sur des tâches interactives montrent qu'EDITH réagit à des signaux non-verbaux exprimés très brièvement et réduit significativement l'effort de communication par rapport à une interface purement textuelle. L'enjeu industriel est direct : les politiques robotiques actuelles reposent exclusivement sur des commandes linguistiques explicites, forçant l'opérateur à verbaliser chaque intention, une friction significative dans les environnements collaboratifs et sur les lignes d'assemblage. En capturant le geste et le regard comme canaux implicites, EDITH rapproche l'interaction humain-robot des modes naturels de collaboration entre humains et ouvre une voie vers des manipulateurs plus accessibles à des opérateurs non formés. La représentation en keyframe ancre l'intention dans la scène réelle plutôt que dans un espace de tokens abstrait, adressant partiellement le gap entre instructions ambiguës et exécution physique précise, une limitation bien documentée des approches VLA (Vision-Language-Action) à entrée textuelle seule. EDITH s'inscrit dans un mouvement plus large de politiques multimodales pour la manipulation robotique, aux côtés de travaux comme Pi-0 de Physical Intelligence, OpenVLA ou GR00T N2 de NVIDIA, qui combinent vision et langage mais conservent le texte comme unique interface d'intention. L'originalité d'EDITH réside dans l'exploitation du gaze tracking comme signal de sélection d'objet implicite, une approche étudiée en recherche mais rarement intégrée dans une politique bout-en-bout déployée sur robot réel. Le travail, publié en preprint sur arXiv (2606.10276), inclut le code source et des vidéos de démonstration sur robot physique, mais ne mentionne aucun partenaire industriel ni timeline de déploiement commercial. Les prochaines étapes naturelles concerneront la robustesse du gaze tracking en environnement industriel bruité et la validation sur des tâches d'assemblage plus complexes.

RechercheOpinion
1 source
HandCept : un cadre de fusion visuo-inertielle pour la proprioception précise des mains dextériques
1066arXiv cs.RO 

HandCept : un cadre de fusion visuo-inertielle pour la proprioception précise des mains dextériques

Une équipe de chercheurs a publié sur arXiv en mai 2025 (référence 2505.08213) HandCept, un framework de proprioception visuo-inertielle pour mains dextres robotiques. Le système combine une caméra RGB-D montée au poignet et des IMU à 9 axes (accéléromètre, gyroscope, magnétomètre) pour estimer les angles articulaires en temps réel, via un filtre de Kalman étendu (EKF) sans latence ajoutée. Les erreurs d'estimation se situent entre 2° et 4° sur les angles articulaires, sans dérive observable sur la durée, surpassant selon les auteurs les approches purement visuelles ou purement inertielles. L'approche repose sur un apprentissage zero-shot, sans données réelles annotées, rendu possible par un pipeline de rendu photoréaliste haute fidélité sous Blender, publié en open-source sur GitHub. La proprioception, c'est-à-dire la capacité d'une main robotique à connaître précisément la position de ses propres doigts, reste l'un des verrous techniques de la manipulation dextre généraliste. Les encodeurs magnétiques et capteurs de force embarqués dans des mains multi-DOF imposent des contraintes de volume, de câblage et de calibration souvent incompatibles avec un déploiement à l'échelle. HandCept contourne ces limites en s'appuyant sur des capteurs déjà présents dans de nombreuses plateformes humanoïdes ou cobots, et la fusion EKF temps réel réduit le fossé sim-to-real, point critique pour accélérer le déploiement de politiques d'imitation learning ou de VLA (Vision-Language-Action) apprises en simulation. La précision annoncée de 2 à 4° reste toutefois à contextualiser: les résultats sont issus de conditions de laboratoire contrôlées et le papier n'a pas encore été évalué par les pairs. La course à la manipulation dextre s'est intensifiée en 2024-2025 avec des mains à haute densité d'actionneurs chez Figure (Figure 03), Sanctuary AI, Physical Intelligence (pi0), ou encore LEAP Hand côté recherche ouverte. La précision proprioceptive conditionne directement les performances de ces architectures. HandCept reste à ce stade un résultat de laboratoire: les auteurs n'annoncent ni partenaire industriel, ni timeline de commercialisation, ni intégration sur une plateforme humanoïde spécifique. Le pipeline Blender open-sourcé constitue néanmoins une contribution tangible pour la communauté, en facilitant la génération de données synthétiques pour d'autres équipes travaillant sur des architectures similaires sans accès à un système de capture de mouvement coûteux.

RecherchePaper
1 source
Formulation géométrique du contrôle unifié force-impédance sur SE(3) pour les manipulateurs robotiques
1067arXiv cs.RO 

Formulation géométrique du contrôle unifié force-impédance sur SE(3) pour les manipulateurs robotiques

Des chercheurs ont soumis sur arXiv (identifiant 2504.17080, troisième révision) un cadre de contrôle baptisé GUFIC (Geometric Unified Force-Impedance Control), qui fusionne deux méthodes existantes, le contrôle d'impédance unifié par la force (UFIC) et le contrôle d'impédance géométrique (GIC), en les étendant au manifold SE(3), le groupe spécial euclidien décrivant l'ensemble des mouvements rigides à 6 degrés de liberté (translation et rotation). L'objectif est de permettre à un bras manipulateur de suivre simultanément une trajectoire complète dans l'espace et d'exercer une force précise sur une surface de contact, tout en garantissant la passivité du système grâce à l'augmentation par réservoir d'énergie (energy tank augmentation). La validation a été conduite uniquement en simulation, via le simulateur MuJoCo, sur des scénarios combinant suivi de trajectoire SE(3) et application de force ; le code est disponible en open source sur GitHub. L'enjeu central est de formuler le contrôle de contact sur la géométrie exacte du mouvement rigide plutôt que dans l'espace cartésien linéarisé, ce qui élimine des approximations qui dégradent les performances lors de rotations importantes. La garantie de passivité est directement pertinente pour les intégrateurs industriels : elle assure que le robot ne peut pas injecter d'énergie de façon incontrôlée en contact avec un environnement incertain, limitant les risques de dommages matériels ou humains. Le papier résout également un problème d'implémentation non-causale du UFIC original en introduisant des champs de vitesse et de force, rendant le contrôleur réellement déployable en temps réel. Les propriétés d'invariance et d'équivariance SE(3) héritées par le GUFIC améliorent par ailleurs l'efficacité d'échantillonnage des algorithmes d'apprentissage embarqués dans la loi de contrôle, un avantage non négligeable à mesure que les pipelines VLA (vision-language-action) s'intègrent aux contrôleurs bas niveau. Le GUFIC s'appuie sur deux lignées de travaux : le UFIC (Schindlbeck et Haddadin, 2015), référence établie pour le contrôle force-impédance, et le GIC développé précédemment par les mêmes auteurs pour appliquer la géométrie différentielle à l'impédance pure. Cette contribution s'inscrit dans la compétition entre approches géométriques et formulations classiques en espace opérationnel (Khatib) ou contrôle d'admittance. La validation hardware sur un manipulateur physique reste absente de ce papier, ce qui constitue la frontière habituelle entre contribution théorique et impact industriel tangible ; la disponibilité du code en open source facilitera néanmoins la reproduction et le portage vers des plateformes réelles par d'autres équipes de recherche.

UELe code open source peut être exploité par les laboratoires et intégrateurs robotiques européens travaillant sur la manipulation en contact, mais l'article ne mentionne aucun acteur FR/EU spécifique et la validation hardware reste absente.

RecherchePaper
1 source
Equanimité dans l'interaction humain-robot : appliquer les principes de la technologie calme
1068arXiv cs.RO 

Equanimité dans l'interaction humain-robot : appliquer les principes de la technologie calme

Un article publié en juin 2026 sur arXiv (identifiant 2606.09836) propose un cadre théorique et pratique pour intégrer les principes de la "Calm Technology" dans l'interaction humain-robot (HRI), avec un focus sur l'environnement domestique. Les auteurs formulent des lignes directrices concrètes pour concevoir des robots d'assistance qui privilégient l'équanimité de l'utilisateur, c'est-à-dire des interactions calmes, non intrusives et harmonieuses. L'étude cible spécifiquement les assistants domestiques, identifiés comme opérant dans l'espace le plus intime de la vie quotidienne, ce qui justifie une approche de conception distincte de celle des environnements industriels ou commerciaux. Aucun prototype ni déploiement spécifique n'est présenté : il s'agit d'un article de cadrage conceptuel, pas d'un produit commercialisé. L'enjeu est significatif pour les concepteurs de robots sociaux et domestiques. La "Calm Technology", concept forgé par Mark Weiser et John Seely Brown chez Xerox PARC dans les années 1990, postule que les meilleures interfaces technologiques opèrent à la périphérie de l'attention humaine, n'intervenant au premier plan que lorsque c'est strictement nécessaire. Son application formalisée à la robotique reste encore rare : la majorité des plateformes actuelles sont conçues pour solliciter activement l'utilisateur, créant une charge cognitive continue. L'article argumente que cette posture est incompatible avec les besoins de confort et d'autonomie dans un foyer, et fournit des exemples concrets de fonctionnalités à intégrer pour réduire cette friction attentionnelle. Ce travail s'inscrit dans un courant émergent autour de la robotique responsable et du design comportemental, qui prend de l'ampleur alors que plusieurs acteurs avancent leurs projets de robots domestiques : Enchanted Tools en France avec son robot Miroki, 1X Technologies en Norvège, ou encore Samsung et ses prototypes d'assistants résidentiels. Au-delà des performances mécaniques (payload, degrés de liberté, cycle time), le design de l'interaction devient un différenciateur clé pour l'acceptation sociale de ces systèmes. L'article ouvre des pistes de recherche appliquée sur la modulation de la proactivité robotique, le silence contextuel, et la hiérarchisation des signaux d'alerte, sans citer de calendrier de déploiement ni de partenaires industriels.

UELes lignes directrices proposées pourraient bénéficier aux concepteurs européens de robots domestiques, notamment Enchanted Tools (Miroki, France) et 1X Technologies (Norvège), en fournissant un cadre de design axé sur la réduction de la charge cognitive et l'acceptabilité sociale.

RecherchePaper
1 source
GUIDE : compréhension directionnelle initialisée par l'objectif pour la navigation visuelle de bout en bout
1069arXiv cs.RO 

GUIDE : compréhension directionnelle initialisée par l'objectif pour la navigation visuelle de bout en bout

Des chercheurs ont publié sur arXiv (référence 2606.10832, juin 2026) un framework d'apprentissage par renforcement baptisé GUIDE (Goal-Initialized Directional Understanding for End-to-End), conçu pour la navigation visuelle autonome de robots à pattes. Le principe fondamental est simple : contrairement aux systèmes existants qui alimentent le robot en mises à jour continues de sa cible depuis des modules d'estimation d'état hiérarchiques, GUIDE ne fournit la cible qu'une seule fois, au début de l'épisode. Le robot doit ensuite naviguer en s'appuyant exclusivement sur sa mémoire spatiale interne. Deux composants structurent le système : un prédicteur d'ancre spatiale qui exploite l'historique proprioceptif multi-fréquences pour construire des représentations d'egomouvement, et un flux de profondeur brut pour percevoir la géométrie locale. Les expériences ont été conduites sur un robot quadrupède, en simulation et en environnement réel, dans des scènes encombrées et des labyrinthes structurés, sans carte préalable. L'enjeu pour les intégrateurs est direct : supprimer la dépendance aux modules d'estimation d'état externes simplifie le stack de déploiement et réduit les points de défaillance. Les architectures hiérarchiques actuelles (localisation + cartographie + planification) sont coûteuses à calibrer et fragiles dans des environnements non cartographiés. GUIDE démontre qu'un robot peut maintenir une conscience directionnelle persistante grâce à la mémoire proprioceptive, sans SLAM ni GPS, un résultat qui renforce l'hypothèse que la proprioception peut partiellement suppléer la localisation explicite. La politique étant déployée de bout en bout sans modules séparés à l'inférence, la complexité opérationnelle en production s'en trouve réduite -- un argument concret pour les équipes industrielles. La navigation sans carte pour robots à pattes est un sujet actif : les travaux sur ANYmal (ETH Zurich), les politiques locomotrices de Unitree ou les recherches de CMU s'appuient encore majoritairement sur des représentations géométriques explicites. GUIDE s'inscrit dans la tendance "fully end-to-end" qui cherche à éliminer ces modules intermédiaires, tendance visible également dans les VLA (Vision-Language-Action models) appliqués à la manipulation. Il faut néanmoins rappeler qu'il s'agit d'une publication académique, sans pilote industriel ni déploiement commercial annoncé. Les suites naturelles incluent des tests dans des environnements non structurés à grande échelle et l'intégration avec des modèles de fondation visuels pour la spécification dynamique de la cible.

RecherchePaper
1 source
LieIPM : méthode de point intérieur sur groupes de Lie pour l'optimisation directe de trajectoires de corps rigides
1070arXiv cs.RO 

LieIPM : méthode de point intérieur sur groupes de Lie pour l'optimisation directe de trajectoires de corps rigides

Une équipe de chercheurs a publié en juin 2026 sur arXiv (référence 2606.10579) une nouvelle méthode d'optimisation de trajectoires appelée LieIPM, pour Lie Group Interior Point Method. L'approche traite le problème de la planification de mouvement de corps rigides, c'est-à-dire tout système mécanique dont l'état est décrit par une rotation et une translation dans l'espace, en opérant directement sur les groupes de Lie matriciels plutôt que dans un espace euclidien. Concrètement, les auteurs construisent un cadre de second ordre exploitant la structure géométrique de SO(3) et SE(3), permettant des mises à jour de type Newton tout en préservant la topologie des rotations. Ils y intègrent une méthode de point intérieur avec recherche linéaire (line-search), des intégrateurs variationnels sur groupe de Lie, et des dérivées intrinsèques en forme fermée qui exploitent les symétries de groupe. Les résultats numériques présentés indiquent une robustesse supérieure et une convergence plus rapide par rapport aux solveurs généralistes et aux méthodes de contrôle optimal exploitant déjà la structure. L'enjeu technique central est le suivant : les optimiseurs de trajectoires existants, comme IPOPT ou SNOPT, travaillent en espace euclidien et ignorent la structure de variété des rotations, ce qui produit des singularités (l'équivalent du gimbal lock en paramétrisation d'Euler) et des problèmes mal conditionnés. En traitant la contrainte de manifold par construction plutôt que par pénalisation ou projection a posteriori, LieIPM évite ces pathologies. Pour un intégrateur ou un ingénieur robotique travaillant sur la manipulation, la locomotion bipède, ou la planification pour bras industriels avec contraintes d'orientation strictes, cela signifie potentiellement des pipelines de planification plus fiables sans recourir à des paramétrages ad hoc comme les quaternions avec re-normalisation forcée. Sur le plan académique, LieIPM s'inscrit dans une longue tradition reliant mécanique géométrique et optimisation, initiée notamment par les travaux de Murray, Li et Sastry dans les années 1990. Il se positionne face à des méthodes récentes comme Crocoddyl (LAAS-CNRS/Inria, qui utilise déjà le DDP sur SE(3)) ou ALTRO, en ajoutant la couche point intérieur pour les contraintes générales sur variété. Il s'agit à ce stade d'une contribution de recherche avec validation numérique uniquement, sans déploiement annoncé sur robot physique ni transfert industriel documenté.

UECrocoddyl (LAAS-CNRS/Inria) est cité comme méthode comparable ; si LieIPM est intégré dans des outils open-source, les équipes françaises en planification de mouvement (locomotion bipède, manipulation) en bénéficieraient directement.

RecherchePaper
1 source
HiMem-WAM : modèles d'action-monde à mémoire hiérarchique pour la manipulation robotique
1071arXiv cs.RO 

HiMem-WAM : modèles d'action-monde à mémoire hiérarchique pour la manipulation robotique

Une équipe de recherche a déposé sur arXiv (2606.10363v1) HiMem-WAM, un nouveau modèle d'action hiérarchique pour la manipulation robotique. L'architecture s'attaque à une limitation persistante des World Action Models (WAM) existants : leur incapacité à maintenir une mémoire de tâche cohérente sur des séquences longues, typiques des manipulations multi-étapes. HiMem-WAM combine trois mécanismes : des actions latentes centrées sur le mouvement (niveau bas), des latents de compétences de haut niveau, et une porte mémoire déclenchée aux transitions de compétences prédites. Ce verrou mémoire écrit des états compacts à des moments-clés, permettant l'inférence causale sans génération vidéo ni estimation de flux optique au moment du test. Le modèle a été évalué sur les benchmarks LIBERO, LIBERO-PLUS et RMBench, ainsi que sur des tâches en conditions réelles. La contribution principale est d'ordre systémique : la structuration hiérarchique améliore la robustesse sous perturbations lors du déploiement, là où la plupart des architectures VLA actuelles échouent dès qu'un événement imprévu survient en milieu de séquence. Pour un décideur industriel, c'est un signal pertinent : le module mémoire apporte, selon les auteurs, un gain substantiel sur les tâches longues dépendantes de l'historique d'action. Éviter la génération vidéo en temps d'inférence réduit également la latence et la charge computationnelle, deux freins réels au déploiement embarqué. Ces résultats restent toutefois issus d'un preprint non peer-reviewed, et les performances sur benchmarks standardisés ne garantissent pas les mêmes gains en environnement de production non contrôlé. Les World Action Models constituent un paradigme récent qui apprend les dynamiques visuelles pertinentes pour l'action, distinct des architectures VLA classiques comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, lesquelles s'appuient sur des transformers multimodaux de grande taille. La manipulation longue-horizon reste un défi ouvert pour l'ensemble du secteur : ni les diffusion-policies ni les modèles language-conditioned n'ont résolu le maintien du contexte sur des séquences dépassant une dizaine de sous-tâches. HiMem-WAM propose une piste architecturale concrète, mais sans intégration hardware annoncée ni timeline de déploiement, ce qui en fait pour l'instant une contribution de recherche fondamentale.

RechercheOpinion
1 source
Génération de designs de robots diversifiés et fonctionnels par paramétrisation superquadrique et diversité-qualité
1072arXiv cs.RO 

Génération de designs de robots diversifiés et fonctionnels par paramétrisation superquadrique et diversité-qualité

Une équipe de recherche propose, dans un preprint déposé sur arXiv (arXiv:2606.11037), une méthode de conception générative de robots combinant une représentation par superquadrics (SQs) avec l'algorithme de quality-diversity MAP-Elites. Les superquadrics sont des formulations mathématiques compactes et interprétables de formes géométriques 3D, paramétrables pour s'adapter à différents espaces de design. Les chercheurs les comparent aux CPPN (Compositional Pattern Producing Networks) comme générateurs de morphologies, en les couplant à des algorithmes évolutionnaires (EAs) classiques et à MAP-Elites. Sur deux environnements de test distincts, la combinaison SQs avec MAP-Elites atteint le score QD (quality-diversity) le plus élevé dans les deux cas, maximisant simultanément la diversité des formes générées et la performance fonctionnelle des robots obtenus. Le résultat adresse un verrou récurrent en co-évolution morphologie/contrôle : la convergence prématurée des EAs vers un petit ensemble de designs sous-optimaux. Dans un contexte où la robotique physique diversifiée gagne du terrain, notamment pour des tâches industrielles hétérogènes, la capacité à explorer automatiquement de larges espaces de configurations morphologiques sans intervention humaine est un enjeu concret pour les équipes R&D. La compacité des SQs réduit la dimensionnalité du problème d'optimisation, tandis que MAP-Elites maintient une archive explicite de solutions qualitativement différentes, évitant l'effondrement de la diversité populationnelle. Les résultats suggèrent qu'une représentation géométrique interprétable est plus efficace qu'une représentation neuronale implicite (CPPN) quand on cherche à explorer un espace de design morphologique complexe. MAP-Elites est une méthode QD développée initialement par Mouret et Clune (2015), largement utilisée en évolution de morphologies et en robotique adaptative. Les CPPN, introduits par Stanley et collaborateurs dans les années 2000, restent une référence concurrente pour l'encodage indirect de morphologies. Ce travail s'inscrit dans une tradition académique active autour du design automatisé de robots, qui inclut des équipes comme le lab Cheney/Clune (Vermont/Wyoming) ou le groupe Mouret à l'INRIA Paris. Il s'agit à ce stade d'un preprint sans validation par les pairs, avec des évaluations limitées à deux environnements simulés, sans validation hardware ni transfert sim-to-real rapporté. La prochaine étape naturelle serait une validation sur robot physique.

UELa méthode s'appuie sur MAP-Elites, algorithme développé par Mouret au sein de l'INRIA Paris, confirmant l'expertise française en évolution de morphologies robotiques, sans transfert industriel immédiat.

RecherchePaper
1 source
Une architecture neuronale à impulsions pour coordonner le contrôle du bras et la locomotion
1073arXiv cs.RO 

Une architecture neuronale à impulsions pour coordonner le contrôle du bras et la locomotion

Des chercheurs ont publié sur arXiv (2606.11034, juin 2026) une architecture SNN (Spiking Neural Network) capable de coordonner en temps réel le contrôle des bras et la locomotion bipède d'un humanoïde simulé, une combinaison absente des travaux précédents dans ce paradigme. Le système s'appuie sur le Neural Engineering Framework (NEF) et la Semantic Pointer Architecture (SPA), avec un modèle de ganglions de la base à impulsions biologiquement inspiré pour arbitrer la sélection entre marche et manipulation. La co-simulation Nengo (contrôle neural) et Isaac Sim de NVIDIA (physique) a permis de valider quatre tâches : atteinte de cible en espace 3D, dessin continu de chiffres, locomotion en suivi de trajectoire, et commutation dynamique entre marche et contrôle du bras via désinhibition des ganglions de la base. Le principal argument de l'approche est son potentiel d'efficacité énergétique sur matériel neuromorphique (Intel Loihi, SpiNNaker), là où les humanoïdes commerciaux actuels comme Figure 03, Optimus ou Unitree G1 exigent des GPU embarqués énergivores. Cette publication revendique la première intégration unifiée locomotion-manipulation sur plateforme humanoïde pleine échelle dans le paradigme SNN, les rares précédents traitant les deux sous-systèmes en modules entièrement isolés. La limite centrale à signaler est que l'ensemble des résultats est issu de simulation pure, le gap sim-to-real n'étant pas adressé dans cette étude. Les SNNs s'imposent depuis quelques années comme alternative crédible aux réseaux denses pour les systèmes embarqués à contrainte énergétique forte. Le framework Nengo, développé par Applied Brain Research, est l'outil de référence de cet écosystème. Face à cette approche, les acteurs majeurs de la course humanoïde, Figure AI, 1X Technologies, Boston Dynamics et Physical Intelligence (auteurs de Pi-0), misent sur des VLA (Vision-Language-Action models) et du reinforcement learning à grande échelle ; l'approche SNN vise un axe orthogonal, davantage frugal et interprétable, mais encore en retrait sur les benchmarks de manipulation en environnement réel. Les auteurs annoncent le déploiement sur matériel neuromorphique basse consommation comme prochaine étape, ce qui constituera le vrai test de l'hypothèse énergétique centrale à ce travail.

RecherchePaper
1 source
Transport robotique d'objets sans préhension avec un plateau suspendu
1074arXiv cs.RO 

Transport robotique d'objets sans préhension avec un plateau suspendu

Des chercheurs ont publié sur arXiv (arXiv:2606.10039) une approche originale du problème dit du "serveur robotique" : transporter un objet posé sur un plateau sans le saisir, d'un point A à un point B, sans faire glisser l'objet ni faire ballotter un liquide. Plutôt que de fixer rigidement le plateau à l'effecteur final du robot et de le faire s'incliner comme le font la plupart des travaux antérieurs, les auteurs suspendent le plateau par des cordes depuis l'effecteur, de sorte qu'il se comporte comme un pendule tridimensionnel. Cette configuration limite à 3 degrés de liberté (DDL) la base mobile nécessaire, au lieu d'un bras manipulateur complet à 6 DDL. Les expériences sont conduites à la fois en simulation et sur matériel réel, et la démonstration intègre un système de vision par ordinateur pour détecter les personnes qui lèvent la main, suivi d'un asservissement visuel pour guider le robot vers elles et leur permettre d'accéder au plateau. Le résultat central est que le plateau suspendu réduit sensiblement, par rapport au plateau tenu rigidement, les deux phénomènes problématiques : le glissement d'objets rigides et le ballottement de liquides dans des contenants ouverts. L'explication physique est connue dans la littérature : le mouvement pendulaire réduit les forces de cisaillement exercées sur les objets transportés. Ce que ce travail démontre, c'est qu'on peut obtenir ce bénéfice sans simuler le mouvement pendulaire par un bras 6-DDL complet, ce qui allège considérablement l'architecture matérielle et réduit le coût d'intégration pour des robots de service. C'est un résultat utile pour les intégrateurs qui déploient des robots de livraison en intérieur. Le problème du serveur robotique est un classique de la manipulation non préhensile, étudié depuis plusieurs années dans des laboratoires de robotique académique. Côté industrie, des acteurs comme Keenon Robotics, Bear Robotics (Servi) ou Richtech Robotics déploient déjà des robots serveurs commerciaux, mais ils évitent généralement le problème de la dynamique du plateau en utilisant des étagères fixes. L'approche pendulaire reste pour l'instant dans le domaine de la recherche ; aucun pilote industriel ni partenariat commercial n'est mentionné dans la publication. Les prochaines étapes logiques seraient de tester sur des trajectoires plus complexes et des objets moins symétriques, et d'évaluer la robustesse face aux perturbations extérieures.

RecherchePaper
1 source
Repenser la navigation incarnée grâce au biais inductif relationnel
1075arXiv cs.RO 

Repenser la navigation incarnée grâce au biais inductif relationnel

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (référence 2606.10348) DB-Nav, un framework de navigation robotique incarnée conçu pour la tâche ObjectNav : guider un agent autonome vers un objet cible dans un environnement inconnu, en s'appuyant uniquement sur des observations visuelles. La spécificité de DB-Nav est de ne pas se contenter de détecter où chercher, mais d'identifier activement ce à quoi ne pas faire confiance. Le système décompose les relations objet-contexte en deux biais complémentaires : un biais d'activation, qui propage les indices contextuels fiables dans la carte de l'environnement, et un biais d'inhibition, qui supprime les régions trompeuses via deux mécanismes distincts, la confusion perceptuelle (faux positifs issus des détecteurs open-vocabulary) et la falsification par l'action (zones déjà explorées sans succès). Ces deux biais sont unifiés dans un graphe appelé Relational Activation-Inhibition Exploration Graph, qui module dynamiquement les valeurs d'exploration des frontières candidates à partir des observations en ligne et des échecs passés. L'intérêt opérationnel de cette approche réside dans l'identification d'un problème structurel souvent sous-estimé : les modèles de vision-langage (VLM) utilisés en robotique de navigation produisent des biais systématiques, faux positifs récurrents, priors statiques obsolètes, absence de vérification incarnée, qui contaminent la cartographie et la prise de décision. DB-Nav y répond sans recourir à un raisonnement VLM en ligne coûteux, ce qui le rend à la fois léger et interprétable. Sur les benchmarks ObjectNav standards, le framework surpasse significativement les méthodes existantes en taux de succès (SR) et en succès pondéré par la longueur du chemin (SPL), deux métriques de référence dans l'évaluation de la navigation autonome en intérieur. La tâche ObjectNav est un banc d'essai central de la robotique cognitive depuis plusieurs années, avec des contributions majeures issues de laboratoires comme AI2, Meta ou CMU. Les approches dominantes jusqu'ici s'appuient sur des détecteurs open-vocabulary (CLIP, Grounding DINO) ou des VLM comme GPT-4V pour guider l'exploration, au prix d'une latence et d'une dépendance à des modèles lourds. DB-Nav s'inscrit dans un courant de recherche qui cherche à corriger le "reality gap" des VLM en intégrant un retour d'expérience incarné, une piste que suivent également des équipes travaillant sur les architectures Vision-Language-Action (VLA) pour la robotique mobile. Ce travail reste à ce stade une contribution académique sans déploiement annoncé ; son impact dépendra de son intégration dans des pipelines de navigation réels, notamment pour les robots de service en environnements intérieurs non structurés.

RecherchePaper
1 source
Suivre le flux : modèles comportementaux de Koopman comme pseudo-planificateurs pour la dextérité visuomotrice
1076arXiv cs.RO 

Suivre le flux : modèles comportementaux de Koopman comme pseudo-planificateurs pour la dextérité visuomotrice

Des chercheurs ont soumis sur arXiv (arXiv:2602.07413v3) un framework nommé Unified Behavioral Models (UBMs) pour améliorer la dextérité visuo-motrice des manipulateurs robotiques. L'approche, instanciée sous le nom Koopman-UBM (K-UBM), modélise les compétences dextères comme des systèmes dynamiques couplés : les caractéristiques visuelles de l'environnement (visual flow) et les états proprioceptifs du robot (action flow) co-évoluent dans un espace latent linéaire structuré via l'opérateur de Koopman. Évalué sur sept tâches en simulation et quatre en conditions réelles, K-UBM égale ou dépasse les méthodes de référence tout en offrant une inférence plus rapide et une robustesse aux occlusions partielles. L'enjeu est structurel : les architectures actuelles à base de diffusion et de transformers modélisent les compétences comme des mappings réactifs, et s'appuient sur un action chunking à horizon fixe, créant un compromis rigide entre cohérence temporelle et réactivité. K-UBM contourne ce problème en garantissant la cohérence par construction via la dynamique du système. Son mécanisme de replanning en ligne automatique surveille l'exécution en temps réel et redémarre une planification dès que le visual flow prédit diverge de l'observé au-delà d'un seuil configuré. Pour un intégrateur industriel, cela se traduit par moins de données d'entraînement requises, une robustesse accrue aux perturbations et occlusions partielles, et une latence d'inférence réduite, trois freins identifiés au déploiement des manipulateurs dextres en production. La dextérité multi-doigts reste l'un des verrous les plus documentés de la robotique de manipulation : les architectures dominantes comme Diffusion Policy, ACT, ou Pi-0 de Physical Intelligence fonctionnent sur des tâches structurées mais peinent à s'adapter à des perturbations fines en temps réel. L'opérateur de Koopman, issu de la théorie des systèmes dynamiques non-linéaires, linéarise un espace d'état non-linéaire dans un espace latent de haute dimension, rendant le système analytiquement tractable. Ce papier est une contribution de recherche fondamentale : aucun partenaire industriel ni calendrier de déploiement n'est mentionné. Les suites naturelles incluent des évaluations sur davantage de tâches réelles en conditions non contrôlées et une intégration potentielle dans des frameworks ouverts comme Lerobot, développé par HuggingFace (Paris).

RecherchePaper
1 source
RoboNaldo : tirs précis, stables et puissants pour humanoïdes via apprentissage par renforcement à programme progressif guidé par le mouvement
1077arXiv cs.RO 

RoboNaldo : tirs précis, stables et puissants pour humanoïdes via apprentissage par renforcement à programme progressif guidé par le mouvement

Des chercheurs d'OpenDriveLab ont publié le 13 juin 2026 RoboNaldo (arXiv:2606.11092), un framework d'apprentissage par renforcement en curriculum à trois étapes conçu pour entraîner un humanoïde à tirer au football avec précision et puissance. Déployé sur un Unitree G1 avec perception embarquée, le système atteint une erreur de tir moyenne de 0,73 m depuis 3 m en situation de coup franc (balle stationnaire), et 0,86 m sur balle en mouvement. La vitesse post-contact de la balle atteint 13,10 m/s, soit 59 à 71 % de la vitesse mesurée chez des joueurs professionnels en match ouvert. En simulation, RoboNaldo réduit l'erreur de tir de 48,6 % et multiplie la vélocité de frappe par 2,96 par rapport aux baselines de référence antérieures. L'intérêt technique réside dans la combinaison de deux approches qui s'avèrent complémentaires plutôt qu'opposées : le motion tracking-driven RL (stable mais rigide face à des positions de balle variables) et le task reward-driven RL (flexible mais inefficace à explorer des kicks valides de zéro). RoboNaldo hybride les deux via un curriculum progressif : le robot apprend d'abord un prior de coup de pied corps entier stable à partir d'une seule référence humaine, puis l'adapte à des positions de balle aléatoires, puis à une balle en mouvement via une interface locomotion-commande/kick-trigger. Un planificateur heuristique haut niveau pilote l'entraînement, mais le même policy bas niveau peut être conduit par n'importe quel contrôleur alternatif à l'inférence, ce qui est une propriété utile pour l'intégration dans des systèmes plus larges. Il reste que les résultats présentés s'appuient sur des vidéos et métriques de laboratoire contrôlé, sans terrain irrégulier ni adversaires dynamiques. OpenDriveLab, lab de recherche en autonomie embodied associé à Shanghai AI Lab, se positionne ici dans un espace de plus en plus disputé. Boston Dynamics, Agility Robotics (Figure, Tesla Optimus) concentrent leurs démonstrations sur la manipulation industrielle et la locomotion bipède en entrepôt, tandis que des travaux comme DribbleBot (CMU, 2023) ou les robots footballeurs de l'équipe NimbRo avaient déjà exploré le jeu avec ballon, mais sur des plateformes quadrupèdes ou plus légères. RoboNaldo est présenté comme une démonstration de recherche (preprint non peer-reviewed à ce stade) : aucun pilote industriel ni timeline de commercialisation n'est annoncé. La prochaine étape logique serait l'évaluation en conditions non structurées et l'intégration d'un contrôleur haut niveau appris plutôt qu'heuristique.

RecherchePaper
1 source
IMPACT : apprentissage d'une commande prédictive à modèle interne pour la manipulation robotique en force
1078arXiv cs.RO 

IMPACT : apprentissage d'une commande prédictive à modèle interne pour la manipulation robotique en force

Une équipe de recherche a publié le 12 juin 2026 sur arXiv (référence 2606.10818) IMPACT, un framework d'apprentissage pour la manipulation robotique dite "forceful", c'est-à-dire impliquant des interactions physiques avec l'environnement : utilisation d'outils de masses variables, transport d'objets lourds, nettoyage de surface par contact prolongé. L'architecture découple le problème en deux blocs distincts : un planificateur de tâche de haut niveau, et un contrôleur prédictif basé sur un modèle interne (internal-model predictive control). Les expériences sont menées à la fois en simulation et sur robot réel, avec évaluation sur des objets non vus lors de l'entraînement. Les auteurs ne publient pas encore les métriques quantitatives précises dans l'abstract arXiv disponible, ce qui limite l'analyse indépendante à ce stade. Le verrou technique adressé est réel et sous-estimé dans les pipelines d'imitation learning actuels. Deux stratégies dominent aujourd'hui : la première laisse les forces émerger implicitement via les erreurs de suivi d'un contrôleur d'impédance, ce qui casse la généralisation dès que la masse de l'objet change ; la seconde commande explicitement les efforts via capteur force/couple ou capteur tactile au poignet, ce qui fonctionne mais alourdit l'intégration matérielle et fragilise les déploiements industriels. IMPACT propose une troisième voie en apprenant un modèle interne de la dynamique de contact, permettant au contrôleur prédictif d'anticiper les forces sans capteur dédié ni dégradation de généralisation. Les gains annoncés en taux de succès, sécurité et efficacité énergétique sont cohérents avec l'approche, mais restent à valider sur des benchmarks standardisés comme DROID ou RoboAgent. Ce travail s'inscrit dans un courant actif qui cherche à marier l'apprentissage par imitation avec les garanties du contrôle prédictif (MPC), après des travaux fondateurs comme ILC, DMP, et plus récemment les architectures VLA de type pi0 (Physical Intelligence) ou RoboDiff. Le problème de la manipulation forcée reste un angle mort des démos grand public, qui privilégient les tâches de pick-and-place sur objets légers. Les concurrents directs incluent les approches sim-to-real de CMU (DexVIP, ACT), d'ETH Zurich (ANYmal) et les travaux de Boston Dynamics Research sur la manipulation lourde. Côté européen, aucun acteur n'est directement cité, mais les travaux de Wandercraft et Enchanted Tools sur la dynamique de contact pourraient bénéficier de ce type de framework. La prochaine étape naturelle serait une validation sur manipulateurs industriels (UR, Franka) en conditions de production réelle.

RecherchePaper
1 source
MARCH : apprentissage par renforcement assisté par modèle pour le contrôle perceptif de robots humanoïdes sur appuis rares
1079arXiv cs.RO 

MARCH : apprentissage par renforcement assisté par modèle pour le contrôle perceptif de robots humanoïdes sur appuis rares

Des chercheurs ont publié sur arXiv (2606.10288) MARCH, un cadre d'apprentissage par renforcement assisté par modèles pour la locomotion bipedale sur appuis épars. La méthode repose sur trois étapes : générer une trajectoire de référence sûre à partir de modèles dynamiques simplifiés, entraîner une politique "enseignante" guidée par un reward basé sur une Control Lyapunov Function (CLF), puis distiller cette politique dans une politique "étudiante" visuelle déployable sur robot réel. L'ensemble a été validé en simulation et déployé sur un Unitree G1, humanoïde commercialisé autour de 16 000 dollars, naviguant sur des appuis épars avec contraintes latérales. L'enjeu est de réconcilier deux familles de méthodes historiquement opposées : les approches basées modèle (MPC, optimisation de contact) sont précises mais fragiles face à l'incertitude de terrain, tandis que le RL pur est robuste mais peine à découvrir les mouvements finement contraints nécessaires à la locomotion safety-critical, où une erreur de quelques centimètres peut provoquer une chute. Le reward CLF injecte une connaissance physique dans la boucle d'apprentissage sans curriculum d'entraînement complexe, améliorant l'efficacité d'échantillonnage et produisant une locomotion plus fluide. Les performances sur stepping stones sont déclarées comparables aux baselines RL purs, ce qui suggère que l'hybridation modèle/apprentissage est viable à coût computationnel comparable. Ce travail s'inscrit dans l'axe locomotion perceptive porté par ETH Zurich (parkour RL, 2023), Carnegie Mellon et Berkeley. La distillation teacher-student, popularisée par Agility Robotics et ANYbotics dans leurs pipelines de développement, est ici enrichie d'une contrainte CLF théoriquement fondée. Le Unitree G1 est devenu une plateforme quasi-standard dans les labos de locomotion pour sa documentation et son prix accessible. Il s'agit d'un preprint arXiv non évalué par les pairs, sans déploiement industriel ni timeline commerciale annoncés. Les prochaines étapes naturelles seraient une validation sur terrain extérieur non structuré et une comparaison directe avec les approches MPC de nouvelle génération.

UEImpact marginal : ETH Zurich (Suisse, hors UE) est cité en travaux connexes, mais aucun labo ou industriel européen n'est directement impliqué dans ce preprint.

RecherchePaper
1 source
EM-Fall : détection de chutes jour et nuit par ondes millimétriques embarquées sur robots humanoïdes
1080arXiv cs.RO 

EM-Fall : détection de chutes jour et nuit par ondes millimétriques embarquées sur robots humanoïdes

Des chercheurs ont publié sur arXiv (réf. 2606.11109, juin 2026) un framework baptisé EM-Fall, qui intègre un capteur radar millimétrique (mmWave) directement sur un robot humanoïde mobile pour détecter les chutes de personnes âgées en environnement résidentiel. Contrairement aux installations fixes, le robot se déplace activement pour maintenir la ligne de vue sur la cible, même en cas d'occultation partielle ou de transition entre pièces. Le pipeline de traitement associe une perception centrée sur le corps humain à une modélisation temporelle légère (lightweight temporal modeling) qui analyse l'évolution du mouvement avant, pendant et après la chute, et filtre les interférences classiques des environnements domestiques comme le mouvement d'animaux de compagnie ou les artéfacts de multipath radar. L'évaluation a porté sur huit environnements intérieurs réels avec quatre participants, et les auteurs ont constitué un dataset in-home dédié à la détection de chutes par mmWave. Le modèle de robot utilisé n'est pas précisé dans l'abstract, et aucune métrique chiffrée (précision, rappel, F1) n'y figure, ce qui limite l'interprétation des résultats sans accès au papier complet. L'intérêt de l'approche tient à deux verrous résolus simultanément : la détection radar mmWave fonctionne de nuit comme de jour et n'exige pas le port d'un dispositif par l'utilisateur, là où les wearables souffrent d'une faible compliance chez les personnes âgées et où les caméras sont mises en défaut par l'occultation ou les faibles luminosités. La mobilité du robot répond quant à elle à la limite fondamentale des capteurs fixes, qui nécessitent une densité d'installation élevée pour couvrir un appartement entier. Pour un intégrateur de solutions de maintien à domicile ou un COO de résidence senior, c'est la combinaison des deux qui crée la rupture : un seul noeud de sensing mobile remplace potentiellement un réseau de capteurs statiques. Le secteur du fall detection est déjà adressé par des solutions distinctes : Vayyar Care et Amazon Halo Rise utilisent du mmWave fixe, tandis que des prestataires comme Alarm.com ou Apple (Watch Fall Detection) misent sur le wearable. La piste du robot mobile comme plateforme de sensing "embodied" est moins explorée commercialement, bien que des laboratoires comme le MIT CSAIL et l'Université Carnegie Mellon aient publié des travaux analogues sur la perception radar mobile. Ce papier reste à ce stade une preuve de concept académique sans annonce de déploiement ou partenariat industriel, et sa portée réelle dépendra de la publication des métriques complètes et d'une validation à plus grande échelle.

RecherchePaper
1 source
JOIN : jonction bimanuelle assistive conditionnée par saisie d'ancrage via opposition, inférence et navigation
1081arXiv cs.RO 

JOIN : jonction bimanuelle assistive conditionnée par saisie d'ancrage via opposition, inférence et navigation

Des chercheurs ont publié sur arXiv (2606.11151) un système robotique bimanuel hétérogène baptisé JOIN (Joining via Opposition, Inference, and Navigation), conçu pour assister les personnes à mobilité réduite dans des tâches quotidiennes nécessitant deux bras. Le dispositif repose sur une architecture en deux entités distinctes : un bras Kinova Gen3 fixé au fauteuil roulant, dit bras ancre, qui saisit un objet en premier, et un robot mobile Hello Robot Stretch 3, dit bras complément, qui est appelé à la demande pour venir se positionner et compléter la tâche. JOIN décompose le problème en trois phases successives, planification, déplacement, saisie, pilotées par un modèle de langage visuel (VLM) couplé à des outils géométriques classiques. Sur un banc de test de 20 tentatives couvrant des tâches bimanuelles représentatives (ouvrir un bocal, verser un liquide, soulever un plateau), JOIN réussit 19 tentatives contre 14 pour les méthodes de référence actuelles, avec significativement moins d'interventions correctives de l'opérateur. Ce résultat est notable car il valide une approche radicalement différente du problème bimanuel en robotique d'assistance : plutôt que d'embarquer deux bras permanents sur le fauteuil, ce qui pénalise l'autonomie électrique, le coût et l'espace nécessaire aux transferts, le système adopte une coopération à la demande entre plateformes hétérogènes. La contribution technique centrale, le score d'opposition référencé au fauteuil et la manipulabilité directionnelle conditionnée à la tâche, permet au bras complément de raisonner sur où se placer et quoi saisir en fonction de l'engagement préalable du bras ancre. Cela déplace le problème de la conception matérielle vers la planification cognitive, une approche que les VLM rendent désormais tractable sans apprentissage supervisé massif. Le champ de la robotique d'assistance bimanuelle reste dominé par des systèmes embarqués à deux bras (JACO2, réhabilitation exosqueletique) ou des téléopérations lourdes, peu adaptées à un usage quotidien autonome. JOIN s'inscrit dans une tendance récente à la robotique collaborative inter-plateformes, proche des travaux sur les flottes AMR coordinées, mais appliquée à l'assistance individuelle. Les auteurs ne signalent pas de partenariat industriel ni de timeline de déploiement ; le système reste au stade de prototype de laboratoire. Les prochaines étapes naturelles concernent la robustesse en environnement non contrôlé et l'intégration d'une interface utilisateur adaptée aux capacités motrices réduites des utilisateurs cibles.

RecherchePaper
1 source
Communication orientée objectif pour une détection et récupération rapide des pannes en robotique
1082arXiv cs.RO 

Communication orientée objectif pour une détection et récupération rapide des pannes en robotique

Une équipe de chercheurs a publié sur arXiv (2601.18765v2) un cadre baptisé Goal-oriented Communication (GoC), conçu pour accélérer la détection et la récupération de pannes (Fault Detection and Recovery, FDR) dans les robots industriels autonomes déployés en usines intelligentes. La méthode repose sur une co-conception de la boucle communication-calcul-contrôle (3C) orientée explicitement vers l'objectif FDR, plutôt que de traiter ces trois niveaux indépendamment. Pour la détection, GoC extrait un graphe de scène 3D (3D-SG) comme représentation sémantique de l'environnement et surveille les changements de relations spatiales entre objets pour identifier les anomalies. Pour la récupération, le cadre fine-tune un petit modèle de langage (SLM) via Low-Rank Adaptation (LoRA), renforcé par distillation de connaissances depuis un LLM, et génère les trajectoires de récupération. Un module de jumeau numérique léger, ne reconstituant que les contours d'objets pertinents à la tâche, affine ces trajectoires quand un contrôle fin est nécessaire. En simulation, GoC réduit le temps de FDR jusqu'à 82,6 % et améliore le taux de succès des tâches (ex. tri de pièces) jusqu'à 76 % par rapport aux frameworks de référence utilisant des VLM pour la détection et des LLM pour la récupération. Ces résultats sont toutefois issus exclusivement de simulations; aucun déploiement physique ni banc d'essai industriel réel n'est rapporté. L'intérêt industriel de GoC tient à deux arbitrages clairs. D'abord, remplacer un VLM ou LLM embarqué par un SLM spécialisé réduit la latence de façon significative, ce qui est critique dans des cellules robotisées où une anomalie non détectée en quelques dizaines de millisecondes peut provoquer des collisions ou des rebuts coûteux. Ensuite, la représentation par graphe de scène 3D offre une abstraction compacte et interprétable de l'espace de travail, potentiellement plus robuste aux variations d'éclairage ou de texture qu'une approche purement pixellique. Pour les intégrateurs et les OEM qui déploient des bras ou des cellules pick-and-place, cela suggère une voie vers des systèmes FDR embarquables sur des contrôleurs à ressources contraintes, sans passer par un cloud ou un serveur GPU dédié. La distinction SLM/LLM va dans le sens d'une tendance de fond: l'industrie cherche à internaliser l'intelligence, pas à l'externaliser. Ce travail s'inscrit dans un corpus actif de recherches sur la robotique cognitive en milieux industriels incertains, en réponse aux limites bien documentées des architectures réactives classiques face aux pannes atypiques. Les approches concurrentes les plus citées mobilisent GPT-4V ou des modèles de la famille LLaVA comme détecteurs de pannes visuelles, au prix d'une latence incompatible avec les exigences temps-réel des lignes de production. GoC ne nomme pas d'entreprise partenaire ni de pilote terrain; il reste à ce stade un prototype académique dont le transfert industriel nécessiterait une validation sur hardware réel, en particulier sur la robustesse du graphe de scène 3D face aux occlusions et aux environnements encombrés. Aucun acteur européen n'est impliqué dans l'étude publiée. Les prochaines étapes naturelles seraient une validation physique et une comparaison sur des benchmarks standardisés comme FaultBench ou les scénarios de la NIST Assembly Task Board.

RecherchePaper
1 source
CableRobotGraphSim : un réseau de neurones en graphe pour modéliser la dynamique des robots à câbles partiellement observables
1083arXiv cs.RO 

CableRobotGraphSim : un réseau de neurones en graphe pour modéliser la dynamique des robots à câbles partiellement observables

Des chercheurs ont publié sur arXiv (identifiant arXiv:2602.21331v2) un modèle de simulation neuronal pour robots à câbles, baptisé CableRobotGraphSim. L'architecture repose sur un réseau de neurones graphiques (GNN) : les corps rigides du robot forment les noeuds du graphe, les câbles et les points de contact constituent les arêtes. Cette représentation permet au modèle d'inférer la dynamique du système à partir d'observations partielles uniquement, sans exiger un accès complet à l'état interne du robot. L'entraînement combine données de simulation et données réelles (sim-and-real co-training) pour améliorer la robustesse au bruit des capteurs. Le modèle est ensuite intégré à un contrôleur MPPI (Model Predictive Path Integral) pour la navigation en boucle fermée. L'abstract ne fournit aucune métrique quantitative précise sur la précision ou les temps de cycle, ce qui rend difficile toute évaluation indépendante des performances revendiquées. L'apport technique central est de s'affranchir des deux contraintes majeures des simulateurs traditionnels à base de premiers principes : l'exigence d'observabilité complète de l'état du robot, et la nécessité d'une identification paramétrique coûteuse. Pour les robots à câbles (CDPR, Cable-Driven Parallel Robots), utilisés notamment en logistique grande portée, en plateformes de simulation de mouvement et dans des projets de construction, ces contraintes ont historiquement bloqué le déploiement de pipelines sim-to-real fiables. Un modèle adaptatif capable d'ingérer des données bruitées et partiellement observées ouvre la voie à un transfert plus direct vers des applications industrielles réelles, en rapprochant la mécanique câblée des pipelines qui ont déjà transformé la manipulation et la locomotion bipedale. Les CDPR suscitent un intérêt croissant dans des contextes à grande échelle, du radiotélescope FAST en Chine aux projets logistiques en entrepôt. Sur le terrain de la simulation, les environnements généralistes comme MuJoCo, Isaac Sim de NVIDIA ou PyBullet modélisent mal la dynamique câble-contact, laissant un angle mort que cette approche data-driven spécialisée cherche à combler. Des travaux antérieurs avaient tenté des modèles analytiques ou d'apprentissage, sans traiter explicitement l'observabilité partielle. Le papier, en version v2, ne précise pas d'affiliation institutionnelle claire dans l'abstract et ne mentionne pas de dépôt open-source, deux éléments qui conditionneront son adoption réelle par la communauté robotique.

RecherchePaper
1 source
GuideWalk : apprentissage de la navigation autonome et de la locomotion unifiées pour robots humanoïdes sur terrains variés
1084arXiv cs.RO 

GuideWalk : apprentissage de la navigation autonome et de la locomotion unifiées pour robots humanoïdes sur terrains variés

Des chercheurs présentent GuideWalk (arXiv:2606.10449, juin 2026), un framework unifié qui couple navigation autonome et locomotion adaptative pour robots humanoïdes sur terrains variés. L'architecture repose sur trois composantes : un module de navigation qui génère des guidances de vitesse explicites en tenant compte de la traversabilité du terrain, un schéma de distillation à enseignants composites qui agrège commandes directionnelles et actions dynamiquement cohérentes dans une politique unique, puis un affinement par apprentissage par renforcement (RL) couplé à un objectif auxiliaire de clonage comportemental (behavior cloning). Ce dernier mécanisme vise à maintenir les comportements souhaitables issus des enseignants tout en favorisant l'exploration. L'article reste au stade de preprint arXiv sans déploiement industriel annoncé ni métriques benchmarkées publiées dans l'abstract. Le problème technique adressé est structurant pour la robotique humanoïde : l'évitement d'obstacles et la locomotion dynamique sont habituellement traités en silos, ce qui crée des incohérences lorsqu'un robot planifie sur escaliers, sol accidenté ou transitions sol dur/mou. GuideWalk découple explicitement la planification d'obstacles de l'état du terrain, ce qui est une approche architecturale plus propre que les solutions end-to-end brutes ou les pipelines hiérarchiques rigides. Pour les intégrateurs et décideurs B2B, le vrai enjeu est le sim-to-real gap sur locomotion hétérogène : si cette architecture tient ses promesses en évaluation externe, elle pourrait réduire le besoin d'ingénierie terrain-spécifique lors du déploiement en entrepôt ou en environnement industriel non structuré. La navigation humanoïde sur terrains complexes reste un des derniers verrous majeurs avant déploiement opérationnel large, là où la locomotion pure en terrain plat est désormais relativement résolue chez Unitree (H1, G1), Boston Dynamics (Atlas) ou Agility Robotics (Digit). Des approches concurrentes comme GR00T N2 de NVIDIA ou les travaux de Physical Intelligence (Pi-0) s'attaquent au même problème via des Visual Language Action models (VLA) généralisés, tandis que des labos académiques comme CMU ou Berkeley publient régulièrement sur le sim-to-real en locomotion adaptative. GuideWalk s'inscrit dans cette vague mais avec une contribution méthodologique spécifique sur le couplage navigation-locomotion. Les prochaines étapes naturelles seraient une évaluation sur hardware réel (le preprint ne précise pas le robot utilisé) et une comparaison quantitative avec des baselines établies.

RecherchePaper
1 source
Robot à 20 yeux et 20 pattes capable de se déplacer dans toutes les directions avec la même aisance
1085New Atlas Robotics 

Robot à 20 yeux et 20 pattes capable de se déplacer dans toutes les directions avec la même aisance

Des chercheurs de l'université Duke ont présenté Argus, un robot à vingt pattes et vingt capteurs visuels inspiré de l'oursin, conçu pour se déplacer avec une efficacité égale dans toutes les directions. Contrairement aux plateformes mobiles conventionnelles à symétrie bilatérale, Argus adopte une architecture radialement symétrique, avec ses membres et ses capteurs distribués uniformément autour d'un corps central. Cette géométrie lui permet de se déplacer latéralement, en diagonale ou en rotation sans reconfigurer sa posture, éliminant les angles morts de déplacement propres aux robots à symétrie gauche-droite. L'implication principale pour la robotique mobile est de remettre en question un postulat de conception quasi universel : la symétrie bilatérale, héritée de l'anatomie vertébrée, n'est pas nécessairement optimale pour un robot opérant dans des environnements encombrés ou nécessitant une réactivité omnidirectionnelle rapide. Pour les intégrateurs et concepteurs de systèmes AMR (autonomous mobile robots), Argus ouvre la voie à des architectures non-anthropomorphes mieux adaptées à des tâches d'exploration, d'inspection en espace confiné, ou de manipulation en milieu chaotique. Le concept prouve expérimentalement que la locomotion à pattes multiples distribuées peut résoudre le problème de la mobilité isotrope sans recourir à des roues omnidirectionnelles. L'oursin de mer, organisme à symétrie pentaradiée, constitue depuis plusieurs années une source d'inspiration pour la robotique de locomotion non conventionnelle, aux côtés des travaux sur les échinodermes menés notamment au MIT et chez Festo. Argus pousse cette logique à vingt membres, ce qui augmente la redondance actionnée et la tolérance aux défaillances. Les prochaines étapes probables incluent des tests en environnement réel et une réduction d'échelle pour des applications d'inspection en pipeline ou en structure, segments où les robots à symétrie bilatérale peinent à manœuvrer.

RecherchePaper
1 source
Les robots du futur pourraient éviter les dommages en se roulant en boule comme des tatous
1086New Atlas Robotics 

Les robots du futur pourraient éviter les dommages en se roulant en boule comme des tatous

Des chercheurs du département de génie mécanique et aérospatial de la North Carolina State University ont publié des travaux sur une structure de protection robotique inspirée de l'armadille, le mammifère connu pour sa capacité à se rouler en boule face aux prédateurs. Le concept consiste à équiper des robots d'un exosquelette articulé capable de se replier sur lui-même de manière autonome lorsque le système détecte un risque de choc ou de chute, absorbant l'énergie d'impact et protégeant les composants internes. L'article, classé en robotique et ingénierie sous les thèmes biomimétisme et armure, ne fournit pas de métriques précises sur le prototype (masse, matériaux, temps de réponse), ce qui limite l'évaluation indépendante des performances annoncées. L'enjeu industriel est réel : la fragilité mécanique reste l'un des principaux freins au déploiement de robots mobiles dans des environnements non structurés, entrepôts, chantiers, ou domiciles. Une solution de protection passive qui ne dépend pas de l'électronique embarquée constituerait un avantage significatif en termes de fiabilité et de coût de maintenance. Si le mécanisme se révèle fonctionnel à l'échelle, il pourrait intéresser les fabricants d'AMR (autonomous mobile robots) et les concepteurs d'humanoïdes exposés à des chutes fréquentes lors des phases de déploiement. La biomimétique appliquée à la robotique connaît un regain d'intérêt depuis cinq ans, portée par des travaux sur les exosquelettes inspirés des insectes, la locomotion des serpents, ou les pattes des chats. NC State s'inscrit dans cette tendance avec plusieurs projets en parallèle. Les concurrents directs sur la protection passive incluent des approches par matériaux à rigidité variable (soft robotics) ou par coques modulaires démontables. Aucune date de prototype opérationnel ni partenariat industriel n'est mentionné dans l'extrait disponible.

RecherchePaper
1 source
Bras robotique inspiré du poulpe : capteurs tactiles distribués pour une préhension adaptative
1087Interesting Engineering 

Bras robotique inspiré du poulpe : capteurs tactiles distribués pour une préhension adaptative

Des ingénieurs ont développé un bras robotique souple inspiré de l'architecture sensorielle de la pieuvre, capable de saisir des objets de forme irrégulière sans s'appuyer uniquement sur le retour visuel. Le dispositif intègre des capteurs tactiles distribués sur l'ensemble d'un membre multi-segments en élastomère, capables d'enregistrer simultanément la force de contact, la géométrie de surface et les événements de glissement. Les capteurs fonctionnent comme des transducteurs piézorésistifs ou capacitifs disposés en grille dense sur la surface interne du bras, produisant une cartographie spatiale de la pression mise à jour en continu pendant la préhension. Une couche d'éléments de détection de forme est intégrée en parallèle, fournissant au contrôleur une estimation en temps réel de la configuration du membre, ce qui permet au bras de connaître sa propre géométrie sans retour visuel. Le système reste à ce stade un prototype démontrant la préhension sur une gamme variée de formes d'objets. L'intérêt de cette architecture réside dans le traitement local du signal tactile, avant toute transmission vers un contrôleur centralisé. En réduisant la latence de communication, le bras peut initier des mouvements correctifs, comme un resserrement autour d'un objet qui glisse, plus rapidement qu'un système à traitement centralisé ne le permettrait. Pour les intégrateurs travaillant sur des environnements non structurés, que ce soit en robotique chirurgicale, inspection sous-marine ou automatisation logistique, cela répond à un verrou réel : la géométrie des objets est rarement connue à l'avance, et l'occlusion visuelle est fréquente une fois le contact établi. La compliance seule, sans feedback sensoriel en boucle fermée, s'est révélée insuffisante dans les travaux antérieurs sur les préhenseurs souples. Cette approche distribuée reproduit le traitement ganglionnaire des céphalopodes, où les réponses réflexes naissent au niveau du membre plutôt qu'au niveau du cerveau central. La pieuvre constitue une référence fonctionnelle établie en robotique depuis plusieurs années, chacun de ses huit bras concentrant environ deux tiers des neurones totaux de l'animal. Les équipes travaillant sur la manipulation dextère avaient identifié cette architecture comme un modèle d'efficacité, mais les tentatives de réplication matérielle se heurtaient au compromis récurrent entre compliance et transmission de force. Côté concurrence, des travaux sur les grippers souples ont été menés par des laboratoires comme MIT CSAIL, ETH Zurich ou des acteurs commerciaux tels que Soft Robotics (aujourd'hui absorbé), sans qu'aucun ne résolve complètement la question du feedback tactile distribué à l'échelle industrielle. Les limitations actuelles du prototype sont réelles : les actionneurs pneumatiques ou à tendons introduisent leur propre latence et nécessitent des sources de pression externes, tandis que la durabilité de l'interface capteur-élastomère sous cycles répétés de flexion reste une question ouverte, non résolue par l'équipe à ce stade.

UELes équipes européennes travaillant sur la manipulation dextre en robotique chirurgicale ou logistique (dont ETH Zurich déjà actif sur les grippers souples) peuvent surveiller cette approche, mais le prototype ne cible pas directement le marché EU et n'implique pas d'acteur français.

RecherchePaper
1 source
Vidéo : un robot de la taille d'une main à 8 actionneurs intelligents marche, trotte et saute
1088Interesting Engineering 

Vidéo : un robot de la taille d'une main à 8 actionneurs intelligents marche, trotte et saute

Le Q8botOne est un robot quadrupède open-source de la taille d'une paume de main, conçu par Eric Wu et destiné aux hobbyistes, étudiants, chercheurs et développeurs. Contrairement à son prédécesseur Q8bot -- qui nécessitait un assemblage manuel -- le Q8botOne est livré entièrement monté et prêt à l'emploi dès la mise sous tension. Sa mobilité dynamique repose sur huit actionneurs intelligents DYNAMIXEL de la série XL, qui animent des pattes à liaison parallèle légères, fabriquées par impression 3D Multi Jet Fusion (MJF) et équipées de joints à roulements de précision. Ces pattes permettent au robot de marcher, de trotter et de sauter, des capacités habituellement réservées à des plateformes bien plus encombrantes et coûteuses. Le système de contrôle s'articule autour d'un microcontrôleur ESP32-C3-MINI-N4, alimenté par une batterie lithium-ion avec circuit de protection intégré. L'électronique est entièrement centralisée sur un PCB personnalisé, éliminant le câblage distribué caractéristique des projets DIY classiques. Le robot sera disponible prochainement via une campagne Crowd Supply, dont le prix n'a pas encore été communiqué. Ce qui distingue le Q8botOne dans le paysage de la robotique éducative est l'intégration verticale de sa conception : PCB central, actionneurs de série DYNAMIXEL -- habituellement réservés à des plateformes de recherche -- et châssis MJF constituent une combinaison rare à ce format. En supprimant la phase d'assemblage, le projet abaisse significativement le seuil d'entrée pour expérimenter la locomotion quadrupède, un domaine traditionnellement onéreux en temps et en matériel. L'interface UART supporte des coprocesseurs comme un Raspberry Pi avec une alimentation jusqu'à 5 V à 3 A, ouvrant la voie à des applications de vision par ordinateur, de navigation autonome ou d'IA embarquée. Un connecteur Qwiic facilite l'ajout de capteurs compatibles SparkFun et Adafruit sans câblage complexe. Ces choix d'architecture font du Q8botOne un banc d'essai crédible pour la recherche en locomotion et en contrôle, pas uniquement un gadget grand public. Le Q8botOne s'inscrit dans la lignée du Q8bot original, dont il reprend l'approche agile et low-cost tout en franchissant un cap vers la clé-en-main. Le secteur des petits quadrupèdes open-source est animé par des projets comme le Unitree Go1 Nano ou le SpotMicro, mais peu proposent une intégration PCB aussi poussée à ce gabarit. Sur le segment éducatif, le Q8botOne se positionne face aux kits Freenove ou aux dérivés MiniCheetah, avec l'avantage d'actionneurs DYNAMIXEL reconnus pour leur fiabilité dans les labos de recherche. Les fichiers mécaniques sont développés dans Onshape, garantissant l'accessibilité à l'écosystème open-source. La campagne Crowd Supply, dont la date de lancement reste à confirmer, sera le vrai test de la demande du marché pour une plateforme quadrupède aussi compacte et prête à l'emploi.

RecherchePaper
1 source
Attaquer les modèles du monde pour compromettre les pipelines d'apprentissage robotique
1089arXiv cs.RO 

Attaquer les modèles du monde pour compromettre les pipelines d'apprentissage robotique

Un preprint déposé sur arXiv le 9 juin 2026 (arXiv:2606.09499) expose une classe inédite d'attaques par empoisonnement de données ciblant les world models intégrés aux pipelines d'apprentissage robotique. Contrairement aux attaques traditionnelles qui insèrent directement des trajectoires dangereuses dans un jeu de données vendu ou publié, la méthode décrite ici injecte des prompts malveillants ou des dynamiques de transition compromises dans des datasets de téléopération en apparence sûrs. L'attaque reste dormante jusqu'à ce que ces données soient traitées par un world model, lequel génère alors des trajectoires synthétiques d'entraînement dangereuses, aboutissant au déploiement d'une politique robotique unsafe. Les chercheurs démontrent l'efficacité de l'attaque sur deux paradigmes distincts : les world models conditionnés par l'action (action-conditioned) et ceux conditionnés par le texte (text-conditioned). Résultat concret : un backdoor de bout en bout sur une politique DRL (Deep Reinforcement Learning) en aval, et une preuve de concept dans le cadre VLA (Vision-Language-Action). L'enjeu pour l'industrie est structurel. Les world models sont désormais utilisés comme substituts de données dans les pipelines d'entraînement de robots humanoïdes et industriels, notamment pour réduire le coût de la collecte téléopérée. L'attaque décrite contourne l'hypothèse fondatrice de sécurité dans ces pipelines : que des données ground truth visuellement propres garantissent une politique sûre. Ce n'est pas le cas si le world model interposé est lui-même vulnérable. Pour les intégrateurs qui achètent ou mutualisent des datasets de téléopération, et pour les fournisseurs qui commercialisent des world models pré-entraînés, c'est un vecteur d'attaque supply chain directement actionnable, d'autant plus redoutable qu'il ne laisse aucune trace visible dans les données source. Les world models ont connu une adoption rapide ces dix-huit derniers mois, portée par des travaux comme UniSim, IRASim ou le framework GR00T N2 de NVIDIA, promus comme solution au sim-to-real gap et à la pénurie de données réelles. La recherche s'inscrit dans un contexte où Figure, Agility Robotics et 1X accélèrent leurs déploiements en environnement industriel, rendant la surface d'attaque potentielle concrète et non purement théorique. Les auteurs appellent à reconsidérer la position des world models dans la chaîne d'entraînement et à ouvrir un axe de recherche dédié à leur sécurisation, un chantier aujourd'hui quasi inexistant dans la littérature.

UELes acteurs européens de la robotique qui mutualisent des datasets de téléopération ou intègrent des world models pré-entraînés (startups, intégrateurs, labos comme le CEA-List ou l'INRIA) sont exposés au même vecteur d'attaque supply chain, sans qu'aucun standard de sécurité européen ne couvre encore ce risque spécifique.

RechercheOpinion
1 source
Les modèles du monde latents comprennent-ils les contraintes de sécurité partiellement observables ?
1090arXiv cs.RO 

Les modèles du monde latents comprennent-ils les contraintes de sécurité partiellement observables ?

Une équipe de chercheurs publie sur arXiv (2510.06492v2) une étude systématique des défaillances des modèles du monde latents face à des contraintes de sécurité partiellement observables. Appliquée à un bras manipulateur Franka Research 3 sur des tâches de cuisine, la recherche identifie deux modes de défaillance distincts. Le premier, appelé "estimation gap", survient quand l'observation courante ne révèle pas une grandeur critique pour la sécurité : la température d'une surface de cuisson, invisible en RGB seul, en est l'exemple central. Le second, le "prediction gap", désigne les situations où la défaillance devient observable dès qu'elle se produit, mais ne peut être anticipée à partir des observations disponibles. Les auteurs proposent deux diagnostics quantitatifs associés : une mesure d'observabilité de sécurité basée sur l'information mutuelle, et une mesure de prédictibilité future fondée sur des rollouts simulés. Deux stratégies de mitigation sont ensuite validées en hardware : la supervision multimodale privilégiée (ajout de capteurs thermiques ou tactiles au flux RGB) pour combler les estimation gaps, et la calibration de risque conforme (conformal risk calibration) pour les prediction gaps, avec des résultats mesurés sur le robot réel. Ces résultats posent une question structurante pour le secteur : les représentations latentes produites par un world model entraîné sur observations RGB sont-elles suffisantes pour garantir un contrôle fiable en environnement industriel ? La réponse empirique ici est non, et ce constat a des implications directes pour les intégrateurs qui déploient des bras robotisés sur des lignes de production où des variables non-visuelles (température, force de contact, couple) conditionnent la sécurité. La calibration conforme, issue de la théorie statistique de la prédiction, permet de borner le risque de violation de contrainte sans retrainer le modèle, ce qui représente un avantage pratique pour les déploiements existants. La contrepartie documentée est une conservatisme accru du contrôleur, se traduisant par une réduction du taux de complétion des tâches : la sécurité est améliorée, mais au prix d'une productivité moindre, un arbitrage classique que les COO devront quantifier pour leur contexte. Le travail s'inscrit dans la lignée des world models de type Dreamer et RSSM (Recurrent State Space Model), popularisés par DeepMind, qui apprennent une représentation compressée de l'état du monde pour planifier en espace latent. Cette approche gagne du terrain face aux politiques purement réactives, notamment dans les architectures VLA (Vision-Language-Action) portées par des équipes comme Physical Intelligence (Pi-0), Google DeepMind (GR00T) ou Figure AI. La plupart de ces modèles s'appuient sur des flux RGB ou RGBD, ignorant les modalités thermiques ou haptiques, ce que cette étude remet en cause sur des tâches à risque. Le Franka Research 3 est le banc d'essai standard de la communauté, ce qui facilite la reproductibilité. Les prochaines étapes probables incluent l'extension à des configurations multi-bras, l'intégration dans des pipelines VLA de production, et la question ouverte de savoir comment sélectionner automatiquement les modalités nécessaires à la sécurité pour une tâche donnée.

RechercheActu
1 source
RGB-S : saillance tactile alignée sur l'image pour une manipulation dextérique robuste
1091arXiv cs.RO 

RGB-S : saillance tactile alignée sur l'image pour une manipulation dextérique robuste

Des chercheurs ont publié sur arXiv en juin 2026 un framework nommé RGB-S pour améliorer la fusion visuo-tactile dans la manipulation dextre robotique sous conditions d'occlusion. La méthode projette les emplacements des capteurs tactiles directement sur le plan image RGB via la cinématique directe du robot et la calibration caméra, puis génère des cartes de saillance gaussiennes modulées par la force pour modéliser l'incertitude spatiale liée aux erreurs de calibration. Ces ancres 2D sont injectées dans un backbone visuel standard via une architecture de conditionnement à initialisation zéro, ce qui préserve les représentations visuelles pré-entraînées. Testé sur six tâches de manipulation dextre en simulation et en monde réel sous occlusions sévères, RGB-S dépasse la meilleure baseline visuo-tactile implicite de 26,7 points de pourcentage en taux de succès sur les scénarios occludés. Ce résultat touche à un verrou majeur du déploiement de mains robotiques polyvalentes. Les approches implicites existantes laissent au modèle le soin d'apprendre seul les correspondances inter-modalités depuis un faible nombre de démonstrations, ce qui les rend fragiles dès que la vision est dégradée par l'auto-occlusion des doigts, la poussière ou un éclairage défavorable. En ancrant explicitement les contacts physiques dans l'espace image avec un prior géométrique fort, RGB-S court-circuite ce problème sans détruire les capacités visuelles pré-entraînées. Le gain de 26,7 points sur des expériences réelles est solide, bien que la sélection restreinte à six tâches de benchmark et l'absence de comparaison avec des architectures VLA récentes invitent à nuancer la portée des conclusions. La fusion visuo-tactile est un champ actif depuis l'essor des capteurs haute résolution comme GelSight ou DIGIT. Les approches précédentes, qu'il s'agisse d'imitation learning ou de reinforcement learning, peinent à résoudre le transfert sim-to-real sur des prises complexes. Du côté industriel, des acteurs comme Sanctuary AI, Dexterous Robotics ou Enchanted Tools (France) intègrent des interfaces tactiles dans leurs plateformes humanoïdes pour la manipulation fine. RGB-S se positionne comme une brique modulaire compatible avec des backbones standards, ce qui facilite son intégration dans des pipelines existants. Les prochaines validations naturelles passeront par des benchmarks standardisés comme DexYCB et des tests sur des mains à plus de six degrés de liberté en environnement industriel non contrôlé.

UEEnchanted Tools (France), qui intègre des interfaces tactiles dans ses humanoïdes, pourrait bénéficier directement de cette brique modulaire pour renforcer la manipulation fine sous occlusion sans reconstruire ses représentations visuelles pré-entraînées.

RecherchePaper
1 source
FiberTune : préserver les résidus visuels des fibres d'action dans le fine-tuning des modèles VLA
1092arXiv cs.RO 

FiberTune : préserver les résidus visuels des fibres d'action dans le fine-tuning des modèles VLA

Une équipe de chercheurs a publié en juin 2026 (arXiv:2606.08653) une méthode de fine-tuning baptisée FiberTune, visant à corriger un défaut structurel des politiques VLA (vision-language-action) lors de leur adaptation supervisée. Le constat de départ est précis : lorsqu'on fine-tune un modèle VLA sur des démonstrations d'actions, l'optimisation ne contraint que les directions de l'espace de features qui influencent directement les actions prédites. Les directions visuelles orthogonales à ces actions, dites "fibres d'action locales", restent libres de se dégrader silencieusement, phénomène formalisé ici comme "effondrement des résidus visuels". FiberTune y répond avec une approche en trois temps : une sonde d'action en ligne estime les directions features prédictives d'action, ces directions sont filtrées des représentations intermédiaires de tokens visuels, et les résidus ainsi filtrés sont alignés sur un teacher visuel gelé avec régularisation du rang effectif. Testé sur six configurations de simulation couvrant deux benchmarks (CALVIN ABC-to-D pour les tâches longue-horizon, et un second non nommé explicitement) et deux architectures, pi_0.5 de Physical Intelligence et OpenVLA-OFT, FiberTune affiche des gains systématiques, notamment +10,7 points de pourcentage en SR(5) sur CALVIN ABC-to-D. Sur robot physique (bras SO-101, tâche pick-and-place), le taux de succès passe de 72,7 % à 78,1 %. Ces résultats intéressent particulièrement les intégrateurs qui cherchent à adapter des fondations VLA génériques à leurs process sans réentraîner depuis zéro. L'absence d'overhead à l'inférence est un argument concret pour le déploiement embarqué. Plus fondamentalement, FiberTune illustre que le fine-tuning action-supervisé seul peut dégrader la représentation perceptuelle du modèle sur des tâches complexes ou longue-horizon, un point qui contredit l'intuition simple "plus de données de démonstration = meilleure politique". La cohérence des gains sur six settings distincts renforce la crédibilité de l'hypothèse des fibres d'action, même si les améliorations restent modestes et que les conditions expérimentales (sélection des vidéos de démonstration, paramètres de simulation) ne sont pas entièrement détaillées dans le résumé disponible. Le contexte est celui de la course au fine-tuning efficace des VLA grand public : pi0 (Physical Intelligence, plus de 400 millions de dollars levés) et OpenVLA (Stanford/Berkeley) sont les deux architectures de référence testées ici. CALVIN ABC-to-D est devenu le benchmark standard pour évaluer la généralisation séquentielle des politiques manipulatrices. FiberTune s'inscrit dans un spectre de méthodes concurrentes allant de LoRA adaptatif aux approches de distillation comportementale. Il s'agit pour l'instant d'un preprint non peer-reviewed ; aucun déploiement industriel ni partenariat n'est annoncé à ce stade.

RechercheOpinion
1 source
RAM : la portée de l'apprentissage robotique au-delà des morphologies
1093arXiv cs.RO 

RAM : la portée de l'apprentissage robotique au-delà des morphologies

Une équipe de chercheurs a publié en juin 2026, via arXiv (arXiv:2606.09108), un modèle de réseau de neurones baptisé RAM (Reachability Across Morphologies), conçu pour prédire l'espace de travail atteignable d'un bras robotique en temps quasi nul. Là où les méthodes traditionnelles d'échantillonnage ou de grilles voxels opèrent à l'échelle de la milliseconde ou plus, RAM atteint un score F1 de 86 % avec un temps d'inférence réduit de trois ordres de grandeur par rapport à la baseline, soit une exécution à l'échelle de la nanoseconde. Le modèle a été entraîné sur un jeu de données de 3×10^10 échantillons, générés exclusivement à partir de la cinématique directe. Sa caractéristique centrale : il est conditionné par la morphologie du robot, lui permettant de généraliser à des configurations inédites sans réentraînement, tout en intégrant nativement la détection des auto-collisions. L'enjeu opérationnel est direct. Le calcul du workspace atteignable intervient à chaque étape du cycle de vie d'un robot, conception morphologique, planification de trajectoire, placement en cellule d'intégration. Les méthodes disponibles à ce jour sont soit lentes, soit figées sur une morphologie unique, rendant l'exploration du design-space coûteuse en calcul. RAM étant différentiable, il peut s'insérer dans des boucles d'optimisation par gradient : les auteurs rapportent des accélérations d'un ordre de grandeur pour l'optimisation morphologique et de deux ordres pour la trajectoire. Pour un intégrateur ou un OEM, cela ouvre la voie à un co-design robot-cellule significativement plus rapide. Les représentations neurales implicites (NRI), popularisées par les NeRF pour la reconstruction 3D, s'imposent progressivement en robotique depuis 2023 pour encoder des fonctions géométriques complexes. RAM applique cette logique à la cinématique, en concurrence directe avec les cartes de joignabilité sur grille (précises mais lourdes) et les surrogates appris à morphologie fixe. Aucun acteur commercial n'est cité dans la publication ; la contribution reste académique, accompagnée d'un site de démonstration. Les suites naturelles seraient l'intégration dans des pipelines de CAO robotique ou des plateformes de simulation telles qu'Isaac Lab ou MuJoCo.

RecherchePaper
1 source
ActProbe : sonde dans l'espace d'action pour la détection précoce des défaillances des politiques robotiques génératives
1094arXiv cs.RO 

ActProbe : sonde dans l'espace d'action pour la détection précoce des défaillances des politiques robotiques génératives

Des chercheurs ont publié ActProbe (arXiv:2606.08508), un détecteur de défaillances léger pour les politiques robotiques génératives, ces systèmes qui produisent des séquences d'actions continues comme les politiques de diffusion ou les architectures ACT déployées sur des robots tels que Figure 03 ou entraînés avec pi-0. Plutôt que d'accéder aux états internes du modèle ou d'introduire un rééchantillonnage coûteux à l'exécution, ActProbe opère exclusivement sur les chunks d'actions émis lors d'un seul passage avant (forward pass). Deux signaux suffisent : l'erreur de cohérence temporelle (TCE), qui mesure l'incohérence entre deux chunks consécutifs, et l'amplitude du chunk courant (ACM). Ces métriques alimentent une architecture LSTM-MLP légère conditionnée par la tâche, produisant une probabilité de défaillance par étape. Sur un ensemble diversifié de benchmarks, ActProbe améliore le front de Pareto précision (F1)/précocité d'un gain en hypervolume de +12,7 % par rapport aux méthodes existantes, et affiche un avantage de +9,0 % en ROC-AUC sur des tâches non vues à l'entraînement. L'intérêt opérationnel tient à une contrainte réelle : les politiques commerciales comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA) ne donnent pas accès à leurs états internes. Un détecteur purement black-box est donc la seule option viable en déploiement industriel. ActProbe émet ses alertes avant que la défaillance ne soit visuellement reconnaissable, ce qui est critique pour interrompre une action irréversible avant qu'elle ne soit engagée. Côté fine-tuning par renforcement (PPO), le système réduit de 2,9 fois le nombre d'interactions nécessaires avec l'environnement, un gain direct lorsque chaque interaction implique un robot physique. Le transfert sur des tâches de saisie réelles non vues lors de l'entraînement valide la généralisation hors simulateur. ActProbe s'inscrit dans les travaux ciblant le fossé entre démonstration en laboratoire et déploiement à l'échelle, l'obstacle central à la commercialisation des robots généralistes depuis 2023. Les approches concurrentes, qu'elles reposent sur le monitoring d'incertitude interne ou sur des signaux côté observation, souffrent d'un manque d'accès aux internals ou d'une latence incompatible avec le temps réel. La prochaine étape logique serait l'intégration dans des boucles de contrôle réactives pour robots humanoïdes industriels, terrain où Figure AI, Apptronik et Agility Robotics accélèrent leurs déploiements en entrepôt en 2026. ActProbe reste à ce stade une publication académique préliminaire, sans produit ni partenariat industriel annoncé.

RechercheOpinion
1 source
HA-VLN 2.0 : un benchmark ouvert pour la navigation humain-robot en environnements discrets et continus avec interactions multi-personnes dynamiques
1095arXiv cs.RO 

HA-VLN 2.0 : un benchmark ouvert pour la navigation humain-robot en environnements discrets et continus avec interactions multi-personnes dynamiques

Une équipe de chercheurs a publié HA-VLN 2.0, un benchmark unifié pour évaluer la navigation guidée par le langage et la vision (VLN) dans des environnements peuplés d'humains en mouvement. Le jeu de données associé, HAPS 2.0, couvre 16 844 instructions socialement contextualisées et modélise des interactions multi-humains en intérieur comme en extérieur, dans des espaces discrets et continus. Le système introduit des métriques explicites mesurant simultanément la précision de navigation vers l'objectif et le respect de l'espace personnel des personnes croisées. Des expériences en conditions réelles sur robot physique ont complété l'évaluation simulée, et un leaderboard ouvert permet des comparaisons reproductibles entre équipes. Les résultats sont sans appel pour les agents VLN actuels : dès que des humains dynamiques et une observabilité partielle entrent en jeu, leurs performances chutent significativement. Ce constat remet en question une hypothèse répandue dans la recherche VLN, à savoir que les agents entraînés en environnements statiques généraliseraient correctement au monde réel. Les expériences sim-to-real confirment en revanche que la modélisation explicite des contraintes sociales améliore la robustesse de navigation et réduit les collisions, ce qui valide l'approche. Pour les intégrateurs déployant des robots mobiles en milieu professionnel (entrepôts partagés, hôpitaux, espaces de bureau), cela signifie que les benchmarks sans humains surestiment substantiellement les capacités réelles des systèmes. La navigation guidée par langage est un champ actif depuis les travaux fondateurs sur R2R (Room-to-Room, 2018), mais la majorité des benchmarks existants, dont R2R, REVERIE ou SOON, supposent des environnements vides ou quasi-statiques. HA-VLN 2.0 s'inscrit dans une tendance récente incluant les travaux sur SocNavBench et HuNavSim, qui cherchent à intégrer la dynamique humaine dans l'évaluation de la navigation sociale. Le benchmark est entièrement open-source (datasets, simulateurs, baselines, protocoles). Les prochaines étapes probables incluent l'intégration de modèles VLA (Vision-Language-Action) plus récents comme pi-0 ou RT-2 dans le leaderboard, ainsi que des évaluations dans des scènes extérieures plus complexes.

RecherchePaper
1 source
SynthICL : apprentissage par imitation en contexte à grande échelle avec données synthétiques
1096arXiv cs.RO 

SynthICL : apprentissage par imitation en contexte à grande échelle avec données synthétiques

Des chercheurs ont publié SynthICL (arXiv:2606.08154), un framework d'apprentissage par imitation en contexte (ICIL) capable d'entraîner une politique robotique entièrement à partir de données synthétiques RGB. Le principe de l'ICIL consiste à conditionner une politique pré-entraînée sur quelques démonstrations fournies au moment du test, sans réentraînement, à l'image du prompting en contexte des grands modèles de langage. SynthICL construit un pipeline de génération de données pour produire des jeux d'entraînement ICIL haute fidélité, puis entraîne un transformer basé sur le flow-matching sur ce corpus. Le modèle intègre également un module de prédiction de sous-objectifs visuels (subgoal prediction), qui génère des images intermédiaires cibles pour ancrer visuellement le contrôle. Évalué sur 16 tâches de manipulation inédites en environnement réel, SynthICL atteint un taux de succès moyen de 79 % avec une seule démonstration fournie à l'inférence, surpassant les méthodes comparables. Le résultat le plus significatif n'est pas tant le score brut que ce qu'il ne requiert pas : ni capteur de profondeur, ni calibration précise de caméra, ni données d'entraînement collectées en conditions réelles. Ces trois contraintes constituent des frictions majeures dans le déploiement de politiques robotiques généralisables, en particulier pour les intégrateurs industriels qui opèrent sur des lignes hétérogènes. Un taux de transfert sim-to-real de 79 % sur des tâches non vues, avec une seule démonstration, commence à réduire sérieusement le fossé entre preuve de concept et déploiement opérationnel, même si les 16 tâches testées restent des manipulations relativement contraintes et que les conditions de tournage des vidéos de démonstration ne sont pas détaillées dans l'abstract. Le champ de l'ICIL robotique s'est structuré en parallèle de l'essor des VLA (Vision-Language-Action models). Des approches comme Octo (UC Berkeley), RT-2 (Google DeepMind) ou pi-zero de Physical Intelligence explorent des paradigmes comparables de généralisation multi-tâches, mais s'appuient en grande partie sur des données réelles coûteuses à collecter. La dépendance croissante aux simulateurs physiques (IsaacSim, Genesis, MuJoCo) pour générer des données d'entraînement est une tendance de fond que SynthICL illustre directement. Le projet dispose d'une page dédiée (synth-icl.github.io) ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné à ce stade, ce qui en fait pour l'instant une contribution académique solide plutôt qu'un produit annoncé.

RechercheActu
1 source
Quand la vidéo se trompe : distillation en boucle fermée d'heuristiques de lecture pour les QA de manipulation exploratoire
1097arXiv cs.RO 

Quand la vidéo se trompe : distillation en boucle fermée d'heuristiques de lecture pour les QA de manipulation exploratoire

Des chercheurs présentent dans un preprint arXiv publié en juin 2026 (2606.08542) une formalisation et une solution partielle à un problème mal documenté de la planification robotique : les grands modèles de vision-langage actuels (VLMs, LLMs multimodaux incarnés) ne savent pas lire les traces d'exploration robotique. Le cas typique : un robot tire sur un tiroir verrouillé, échoue, puis réussit après avoir ouvert le verrou. Cet échec initial n'est pas du bruit, c'est la preuve d'une précondition latente (le tiroir était verrouillé), et donc la clé pour inférer la séquence minimale d'actions correcte. Les auteurs formalisent ce problème sous le nom EMT-QA (Exploratory Manipulation Trace QA) et proposent la Closed-Loop Trace Distillation : un agent de codage par tâche inspecte les traces d'entraînement étiquetées et en distille une heuristique de lecture en une seule ligne de langage naturel, appelée DRH (Distilled Reading Heuristic). À l'inférence, pas d'agent invoqué, pas de mise à jour de poids : un VLM figé reçoit la trace brute augmentée du DRH. Sur cinq tâches (trois en simulateur, deux sur robot réel), le DRH améliore la précision de la chaîne d'actions de +0,38 à +0,47 par rapport aux meilleures baselines en modalité brute. Ce résultat contredit une hypothèse courante dans le secteur : que des VLMs suffisamment puissants "verront" naturellement les préconditions cachées dans une vidéo d'exécution. L'étude démontre que ni la vidéo brute, ni la proprioception, ni leur combinaison ne suffisent. Pour les équipes qui intègrent des VLMs comme backbone de planification dans des systèmes de manipulation industrielle, cela signifie qu'une couche de distillation d'heuristiques peut s'avérer indispensable, sans nécessiter de fine-tuning ni d'infrastructure supplémentaire à l'inférence. Fait notable : le même DRH sert également de spécification unique pour des classifieurs programmatiques one-shot qui égalent les performances du VLM prompté, ouvrant une voie vers des pipelines de validation auditables et plus légers. Ces travaux s'inscrivent dans la dynamique des politiques robotiques fondées sur la vidéo et le langage (VLA), portée notamment par Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Google DeepMind, qui s'appuient tous sur des VLMs comme planificateurs. La lecture fiable des traces d'exécution est un angle mort reconnu dans la communauté, souvent masqué dans les démos par des conditions expérimentales favorables. Le périmètre de validation reste restreint (cinq tâches au total), et la généralisation à des préconditions plus complexes ou à des chaînes d'actions plus longues n'est pas encore établie. Les suites naturelles incluent l'évaluation sur des benchmarks de manipulation plus larges et, surtout, la génération de DRH sans traces étiquetées en amont, condition nécessaire à la scalabilité réelle de l'approche.

RechercheOpinion
1 source
Autoencodeurs épars : des caractéristiques interprétables et pilotables révélées dans les modèles VLA
1098arXiv cs.RO 

Autoencodeurs épars : des caractéristiques interprétables et pilotables révélées dans les modèles VLA

Des chercheurs ont entraîné des Sparse Autoencoders (SAE) sur les activations de couches cachées de modèles Vision-Language-Action (VLA) pour sonder mécanistiquement leurs représentations internes. Les SAE apprennent des dictionnaires épars sur ces activations, révélant des directions interprétables dans l'espace de représentation du modèle. L'équipe a identifié des features correspondant à des primitives de mouvement et à des concepts sémantiques, subdivisées selon une métrique proposée en deux catégories : les primitives générales transférables entre tâches, et les mémorisations épisodiques propres à un contexte particulier. Ces features se révèlent causalement pilotables : amplifier une feature générale induit des comportements cohérents avec sa sémantique, tandis que l'ablater dégrade significativement les performances du modèle. Les expériences ont été conduites sur le benchmark de simulation LIBERO et sur du matériel réel DROID, ce qui distingue ce travail de nombreuses contributions purement synthétiques. L'enjeu central est de comprendre quand et pourquoi un VLA généralise à de nouveaux objets, scènes ou instructions, une question que les benchmarks de performance bruts ne permettent pas de trancher. La distinction primitives-générales/mémorisations-épisodiques fournit aux développeurs un outil diagnostique pour évaluer ce qu'un modèle a réellement internalisé après entraînement, plutôt que de se fier à des métriques de réussite de tâche. Plus significatif encore, le steering par SAE ouvre une voie de contrôle orthogonale au prompting textuel : le robot peut être guidé dans des directions comportementales impossibles à exprimer via des instructions en langage naturel, sans réentraînement du modèle. Ce travail s'inscrit dans la continuité des recherches en interprétabilité mécanistique qui ont d'abord ciblé les grands modèles de langage, notamment les travaux publiés par Anthropic sur les SAE appliqués aux LLM, et tente de transposer cette méthodologie aux modèles agissants multimodaux. Les VLA dominent aujourd'hui la manipulation robotique généraliste, qu'il s'agisse de Pi-0 (Physical Intelligence), d'OpenVLA (UC Berkeley), de GR00T N2 (NVIDIA) ou des architectures de Google DeepMind, et tous font face au même déficit d'interprétabilité interne. La validation sur DROID, benchmark réel à forte diversité de scènes et de manipulations, renforce la portée des résultats au-delà du sim-to-real classique. Les suites naturelles incluent l'intégration de ces outils dans des pipelines de fine-tuning ciblé ou de sélection de données d'entraînement, voire dans des systèmes de supervision comportementale en production.

RechercheOpinion
1 source
Commande prédictive avec impédance pour l'interaction physique humain-robot : rejet prédictif des perturbations et sécurité des limites articulaires
1099arXiv cs.RO 

Commande prédictive avec impédance pour l'interaction physique humain-robot : rejet prédictif des perturbations et sécurité des limites articulaires

Des chercheurs présentent dans un preprint arXiv (2606.08281, soumis en juin 2026) une architecture de contrôle en deux couches baptisée Impedance MPC, conçue pour les robots collaboratifs soumis à des contacts humains non planifiés. Le cœur du système repose sur une première couche qui annule analytiquement la gravité, les forces de Coriolis et l'inertie en espace de tâche, réduisant la dynamique résiduelle à un double intégrateur à matrice de transition constante. Une seconde couche résout un problème d'optimisation quadratique convexe à 30 variables à 100 Hz, en exploitant cette structure constante pour précalculer la matrice de réponse libre une seule fois. Un filtre de Kalman augmenté estime l'état de perturbation persistante, garantissant formellement une erreur statique nulle. Les tests ont été conduits sur un Franka FR3 à 7 degrés de liberté : sous une force soutenue de 15 N, l'erreur statique descend à moins de 0,05 mm, contre 44,8 mm pour un contrôle d'impédance classique, soit une réduction supérieure à 800. Le suivi de quatre trajectoires circulaires 3D reste sous le millimètre. Ce résultat touche un problème structurel bien connu des intégrateurs de cobots : le contrôle d'impédance classique accumule une erreur de position proportionnelle à la force appliquée divisée par la raideur de tâche, et les correcteurs intégraux capables de la résorber déstabilisent facilement le système au-delà d'un budget de gain étroit. L'Impedance MPC contourne cette contrainte en incorporant la prédiction de perturbation directement dans la loi de commande, sans sacrifier la compliance ni la sécurité aux butées articulaires, assurée par un potentiel de barrière inverse dans l'espace nul. Pour un COO ou un intégrateur industriel, cela signifie un cobot capable de tenir sa trajectoire même sous charge humaine prolongée, sans recours à des gains agressifs risquant l'instabilité. L'impédance mécanique comme paradigme de contrôle pour la collaboration homme-robot remonte aux travaux de Neville Hogan dans les années 1980 ; son couplage avec le MPC est une direction active depuis une décennie, notamment pour les manipulateurs série. Le Franka FR3, successeur du Panda, est devenu la plateforme de référence pour les publications en contrôle cobot grâce à son interface de couple en temps réel à 1 kHz. Sur ce segment, les concurrents incluent Universal Robots (UR10e), KUKA LBR iisy, et ABB YuMi, tous confrontés au même compromis compliance-précision. L'approche proposée reste pour l'instant au stade preprint sans déploiement industriel annoncé ; les prochaines étapes naturelles sont la validation sur tâches d'assemblage réelles et le passage à des robots à dynamique plus complexe (bases mobiles, humanoïdes légers).

UELes résultats pourraient bénéficier aux intégrateurs cobots européens (KUKA, ABB) confrontés au compromis compliance-précision, en ouvrant la voie à des robots collaboratifs plus précis sous charge humaine prolongée sans sacrifier la sécurité articulaire.

RecherchePaper
1 source
Langage comme capteur : estimation calibrée de croyances spatiales en 3D à partir du langage naturel
1100arXiv cs.RO 

Langage comme capteur : estimation calibrée de croyances spatiales en 3D à partir du langage naturel

Des chercheurs présentent dans un preprint arXiv (2606.08666, juin 2026) un système permettant aux robots de traiter les descriptions spatiales en langage naturel comme un signal capteur à part entière. Le coeur de la contribution est le Language Sensor Model (LSM), qui convertit chaque énoncé ("j'ai laissé mon sac à dos sur la table") et son graphe de scène en une distribution de probabilités 3D multimodale. Cette distribution encode simultanément l'ambiguïté référentielle ("quelle table parmi plusieurs") via des poids de mélange, et l'incertitude spatiale ("où exactement sur la table") via des covariances par composante. Le LSM s'intègre dans VL-Map (Vision-Language Metric-Semantic Mapping), un framework probabiliste qui fusionne ces prédictions linguistiques avec la perception embarquée dans une carte de croyance unifiée. Évalué sur le benchmark VLA-3D et sur un robot mobile réel, le LSM est le seul prédicteur dont les estimations de covariance restent dans le régime calibré, et produit environ 70 % de masse de probabilité supplémentaire sur la cible correcte par rapport au meilleur modèle de fondation testé. L'enjeu pour les intégrateurs est direct : les robots déployés en environnement humain (logistique, soins, assistance) reçoivent constamment des instructions verbales qui référencent des objets hors de leur champ perceptif. La cartographie métrique-sémantique classique ignore ce canal d'information ; les grands modèles multimodaux généralistes ne produisent pas d'estimations calibrées fusionnables dans un filtre bayésien. La calibration est un point critique souvent sous-estimé : un modèle non calibré surestime ou sous-estime sa confiance, rendant la fusion de capteurs instable et potentiellement dangereuse. Ce travail démontre que le langage peut jouer le rôle d'un vrai capteur réducteur d'incertitude, ce qui modifie le calcul architectural pour tout système de navigation ou manipulation en milieu non structuré. La contribution s'inscrit dans la lignée de la cartographie visuosémantique 3D (ConceptFusion, LERF, OpenScene), qui ancre des embeddings visuolinguistiques dans des représentations de scènes mais demeure passive vis-à-vis du langage conversationnel. Les approches VLA actuelles comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA traitent le langage comme déclencheur d'actions, sans produire de distribution spatiale exploitable par un planificateur externe. Ce système s'y positionne orthogonalement : non pas un planificateur ni un annotateur, mais un capteur probabiliste intégrable à un pipeline SLAM existant. Les expériences décrites restent à un stade exploratoire, sans partenaire industriel ni calendrier de déploiement annoncés dans la publication.

RecherchePaper
1 source