Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RAPT : détection de dérive et diagnostic de défaillance par prédiction de modèle pour le déploiement sim-vers-réel d'humanoïdes
RecherchearXiv cs.RO 

RAPT : détection de dérive et diagnostic de défaillance par prédiction de modèle pour le déploiement sim-vers-réel d'humanoïdes

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent RAPT (Recurrent Anomaly Probabilistic Trajectory Model), un moniteur de déploiement léger et auto-supervisé fonctionnant à 50 Hz, conçu pour détecter en temps réel les états hors distribution (OOD) lorsqu'une politique de contrôle apprise en simulation est transférée sur un robot humanoïde réel. Le système apprend le comportement d'exécution nominal à partir de données de simulation à grande échelle, puis produit en ligne des signaux de déviation prédictive calibrés, dimension par dimension, permettant de localiser précisément quand et où l'exécution réelle s'écarte du comportement attendu. Pour le diagnostic post-hoc, RAPT combine saillance temporelle, résumés cinématiques articulaires et raisonnement sémantique par LLM afin de classifier les causes probables d'échec en mode zero-shot. En simulation, sur quatre tâches Isaac Lab, RAPT améliore le taux de vrais positifs (TPR) de 37% par rapport à la meilleure référence existante, à un taux de faux positifs au niveau épisode limité à 0,5%. Sur matériel réel, il atteint 89% de TPR sur 78 essais, avec moins de faux positifs que les approches concurrentes compatibles haute fréquence, et 75% de précision de diagnostic sémantique sur 21 catégories d'échecs, sur un sous-ensemble de cas OOD jugés difficiles.

L'enjeu dépasse la simple détection d'anomalie: c'est le problème du "silent failure" après transfert sim-to-real qui est visé, ces politiques qui semblent robustes en simulation mais entrent en territoire inconnu sur le robot réel sans que rien ne le signale, avec un risque direct de casse matérielle. Pour les intégrateurs et équipes R&D qui déploient des politiques VLA ou apprises par renforcement sur humanoïdes ou bras robotiques, un moniteur capable de tenir la cadence du contrôle temps réel tout en gardant un taux de fausses alertes très bas comble un manque concret entre recherche en simulation et fiabilité opérationnelle sur le terrain.

RAPT s'inscrit dans la lignée des travaux sur la détection d'anomalies pour systèmes robotiques appris, un domaine où la plupart des détecteurs existants échouent soit sur la fréquence de fonctionnement, soit sur le taux de faux positifs, soit sur l'interprétabilité du diagnostic. Le papier, publié sur arXiv en version 2, met à disposition code, site projet et vidéos de démonstration, ouvrant la voie à une adoption par d'autres équipes travaillant sur le déploiement sécurisé de politiques apprises en simulation.

Dans nos dossiers

NVIDIA Isaac & CosmosarXiv cs.RO

À lire aussi

Distillation de simulation : pré-entraîner des modèles du monde en simulation pour une adaptation rapide au réel
1arXiv cs.RO 

Distillation de simulation : pré-entraîner des modèles du monde en simulation pour une adaptation rapide au réel

Une équipe de recherche a publié sur arXiv (arXiv:2603.15759) un cadre appelé Simulation Distillation (SimDist), conçu pour entraîner des world models robotiques en simulation physique avant de les adapter rapidement au monde réel avec peu de données. L'approche se décompose en deux phases distinctes : un préentraînement dans un simulateur physique qui distille des priors structurels dans un world model capable de planifier à partir d'observations brutes, suivi d'une adaptation réelle dans laquelle seul le modèle de dynamiques latentes est mis à jour via des pertes de prédiction issues de données terrain. L'encodeur, le modèle de récompense et la fonction de valeur appris en simulation sont directement transférés sans modification. Les auteurs valident SimDist sur deux catégories de tâches : manipulation en contact riche (préhension, assemblage) et locomotion quadrupède. L'enjeu central que SimDist adresse est le coût prohibitif de la collecte de données d'interaction diverse et de qualité mixte pour entraîner des world models directement dans le monde réel. En réduisant l'adaptation à une forme d'identification de système supervisée, le cadre conserve les signaux de planification denses sur horizon long nécessaires à l'amélioration en ligne, là où les méthodes de fine-tuning de politiques end-to-end restent inefficaces et fragiles sur les tâches longue durée. Les expériences montrent que SimDist progresse régulièrement avec l'expérience accumulée, alors que les approches d'adaptation concurrentes stagnent ou se dégradent durant le fine-tuning en ligne. C'est un résultat notable : la question de savoir si les world models tiennent leurs promesses à l'échelle sur des tâches en contact réel restait ouverte. Les world models robotiques -- dont Dreamer (DeepMind) est le représentant le plus connu -- ont démontré leur potentiel en simulation et dans des domaines à faible dimensionnalité, mais leur passage aux tâches manipulation réelles était resté laborieux, nécessitant des volumes de données difficiles à obtenir en dehors de laboratoires très équipés. SimDist s'inscrit dans un courant récent qui tente de résoudre le sim-to-real gap non pas par le transfert direct de politique, mais par le transfert de représentations et de modèles de planification. Le projet est accompagné d'une page dédiée et d'un dépôt de code (sim-dist.github.io), ce qui facilitera la reproductibilité et les comparaisons tierces. Les prochaines étapes probables incluent l'extension à des manipulateurs à dextérité plus élevée et à des environnements moins structurés, deux domaines où la rareté des données réelles est encore plus critique.

RecherchePaper
1 source
Vers un style de tennis professionnel pour robots humanoïdes grâce à une planification et un suivi de mouvement adaptatifs
2arXiv cs.RO 

Vers un style de tennis professionnel pour robots humanoïdes grâce à une planification et un suivi de mouvement adaptatifs

Des chercheurs ont publié le 21 août 2026 sur arXiv (référence 2608.20087v1) AdaPT, un système de planification et de suivi de mouvement adaptatif qui apprend à des robots humanoïdes à servir et échanger au tennis avec un style proche de celui des joueurs professionnels, directement à partir de vidéos de retransmissions télévisées. L'architecture est hiérarchique : un planificateur génère la trajectoire cinématique stylisée, tandis qu'un module de suivi (tracker) l'exécute en interférant le moins possible avec le plan initial. Validée en simulation, l'approche a ensuite révélé un écart important entre simulation et réel sur le robot Unitree G1, la précision du suivi se dégradant à cause de la planification autorégressive et du bruit de perception ; pour corriger cela, les auteurs ont entraîné le tracker à suivre des vitesses d'exécution randomisées et conditionné le planificateur via un adaptateur de vitesse appris. Les politiques AdaPT ont ensuite été déployées sur le robot humanoïde grand format Dobot Atom (1,7 mètre), capable de servir en conditions réelles sans capture de mouvement, avec vidéos et code publiés sur le site du projet. Ce résultat illustre concrètement la possibilité de transférer un mouvement stylisé et physiquement exigeant, appris depuis de simples vidéos, vers un robot humanoïde grande taille opérant sans motion capture ni environnement contrôlé, un enjeu central pour l'industrie face au fossé habituel entre démonstrations et performance réelle. Il faut toutefois le lire comme un résultat de recherche académique et non comme un produit commercialisé : aucune annonce de volumes, de prix ni de partenariat industriel n'accompagne la publication, et les essais restent limités en nombre. La méthode elle-même dépasse le seul tennis, puisqu'elle traite un problème plus général, générer des mouvements stylistiques complexes sans sacrifier la performance de la tâche, pertinent pour toute application humanoïde exigeant dextérité et fluidité. Ce travail s'inscrit dans une vague récente de recherches sur des humanoïdes jouant à des sports de balle, un domaine où plusieurs laboratoires ont récemment montré des frappes ou services au tennis, badminton ou ping-pong, souvent via des architectures de type VLA ou du renforcement pur. AdaPT se distingue par la combinaison d'une imitation de style issue de vidéos de diffusion et d'une architecture planificateur/tracker pensée spécifiquement pour limiter la dégradation lors du transfert simulation-réel. Les tests ont porté sur deux plateformes, le Unitree G1, standard courant en recherche sur la locomotion, et le Dobot Atom, humanoïde grand format du fabricant chinois Dobot. Les auteurs n'annoncent aucun calendrier de pilote commercial, se limitant à publier code et vidéos et à souligner des enseignements algorithmiques et d'ingénierie pour de futurs systèmes humanoïdes sportifs.

RecherchePaper
1 source
Adaptation de modalité en test, un cadre causal d'inférence-diagnostic-raffinement pour les modèles VLA
3arXiv cs.RO 

Adaptation de modalité en test, un cadre causal d'inférence-diagnostic-raffinement pour les modèles VLA

Une équipe de chercheurs publie sur arXiv un nouveau cadre baptisé infer-diagnose-refine (IDR), conçu pour améliorer les modèles vision-langage-action (VLA) qui pilotent des bras ou des robots humanoïdes à partir d'instructions en langage naturel, d'images et de l'état proprioceptif du robot. Le problème ciblé: dans une tâche de manipulation, l'importance de la vision varie selon la phase, un déplacement longue distance dépendant surtout de la caméra tandis qu'une prise fine dépend davantage du retour proprioceptif, et les VLA actuels fusionnent ces modalités de façon statique. IDR corrige cela au moment du test, sans réentraînement: le modèle infère d'abord une action factuelle avec l'image réelle, puis une action contrefactuelle en neutralisant l'image via une intervention de type "zero-padding", avant qu'un module ne quantifie l'écart entre les deux par une mesure de norme pour estimer l'importance causale de la vision à cet instant précis, puis qu'une fusion résiduelle à gate ajustable ne recombine les deux prédictions. Les auteurs rapportent des gains de performance sur plusieurs benchmarks de simulation et sur des tâches réelles, avec plusieurs architectures VLA testées comme backbones. Pour l'industrie robotique, l'intérêt tient au fait que ce travail s'attaque à une limite bien identifiée mais rarement corrigée des VLA: leur incapacité à pondérer dynamiquement les modalités selon le contexte, ce qui pèse sur la robustesse en conditions réelles (occlusions, éclairage variable, phases de contact). Le caractère "model-agnostic" et "training-free" est ce qui retient le plus l'attention des intégrateurs: si la méthode tient ses promesses hors cadre académique, elle pourrait s'appliquer en post-traitement à des VLA déjà déployés, sans le coût d'un réentraînement complet, rare parmi les correctifs proposés dans la littérature. Il s'agit toutefois d'une publication de recherche évaluée sur des benchmarks propres aux auteurs, pas d'un produit ni d'un déploiement industriel, et le gain réel dépendra d'une reproduction indépendante sur des tâches de manipulation hors laboratoire. Ce travail s'inscrit dans une vague de recherche plus large autour des VLA, catégorie qui regroupe aujourd'hui des systèmes comme RT-2, OpenVLA, pi-0 de Physical Intelligence ou GR00T de Nvidia, tous confrontés au même arbitrage entre richesse perceptuelle et robustesse d'exécution. Chercher des gains de fiabilité au moment de l'inférence, plutôt que via un réentraînement massif, reflète une tendance récente à vouloir corriger à moindre coût des modèles déjà volumineux. Les auteurs ne précisent ni calendrier d'intégration industrielle ni partenariat avec un fabricant de robots; la suite logique serait une validation sur des plateformes commerciales et une comparaison directe avec les méthodes de fusion de modalités déjà employées par les principaux acteurs du secteur.

RechercheActu
1 source
Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel
4arXiv cs.RO 

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

UELes laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

RecherchePaper
1 source