RecherchearXiv cs.RO 9 juin 2026

Communication non verbale par posture corporelle en temps réel avec mesure de fiabilité par cohérence

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv (ref. 2606.09390) une étude portant sur la reconnaissance d'intention communicative à partir de la seule pose corporelle 2D, sans recours au visage, à la voix ou au texte. Le travail cible explicitement des scénarios de communication personne-robot à longue distance et à faible coût, comme les missions de secours en terrain dégradé. Les chercheurs publient un nouveau dataset de frames réels couvrant dix intents communicatifs distincts, et le comparent à des jeux de données existants : IPC (réel) et trois sources synthétiques, MotionLCM, VEO3.1 et Kimodo, qui couvrent un gradient de difficulté croissant. Plusieurs architectures sont évaluées, des classifieurs graph sur squelette jusqu'aux réseaux de prédiction de mouvement articulaire. Tous les benchmarks sont conduits sur une NVIDIA Orin Nano, un GPU embarqué représentatif des contraintes matérielles d'un robot de terrain, ce qui permet de rapporter à la fois précision de classification et cadence d'inférence en conditions réelles.

Le point le plus notable n'est pas le dataset mais la mesure de fiabilité non supervisée proposée : les auteurs montrent que l'auto-cohérence autorégressive d'un modèle, c'est-à-dire la stabilité de ses propres prédictions successives sur une séquence, constitue un signal de confiance exploitable sans étiquettes. Ils fournissent une preuve courte bornant la probabilité qu'une prédiction auto-cohérente soit correcte, et montrent que cette probabilité croît avec le nombre de pas cohérents, tout en identifiant les conditions où une prédiction confiante peut rester fausse. C'est directement utile pour un intégrateur robotique : déployer un tel module sans ground truth disponible en opération reste aujourd'hui un frein majeur, et une mesure de fiabilité embarquée change l'équation.

Ce travail s'inscrit dans une lacune documentée de la littérature : les corpus affectifs (combinant corps, visage, voix, texte) et les benchmarks de reconnaissance d'action squelettique étiquètent l'action réalisée, pas le message transmis, ce qui les rend inutilisables pour la communication HRI (human-robot interaction) à distance. Le choix de la pose 2D plutôt que 3D reflète une contrainte de déploiement réaliste : pas de LiDAR, pas de caméra de profondeur. Côté concurrence, les travaux sur VLA (Vision-Language-Action) type Pi-0 ou GR00T N2 de NVIDIA visent des interactions à courte portée en environnement structuré ; ce dataset et ce cadre de fiabilité adressent le segment complémentaire, non-verbal et longue distance. Les prochaines étapes naturelles incluent l'extension à davantage d'intents, l'évaluation sur robot physique en extérieur, et potentiellement une intégration dans des pipelines de perception multi-modale pour robots d'intervention.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

ActFovea : sécurisation en temps réel des politiques VLA par cohérence spatio-temporelle vision-action

Le laboratoire à l'origine du projet publie ActFovea, un framework de sécurisation à l'exécution pour les politiques vision-langage-action (VLA) utilisées en manipulation robotique. Contrairement à un réentraînement du modèle, ActFovea s'installe en complément d'une politique VLA existante, sans la modifier, pour détecter et corriger les défaillances causées par des perturbations qui désynchronisent observations visuelles, états du robot et actions exécutées. Le système s'appuie sur la cinématique du robot, ses états proprioceptifs et son historique d'actions récentes pour construire des zones fovéales conditionnées à l'action, qui conservent les régions de contact et les corridors de mouvement prévus tout en filtrant le contenu visuel non pertinent pour la tâche. Il détecte les risques en vérifiant la cohérence entre mouvement visuel, fraîcheur des observations et transitions géométriques, proprioceptives et d'action attendues. Testé en boucle fermée sur le modèle Pi-0 dans plusieurs suites LIBERO, ActFovea fait passer le taux de succès sous perturbations visuelles localisées de 49,3% à 90,3%, comblant 93,7% de l'écart avec les performances en conditions propres. Il améliore aussi la robustesse de 7,0 points face à la dérive d'action et de 9,8 points face aux délais visuels, sans dégrader les performances en environnement non perturbé. Ce résultat s'attaque à un point faible connu des politiques VLA: leur fragilité dès que le flux d'observations devient obsolète, retardé ou incohérent avec l'état réel du robot, un scénario fréquent en déploiement réel (caméra masquée, latence réseau, capteur défaillant) mais rarement testé dans les démonstrations. Pour les intégrateurs industriels, la promesse n'est pas d'améliorer la politique elle-même mais d'ajouter une couche de garde-fou capable de distinguer une perturbation récupérable d'une situation où mieux vaut arrêter le geste, avec un mécanisme d'échec sécurisé qui, dans les essais rapportés, ne laisse passer aucune défaillance non protégée en cas de flux d'observation figé ou rejoué. Ce travail s'inscrit dans la vague actuelle de recherche sur la fiabilisation des politiques VLA généralistes, popularisées par des modèles comme Pi-0 ou GR00T N2, dont les performances en environnement contrôlé masquent souvent une sensibilité élevée au bruit du monde réel. En proposant une couche indépendante de la politique plutôt qu'un réentraînement coûteux, les auteurs positionnent ActFovea comme une brique de sécurité runtime potentiellement compatible avec différentes architectures VLA, une direction que devront confirmer des essais au-delà des suites de simulation LIBERO.

RecherchePaper

1 source

2arXiv cs.RO

ManiCM : politique de diffusion 3D en temps réel via un modèle de cohérence pour la manipulation robotique

Des chercheurs ont mis en ligne une version actualisée (v4) de leur article ManiCM sur arXiv (2406.01586), présentant un modèle capable de générer des actions robotiques par diffusion en une seule étape d'inférence, contre plusieurs dizaines habituellement nécessaires. Le système applique une contrainte de cohérence (consistency model) au processus de diffusion dans l'espace des actions, conditionné par un nuage de points représentant la scène en 3D. Plutôt que de prédire le bruit à chaque étape de débruitage comme le font les modèles de diffusion classiques, une technique de distillation de cohérence entraîne le modèle à prédire directement l'échantillon d'action final depuis n'importe quel point de la trajectoire ODE. Évalué sur 31 tâches de manipulation issues des bancs d'essai Adroit et Metaworld, ManiCM affiche une vitesse d'inférence moyenne dix fois supérieure aux méthodes de diffusion 3D de référence, tout en conservant un taux de réussite comparable. Cette accélération répond à un frein connu des politiques de diffusion en robotique : leur puissance pour modéliser des distributions d'actions complexes se paie par des dizaines d'étapes de débruitage séquentielles, incompatibles avec un contrôle temps réel, surtout avec des observations 3D haute dimension comme les nuages de points. En ramenant l'inférence à une seule étape sans sacrifier significativement le taux de succès, ManiCM s'attaque à un vrai goulot d'étranglement pour tout intégrateur voulant faire tourner ces modèles sur du matériel embarqué à fréquence de contrôle élevée, plutôt que dans des démonstrations hors ligne. Les gains restent toutefois mesurés en simulation, sur des bancs d'essai standards mais artificiels, et non sur des bras ou mains robotiques physiques : l'écart classique entre performance simulée et robustesse en conditions réelles reste à vérifier. La méthode s'inscrit dans la lignée des politiques de diffusion 3D (3D Diffusion Policy, DP3) qui se sont imposées pour la manipulation dextre depuis 2023-2024, en reprenant les modèles de cohérence initialement conçus pour accélérer la génération d'images dans la communauté vision par ordinateur, ici adaptés à l'espace d'action de dimension bien plus faible pour une convergence rapide. Il s'agit d'une publication de recherche académique, sans annonce d'intégration commerciale ni de partenaire industriel à ce stade. Les suites attendues pour ce type de travaux sont généralement une validation sur robot physique et une comparaison face à d'autres approches génératives rapides, VLA ou politiques distillées, qui visent le même compromis entre expressivité et latence de contrôle.

RecherchePaper

1 source

3arXiv cs.RO

Manipulation d'objets déformables en observabilité partielle grâce à l'estimation de forme complète en temps réel

Une équipe de recherche présente cRVAE (conditional récurrent variational autoencoder), un modèle léger capable d'estimer l'état complet d'un objet déformable comme une corde ou un tissu à partir de simples observations partielles de ses coins, sans nécessiter de paramètres physiques en entrée ni d'identification de paramètres en ligne. Décrit dans l'article arXiv:2609.10308v1, ce réseau sert de modèle prédictif dans un cadre de contrôle optimal à horizon glissant pour la manipulation collaborative d'objets déformables en présence d'obstacles. En simulation sur des scénarios de corde et de tissu, cRVAE atteint une précision comparable à celle d'un modèle physique XPBD (Extended Position Based Dynamics) pourtant calibré avec des paramètres identifiés au préalable, tout en étant environ 350 fois plus rapide sur la corde et plus de 1500 fois plus rapide sur le tissu à chaque passe de calcul. Cette vitesse permet de rester sous le budget de contrôle de 100 millisecondes nécessaire à une planification en boucle fermée, un seuil que le modèle XPBD dépasse déjà sur des horizons courts. Les chercheurs ont démontré le système sur un robot quadrupède Unitree Go2. Ce résultat s'attaque à un angle mort persistant de la robotique industrielle : si la manipulation d'objets rigides est largement résolue par des méthodes basées modèle, les objets déformables (câbles, textiles, corde, emballages souples) restent un défi ouvert à cause de leur espace d'état de très haute dimension, de leur dynamique sous-actionnée et de l'observabilité partielle inhérente aux capteurs disponibles. Les simulateurs physiques comme XPBD, très utilisés pour le rendu de tissus et de cordes, exigent une calibration coûteuse par objet et deviennent trop lents pour du contrôle temps réel dès que l'horizon de planification s'allonge. En démontrant qu'un modèle appris peut remplacer cette simulation physique sans perte de précision et sans calibration objet par objet, l'étude lève un obstacle concret au déploiement de manipulateurs sur des tâches comme le routage de câbles, la manutention textile ou l'emballage souple en logistique, où le recalibrage manuel par pièce est impraticable à l'échelle. Le choix d'un robot quadrupède plutôt qu'un bras manipulateur classique suggère aussi une applicabilité à des contextes de manipulation mobile plus larges. La validation reste toutefois circonscrite à la simulation pour la comparaison de précision, et la démonstration matérielle sur Go2 n'est pas détaillée en termes de tâche ni de robustesse. Ce travail s'inscrit dans la lignée des architectures d'autoencodeurs variationnels, ici adaptées en version récurrente et conditionnelle pour l'estimation d'état temporel, et vise spécifiquement à remplacer les moteurs physiques comme XPBD (utilisé notamment dans des environnements de simulation robotique et de jeu) comme modèle prédictif embarqué dans une boucle de contrôle. Il s'agit d'une publication de recherche académique et non d'une annonce produit ou d'un pilote industriel : aucun acteur commercial concurrent n'est cité, et aucun calendrier de déploiement n'est communiqué. Les prochaines étapes logiques, non annoncées dans l'article, porteraient vraisemblablement sur l'extension à d'autres matériaux déformables, à des configurations bimanuelles, et sur des essais matériels plus poussés au-delà de la démonstration initiale sur le Go2.

RecherchePaper

1 source

4arXiv cs.RO

Téléopération en temps réel d'un robot humanoïde par capture de mouvement IMU avec validation sim-vers-réel

Une équipe de recherche a publié en mai 2026 un système complet de téléopération whole-body en temps réel pour robot humanoïde, décrit dans un préprint arXiv (2605.12347). Le système capture les mouvements d'un opérateur via une combinaison Virdyn à centrales inertielles (IMU full-body), puis les retransmet en continu sur un robot Unitree G1. Le pipeline de retargeting cinématique et de contrôle fonctionne sans tampon offline ni composant d'apprentissage automatique. La validation s'est déroulée en deux étapes : d'abord en simulation via le modèle MuJoCo du G1 (sim2sim), puis déployé sans aucune modification sur le robot physique (sim2real). Le répertoire de mouvements reproduits couvre la marche, la station debout, la position assise, les rotations, les courbettes et des gestes expressifs coordonnés de tout le corps. Le résultat le plus significatif est le transfert sim-to-real sans recalibration, un point d'échec classique où les paramètres calibrés en simulation s'effondrent face aux frictions réelles, aux latences de communication et aux erreurs de modèle. L'absence de composant d'apprentissage automatique rend le système déterministe et auditable, un argument concret pour les intégrateurs industriels ou les labos qui constituents des datasets de téléopération pour l'imitation learning. L'utilisation de matériel grand public (la combinaison Virdyn est commercialement disponible) plutôt qu'un système de mocap optique type Vicon abaisse significativement le ticket d'entrée pour construire des pipelines de collecte de démonstrations. La limitation est symétrique : sans apprentissage, l'adaptabilité à des morphologies très différentes reste contrainte par le retargeting cinématique. Le Unitree G1 est un humanoïde d'entrée de gamme commercialisé depuis 2024 autour de 16 000 dollars, ciblant explicitement la recherche et les démos industrielles. La téléopération whole-body est devenue un axe central de la course aux données pour les systèmes humanoïdes : Physical Intelligence (Pi-0), Figure et 1X s'appuient tous sur des démonstrations téléopérées pour entraîner leurs politiques. Sur l'approche IMU appliquée aux humanoïdes, des travaux similaires ont été publiés par des équipes chinoises sur le Booster T1 et l'Unitree H1. Ce préprint ne mentionne aucun déploiement industriel ni partenariat commercial, c'est une contribution académique de validation de concept, pas un produit expédié.

UELes laboratoires européens constituant des jeux de données de téléopération pour l'apprentissage par imitation (INRIA, CEA-List, LAAS-CNRS) peuvent adopter cette approche IMU sur matériel grand public pour abaisser significativement leur coût d'entrée.

RecherchePaper

1 source