RecherchearXiv cs.RO 7 septembre 2026

SocioGesture : perception adaptative en temps réel des gestes sociaux pour l'interaction homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent SocioGesture, un système de perception gestuelle sociale conçu pour l'interaction humain-robot en temps réel, décrit dans un article publié sur arXiv le 4 septembre 2026 (arXiv:2609.04545v1). L'objectif est de faire reconnaître à un robot non seulement des commandes explicites, mais aussi des signaux sociaux comme une invitation, un refus ou un signe d'indisponibilité, à partir de capteurs embarqués imparfaits, sujets aux occlusions partielles et aux changements de point de vue. Le système repose sur une représentation compacte du squelette corps-mains avec score de confiance, couplée à un modèle léger à deux flux qui fusionne le mouvement du corps et l'articulation des mains pour une reconnaissance à faible latence directement sur le robot. Pour renforcer la robustesse, les chercheurs entraînent le modèle avec une méthode de corruption volontaire du squelette simulant des mains manquantes, des bras occultés ou des points-clés instables dans le temps, sans alourdir le coût de calcul à l'inférence. Testé sur un jeu de données de gestes sociaux collecté en environnements mixtes intérieur-extérieur, SocioGesture atteint une bonne reconnaissance sur des sujets non vus à l'entraînement, améliore nettement la robustesse face aux occlusions structurées, et tourne en temps réel sur un dispositif de calcul embarqué (edge).

Cette avancée cible un angle mort concret de la robotique de service et industrielle: la plupart des systèmes actuels traitent les gestes comme des commandes isolées, mais ignorent les signaux sociaux implicites qui régulent une interaction naturelle en environnement partagé avec des humains, ce qui limite l'acceptabilité et la fluidité des robots déployés en espace public ou en usine. En prouvant qu'un modèle léger peut tourner en embarqué avec robustesse face à l'occlusion, un problème récurrent en conditions réelles, sans démonstration vidéo sélective ni matériel de calcul déporté, l'étude apporte un signal utile aux intégrateurs qui cherchent à dépasser le stade de la démo contrôlée en laboratoire. Le mécanisme d'apprentissage continu, qui met de côté les séquences ambiguës pour un étiquetage différé et permet d'étendre le vocabulaire gestuel sans dégrader les classes déjà apprises, répond aussi à un frein classique au déploiement long terme des robots sociaux.

Le travail s'inscrit dans la lignée des recherches en HRI (human-robot interaction) cherchant à rapprocher la perception gestuelle des conditions réelles de terrain, plutôt que des jeux de données propres en studio, une problématique partagée par les laboratoires travaillant sur les modèles vision-langage-action (VLA) et la navigation sociale de robots mobiles ou d'AMR. L'article ne mentionne ni partenariat industriel, ni date de déploiement pilote, ni comparaison chiffrée directe avec des systèmes concurrents commerciaux: il s'agit à ce stade d'une contribution de recherche publiée en preprint, dont la prochaine étape logique serait une validation sur des plateformes robotiques commerciales et des comparaisons benchmark publiques.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboGesture : génération en temps réel de gestes de parole synchronisés sémantiquement pour l'interaction humanoïde

RoboGesture, un framework de recherche destiné à permettre aux robots humanoïdes de générer des gestes synchronisés et sémantiquement cohérents en réponse à la parole humaine, a été décrit dans un article publié sur arXiv fin août 2026 (arXiv:2608.28693). Le système s'appuie sur un jeu de données dédié couvrant plus de 300 catégories de gestes, construit via un pipeline automatisé produisant des paires audio-mouvement spécifiques au robot et garanties sans collision. L'architecture combine un "Hierarchical Semantic-Acoustic Aligner", qui extrait des indices prosodiques et sémantiques à plusieurs échelles directement depuis les tokens audio bruts, et un générateur de mouvement en continu basé sur un transformer de diffusion avec conditional flow matching. Une technique nommée "Anti-Inertia CFG Masking" empêche le modèle de retomber dans des schémas de mouvement répétitifs en le forçant à puiser activement dans le signal audio, tandis qu'un filtre de sécurité basé sur du contrôle prédictif (MPC) assure une exécution en temps réel sans collision sur le matériel physique. Les expériences ont été menées sur un humanoïde Unitree G1, avec des résultats présentés comme plus sûrs, plus rythmiquement cohérents et plus pertinents sémantiquement que les méthodes de référence existantes. Ce travail cible un angle mort du secteur humanoïde, focalisé jusqu'ici surtout sur la locomotion et la manipulation d'objets : la gestuelle expressive et conversationnelle, pourtant déterminante pour l'acceptabilité d'un robot en interaction sociale (accueil, guidage, service client). Les auteurs pointent un problème technique précis, "l'éclipse modale", où les modèles génératifs ignorent le signal audio et se contentent de prolonger l'inertie cinématique du mouvement précédent, produisant des gestes désynchronisés de la parole. Le filtre MPC vise à combler l'écart classique entre simulation et réel sur un point sensible : un humanoïde qui gesticule près d'un humain sans garantie anticollision est difficilement déployable. Ces résultats restent néanmoins issus d'un cadre évalué sur une seule plateforme, sans déploiement commercial annoncé : une preuve de concept méthodologique, pas un produit prêt à l'emploi. RoboGesture s'inscrit dans la vague plus large des modèles vision-langage-action qui cherchent à doter les humanoïdes d'un comportement naturel, aux côtés d'initiatives comme GR00T N2 de Nvidia, Helix de Figure AI ou Pi-0 de Physical Intelligence, mais avec un focus rare sur la gestuelle sociale plutôt que la manipulation ou la locomotion. Le choix du Unitree G1, plateforme chinoise relativement accessible et très utilisée par les laboratoires de recherche, souligne la nature académique du projet plus qu'une orientation produit immédiate. L'article ne mentionne aucune date de mise en œuvre industrielle ni partenariat commercial ; les prochaines étapes évoquées par les chercheurs portent sur l'élargissement du jeu de données et la validation en interaction réelle prolongée avec des utilisateurs humains.

RecherchePaper

1 source

2arXiv cs.RO

Scensory : perception olfactive robotique en temps réel pour l'identification conjointe et la localisation de source

Des chercheurs ont publié sur arXiv (référence 2509.19318, version révisée en 2026) un système baptisé Scensory, conçu pour doter les robots d'une capacité olfactive temps réel appliquée à la détection de contaminations fongiques en intérieur. Le framework repose sur des réseaux de capteurs VOC (composés organiques volatils) bon marché et à sensibilité croisée, couplés à des réseaux de neurones capables d'analyser de courtes séries temporelles de 3 à 7 secondes. Sur un panel de cinq espèces fongiques testées en conditions ambiantes, Scensory atteint 89,85 % de précision pour l'identification de l'espèce et 87,31 % pour la localisation de la source. Les deux tâches sont résolues simultanément, à partir d'un même flux de données capteurs. Ce résultat est techniquement significatif parce que les signaux chimiques en diffusion libre sont particulièrement difficiles à exploiter : contrairement à la vision ou au toucher, où le signal est directionnel et localisé, les panaches olfactifs se dispersent de manière stochastique selon les flux d'air ambiants. Que des capteurs VOC grand public, combinés à un apprentissage supervisé sur données collectées automatiquement par le robot, permettent de relier dynamique temporelle du signal et position spatiale de la source change l'équation économique du nez électronique embarqué. Jusqu'ici, la perception chimique robotique supposait soit des capteurs spécialisés coûteux, soit des conditions contrôlées de laboratoire. Scensory suggère qu'une approche data-driven sur matériel accessible peut combler une partie de ce fossé. Le domaine de l'olfaction robotique reste nettement en retard sur la vision et la manipulation, malgré des travaux académiques réguliers depuis les années 2000 sur les nez électroniques (e-nose) et la navigation par gradient chimique. Les applications visées par Scensory, inspection de bâtiments, monitoring environnemental indoor, contrôle qualité alimentaire, n'ont pas encore de solution robotique commerciale établie. Le papier reste un résultat académique sur arXiv sans déploiement annoncé ni partenaire industriel identifié ; les performances reportées devront être validées sur un spectre élargi d'espèces, de conditions d'humidité et de géométries de pièce avant d'envisager une intégration produit.

RecherchePaper

1 source

3arXiv cs.RO

OmniRobotHome : une plateforme multi-caméras pour l'interaction humain-robot en temps réel

Des chercheurs ont publié en avril 2026 sur arXiv (arXiv:2604.28197) les spécifications d'OmniRobotHome, une plateforme expérimentale résidentielle instrumentée avec 48 caméras RGB synchronisées au niveau matériel pour le suivi 3D temps réel, sans marqueurs, de plusieurs humains et objets simultanément. Le système est couplé à deux bras manipulateurs Franka, qui réagissent à l'état de la scène en temps réel dans un référentiel spatial partagé. La plateforme cible ce que les auteurs nomment la collaboration "multiadique" : plusieurs humains et robots qui partagent un même espace de travail domestique, agissent en parallèle sur des sous-tâches imbriquées avec des contraintes spatiales et temporelles serrées. Contrairement aux setups dyadiques classiques (un humain, un robot, une tâche), OmniRobotHome enregistre en continu pour constituer une mémoire comportementale long-horizon à partir des trajectoires accumulées. Le verrou technique que ce travail prétend lever est l'occlusion persistante : en environnement résidentiel réel, les interactions rapprochées entre humains, robots et objets génèrent des changements d'état rapides et des zones aveugles qui rendent le tracking 3D fiable en temps réel extrêmement difficile. Aucune plateforme existante ne combinait, selon les auteurs, la robustesse aux occlusions à l'échelle d'une pièce entière avec une actuation multi-robots coordonnée. Les deux problèmes ciblés, sécurité en environnement partagé et assistance robotique anticipatoire, montrent des gains mesurables grâce à la perception temps réel et à la mémoire comportementale accumulée, bien que les chiffres précis (taux de collision évités, latence, précision du suivi) ne soient pas détaillés dans l'abstract publié. Ce travail s'inscrit dans une tendance académique vers les plateformes de recherche domestique à grande échelle, aux côtés d'initiatives comme TidyBot (Stanford), HomeRobot (Meta/CMU) ou RoboCasa (UT Austin). L'utilisation de bras Franka, standard de facto en manipulation robotique, facilite la réplication dans d'autres laboratoires. En revanche, la nature preprint de la publication (pas encore soumise à évaluation par les pairs) et l'absence de métriques quantitatives publiées invitent à la prudence avant toute interprétation comme validation de terrain. La prochaine étape déterminante sera l'ouverture éventuelle du dataset ou du code : c'est ce qui distinguerait OmniRobotHome comme infrastructure de référence pour la communauté d'une contribution de laboratoire isolée.

RecherchePaper

1 source

4arXiv cs.RO

Contrôle en temps réel par DDP contraint pour l'équilibre sous-actionné des robots à pattes

Des chercheurs présentent ABC-DDP, un framework de "Differential Dynamic Programming" (DDP) sous contraintes de commande, conçu pour le contrôle en temps réel de robots à pattes sous-actionnés. Publié sur arXiv sous la référence 2608.18552, le papier propose une méthode basée sur un gradient projeté accéléré (APG) qui calcule les solutions contraintes et identifie les ensembles actifs sans recourir à des inversions répétées des conditions de Karush-Kuhn-Tucker (KKT), un goulot d'étranglement classique du DDP standard. Une "contrainte virtuelle" est intégrée dans un schéma de tir multiple orienté faisabilité, permettant une optimisation stable même à partir d'initialisations dynamiquement infaisables. En simulation, la méthode pilote un robot quadrupède via un contrôle prédictif de modèle (MPC) à horizon court fonctionnant en temps réel : elle démontre une station debout stable sur deux pattes face à des perturbations externes, ainsi qu'un catwalk lent, une marche verticale et une course à haute vitesse, le tout au sein d'un unique cadre MPC unifié. Les auteurs revendiquent la première démonstration d'une station debout statique sur deux pattes d'un quadrupède obtenue par MPC temps réel à horizon fini. Le résultat cible un problème concret pour les concepteurs de contrôleurs de robots à pattes : le DDP classique gère mal les contraintes de commande (couple, position articulaire) sans alourdir considérablement le calcul, ce qui limite son usage en boucle temps réel sur des robots humanoïdes ou quadrupèdes. En évitant les inversions KKT répétées, ABC-DDP promet une charge de calcul compatible avec des cadences MPC élevées, même dans des régimes fortement sous-actionnés comme la station debout sur deux membres, un cas extrême d'instabilité pour un quadrupède. Il s'agit toutefois pour l'instant de résultats exclusivement en simulation : aucun déploiement sur robot physique n'est rapporté, et la robustesse aux incertitudes de modèle, au bruit des capteurs ou aux délais matériels réels reste à démontrer avant toute application industrielle. Le DDP est une technique d'optimisation de trajectoire largement utilisée dans le contrôle prédictif des robots à pattes, mais sa version classique peine historiquement à intégrer des contraintes de commande explicites sans recourir à des solveurs coûteux, ce qui pousse souvent les équipes vers des approximations ou des architectures hybrides. ABC-DDP s'inscrit dans cette lignée de travaux cherchant à fiabiliser le MPC temps réel pour la locomotion dynamique, un axe de recherche partagé par les laboratoires travaillant sur les quadrupèdes et les humanoïdes. Le papier, publié en août 2026 en tant que preprint arXiv, ne mentionne ni entreprise ni plateforme matérielle spécifique : il s'agit d'une contribution académique en optimisation de contrôle. Les suites attendues, non détaillées dans l'article, seraient une validation expérimentale sur robot physique et une extension à des morphologies bipèdes ou humanoïdes, où la sous-actuation pose des défis similaires, voire plus sévères.

RecherchePaper

1 source