mmHRI : vers une interaction humain-robot préservant la vie privée grâce au radar à ondes millimétriques

Des chercheurs proposent mmHRI, un cadre de manipulation robotique multimodal qui utilise un radar à ondes millimétriques (mmWave) pour guider l'interaction humain-robot sans caméra RGB. Le travail, publié sur arXiv (v2), repose sur deux choix d'architecture. Le premier est un traitement en double flux, qui apprend à la fois à partir des tenseurs radar bruts non filtrés et des nuages de points radar pour estimer les actions et les poses 3D de la personne. Le second est un modèle d'espace d'états à mémoire (MSSM), qui conserve les caractéristiques radar passées pour limiter les variations brusques de pose et d'action. Les états humains estimés sont ensuite convertis en instructions textuelles structurées, qui pilotent une politique vision-langage-action (VLA) chargée de la manipulation en boucle fermée et des réactions adaptées à la présence humaine. Dans un scénario de confidentialité où un rideau masque la personne, le système atteint 85,09 % de précision en reconnaissance d'actions, devant les approches radar existantes. Les essais robotiques portent sur la livraison et la récupération d'objets sous occlusion visuelle, avec des performances décrites comme stables sur des sujets, des encombrements et des environnements non vus à l'entraînement.

L'intérêt tient au verrou qu'il cible. La plupart des systèmes d'interaction humain-robot dépendent de caméras RGB qui observent en continu, ce qui les rend difficiles à déployer dans les lieux où l'imagerie identifiable est restreinte, comme les chambres d'hôpital ou certains restaurants. Le radar mmWave détecte le mouvement à travers des barrières sans produire d'image reconnaissable, ce qui ouvre une voie pour les robots d'assistance, de livraison ou de logistique hospitalière. Le travail montre aussi qu'une politique VLA peut être pilotée par un état humain textuel issu d'un capteur non visuel, plutôt que par des images. Les limites sont à garder en tête : 85 % de précision signifie encore environ une action sur sept mal interprétée. Il s'agit d'un résultat de laboratoire, avec peu d'informations publiques sur le nombre d'essais, le vocabulaire de gestes et les temps de cycle, et sans déploiement en conditions cliniques réelles.

Ce résultat s'inscrit dans deux évolutions. D'un côté, la manipulation guidée par VLA progresse, avec des modèles comme Pi-0, GR00T ou Helix, qui restent presque tous centrés sur la vision. De l'autre, la recherche sur le radar mmWave pour la reconnaissance d'actions et l'estimation de pose humaine avance depuis plusieurs années, mais elle était rarement couplée à la manipulation en boucle fermée. Les auteurs présentent mmHRI comme le premier cadre multimodal de manipulation robotique guidé par radar et respectueux de la vie privée, une revendication d'antériorité qu'il faudra vérifier. Aucun pilote industriel, calendrier ni partenaire n'est annoncé. Les prochaines étapes naturelles sont la validation sur davantage de gestes et de matériaux de barrière, puis des tests en milieu hospitalier ou en restauration.