RecherchearXiv cs.RO 8 juillet 2026

Interaction humain-robot incarnée par acoustique : approche MARL avec AcoustoBots pour physicalisation spatiale

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent AcoustoBots, une plateforme robotique mobile qui physicalise des données urbaines grâce à la lévitation acoustique. Chaque robot TurtleBot3 embarque un réseau de transducteurs ultrasonores orienté vers le haut, composé de 64 éléments (matrice 8x8), qui fait léviter une particule dont la hauteur, comprise entre 1 et 10 cm, encode en temps réel une valeur locale comme la densité de population, le niveau sonore ou le trafic d'une zone urbaine. La navigation des robots repose sur une politique d'apprentissage par renforcement multi-agent (MARL) basée sur l'algorithme MADDPG, entraînée de façon centralisée mais exécutée de façon décentralisée sur chaque robot, avec évitement de collisions. Un contrôleur acoustique à haute fréquence de rafraîchissement, basé sur l'algorithme Gerchberg-Saxton (GS-PAT), ajuste en continu la phase des transducteurs pour maintenir la particule stable en lévitation pendant le déplacement du robot. Les tests, menés sur une maquette du Royaume-Uni de 4 mètres sur 3 avec un système de localisation PhaseSpace, montrent des taux de réussite de 90% en configuration mono-robot et 80% en configuration à deux robots coopératifs, sur 10 essais par scénario, avec peu de collisions observées.

Ce travail répond à une limite bien identifiée de la physicalisation de données: les dispositifs existants sont le plus souvent statiques, déconnectés de l'environnement réel qu'ils représentent, et donc peu engageants pour l'utilisateur. En couplant perception, affichage et action dans une seule boucle robotique mobile, AcoustoBots ouvre une piste concrète pour des interfaces homme-robot incarnées où la donnée devient un signal physique lisible d'un coup d'œil, sans écran. Le résultat le plus significatif n'est pas tant le rendu visuel que la preuve de stabilité: maintenir une lévitation acoustique fiable pendant qu'un robot se déplace et évite ses congénères est un problème physique et de contrôle non trivial, que l'étude montre résoluble à l'échelle de plusieurs agents coordonnés par apprentissage plutôt que par scripts centralisés.

Cette recherche s'inscrit dans la continuité des travaux sur la lévitation acoustique par matrices de transducteurs, déjà exploités dans des interfaces haptiques et des affichages volumétriques, mais jusqu'ici cantonnés à des dispositifs fixes. En les rendant mobiles et coopératifs via le MARL, les auteurs visent des usages en analytique spatiale et urbanisme participatif. Les prochaines étapes annoncées concernent le passage à davantage de robots, des environnements moins contrôlés que la maquette d'essai, et des jeux de données urbaines plus complexes à représenter simultanément.

À lire aussi

1arXiv cs.RO

KPI : un noyau pilotable par instructions pour l'interaction physique des robots humanoïdes

Des chercheurs proposent KPI, un « noyau promptable » d'interaction physique qui s'insère entre la source de trajectoire et un tracker de corps entier non modifié sur robot humanoïde (preprint arXiv 2609.36151v1). Le principe : la source de trajectoire, qu'il s'agisse d'un humain en téléopération ou d'une politique de bout en bout, n'envoie plus seulement une référence de mouvement. Elle y joint un « contrat » qui précise, pour chaque direction, s'il faut suivre la référence, se laisser fléchir (comply) ou maintenir une plage d'effort. À partir de l'erreur de suivi et d'une estimation du torseur d'efforts (wrench), le noyau ajuste en continu la raideur, l'amortissement, la référence et le feedforward des bras, à la cadence du contact. Les auteurs l'illustrent avec un cadre agentique : à partir d'une seule instruction, un agent vision-langage écrit à la fois la trajectoire et le contrat, sans code spécifique à la tâche. Les démonstrations portent sur la manœuvre d'un treuil, l'ouverture d'une porte et le transport d'une boîte, complétées par des essais scriptés d'interaction avec des surfaces. Dans la démonstration la plus marquante, l'humanoïde actionne une manivelle pour hisser un second robot entièrement au-dessus du sol. Le résumé ne donne ni modèle de robot, ni taux de réussite, ni nombre d'essais. L'enjeu est un maillon souvent négligé de la pile logicielle des humanoïdes. Les trackers de corps entier généralistes suivent bien des trajectoires, mais une trajectoire dit peu de la force à produire : au contact, c'est le contrôleur qui décide du comportement réel. Jusqu'ici, deux approches dominent. Les politiques mono-tâche optimisent trajectoire et contrôleur ensemble en simulation, ce qui donne de bons résultats sur des interactions difficiles mais ne se généralise pas. Les architectures généralistes supposent un contrôleur prédéfini ou réglé à la main. KPI vise à séparer ces deux niveaux, ce qui permettrait de réutiliser un tracker existant pour des tâches riches en contact. Pour un intégrateur, c'est un levier potentiel sur les tâches de manipulation où la raideur et la gestion de l'effort décident du succès, comme les portes, les charges ou les outils. Il faut toutefois rester prudent : il s'agit d'un preprint, sans métriques chiffrées dans le résumé, et des démonstrations choisies par les auteurs ne prouvent ni la robustesse ni la répétabilité. La délégation à un agent VLM de la rédaction du contrat reste à valider hors des scénarios présentés. Ce travail s'inscrit dans la course aux modèles généralistes de corps entier et aux politiques vision-langage-action (VLA), où l'effort est traité en parent pauvre face à la perception et au suivi de mouvement. Il rejoint l'idée de commande en impédance et en admittance, ancienne en robotique, qu'il adapte à une interface pilotable par le langage. Le résumé ne cite ni plateforme, ni concurrent, ni calendrier de suite. Les prochaines étapes à surveiller sont la publication du code, des résultats quantitatifs sur plusieurs humanoïdes, et une éventuelle intégration dans les piles des acteurs industriels.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Au-delà des heuristiques : un pipeline Real2Sim standardisé pour l'interaction physique homme-robot en simulation avec humain dans la boucle

Une équipe de recherche présente un pipeline Real2Sim destiné à améliorer la fidélité des simulations Human-in-the-Loop (HITL) utilisées pour tester des robots d'assistance physique. Le système cible l'interface pelvis-sangle d'un assistant mobile à l'équilibre porté au-dessus du sol, modélisée comme un mécanisme viscoélastique à 6 degrés de liberté (DoF). Douze paramètres directionnels de raideur et d'amortissement sont identifiés pour chaque sujet grâce à l'algorithme CMA-ES (Covariance Matrix Adaptation Evolution Strategy), en utilisant le retour subjectif "sûr et confortable" de l'utilisateur comme point de fonctionnement reproductible, ce qui permet de lever l'ambiguïté liée au serrage du harnais selon la morphologie de chaque personne. Sur une cohorte de cinq sujets, une analyse par corrélation intraclasse distingue les paramètres transférables d'un individu à l'autre de ceux propres à chaque sujet, produisant un jeu de paramètres a priori. Appliqué à un nouveau sujet non testé auparavant, ce prior ne nécessite plus de recalibrer que 5 des 12 paramètres, contre les 12 habituellement requis. L'enjeu dépasse la seule prouesse méthodologique: la simulation HITL est présentée comme une alternative nécessaire aux essais physiques, coûteux et risqués, pour valider des robots destinés à une population vieillissante. Or la fidélité de ces simulations dépendait jusqu'ici de paramètres d'impédance réglés à la main plutôt qu'identifiés à partir de données réelles. Les auteurs montrent que des réglages trop souples ou trop rigides échouent systématiquement à reproduire le comportement réel, ce qui confirme qu'aucune procédure heuristique ne permet de trouver de façon fiable le bon point de fonctionnement. Le modèle calibré reproduit l'enveloppe d'interaction réelle et génère des adaptations de démarche biomécaniquement plausibles chez le jumeau numérique humain (Human Digital Twin, HDT). Ce travail s'inscrit dans la recherche sur les jumeaux numériques humains comme outils prédictifs pour la vérification préclinique de contrôleurs personnalisés, avant tout déploiement sur un patient réel. En réduisant le nombre de paramètres à recalibrer pour un nouvel utilisateur, l'approche ouvre la voie à une adaptation plus rapide des simulateurs à chaque morphologie, une étape jugée nécessaire avant d'envisager des essais cliniques plus larges sur des dispositifs d'assistance à l'équilibre.

RecherchePaper

1 source

3arXiv cs.RO

Modèle de cognition du monde pour l'interaction humain-robot généralisable

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine. L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées. Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

RecherchePaper

1 source

4arXiv cs.RO

SIL : apprentissage interactif symbiotique pour la co-adaptation humain-agent guidée par le langage

Des chercheurs ont publié sur arXiv (2511.05203v3) SIL (Symbiotic Interactive Learning), un framework de co-adaptation bidirectionnelle pour l'interaction humain-agent. Contrairement aux systèmes actuels où l'agent exécute passivement des commandes en langage naturel, SIL maintient un espace latent partagé dans lequel humain et agent font évoluer conjointement leurs états de croyance (belief states) au fil des échanges. L'architecture repose sur des foundation models pour la perception spatiale et le raisonnement, un encodeur neuronal entraîné par triplet-loss qui ancre ces sorties dans des représentations spécifiques à la tâche, et des mémoires épisodique et sémantique régularisées via Elastic Weight Consolidation (EWC) pour prévenir l'oubli catastrophique. Sur des tâches simulées et réelles, suivi d'instructions, recherche d'information, raisonnement orienté requêtes et dialogue interactif, SIL atteint un taux de complétion de 90,4% et un score d'alignement de croyances ρ ≈ 0,83, soit un gain absolu d'environ 20 points de pourcentage sur les meilleures ablations. L'enjeu est conceptuellement notable : presque tous les systèmes HRI (human-robot interaction) actuels fonctionnent en mode maître-apprenti unidirectionnel, l'agent n'apprenant rien de l'opérateur en cours d'interaction. SIL propose à l'inverse une co-adaptation mutuelle permettant des clarifications proactives, des suggestions de plan adaptées et un affinement continu de la compréhension de la tâche. Pour les intégrateurs de cobots ou les décideurs industriels, cela adresse un point de friction concret : gérer l'ambiguïté opérationnelle sans sollicitations humaines répétées. La régularisation EWC répond aussi à un problème récurrent des VLA (Vision-Language-Action models) : la dégradation des performances lors du fine-tuning continu sur des tâches évolutives. Ce travail s'inscrit dans le courant d'intégration des foundation models dans la couche de contrôle robotique, aux côtés de RT-2 (Google DeepMind) et OpenVLA. La particularité de SIL réside dans sa boucle interactive bidirectionnelle plutôt que dans la seule généralisation task-to-task. Il s'agit à ce stade d'une preprint arXiv, sans revue par les pairs confirmée ni déploiement industriel annoncé ; les résultats sur tâches "réelles" méritent un examen attentif des protocoles expérimentaux, absents du résumé disponible. Les prochaines étapes naturelles sont une soumission en conférence (CoRL, ICRA) et une éventuelle intégration dans des plateformes d'agents embarqués pilotés par LLM.

RechercheOpinion

1 source