RecherchearXiv cs.RO 29 juillet 2026

IA en Réalité étendue : une couche de médiation pour le contrôle humain situé dans la collaboration homme-robot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent, dans un article publié sur arXiv (2607.25047v1, catégorie cross-listing), un cadre conceptuel pour repenser le rôle de la réalité étendue (XR) dans la collaboration homme-robot. Plutôt que de limiter la XR à l'affichage d'intentions ou de trajectoires planifiées, les auteurs avancent qu'elle doit devenir une véritable couche de médiation pour ce qu'ils nomment le "contrôle humain situé" : la capacité d'un opérateur à comprendre, orienter, autoriser ou interrompre l'action d'un robot dans le contexte physique, social et temporel précis où elle se déroule. Le raisonnement s'appuie sur trois scénarios concrets : l'assistance robotique au chevet de patients en soins infirmiers, la supervision de bras robotiques multiples, et l'assemblage collaboratif sous attention divisée. À partir de ces cas, l'équipe identifie quatre fonctions de médiation (entre intention humaine et autonomie du robot, entre plans du robot et jugement humain, entre niveaux de contrôle partagé, et entre rôles d'équipe, passations et récupération d'erreurs), puis en déduit six dimensions de conception : possibilités d'action conjointe, contraintes socio-physiques, gestion de l'incertitude et de la validité des plans, contrôle et correction multimodaux, répartition des rôles avec traçabilité, et anticipation de la récupération après incident.

L'enjeu dépasse la simple interface homme-machine. Dans les environnements industriels ou de soin où les robots gagnent en autonomie, le déficit d'inspectabilité reste un frein majeur à l'adoption : un opérateur qui ne peut pas anticiper ni corriger une décision robotique en temps réel perd la confiance nécessaire à une collaboration fluide, surtout quand les objectifs changent, que la perception du robot est incomplète, ou que les rôles entre humain et machine évoluent en cours de tâche. Ce travail rappelle que la robustesse d'un système collaboratif ne se joue pas seulement dans l'algorithme de planification, mais dans la capacité de l'humain à rester "dans la boucle" de façon actionnable, un enjeu direct pour les intégrateurs qui déploient des cobots ou des systèmes supervisés en environnement partagé.

Il s'agit ici d'un article de position et non d'un système déployé ou d'un produit commercialisé : aucun prototype XR complet n'est présenté, l'apport est une grille d'analyse destinée à orienter la recherche future. Le texte s'inscrit dans la continuité des travaux sur le contrôle partagé et l'autonomie ajustable en robotique collaborative, et propose un agenda de recherche pour concevoir des systèmes XR qui rendraient l'autonomie robotique plus lisible et plus redevable dans des environnements dynamiques, sans préciser à ce stade de calendrier ni de partenaires industriels associés.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

ARTOO-DARTU : étude de la collaboration humain-robot en réalité augmentée avec atténuation des occlusions pour les tâches d'entrepôt

Des chercheurs ont publié sur arXiv (arXiv:2606.25202) un système de réalité augmentée baptisé ARTOO-DARTU, conçu pour améliorer la collaboration humain-robot (HRC) en entrepôt logistique. Le principe : superposer en temps réel des informations sur l'état et les intentions du robot directement dans le champ de vision de l'opérateur via un casque AR, tout en évitant que ces couches graphiques n'occultent des éléments critiques du monde réel. L'équipe a développé pour cela un pipeline ODM (Obstruction Detection and Mitigation) qui repositionne dynamiquement les éléments AR lorsque le robot mobile se déplace. L'évaluation a mobilisé 34 participants sur un scénario gamifié appelé Pocket MonstARs, abstraction contrôlée d'une tâche de picking en entrepôt où des monstres virtuels servent de proxies pour les cibles de prélèvement, tandis que des boîtes étiquetées préservent les contraintes d'identification du monde réel. Résultats : avec l'ODM actif, les participants ont affiché une efficacité globale supérieure de 46 % sur la tâche HRC, et se sont révélés 61 % plus rapides sur les sous-tâches nécessitant une visibilité directe du terrain. Ces chiffres méritent d'être mis en perspective : le gain de 46 % n'est observé que lorsque le pipeline ODM est enclenché, ce qui indique que l'AR sans gestion des obstructions peut dégrader les performances plutôt que les améliorer. Pour les intégrateurs logistiques et les équipes de déploiement d'AMR (autonomous mobile robots), le message est structurant : la valeur des analytics AR situationnels est conditionnelle à la qualité de leur intégration perceptuelle, pas seulement à la richesse des données affichées. Cela valide l'hypothèse que le sim-to-real gap en HRC n'est pas uniquement mécanique, mais aussi cognitif : l'interface compte autant que le robot. Le domaine de l'AR appliquée à la robotique industrielle reste fragmenté. Des travaux antérieurs ont exploré les overlays statiques ou les interfaces sur tablette, mais peu traitent le cas dynamique des robots mobiles où la position de l'annotation change en continu. ARTOO-DARTU s'inscrit dans un effort plus large pour rendre les floors robotisés auditable et sûrs sans mobiliser des opérateurs hautement qualifiés. Côté concurrentiel, des acteurs comme RealWear (casques AR industriels), PTC Vuforia ou encore des startups françaises comme Immersion se positionnent sur des segments adjacents. L'étude reste cependant dans un cadre académique contrôlé et gamifié : aucun déploiement réel en entrepôt n'est annoncé à ce stade, et la robustesse de l'ODM face à des environnements industriels bruités (éclairage variable, occlusions dynamiques multiples) reste à démontrer.

UELa startup française Immersion opère sur un segment adjacent à l'AR industrielle, mais l'étude reste un préprint académique sans déploiement annoncé en France ou en Europe.

RecherchePaper

1 source

2arXiv cs.RO

Échantillonnage génératif par blocs d'actions pour un contrôle adaptatif de la rigidité en collaboration homme-robot physique

Une équipe de recherche a publié sur arXiv (2608.25284, août 2026) une méthode de contrôle adaptatif de raideur articulaire pour la collaboration physique homme-robot, basée sur l'échantillonnage génératif de séquences d'actions. À partir d'une image RGB et d'estimations de couple externe aux articulations, la politique générative tire plusieurs séquences d'actions futures ; leur variance pilote en continu la raideur et l'amortissement du robot, une forte dispersion le rendant plus compliant, une faible dispersion plus ferme. Sur une tâche réelle de transport collaboratif à quatre directions possibles, la méthode atteint un taux de réussite de 0,95, contre 0,83 pour une raideur fixe et 0,69 pour une politique déterministe, la variance grimpant précisément quand la direction voulue par l'humain reste ambiguë. Le résultat s'adresse aux intégrateurs de cobots, bras d'assistance et exosquelettes confrontés à l'arbitrage entre un robot trop rigide, qui impose sa trajectoire, et un robot trop compliant, sans assistance utile. Utiliser la dispersion d'un modèle génératif comme proxy d'incertitude sur l'intention humaine, sans reconnaissance de geste explicite, offre un signal de contrôle peu coûteux ; l'écart avec la politique déterministe (0,95 contre 0,69) confirme l'intérêt d'une modélisation stochastique de l'action, alors que le secteur cherche à rendre les politiques VLA exploitables au-delà du laboratoire. Le résultat reste toutefois obtenu sur une seule tâche à quatre directions, avec un volume d'essais limité typique d'un preprint, et sa transposition à des manipulations plus complexes n'est pas démontrée. Ce travail prolonge les recherches sur le contrôle d'impédance variable en interaction physique homme-robot, en détournant l'échantillonnage de séquences d'actions, technique popularisée par les politiques récentes de type action chunking (dans la veine des approches diffusion policy ou des modèles VLA comme Pi-0 ou GR00T N2), pour en extraire un signal d'incertitude plutôt qu'une action à exécuter. La comparaison se limite à deux références internes, raideur fixe et politique déterministe, sans confrontation à un système commercial : une contribution académique en preprint, non un produit ou un pilote industriel. Aucune entreprise ni calendrier de déploiement n'est mentionné dans l'article ; les suites évoquées porteraient sur des tâches de manipulation plus riches et une validation auprès de davantage de participants.

RecherchePaper

1 source

3arXiv cs.RO

Intégrer la conformité à la norme ISO 10218 dans les robots via les fonctions barrière de contrôle pour la collaboration homme-robot

Des chercheurs ont publié sur arXiv (réf. 2606.13203) une approche de contrôle permettant d'intégrer nativement la conformité à la norme ISO 10218 dans les robots industriels collaboratifs, en s'appuyant sur une Fonction Barrière de Contrôle (CBF). Le système a été validé en simulation et en conditions réelles sur un bras UR10e d'Universal Robots. Plutôt que de se contenter des hypothèses conservatives des modules SSM (Speed and Separation Monitoring) classiques, qui supposent une vitesse humaine constante, la CBF proposée intègre les données d'accélération humaine pour prédire analytiquement la distance de séparation minimale humain-robot le long d'une trajectoire d'arrêt en cas de pire scénario. Deux méthodes sont présentées : Method I, un filtre de sécurité PD contraint par CBF, et Method II, un contrôleur SQP (Sequential Quadratic Programming) qui impose une contrainte de tube spatial sur la trajectoire. Method II réduit l'erreur de trajectoire moyenne de 63 % par rapport à Method I, et supprime les manoeuvres évasives excessives qui dégradent le débit opérationnel. L'enjeu industriel est direct : les modules SSM standard génèrent des arrêts préventifs fréquents parce qu'ils surestiment le risque de collision, faute de pouvoir anticiper les mouvements humains. Dans un contexte d'atelier où des cobots travaillent aux côtés d'opérateurs, ces arrêts non nécessaires représentent un coût de productivité réel. La méthode proposée déplace le curseur : au lieu d'un filtre de vitesse binaire (go/stop), le contrôleur module dynamiquement la vitesse d'exécution et la déviation spatiale du robot en temps réel, en restant dans les limites de la norme. C'est un pas vers des cobots réellement compétitifs en termes de cycle time, sans sacrifier la conformité réglementaire. La norme ISO 10218, qui régit la sécurité des robots industriels, est aujourd'hui au coeur des déploiements de cobots chez des fabricants comme FANUC, KUKA, ABB ou Universal Robots. Le SSM est l'approche la plus répandue pour y répondre, mais son conservatisme est documenté depuis plusieurs années. Les CBF, issues de la théorie du contrôle, émergent comme alternative formellement vérifiable, et plusieurs groupes académiques (MIT, ETH, TU Munich) explorent cette direction. La prochaine étape probable est l'intégration de ces contraintes dans des environnements multi-robots et des scénarios à personnes multiples, plus représentatifs de la réalité des ateliers.

UELa norme ISO 10218 étant centrale pour les déploiements de cobots chez KUKA (Allemagne) et ABB (Suisse-Suède), cette approche CBF pourrait réduire les arrêts non productifs dans les ateliers européens et renforcer la compétitivité des intégrateurs face aux contraintes de la directive Machines révisée.

RecherchePaper

1 source

4arXiv cs.RO

Je ne suis pas en colère, juste concentré : comprendre les émotions humaines dans la collaboration humain-robot

Une équipe de chercheurs a publié fin mai 2026 un préprint arXiv (2605.16816) décrivant un système de reconnaissance des émotions fondé sur un modèle de langage visuel (VLM) pour améliorer la collaboration humain-robot (HRC). Contrairement aux systèmes classiques, qui s'appuient sur des datasets d'émotions jouées et des entrées unimodales comme les expressions faciales, le système proposé exploite la compréhension contextuelle de la scène pour inférer l'état émotionnel de l'opérateur. L'évaluation a suivi deux axes : une comparaison avec des annotations humaines sur un dataset HRC existant, mesurant la similarité sémantique et l'alignement de sentiment, puis une étude utilisateur impliquant un robot de service dans une tâche de livraison collaborative. Le système VLM-ER a surpassé la référence CNN sur ces deux métriques, et les participants ont explicitement préféré le comportement adaptatif du robot piloté par l'inférence émotionnelle. Pour les intégrateurs et les équipes produit déployant des robots de service ou des cobots en environnement humain, le résultat valide une hypothèse clé : un VLM peut dépasser la simple lecture faciale en intégrant la posture, la dynamique de la tâche et le contexte visuel global pour produire une inférence émotionnelle plus proche du jugement humain. Le titre du papier résume le problème concret visé, la confusion systématique entre "en colère" et "concentré", une erreur de classification qui, en robotique industrielle ou de service, génère des interruptions non pertinentes et dégrade la fluidité de la collaboration. La démonstration que ce comportement adaptatif est préféré par les utilisateurs constitue un argument B2B tangible pour les décideurs qui doutent du retour sur investissement de ces fonctionnalités. La reconnaissance des émotions en HRC souffrait jusqu'ici d'un écart important entre laboratoire et terrain, en partie parce que les datasets d'entraînement reposent sur des acteurs et non sur des émotions spontanées. L'intégration de VLMs pré-entraînés à grande échelle représente un saut qualitatif en termes de généralisation par rapport aux architectures CNN ou aux approches multimodales audio-geste traditionnelles. Des travaux similaires émergent autour de modèles comme GPT-4o ou LLaVA appliqués à la robotique sociale, tandis que des startups françaises comme Enchanted Tools, dont le robot Miro cible précisément l'interaction sociale naturelle, s'inscrivent dans cette même dynamique. La prochaine étape critique pour cette équipe sera de valider le système sur des données spontanées hors laboratoire et des populations diversifiées, condition indispensable avant tout déploiement industriel à l'échelle.

UELes startups françaises comme Enchanted Tools, dont le robot Miro cible l'interaction sociale naturelle, pourraient s'appuyer sur ces avancées en inférence émotionnelle contextuelle pour renforcer leur différenciation sur le marché européen des robots de service.

RecherchePaper

1 source