Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

Système intelligent d'interaction multimodale cloud-edge pour robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de chercheurs présente un système d'interaction multimodale cloud-edge pour robots, combinant un détecteur de gestes basé sur YOLO avec des agents LLM et VLM (vision-language model) coordonnés à distance. Le détecteur, baptisé YOLO-DC, intègre un module d'attention CBAM (Convolutional Block Attention Module) dans le neck du réseau et remplace la fonction de perte classique de régression des boîtes englobantes par une perte DIoU (Distance-IoU), afin de mieux localiser les gestes petits ou partiellement occultés dans des arrière-plans complexes. Dans l'architecture proposée, le cloud prend en charge la détection des gestes, la compréhension de la scène, la fusion multimodale et la planification des actions, tandis que le robot humanoïde TonyPi, utilisé comme plateforme de test, gère localement l'acquisition de données, la communication, l'exécution des actions et le retour utilisateur. Sur un jeu de données public et un jeu de données maison, YOLO-DC atteint des précisions de 98,9% et 95,0%, avec des mAP@0,5 de 90,7% et 92,7%. À l'échelle du système complet, les taux de réussite s'élèvent à 95% pour les tâches à action unique, 88% pour les tâches à actions composites et 82% pour les tâches dépendant de la vision. Une évaluation menée auprès de 30 participants donne un score de satisfaction moyen de 3,69 sur 5.

Ces résultats intéressent surtout les concepteurs de systèmes robotiques low-cost et les chercheurs en interaction homme-robot, car ils illustrent une voie alternative au tout-embarqué: déporter la charge de calcul lourde (détection, raisonnement multimodal, planification) vers le cloud permet d'équiper des plateformes à ressources limitées, comme TonyPi, de capacités proches de celles de robots bien mieux instrumentés. La baisse notable du taux de réussite sur les tâches dépendant de la vision (82%) rappelle toutefois que la fusion multimodale reste le maillon faible, un écart classique entre démonstration contrôlée et usage réel.

Ce travail s'inscrit dans la lignée des architectures cloud-edge déjà explorées pour la robotique de service, où la latence réseau et la fiabilité de la liaison restent des contraintes pratiques non abordées ici. Le score de satisfaction obtenu avec un échantillon restreint de 30 participants et une plateforme robotique de démonstration suggère un travail encore exploratoire, dont la généralisation à des robots industriels ou à des environnements moins contrôlés reste à démontrer.

À lire aussi

Gouvernance de mission agentique vérifiée pour systèmes industriels multi-robots intelligents
1arXiv cs.RO 

Gouvernance de mission agentique vérifiée pour systèmes industriels multi-robots intelligents

Une équipe de recherche propose dans un article publié sur arXiv (2606.31339) un cadre de gouvernance baptisé « verification-gated agentic mission-state governance », conçu pour encadrer les systèmes multi-robots industriels pilotés par de l'IA agentique. Le framework repose sur deux structures d'état synchronisées : une forêt de tâches évolutive qui conserve la hiérarchie des missions, le rattachement différé des sous-tâches et les branches réparables, et un tableau noir (blackboard) gouverné qui centralise en temps réel les traces des robots, les verrous de ressources, les croyances sur l'environnement, les propositions d'action et les enregistrements de vérification. À partir de chaque instantané combiné de ces deux structures, le système extrait une topologie de couplage d'exécution qui révèle les dépendances entre branches de tâches, permettant de vérifier les propositions, d'autoriser des validations parallèles et de borner les réparations. Les auteurs ont testé leur approche sur un scénario d'usine intérieure multi-robots, des benchmarks de stress sur chantier de construction à distance avec 30 graines aléatoires, des ablations structurelles et des tests de montée en charge, avec des résultats montrant moins d'engagements invalides, de conflits de verrous, d'affectations dupliquées, de nœuds abandonnés et de réparations perturbatrices. L'enjeu dépasse la simple prouesse académique : à mesure que les modules agentiques (heuristiques, optimisation ou raisonnement par LLM) génèrent des plans d'action pour des flottes de robots industriels, rien ne garantit par défaut que ces propositions respectent les dépendances de tâches, la propriété des ressources ou les consignes de sécurité sur des missions de longue durée. Pour les intégrateurs et décideurs B2B qui envisagent de déployer des couches de planification agentique dans des entrepôts ou usines multi-robots, ce travail répond directement à une inquiétude centrale : éviter que l'IA générative devienne une autorité d'exécution incontrôlée. En imposant une vérification déterministe et un commit atomique avant toute mise à jour de l'état de mission, les auteurs positionnent explicitement l'IA agentique comme une couche de proposition inspectable et auditable, plutôt que comme un décideur autonome. Ce travail s'inscrit dans la vague plus large de recherches cherchant à combler l'écart entre les capacités de planification démontrées par les modèles agentiques et LLM et les exigences de fiabilité de l'industrie, un enjeu déjà soulevé autour des modèles vision-langage-action pour la robotique physique. Contrairement aux annonces produits de fabricants de robots humanoïdes, il s'agit ici d'une contribution méthodologique testée en simulation et sur bancs de stress, sans déploiement industriel réel annoncé à ce stade ; la suite logique consisterait en une validation sur des flottes physiques réelles et une comparaison directe avec d'autres architectures de gouvernance multi-agents.

RecherchePaper
1 source
ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux
2arXiv cs.RO 

ARIS : un système d'intelligence relationnelle à base d'agents pour les robots sociaux

Des chercheurs ont publié sur arXiv (arXiv:2605.00943) ARIS, un cadre IA agentique conçu pour doter les robots sociaux d'une mémoire relationnelle persistante et d'un raisonnement contextuel multi-tours. L'architecture combine trois composants : un raisonnement multimodal (vision, parole, action physique), un Social World Model structuré en graphe de connaissances qui cartographie les relations entre utilisateurs, et un pipeline de génération augmentée par récupération (RAG) garantissant une latence bornée même lorsque l'historique de dialogue atteint plusieurs milliers d'échanges. Le système a été évalué sur un robot Pepper de SoftBank Robotics dans un cadre de conversation dyadique. Une étude utilisateur portant sur 23 participants montre qu'ARIS obtient des scores significativement supérieurs à une baseline LLM classique sur quatre dimensions : intelligence perçue, animacité, anthropomorphisme et sympathie. L'apport principal réside dans l'architecture de persistance sociale : les systèmes actuels traitent chaque interaction comme stateless, sans mémoire des rencontres précédentes ni modélisation des liens entre individus. ARIS rompt avec ce paradigme via un graphe de connaissances capable de réidentifier les utilisateurs d'une session à l'autre et de raisonner sur leurs relations mutuelles, une propriété directement utile dans des contextes d'accueil, d'assistance en entreprise ou d'accompagnement médical. Le pipeline RAG résout par ailleurs un problème pratique souvent ignoré : maintenir des réponses pertinentes sans dégradation de latence lorsque l'historique s'allonge, une contrainte critique pour un déploiement réel. Les résultats d'une étude à N=23 restent modestes en termes de puissance statistique, et aucune métrique de latence absolue n'est communiquée dans l'abstract. Le travail s'inscrit dans la vague d'application des grands modèles de fondation à la robotique sociale, dans la lignée de PaLM-E (Google, 2023) et des architectures Vision-Language-Action (VLA) de Physical Intelligence. Sur le marché des robots sociaux, les acteurs clés restent SoftBank Robotics (Pepper, NAO), Furhat Robotics et, côté français, Enchanted Tools avec son robot Miroki. ARIS sera publié en open source à la parution de l'article, ce qui pourrait accélérer l'adoption par des intégrateurs cherchant une couche de mémoire sociale au-dessus de modèles LLM existants. La prochaine étape est une validation en environnement réel.

UELe framework ARIS, promis en open source à la parution, offre une couche de mémoire sociale réutilisable que des intégrateurs européens, notamment Enchanted Tools (Miroki) pour l'accueil et l'assistance, pourraient exploiter directement au-dessus de leurs modèles LLM existants.

RecherchePaper
1 source
3arXiv cs.RO 

Validation de la réalité virtuelle pour l'étude de l'interaction humain-robot multimodale en navigation sociale de robots

Une équipe de recherche a testé si la réalité virtuelle (VR) permet d'étudier fidèlement les interactions humain-robot dans des scénarios de navigation sociale partagée. L'étude, menée avec 21 participants, a comparé leurs réactions face à un robot mobile manipulateur PR2 dans deux conditions identiques : une arène réelle équipée de capture de mouvement, et sa réplique virtuelle immersive en VR. Deux situations classiques de co-navigation ont été examinées, le croisement orthogonal et le dépassement latéral (pass-by). Les chercheurs ont recueilli à la fois des mesures subjectives, la perception de la conscience sociale du robot et le confort ressenti par les participants, et des données comportementales objectives, trajectoires de déplacement et orientation de la tête, pour comparer précisément les deux environnements. Résultat central : les participants perçoivent la navigation socialement consciente du robot de façon similaire dans les deux conditions, et les comportements observés en VR, trajectoires évitées, orientations du regard, correspondent à ceux mesurés en conditions réelles. Cette validation compte pour tout le secteur de la robotique sociale et des humanoïdes déployés en environnement partagé avec des humains, entrepôts, usines, espaces publics. Concevoir et tester des algorithmes de navigation socialement acceptable exige normalement des essais physiques coûteux, lents et parfois risqués pour les sujets humains. Si la VR reproduit fidèlement les dynamiques d'interaction multimodale, comme le suggèrent ces résultats, elle devient un outil d'itération rapide et sûr pour les équipes qui développent des comportements de navigation robotique, avant tout déploiement réel. C'est aussi une réponse partielle à un scepticisme répandu dans le secteur sur l'écart entre les études HRI menées en environnement contrôlé ou simulé et le comportement humain effectif face à un robot physique. Ce travail s'inscrit dans une lignée de recherches antérieures ayant déjà exploré la VR pour la navigation robotique socialement consciente, mais sans jamais confirmer explicitement que les dynamiques d'interaction multimodale observées en réel s'y retrouvaient. Le protocole within-subjects, chaque participant testant les deux conditions, renforce la robustesse de la comparaison. Les auteurs positionnent leur prototype VR comme une plateforme flexible pour de futures études sur des interactions humain-robot plus riches, ouvrant la voie à des campagnes de test à plus grande échelle sans dépendre systématiquement d'un robot physique et d'une arène de capture de mouvement, deux ressources rares et coûteuses dans les laboratoires de recherche en robotique.

RecherchePaper
1 source
Robots humanoïdes : une étude utilisateur compare perception et métriques techniques en interaction homme-robot multimodale
4arXiv cs.RO 

Robots humanoïdes : une étude utilisateur compare perception et métriques techniques en interaction homme-robot multimodale

Une étude universitaire portant sur 24 participants montre qu'un gain de 15 points de pourcentage en taux de réussite d'une tâche de préhension d'objets, de 75% à 90%, est perceptible par les utilisateurs lors d'une interaction directe avec un robot. Le système de référence combine Whisper pour la reconnaissance vocale, Florence-2 pour la détection d'objets en vocabulaire ouvert, LLaMA 3.1 pour l'extraction d'actions, et un contrôleur logique flou de type 2 intervalle pour l'exécution des mouvements. La configuration améliorée conserve le même contrôleur mais remplace les modules de perception et de langage par Grounding DINO couplé à SAM et par Qwen 3.5 9B. Dans une étude en sujets répétés, où chaque participant a testé les deux configurations sur la même tâche de saisie d'objets sur table, 17 personnes sur 24 (70,83%) ont préféré le système amélioré, un résultat statistiquement significatif (test binomial exact, p = 0,043). Les trois critères perceptuels évalués sur une échelle de Likert à 7 points, la vitesse ressentie, la fiabilité et la compétence globale, ont tous été notés significativement plus haut pour la version améliorée, avec des tailles d'effet allant de grandes à très grandes après correction de Holm (p < 0,001). L'intérêt de ces travaux dépasse le simple constat qu'un meilleur système est mieux perçu. Ils répondent à une question moins triviale qu'il n'y paraît pour l'industrie robotique: un gain mesuré sur des benchmarks techniques se traduit-il réellement en une différence que l'utilisateur final ressent au contact du robot? Pour les intégrateurs et décideurs qui arbitrent entre plusieurs piles perception-langage-contrôle, souvent sur la seule foi de métriques de laboratoire, cette étude fournit une preuve empirique que l'amélioration des modules de vision et de compréhension du langage a un effet direct sur la confiance et l'acceptabilité perçues, indépendamment du contrôleur moteur qui reste inchangé. Le travail s'inscrit dans une lignée de recherches en interaction homme-robot qui cherche à combler l'écart entre évaluation par benchmark et évaluation centrée utilisateur, un point de friction classique entre recherche en robotique et déploiement réel. L'architecture testée illustre aussi l'évolution rapide des briques génériques mobilisées dans les pipelines de manipulation, passant de Florence-2 et LLaMA 3.1 à des modules plus récents comme Grounding DINO, SAM et Qwen 3.5 9B, sans toucher à la couche de contrôle bas niveau. Les auteurs appellent à systématiser ce type d'évaluation utilisateur en complément des ablations techniques classiques pour tout futur pipeline de manipulation robotique.

RecherchePaper
1 source