RecherchearXiv cs.RO1sem

Affection robotique : opportunités de l'IA haptique pour le toucher social des robots par approche multi-deep-learning

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs propose, dans un article de positionnement déposé sur arXiv en mai 2025 (arXiv:2605.02538), une architecture multi-modèles pour traiter le toucher social affectif en robotique. Le problème ciblé est précis : si la préhension et la dextérité robotiques ont significativement progressé grâce au retour haptique, les gestes affectifs - poignées de main, caresses rassurantes, contacts sociaux codifiés - restent non résolus en interaction humain-robot (HRI). Les auteurs proposent de décomposer le toucher affectif en sous-tâches spécialisées, chacune traitée par un modèle dédié, dans une architecture distribuée en boucle fermée inspirée de la neurobiologie. Ce cadre repose sur un protocole de partage d'état pair-à-pair et s'intègre dans un pipeline Sim-to-Real pour faciliter le transfert de l'entraînement en simulation vers les plateformes physiques. Il s'agit à ce stade d'un cadre conceptuel sans validation expérimentale publiée.

Le verrou adressé est réel : un robot capable de saisir un objet de cinq kilos avec précision peut échouer à simuler une poignée de main naturelle. Les auteurs introduisent la notion de "vallée de l'étrange haptique" (haptic uncanny valley), par analogie avec son équivalent visuel - un toucher robotique "presque juste" génère un inconfort plus marqué qu'un contact clairement artificiel. L'approche multi-modèles distribuée, à l'opposé d'un mouvement moteur monolithique, permettrait un développement cumulatif et modulaire : les équipes spécialisées en haptique, en IA et en robotique peuvent contribuer indépendamment. Pour les intégrateurs de robots sociaux dans les secteurs médical, thérapeutique ou d'assistance à la personne, cela ouvre une voie vers des interactions physiques acceptables et objectivement mesurables.

La robotique sociale s'est longtemps concentrée sur l'expressivité faciale et vocale - Pepper de SoftBank Robotics, Paro de l'AIST japonais - en laissant le toucher en marge. Les travaux sur le retour haptique dans la manipulation (MIT, Stanford) ont ouvert la voie, mais sans cibler spécifiquement la dimension affective. Les acteurs industriels aujourd'hui dominants - Figure AI avec Figure 02, Boston Dynamics, 1X Technologies - concentrent leurs efforts sur la locomotion et la manipulation de charges, pas sur la qualité sociale du contact physique. Ce papier de positionnement structure un agenda de recherche interdisciplinaire dont les prochaines étapes attendues seront l'implémentation et l'évaluation sur des robots compagnons ou d'assistance, segments où des acteurs européens comme Enchanted Tools (France) et des projets d'assistance à la dépendance commencent à émerger.

Impact France/UE

La proposition d'un cadre modulaire pour le toucher affectif représente une piste de R&D pertinente pour des acteurs français comme Enchanted Tools, actifs sur les robots d'assistance et de compagnie.

Dans nos dossiers

Figure 1X Technologies Boston Dynamics Enchanted Tools — Mirokaï

À lire aussi

1arXiv cs.RO

Organisation robotique de bureau : une approche multi-primitive pour manipuler des objets hétérogènes via les contraintes environnementales

Une équipe de recherche a déposé sur arXiv (référence 2605.02135, mai 2025) un framework de manipulation pour robots de service dédié à l'organisation de bureaux, capable de traiter simultanément des objets rigides et déformables posés à plat sur une surface. Le système repose sur trois primitives de manipulation exploitant l'environnement physique : un saisissement par contact direct pour les petits objets, un push-grasp assisté par le bord de la table pour les objets rigides plans, et un geste de levering (soulèvement par effet de levier) pour les objets déformables plans comme des feuilles de papier ou des pochettes. Un pipeline de perception géométrique, entraîné sur des datasets augmentés d'objets de bureau peu courants, assure l'estimation de pose et la détection des contraintes physiques disponibles, notamment les arêtes de table. Un planificateur de tâches orchestre ces primitives pour des séquences multi-objets incluant collecte et empilement. Les expériences en conditions réelles démontrent la robustesse de l'approche, et le code source ainsi que les vidéos sont publiés en accès libre. L'intérêt principal de ce travail est l'exploitation systématique des contraintes environnementales comme ressource de manipulation plutôt que comme obstacle, une inversion de perspective qui améliore la robustesse sans nécessiter de hardware dédié tel que ventouses ou pinces spécialisées. La gestion des objets déformables, longtemps considérée comme un verrou pour les robots de service, est ici abordée sans apprentissage end-to-end, ce qui favorise la traçabilité et le débogage en contexte d'intégration industrielle. Pour un intégrateur ou un COO logistique, ce type de framework à primitives explicites est plus directement industrialisable que les approches VLA (Vision-Language-Action) dont la robustesse en déploiement réel à grande échelle reste discutée dans la littérature. Ce travail s'inscrit dans le courant du task-and-motion planning (TAMP), qui cherche à combiner la robustesse des primitives classiques avec la flexibilité perceptive nécessaire aux environnements non structurés, en alternative aux méthodes d'imitation ou de reinforcement learning pur. Il se positionne sans atteindre encore leur généralisabilité sur de larges catalogues d'objets, ce qui constitue la limite principale de l'approche. Les acteurs actifs sur la manipulation fine de bureau incluent Google DeepMind avec ses travaux RT-2 et π0, Physical Intelligence, et côté académique des labos comme ETH Zurich ou CMU ; aucun acteur francophone ou européen n'est directement impliqué dans ce papier. Les suites naturelles seraient d'étendre ces primitives à des objets tridimensionnels non plans et d'évaluer le passage à l'échelle sur des manipulateurs commerciaux comme le Kinova Gen3 ou le Franka Research 3.

RecherchePaper

1 source

2arXiv cs.RO

Apprendre aux robots à interpréter les interactions sociales via l'apprentissage sur graphes dynamiques guidé par le lexique

Une équipe de chercheurs publie SocialLDG (Social Lexically-guided Dynamic Graph learning), un cadre d'apprentissage multi-tâches destiné à doter les robots d'intelligence sociale. Déposé sur arXiv (2604.10895v2), le travail vise un problème central de l'interaction humain-robot : inférer les états internes d'un utilisateur (émotions, intentions, états cognitifs non directement observables), prédire ses comportements futurs et y répondre de façon adaptée. Le cadre modélise six tâches distinctes représentant la relation dynamique entre états latents et actions observables, en intégrant un modèle de langage pour introduire des priors lexicaux par tâche, et un apprentissage par graphe dynamique pour suivre l'évolution temporelle des affinités entre tâches. Les auteurs rapportent des performances état de l'art sur deux jeux de données publics d'interaction sociale humain-robot, sans que le résumé disponible précise les benchmarks ni les marges de gain exactes. L'apport le plus concret pour les équipes de R&D en robotique sociale est la résistance au catastrophic forgetting : SocialLDG intègre de nouvelles tâches comportementales sans dégrader les capacités acquises, une propriété critique pour des déploiements réels où l'étendue des interactions croît progressivement. L'usage de priors linguistiques pour structurer le raisonnement sur graphe est également original : il permet d'exploiter la sémantique du langage naturel comme contrainte sur la modélisation sociale du robot, ouvrant la voie à une adaptation sans réentraînement complet. La lisibilité des affinités entre tâches offre en outre un levier d'interprétabilité utile pour le debug et la validation industrielle. La compréhension sociale en robotique est un chantier actif de longue date, avec des contributions notables de CMU, du MIT, et des travaux sur OpenFace ou EMOTIC. SocialLDG se distingue des approches actuelles qui traitent séparément reconnaissance d'émotion, détection d'intention et prédiction de geste, en proposant un cadre unifié inspiré des sciences cognitives. Les travaux récents sur les vision-language agents et les VLA adressent partiellement ce champ, mais restent centrés sur la manipulation physique plutôt que sur la dynamique socio-cognitive. En tant que prépublication non encore évaluée par les pairs, les performances annoncées restent à confirmer indépendamment avant toute intégration.

RecherchePaper

1 source

3arXiv cs.RO

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Raisonnement par graphe de zones sémantiques pour la recherche multi-robots guidée par le langage

Une équipe de chercheurs a publié SAGR (Semantic Area Graph Reasoning), un framework hiérarchique permettant à des grands modèles de langage (LLM) de coordonner des essaims multi-robots pour la recherche sémantique en environnement inconnu. Évalué sur 100 scénarios du dataset Habitat-Matterport3D, SAGR affiche jusqu'à 18,8 % de gain d'efficacité sur la recherche de cibles sémantiques dans les grands environnements, tout en restant compétitif avec les méthodes d'exploration state-of-the-art basées sur la couverture de frontières. Le système construit incrémentalement un graphe sémantique de zones à partir d'une carte d'occupation sémantique, encodant instances de pièces, connectivité, frontières disponibles et états des robots dans une représentation compacte transmise au LLM pour le raisonnement de haut niveau. La navigation locale et la planification géométrique restent déterministes. L'apport central est architectural : SAGR résout le problème d'interface entre raisonnement symbolique et coordination géométrique, un point de friction récurrent dans les systèmes multi-robots. Les approches classiques (frontier coverage, information gain) sont aveugles à l'intention de tâche, elles ne savent pas qu'une « cafetière » se trouve probablement dans une cuisine, pas un couloir. SAGR délègue cette inférence contextuelle au LLM via une abstraction topologique structurée, sans exposer le modèle au bruit d'une carte brute. C'est une séparation claire des responsabilités : le LLM raisonne sur la sémantique des pièces, les robots exécutent localement. Pour un intégrateur ou un opérateur d'entrepôt multi-AGV, cela ouvre la voie à des instructions en langage naturel comme « trouve le chariot de nettoyage » sans reconfiguration de la logique de navigation. Ce travail s'inscrit dans une tendance forte de 2024-2025 : l'injection de LLM dans la boucle de planification robotique, aux côtés de travaux comme SayPlan (Rana et al.), NavGPT ou des approches VLA type RT-2 et π₀. SAGR se distingue en ciblant explicitement la coordination multi-agent plutôt que le robot unique, et en validant sur un benchmark standardisé (HM3D) plutôt qu'en démo lab. La prochaine étape logique sera le passage du simulateur au réel, le sim-to-real gap sur la segmentation sémantique restant le principal obstacle non adressé par les auteurs.

RechercheActu

1 source