RechercheIEEE Spectrum Robotics 10 septembre 2026

Les robots apprennent à ressentir

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les chercheurs de Trevor Darrell à l'université UC Berkeley ont développé T-Rex, un modèle vision-langage-action doté d'un sens du toucher, entraîné sur 100 heures de données tactiles de haute qualité collectées sur plus de 200 objets domestiques différents, couvrant des actions comme essuyer, saisir, tordre ou verser. Le système repose sur deux sous-modèles complémentaires : un "expert" d'action qui produit des plans de mouvement généraux, et un "expert" tactile, quatre fois plus rapide, qui ajuste ces plans en temps réel selon le retour de force ressenti par le robot. Après un fine-tuning sur environ 100 démonstrations téléopérées de tâches complexes telles que visser une ampoule, appliquer du dentifrice sur une brosse à dents ou transférer un œuf entre deux plateaux, le modèle a atteint un taux de réussite moyen de 65% sur 12 tâches, soit près du double du meilleur modèle VLA purement visuel testé en comparaison. Parallèlement, Chengbo Yuan, étudiant en master à l'université Tsinghua de Pékin, a entrepris d'agréger plus de 3000 heures de données tactiles robotiques issues de jeux de données publics, couvrant 21 capteurs différents.

Ces résultats répondent à une limite structurelle des modèles vision-langage-action (VLA) qui ont porté les progrès récents de la manipulation robotique généraliste, comme le pliage de linge ou l'utilisation d'appareils de cuisine, mais qui échouent typiquement sur les tâches nécessitant un contrôle fin de la main, comme brancher un câble USB ou tourner une clé dans une serrure, précisément parce qu'ils ignorent le retour tactile sur lequel les humains s'appuient largement dans ces situations. Pour l'industrie, la démonstration que l'ajout d'un signal tactile traité à une fréquence plus élevée que le raisonnement visuo-linguistique double le taux de succès sur des tâches de préhension fine constitue une preuve de concept significative pour les intégrateurs qui cherchent à dépasser les manipulations grossières de type pick-and-place. Elle indique aussi où se situe le prochain goulot d'étranglement du secteur, moins dans la puissance des modèles de langage-vision que dans le manque de données tactiles à grande échelle, un problème encore loin d'être résolu à l'échelle d'Internet comme le sont les corpus image-texte.

Le frein historique à l'exploitation du toucher en robotique tient à la nature même des capteurs tactiles, dont les données diffèrent radicalement de celles des caméras utilisées pour entraîner les VLA, et à la grande hétérogénéité du matériel : les mains robotiques vont des pinces simples à deux doigts jusqu'aux designs articulés à cinq doigts, et les capteurs tactiles reposent sur des principes physiques variés, mesure de résistance électrique ou imagerie de la déformation d'un gel souple. Cette fragmentation rend la recherche tactile largement spécifique à chaque capteur, freinant le partage de données entre laboratoires, ce que le projet d'agrégation de Chengbo Yuan à Tsinghua vise justement à corriger. Darrell reconnaît lui-même que les données de T-Rex proviennent d'une seule plateforme matérielle, limitant leur généralisation. Ces travaux s'inscrivent dans une compétition plus large avec d'autres approches VLA généralistes comme Pi-0, GR00T N2 ou Helix, qui misent principalement sur la vision, suggérant que la prochaine génération de robots humanoïdes et de bras manipulateurs commerciaux devra intégrer nativement le retour de force pour tenir ses promesses sur les tâches fines du quotidien.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique

À lire aussi

1IEEE Spectrum Robotics

Les modèles vision-langage apprennent aux robots à lire les émotions humaines

Des chercheurs de l'Université de Melbourne ont entraîné un robot collaboratif à reconnaître les émotions humaines en combinant analyse faciale et facteurs contextuels, via un modèle de langage visuel (VLM, ou Vision Language Model). Les résultats, publiés le 18 mai 2026 dans IEEE Robotics and Automation Letters, montrent que cette approche surpasse les systèmes classiques de reconnaissance d'expression : le VLM obtient un score de similarité de 0,86 sur 1, contre 0,77 pour les outils d'analyse faciale et de suivi d'objets conventionnels. L'étude a été conduite par Seung Chan Hong dans le cadre de sa thèse de licence, avec une cohorte de 40 volontaires. Pour entraîner le modèle, des participants ont d'abord visionné des vidéos de robots effectuant des transferts d'objets à des humains avec des degrés de succès variés, puis décrit les émotions perçues en tenant compte de la scène complète : posture, gestes (doigts qui tambourinent, lèvres pincées), position dans l'espace, et non plus seulement l'expression du visage. Dans un second test, le robot équipé du VLM a intentionnellement commis une erreur, puis proposé soit une excuse adaptée à l'état émotionnel perçu, soit une formule pré-scriptée. Résultat : 31 personnes sur 40 ont préféré la réponse contextuelle. Le résultat le plus significatif n'est pourtant pas le gain de performance du VLM, mais la limite qu'il révèle. Même avec une excuse personnalisée et émotionnellement cohérente, la confiance des participants envers le robot avait chuté après l'erreur, indépendamment de la qualité de la réponse sociale. Les auteurs en tirent une conclusion directe pour les intégrateurs et les équipes de conception : l'adaptivité émotionnelle agit comme un lubrifiant social, elle n'efface pas un déficit fonctionnel. Pour les COO et décideurs qui évaluent des déploiements de cobots en environnement humain, cela signifie que l'investissement dans la fiabilité mécanique reste prioritaire sur les couches d'intelligence émotionnelle. En revanche, dans les scénarios où des erreurs sont inévitables, un module de reconnaissance émotionnelle contextuelle peut atténuer les effets négatifs sur la relation opérateur-robot, ce qui est pertinent dans les environnements d'assemblage ou de logistique. Le VLM utilisé dans l'étude fonctionne sur un principe similaire aux grands modèles de langage comme ChatGPT, mais avec une entrée visuelle permettant une lecture de scène au-delà de la seule mimique faciale. La recherche en interaction humain-robot (HRI) investit depuis plusieurs années dans les modèles de reconnaissance d'affect, mais les approches classiques restaient cantonnées à l'analyse des expressions faciales ou au suivi de posture. L'intégration des VLMs dans ce domaine suit la vague des modèles de vision-langage généralistes issus de Google DeepMind, OpenAI ou Meta. L'étude de Melbourne se distingue par une validation empirique sur sujets humains réels avec une tâche collaborative concrète, plutôt qu'une évaluation sur benchmark. Les prochaines étapes pour ce type de recherche incluront probablement des tests en environnement industriel contrôlé, pour vérifier si la perception émotionnelle reste robuste sous pression temporelle et dans des scènes visuellement chargées.

RecherchePaper

1 source

2arXiv cs.RO

R³ : entraîner des robots à raisonner en langage naturel par apprentissage par renforcement

Des chercheurs présentent R³ (R-cubed), une méthode de post-entraînement qui transforme des modèles vision-langage (VLM) génériques en « raisonneurs robotiques » capables de guider des politiques de manipulation bas niveau. La recette se déroule en deux temps : un VLM est d'abord entraîné (mid-training) sur des traces de raisonnement générées par des experts pour installer un style de raisonnement adapté, puis affiné par apprentissage par renforcement à un pas, fondé sur des grilles d'évaluation (rubric-based RL), à partir de données d'action hors ligne. L'équipe a testé R³ sur deux bancs d'essai contrôlés : Language Table et une tâche simulée d'emballage de courses à deux bras (bimanual grocery packing). Sur ces deux benchmarks, R³ améliore l'exploration et la généralisation vers des tâches non vues à l'entraînement, et surpasse nettement des références d'apprentissage par imitation guidées uniquement par instruction. Le travail est publié en préprint sur arXiv (2608.26053, août 2026) et une page de projet est disponible à robotic-reasoner.github.io. La particularité de R³ tient à la nature du raisonnement produit : contrairement aux méthodes robotiques antérieures, qui utilisent des traces structurées comme simple supervision auxiliaire à l'entraînement, R³ entraîne le modèle à produire un raisonnement en langage libre qui sert directement de guidage au moment de l'exécution, pour piloter des politiques bas niveau souvent bruyantes. L'enjeu dépasse l'exercice académique : les tâches robotiques à long horizon exigent de suivre une progression partielle, de raisonner sur les relations entre objets et de détecter puis corriger des erreurs, des compétences que l'apprentissage par imitation pure peine à capturer. Ces résultats apportent un signal utile au débat en cours dans le secteur des modèles vision-langage-action (VLA), où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) cherchent à doter bras manipulateurs et robots humanoïdes d'un raisonnement transférable de la simulation au monde réel. R³ suggère que le raisonnement en langage libre, popularisé par les modèles de type o1 sur des problèmes textuels complexes, peut aussi fonctionner comme mécanisme de calcul au moment du test pour la manipulation robotique. Ce travail s'inscrit dans une tendance plus large visant à transférer aux robots les gains obtenus par les modèles de fondation lorsqu'ils « réfléchissent » avant d'agir, capacité qui a déjà transformé les performances des grands modèles de langage sur les problèmes nécessitant décomposition et anticipation des conséquences. Jusqu'ici, les approches de raisonnement robotique se contentaient le plus souvent d'un signal auxiliaire sans que ce raisonnement pilote réellement l'action finale, ce que R³ cherche précisément à corriger. Les résultats publiés restent toutefois circonscrits à des environnements contrôlés et largement simulés, sans démonstration sur un déploiement réel à grande échelle ni comparaison directe avec des systèmes commerciaux déjà en service. Les auteurs ne précisent pas de calendrier de portage vers des robots physiques ou de tests sur des tâches industrielles plus complexes, ce qui situe R³ comme une contribution de recherche amont plutôt qu'un produit prêt à l'intégration.

RecherchePaper

1 source

3arXiv cs.RO

Robots qui apprennent à évaluer des modèles de comportement collectif

Des chercheurs ont publié sur arXiv (référence 2604.07303) un cadre méthodologique inédit permettant d'évaluer la fidélité de modèles comportementaux animaux via un robot biomimétique en interaction fermée. L'équipe a utilisé un poisson robot, baptisé RoboFish, contrôlé par des politiques d'apprentissage par renforcement entraînées en simulation sur quatre modèles de comportement de poissons réels : une baseline constante de suivi simple, deux modèles à règles explicites, et un modèle neuronal convolutif (CNN) ancré biologiquement. Ces politiques entraînées en simulation ont ensuite été transférées au RoboFish physique, qui a interagi en temps réel avec de vrais poissons. L'écart sim-to-real a été quantifié via la distance de Wasserstein entre les distributions simulées et réelles de métriques comportementales : performance d'atteinte de cible, distances inter-individuelles, interactions avec les parois de l'aquarium, et alignement de nage. Le modèle CNN s'est révélé le plus fidèle, affichant le plus faible écart sim-to-real sur la majorité des métriques mesurées. Ce travail résout un problème méthodologique persistant en robotique bio-inspirée et en éthologie computationnelle : jusqu'ici, les modèles comportementaux étaient validés uniquement par comparaison offline sur des trajectoires enregistrées, sans confrontation dynamique avec les animaux réels. En introduisant une évaluation en boucle fermée, les auteurs montrent que le classement des modèles change lorsqu'on passe d'une comparaison statique à une interaction incarnée, ce qui implique que de nombreux modèles publiés ont pu être surévalués. Pour la robotique de swarm et les systèmes multi-agents bio-inspirés, ce type de benchmark incarné constitue un outil de validation bien plus discriminant que les métriques classiques. Ce travail s'inscrit dans un courant de recherche croissant sur le sim-to-real en robotique comportementale, porté par des laboratoires comme celui de Maurizio Porfiri (NYU) qui travaille depuis plusieurs années sur RoboFish comme outil d'étude du comportement collectif animal. Le cadre proposé est explicitement généraliste : les auteurs suggèrent qu'il peut s'appliquer à d'autres espèces et d'autres plateformes robotiques. Les prochaines étapes naturelles incluent des tests sur des comportements collectifs plus complexes (bancs de plusieurs individus) et l'extension à d'autres espèces sociales. Aucun partenaire industriel ni financement spécifique n'est mentionné dans le préprint.

RecherchePaper

1 source

4IEEE Spectrum Robotics

Le doigt du robot ressent en couleur

Une équipe de chercheurs européens a mis au point un doigt robotique doté d'une peau synthétique capable de "voir" la texture et la pression par changement de couleur, avec une résolution de 100 micromètres et sans latence de calcul. Le projet réunit le Queen Mary University of London, l'Université de Florence, l'Université de Trieste et l'Université de Trento. L'idée revient à Giacomo Sasso, chercheur postdoctoral dans le laboratoire de Federico Carpi à Queen Mary, qui s'est appuyé sur un matériau "mécanochrome" décrit dans la revue Nature. En exposant un film photosensible à un laser rouge de 635 nanomètres et 5 mégawatts pendant sept minutes, Sasso a créé un réflecteur de Bragg : une structure à couches alternées de densité et d'indice de réfraction différents. Quand ce réflecteur est déformé par un contact, ses couches s'amincissent et changent la longueur d'onde de lumière réfléchie, du rouge (faible déformation) au vert puis au bleu (déformation maximale). Ce réflecteur est intégré dans un doigt en silicone transparent équipé d'une caméra et d'une LED internes, avec une couche externe noire pour maximiser le contraste des couleurs captées. L'équipe a déjà généré des cartes topographiques d'un bout de doigt humain, d'une pièce d'un cent et d'une feuille. Cette approche change la donne pour le toucher robotique, un domaine où la plupart des capteurs tactiles doivent multiplier les points de mesure de pression et de force pour reconstituer une surface, au prix d'un traitement de données lourd et lent. Ici, la couleur seule encode directement la topologie, la déformation et la pression de contact, ce qui élimine le goulot d'étranglement computationnel et ouvre la voie à une perception tactile en temps réel bien plus fine que ce qu'offrent les capteurs à base de grille de capteurs de force. Rich Walker, directeur de Shadow Robot, la plus ancienne entreprise robotique britannique et spécialiste des mains robotiques, a qualifié la méthode de radicalement différente des approches existantes. Pour les intégrateurs travaillant sur la manipulation fine (préhension d'objets fragiles, tri, chirurgie assistée), un tel niveau de résolution sans surcoût de calcul pourrait combler un écart réel entre les démonstrations en laboratoire et les usages industriels, où la vitesse de traitement tactile reste un facteur limitant. Le projet est encore au stade de recherche académique, sans annonce de commercialisation ni de partenaire industriel identifié à ce jour. Sasso a mis moins d'une semaine à reproduire le matériau en laboratoire après être tombé sur l'article de Nature en cherchant des solutions optiques pour le toucher robotique. Les prochaines étapes concerneront probablement l'intégration du capteur sur des mains robotiques complètes et la comparaison de ses performances face aux technologies concurrentes de peau tactile, notamment les capteurs capacitifs ou piézorésistifs déjà utilisés par des acteurs comme Shadow Robot.

UERecherche menée par un consortium universitaire britannique et italien (Queen Mary, Florence, Trieste, Trento), qui renforce l'expertise scientifique européenne en perception tactile robotique, mais sans partenaire industriel ni retombée commerciale identifiée a ce stade.

RecherchePaper

1 source