RecherchearXiv cs.RO 22 septembre 2026

Raisonnement cognitif pour l'action de robots proactifs à partir d'observations multimodales centrées sur l'humain

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (référence 2609.23486, avec pour type d'annonce "new", donc une première soumission datée de septembre 2026) un article qui formule ProRobo (Proactive Robot Action Reasoning), un nouveau problème de raisonnement cognitif pour robots d'assistance : déterminer quelle action entreprendre à partir d'indices humains et environnementaux multimodaux, sans instruction explicite. Pour l'étudier, l'équipe construit ProAction, un jeu de données réel de 10 000 échantillons combinant observations visuelles, signaux audio et texte, couvrant 12 scénarios de vie quotidienne répartis dans cinq scènes courantes. Les annotations d'action de haut niveau proviennent d'un pipeline en deux étapes associant humains et modèles : une génération de candidats guidée par une théorie de l'évaluation cognitive (appraisal), puis un raffinement humain informé par une théorie de l'esprit affective, qui intègre explicitement l'état de la personne, l'urgence, la faisabilité et le risque potentiel dans chaque annotation. Sur cette base, les auteurs évaluent plusieurs grands modèles de langage multimodaux (MLLM) généralistes et présentent MMC2Act, un modèle de référence entraîné à faire correspondre observations multimodales et actions cognitives de haut niveau, testé sur différents réglages de modalités, une généralisation à des sujets non vus à l'entraînement, un transfert inter-jeux de données et une évaluation humaine.

Le résultat central est que les MLLM généralistes peinent à raisonner de façon proactive à partir d'indices multimodaux, tandis qu'un entraînement sur ProAction améliore nettement les performances. Pour l'industrie robotique, ce travail cible un maillon encore peu documenté : la couche de décision en amont de l'action, celle qui doit repérer qu'une personne a besoin d'aide avant même qu'elle ne formule une demande, une capacité clé pour les robots d'assistance domestique ou de service vendus comme "autonomes". L'article souligne aussi l'écart entre les modèles de fondation génériques, entraînés sur des corpus web, et les exigences d'un contexte social et physique réel : sans données annotées selon un cadre affectif et contextuel explicite, ces modèles restent de mauvais juges de l'urgence ou du risque. Pour les intégrateurs et décideurs B2B évaluant des plateformes d'assistance, le papier rappelle que la promesse d'autonomie proactive dépend moins de la puissance brute d'un MLLM que de la qualité et de la structure des données liées au contexte humain, un point souvent minimisé dans les discours commerciaux.

Ce travail s'inscrit dans la lignée des efforts récents sur l'assistance robotique proactive, un axe encore marginal comparé aux grands jeux de données orientés instructions explicites ou contrôle bas niveau qui dominent l'apprentissage robotique actuel. Les auteurs positionnent ProAction comme comblant un manque : les ressources existantes couvrent soit d'autres contextes, soit d'autres niveaux d'action, sans traiter la prise de décision multimodale humaine en conditions réelles. Il s'agit à ce stade d'une contribution de recherche en prépublication sur arXiv, sans lien mentionné avec un déploiement robotique physique, un partenaire industriel ou un calendrier de commercialisation : le jeu de données et MMC2Act sont évalués sur des benchmarks de raisonnement, pas sur un robot exécutant physiquement ces actions. La suite logique, non détaillée dans l'article, serait d'intégrer ce raisonnement cognitif en amont dans une pile robotique complète couplée à des modules d'exécution physique, à l'image des approches VLA comme Pi-0 ou GR00T N2 qui traitent la partie aval du problème.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

D'observateur passif à critique actif : l'apprentissage par renforcement révèle un raisonnement de processus pour la manipulation robotique

Une équipe de recherche propose PRIMO R1 (Process Reasoning Induced Monitoring), un framework de 7 milliards de paramètres qui transforme les modèles vidéo multimodaux (MLLM) en "critiques" actifs capables d'évaluer la progression d'une tâche de manipulation robotique, plutôt qu'en simples "observateurs" qui se contentent de reconnaître les actions en cours. La méthode s'appuie sur de l'apprentissage par renforcement basé sur le résultat final pour inciter le modèle à générer un raisonnement explicite en chaîne de pensée (chain-of-thought) lors de l'estimation de la progression. L'architecture ancre la séquence vidéo entre une image de l'état initial et une image de l'état courant, une construction temporelle structurée soutenue par un nouveau jeu de données et benchmark, le PRIMO Dataset. Les résultats annoncés sont significatifs : une réduction de 50% de l'erreur absolue moyenne par rapport aux meilleures références spécialisées, des gains face à des MLLM généralistes de 72 milliards de paramètres malgré une taille dix fois inférieure, et 67,0% de précision sur le benchmark RoboFail, dépassant le modèle o1 d'OpenAI de 6 points. Cette avancée cible un vrai point de friction du secteur : pour les tâches de manipulation longues, les robots doivent non seulement reconnaître ce qu'ils font, mais estimer où ils en sont par rapport à l'objectif final, une capacité clé pour la détection autonome d'échecs sans supervision humaine. Qu'un modèle de 7B batte des systèmes bien plus lourds, y compris o1, sur ce type de raisonnement suggère que le renforcement orienté résultat peut compenser la taille, un argument important pour un déploiement embarqué sur des robots humanoïdes où latence et coût de calcul comptent. Le travail s'inscrit dans la vague de modèles de raisonnement entraînés par RL appliquée spécifiquement à la robotique, avec des tests validés aussi bien en environnements simulés qu'en scénarios réels sur humanoïdes. Il s'agit à ce stade d'une publication de recherche (preprint arXiv, version révisée) accompagnée d'un dataset et d'un benchmark ouverts, pas d'un produit déployé, mais elle pose une référence explicite face aux modèles généralistes et aux systèmes propriétaires comme o1 sur la détection d'échec robotique.

RecherchePaper

1 source

2arXiv cs.RO

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Transition de mouvement pour robot à partir d'un a priori de mouvement humain

Des chercheurs présentent STAMP (Spatio-Temporal Alignment with a Motion Prior), un cadre logiciel qui vise à enchaîner des mouvements de robots humanoïdes acquis séparément pour en faire une séquence continue. Le procédé passe par une boucle « robot vers humain vers robot ». Les deux mouvements sont d'abord retargetés (transposés) sur un squelette humain. Un modèle d'alignement appris classe ensuite des candidats de position, de cap et de durée de transition pour le mouvement suivant. Un modèle génératif de mouvement humain, utilisé comme prior, produit alors la transition en « inbetweening », c'est-à-dire en générant les images intermédiaires entre deux poses. La séquence complète est enfin retargetée sur le robot et sert de référence pour entraîner une politique de suivi de mouvement. Les auteurs l'évaluent sur le Unitree G1 et le ROBOTIS K1, et disent avoir réalisé des démonstrations physiques de séquences longues. L'abstract ne donne aucun chiffre : taux de réussite, nombre de mouvements enchaînés et durée des séquences ne sont pas précisés. L'intérêt tient à un problème pratique. Les politiques de suivi de mouvement savent aujourd'hui reproduire des comportements variés, mais les composer en un enchaînement fluide reste un point faible. L'interpolation simple relie des poses sans vérifier que la position relative, le cap et le timing se prêtent à une transition. Un prior génératif, lui, peut inventer de la marche, des rotations ou des gestes non voulus si les bornes sont mal agencées. STAMP traite donc l'alignement des bornes comme un problème à part entière, ce qui est une piste crédible pour construire des répertoires de comportements modulaires, utiles aux intégrateurs qui veulent assembler des gestes sans les réenregistrer. L'approche passe par l'espace humain, ce qui permet de réutiliser la connaissance des transitions d'un robot à l'autre. Cette promesse de transfert entre morphologies reste à confirmer, car seuls deux robots sont testés et les résultats sont ceux des auteurs, sans indication de la part de démonstrations sélectionnées. Ce travail s'inscrit dans la lignée des méthodes de suivi de mouvement humanoïde et des modèles génératifs de mouvement humain, qui ont gagné en maturité ces dernières années. La combinaison de ces briques est ici orientée vers la continuité des séquences. Le choix du Unitree G1, plateforme répandue en recherche, facilite la reproductibilité. Le ROBOTIS K1 élargit le test à une seconde morphologie. Il s'agit d'une prépublication arXiv (2610.30817v1), non évaluée par des pairs, accompagnée d'une page projet. Aucun déploiement industriel ni pilote n'est annoncé. Les prochaines étapes naturelles seraient des comparaisons chiffrées avec l'interpolation et d'autres méthodes génératives, ainsi que des tests sur davantage de robots et de mouvements.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Des mots aux motivations : un cadre multimodal pour aligner les robots autonomes sur les intentions humaines

Des chercheurs proposent, dans un preprint arXiv (2610.35629), un cadre multimodal destiné à aligner le comportement de robots autonomes à apprentissage ouvert sur les intentions de leurs utilisateurs humains. Le système s'appuie sur des grands modèles de langage (LLM) et des modèles vision-langage (VLM), présentés comme des « vecteurs culturels » apportant des connaissances générales sur le monde. Il transforme des objectifs exprimés en langage naturel en composantes motivationnelles de l'architecture du robot, sous forme de missions et de « drives » (pulsions internes) qui orientent son comportement. L'architecture compte trois couches : alignement sémantique, génération de missions et modélisation des drives. Elle fonctionne en boucle bidirectionnelle. L'humain fixe un but de haut niveau, le robot le décline en missions exécutables à l'aide d'informations multimodales relayées par les LLM et VLM, puis le retour de l'humain maintient l'alignement. Les tests ont eu lieu en simulation et sur un robot physique. Le résumé ne donne ni modèle de robot, ni nom de LLM ou de VLM, ni métrique chiffrée, ni taux de réussite. L'enjeu touche un point faible des robots qui génèrent eux-mêmes leurs compétences et leurs objectifs en interagissant avec leur environnement. Rien ne garantit que ces objectifs restent pertinents pour l'utilisateur. Pour un intégrateur ou un responsable d'exploitation, c'est la question de la gouvernance d'un robot qui apprend en continu : comment orienter ses priorités sans reprogrammer chaque tâche ? Les auteurs avancent que le langage naturel peut servir d'interface de pilotage de la motivation, et pas seulement d'ordres ponctuels, comme le font les approches VLA (vision-langage-action). Il faut toutefois rester prudent. Le résumé indique seulement que le processus produit des missions et des comportements « valides », sans mesurer la robustesse, la latence ni la dérive des objectifs sur la durée. Le passage de la simulation et d'un seul robot physique à un déploiement industriel reste donc entièrement à démontrer. Il s'agit de recherche académique, pas d'un produit ni d'un pilote. Ce travail s'inscrit dans la lignée de l'apprentissage ouvert et de la robotique développementale, où les robots se fixent leurs propres buts par motivation intrinsèque. L'arrivée des LLM a ouvert une nouvelle voie, celle d'un « sens commun » externe pour cadrer ces buts. Plusieurs approches concurrentes utilisent déjà des modèles de langage pour planifier des tâches ou définir des fonctions de récompense. La proposition ici se distingue en visant la couche motivationnelle plutôt que la seule planification. Les prochaines étapes naturelles seraient des essais sur des plateformes variées, des comparaisons chiffrées avec ces méthodes et des tests en conditions réelles avec des utilisateurs non experts. Aucun calendrier ni partenaire industriel n'est annoncé, et aucun acteur français ou européen n'est cité dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source