Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle de cognition du monde pour l'interaction humain-robot généralisable
RecherchearXiv cs.RO 

Modèle de cognition du monde pour l'interaction humain-robot généralisable

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article scientifique publié sur arXiv (référence 2607.22999v1) présente WCM, pour World-Cognition Model, un agent robotique conçu pour rendre l'interaction homme-robot aussi fluide que celle qu'offrent déjà les agents conversationnels dans le logiciel. Le système repose sur une architecture baptisée SLAK, acronyme de Sensing, Logic, Action et Knowledge, qui sépare explicitement la perception, le raisonnement, le contrôle moteur et la mémoire. Cette séparation s'appuie sur un runtime asynchrone permettant au raisonnement, au dialogue et à l'exécution de se dérouler en parallèle plutôt que séquentiellement. WCM ajoute un mode d'apprentissage supervisé par l'humain, où l'utilisateur peut enseigner interactivement au robot des tâches longues ou complexes ; ces épisodes d'enseignement, combinés aux exécutions autonomes, sont ensuite convertis en données de supervision par chaîne de raisonnement (chain-of-thought) pour affiner le modèle en continu. Sur neuf tâches réelles d'interaction homme-robot, le système atteint un taux de réussite moyen de 73,8 %, y compris sur des tâches exclues de l'entraînement par chaîne de raisonnement et sur une tâche longue apprise uniquement par démonstration humaine.

L'enjeu dépassé ici n'est pas tant la performance brute que la question de la contrôlabilité. Les approches dominantes actuelles, qu'il s'agisse des politiques vision-langage-action (VLA) ou des planificateurs fondés sur des modèles du monde, sont optimisées pour exécuter une instruction, mais laissent peu de visibilité à l'utilisateur sur les raisons d'une action donnée et peu de moyens de corriger ou réorienter le robot en cours de tâche. En proposant un mécanisme explicite de correction et d'enseignement en temps réel, WCM répond à un point de friction identifié par les intégrateurs industriels : un robot qui exécute bien mais s'explique mal reste difficile à déployer et à faire confiance sur des tâches non anticipées.

Le travail s'inscrit dans la lignée des recherches récentes sur les modèles de fondation pour la robotique, où des architectures comme les VLA ont cherché à généraliser l'exécution de tâches à partir de démonstrations massives. WCM se positionne en complément plutôt qu'en rupture, en ajoutant une couche cognitive et interactive au-dessus du contrôle bas niveau. Les auteurs ne précisent pas de calendrier de déploiement industriel ni de partenaire commercial ; il s'agit à ce stade d'une publication de recherche, dont la prochaine étape logique serait l'extension à un plus grand nombre de tâches et de plateformes robotiques.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Insertion robotique généralisable grâce aux modèles du monde
1arXiv cs.RO 

Insertion robotique généralisable grâce aux modèles du monde

Une équipe de recherche décrit, dans un article publié sur arXiv en septembre 2026 sous le titre "Generalizable Robotic Insertion with World Models" (identifiant 2609.28258v1), un système d'insertion robotique généraliste construit autour d'un modèle du monde (world model) entraîné sur un seul réseau couvrant jusqu'à 90 tâches d'insertion différentes, portant sur des pièces aux géométries variées. Le modèle combine les données proprioceptives du bras robotique avec les images brutes issues d'une caméra montée sur le poignet. Sur des objets totalement inédits, dont la géométrie n'a jamais été vue pendant l'entraînement, le système atteint un taux de réussite de 56% en zero-shot, contre seulement 7% pour une base de référence model-free entraînée dans les mêmes conditions. Les chercheurs montrent aussi que la performance progresse à mesure que le nombre d'objets inclus dans le jeu d'entraînement augmente, signe d'une bonne scalabilité. Un fine-tuning du modèle généraliste sur des objets exclus de l'entraînement initial améliore par ailleurs nettement l'efficacité en données par rapport à un entraînement from scratch, et dépasse parfois ses performances asymptotiques. Ce résultat s'attaque à un goulot d'étranglement connu de l'assemblage robotique en forte mixité de références: les approches actuelles, même très performantes, reposent sur des politiques spécialisées entraînées pièce par pièce, ce qui rend le déploiement sur une nouvelle référence lent et coûteux en ingénierie. Un système capable de généraliser à des pièces jamais vues changerait potentiellement l'équation pour les intégrateurs et les lignes à forte variabilité, en réduisant le travail de reprogrammation à chaque changement de produit. Les auteurs présentent leur travail comme le premier système capable d'assembler des objets inédits de façon entièrement pilotée par les données, sans modélisation géométrique explicite préalable, ce qui alimente le débat sur la capacité réelle des architectures génériques à tenir la charge en manipulation fine, un terrain où l'écart entre démonstration et fiabilité industrielle reste habituellement large. Ce travail s'inscrit dans la tendance de fond de la robotique de manipulation, où la recherche cherche à remplacer les politiques spécialisées task-specific par des modèles généralistes transférables d'un objet ou d'une tâche à l'autre, dans la lignée des efforts en cours autour des architectures vision-langage-action. Il reste à ce stade un résultat de recherche publié en preprint, sans partenaire industriel cité, ni site de déploiement, ni calendrier de commercialisation: les auteurs parlent d'une étape significative vers des systèmes d'assemblage généralisables et scalables, formulation à lire comme un jalon scientifique plutôt qu'une annonce produit. Les suites attendues pour ce type d'approche sont l'extension à davantage de tâches et de géométries, ainsi qu'une validation en conditions de production réelles, où robustesse et temps de cycle devront être mesurés au-delà des benchmarks de laboratoire.

RecherchePaper
1 source
Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision
2arXiv cs.RO 

Modèle du monde à action conditionnée : un planificateur d'action généralisable pour la prise de décision

Des chercheurs présentent World Action Planner (WAP), un système de planification robotique combinant un modèle vision-langage (VLM) et un modèle du monde conditionné par les poses et les images, capable de gérer plusieurs tâches. Décrit dans un article arXiv publié fin juillet 2026 (arXiv:2607.27599), le système fonctionne en deux temps : le VLM propose un plan d'action initial à partir d'une consigne, puis ce plan est raffiné de manière itérative par optimisation et recherche, en simulant des trajectoires possibles ("rollouts") dans le modèle du monde avant de les exécuter réellement. Selon les auteurs, WAP surpasse significativement les modèles de bout en bout de référence, à la fois les architectures vision-langage-action (VLA) et les modèles du monde purs (WAM), sur des tâches compositionnelles, des agencements de scène inédits et des scénarios de généralisation zéro-shot. Le projet est documenté sur worldactionplanner.github.io, sans précision sur le matériel robotique utilisé ni sur un calendrier de déploiement. L'enjeu dépasse la performance brute : c'est la capacité de généralisation qui est visée, un point faible connu des politiques par apprentissage par imitation, qui excellent dans leur environnement d'entraînement mais échouent souvent face à une scène ou une tâche nouvelle. En couplant raisonnement symbolique du VLM et vérification physique via simulation interne, WAP s'attaque directement à l'écart entre démonstration contrôlée et robustesse réelle, un sujet central pour les intégrateurs qui cherchent des robots capables de sortir du script préprogrammé. À ce stade, il s'agit toutefois d'un résultat de recherche évalué en simulation ou en environnement contrôlé, pas d'un produit commercial ni d'un déploiement industriel. Ce travail s'inscrit dans la course actuelle autour des modèles VLA (à l'image de Pi-0 ou GR00T N2) et des modèles du monde pour la robotique, deux approches concurrentes pour doter les robots humanoïdes et bras manipulateurs d'une autonomie généralisable. En proposant une architecture hybride qui combine planification par recherche et prédiction du monde plutôt qu'une politique end-to-end unique, les auteurs positionnent WAP comme une alternative aux approches purement VLA, dont les limites de généralisation restent un point de friction reconnu dans le secteur.

RecherchePaper
1 source
Retargeting de contacts guidé par VLM et modélisation générative du partenaire pour l'interaction humanoïde-humain
3arXiv cs.RO 

Retargeting de contacts guidé par VLM et modélisation générative du partenaire pour l'interaction humanoïde-humain

Des chercheurs présentent REACT, un framework d'apprentissage de politiques d'interaction humanoïde-humain à partir de démonstrations humain-humain, publié sur arXiv (2610.28523). Le système a été évalué en simulation et sur un robot réel Unitree G1, sur cinq interactions riches en contacts physiques. La chaîne de traitement comporte trois étapes. Un VLM (modèle vision-langage) identifie d'abord les contacts sémantiquement pertinents dans les données de capture de mouvement, puis les retransfère sur la géométrie humanoïde-humain en préservant la structure de l'interaction. Des politiques « privilégiées », qui accèdent à l'état complet du partenaire, apprennent ensuite des comportements physiquement cohérents grâce à des récompenses de contact sensibles à l'interaction. Elles sont enfin distillées en politiques déployables fondées sur la profondeur égocentrique, entraînées uniquement avec les capteurs embarqués grâce à un rendu photoréaliste de profondeur humaine. Des objectifs de modélisation générative de l'état du partenaire prédisent son mouvement à partir de vues occultées. Selon les auteurs, la modélisation sémantique des contacts améliore nettement la préservation des interactions démontrées, et la modélisation générative améliore le rappel de contact sur quatre interactions sur cinq, surtout en cas de forte occultation. Sur le matériel réel, les cinq interactions sont exécutées avec les seuls capteurs embarqués. L'enjeu porte sur un verrou central de l'interaction physique : au contact rapproché, le partenaire humain est occulté, tronqué ou hors du champ de vision, ce qui fait échouer l'estimation de pose. Beaucoup de démonstrations reposent donc sur un suivi externe (capture de mouvement, caméras fixes) ou sur l'état humain privilégié, des dispositifs inutilisables hors laboratoire. Une politique qui fonctionne sans eux rapproche l'humanoïde de cas d'usage réalistes : assistance, soins, collaboration en atelier. Le travail traite aussi un problème de données souvent négligé, les erreurs de capture dues aux occultations mutuelles entre humains. Il faut toutefois rester prudent. Il s'agit d'un préprint non évalué par les pairs, sur un seul robot, avec seulement cinq interactions. Le résumé ne donne ni taux de réussite chiffrés, ni durées d'essai, ni mesure de robustesse face à des morphologies ou comportements humains variés. L'écart entre démonstration en laboratoire et déploiement fiable reste donc entier. Le contexte est celui d'une course où l'humanoïde Unitree G1, relativement abordable, sert de plateforme de recherche standard. Les approches dominantes d'apprentissage de politiques de corps entier se concentrent surtout sur la locomotion et la manipulation, l'interaction humain-robot restant plus rare, car plus risquée et plus difficile à simuler. REACT s'inscrit dans la tendance à utiliser des modèles de fondation (ici un VLM) comme source de supervision sémantique, plutôt que de simples heuristiques géométriques. Les prochaines étapes naturelles seraient des tests sur d'autres plateformes, davantage d'interactions et des évaluations avec des participants variés, ainsi que des garanties de sécurité en contact. Aucun partenaire industriel, calendrier de pilote ni déploiement commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
D3D-GEN : génération interactive de mondes 3D ancrée dans le domaine pour la robotique sociale, consciente du robot
4arXiv cs.RO 

D3D-GEN : génération interactive de mondes 3D ancrée dans le domaine pour la robotique sociale, consciente du robot

D3D-GEN est un système de génération de mondes 3D interactifs présenté dans un article publié sur arXiv (arXiv:2608.11876v1) et conçu pour l'entraînement et la validation de robots sociaux en navigation autonome. Développé pour résoudre le compromis entre réalisme et simulabilité, le système combine un agent de recherche de domaine avec un pipeline de génération augmentée par récupération (RAG) ancré dans ce domaine. À partir d'une simple description textuelle du domaine visé, l'agent collecte automatiquement des données publiques spécifiques et construit une base de connaissances persistante, sans dépendre d'une bibliothèque fixe de modèles 3D. Le pipeline RAG interroge ensuite dynamiquement une base sémantique fournie par l'utilisateur pour générer des plans d'étage et des placements d'objets plausibles. Les mondes produits sont pleinement interactifs et compatibles avec les simulateurs Isaac Sim et Gazebo, deux outils largement utilisés en robotique. Les chercheurs ont bâti des bases de données pour trois domaines courants (résidentiel, hospitalier, bureau) et généré des dizaines d'environnements distincts pour chacun, le tout accessible via une interface web locale. Pour l'industrie robotique, cet outil s'attaque à un goulot d'étranglement concret : la pénurie d'environnements de simulation à la fois réalistes et diversifiés freine l'entraînement des politiques de navigation sociale, un maillon clé pour les robots amenés à opérer parmi des humains (hôpitaux, bureaux, domicile). En automatisant la collecte de connaissances de domaine et la synthèse de scènes plausibles sans base 3D préexistante, D3D-GEN pourrait réduire le travail manuel de conception d'environnements simulés, un frein connu à l'échelle du sim-to-real pour les intégrateurs et laboratoires de recherche en IA incarnée. Reste que la validation du réalisme et de la généralisation à d'autres domaines n'est démontrée que sur trois cas d'usage, ce qui limite pour l'instant la portée des conclusions. Ce travail s'inscrit dans la lignée des efforts récents visant à combler l'écart entre simulation et réalité pour l'IA incarnée, où des bases de données de scènes 3D figées (comme celles utilisées historiquement avec Isaac Sim ou Gazebo) limitent la diversité des scénarios d'entraînement. En s'appuyant sur des agents de recherche et du RAG plutôt que sur des bibliothèques statiques, D3D-GEN se positionne face à d'autres approches de génération procédurale de scènes pour la robotique. L'article ne précise pas de partenariats industriels ni de calendrier de déploiement au-delà du prototype de recherche présenté avec son interface web locale.

RecherchePaper
1 source