RecherchearXiv cs.RO 6 août 2026

« Coordination homme-robot sans apprentissage préalable grâce au raisonnement structuré des LLM face à des objectifs cachés »

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent une architecture structurée à base de grands modèles de langage (LLM) pour la coordination homme-robot en zero-shot, c'est-à-dire sans apprentissage préalable spécifique à la tâche, quand chaque partenaire ne dispose que d'une vue privée de l'objectif commun. Formalisée comme un Dec-POMDP (processus de décision markovien partiellement observable et décentralisé), l'architecture décompose la prise de décision en cinq étapes : inférence de théorie de l'esprit conditionnée à l'action, planification hiérarchique, interprétation de la conversation, vérification des actions, et replanification à partir des retours. Testée sur une tâche de construction coopérative où robot et humain ne voient chacun qu'une partie de l'objectif final, la méthode est comparée à deux références : une version sans le module de théorie de l'esprit, et une politique d'apprentissage par renforcement multi-agent entraînée hors ligne sur de nombreuses paires d'objectifs. Lors d'expériences avec des participants humains, la méthode complète a nécessité moins d'étapes d'interaction et obtenu de meilleures notes de confiance post-interaction que les deux références.

Ces résultats intéressent directement la recherche en interaction homme-robot : ils suggèrent qu'un LLM peut servir de substitut praticable à des calculs d'inférence et de planification autrement intraitables, tout en conservant une couche de vérification classique pour garantir la faisabilité physique des actions. Le gain ne vient pas d'un modèle bout-en-bout mais d'une décomposition explicite du problème de décision d'équipe, où le LLM traite seulement les sous-tâches de raisonnement social et de langage. Pour les équipes travaillant sur des robots collaboratifs ou des tâches à information partagée incomplète, cela plaide pour des architectures modulaires plutôt que des politiques entraînées de bout en bout, coûteuses à généraliser à de nouveaux objectifs.

Le travail s'inscrit dans la recherche sur la théorie de l'esprit computationnelle et la coordination multi-agents, un champ où les politiques de renforcement multi-agent peinent traditionnellement à généraliser en zero-shot à des objectifs ou partenaires inédits. En ancrant leur architecture dans le cadre théorique du Dec-POMDP, les auteurs la rattachent à des décennies de recherche en planification sous incertitude partagée. L'article ne mentionne aucun calendrier de déploiement industriel : il s'agit d'une preuve de concept en laboratoire, qui ouvre la voie à des tests sur des tâches physiques plus complexes et des équipes homme-robot élargies.

À lire aussi

1arXiv cs.RO

Imagine2Real : vers l'interaction robot humanoïde-objet sans apprentissage préalable grâce aux priors génératifs vidéo

Une équipe de chercheurs présente Imagine2Real, un framework zéro-shot pour la manipulation humanoïde d'objets, publié sur arXiv en mai 2026. L'Humanoid-Object Interaction (HOI) en corps entier, soit la capacité d'un humanoïde à interagir physiquement avec des objets en coordonnant l'ensemble de ses degrés de liberté, reste historiquement freinée par la rareté des données 3D haute fidélité. Imagine2Real contourne cette limitation en s'appuyant sur des vidéos génératives comme priors de mouvement, sans recourir à des modèles CAO explicites. Les déplacements du robot et des objets sont formalisés comme des trajectoires 4D en points discrets. Un module appelé Keypoints Tracker suit uniquement trois repères critiques (base, mains, objet), court-circuitant le retargeting morphologique, source classique d'amplification d'erreurs. Pour maintenir des allures naturelles malgré ces signaux épars, le système exploite l'espace latent d'un Behavior Foundation Model (BFM), un modèle de fondation entraîné sur des comportements locomoteurs. Une stratégie d'entraînement progressive complète le pipeline, permettant un déploiement physique zéro-shot en environnement de capture de mouvement (mocap). Le travail s'attaque à deux verrous documentés dans la littérature : le "Representation Misalignment", décalage entre les priors géométriques et la réalité physique du robot, et la "Retargeting Complexity", difficulté d'adapter des mouvements humains à une morphologie robotique différente. En réduisant le retargeting à trois points-clés et en supprimant la dépendance aux modèles CAO, Imagine2Real compresse le pipeline de données nécessaire pour générer de nouveaux comportements. Le zéro-shot démontré en déploiement physique, et non uniquement en simulation, distingue la contribution des approches antérieures. Pour un intégrateur ou un décideur industriel, l'enjeu est clair : bootstrapper de nouvelles compétences de manipulation sans dataset 3D dédié ni séquences mocap par tâche. Imagine2Real s'inscrit dans un courant de recherche exploitant les video diffusion models comme source de connaissance pour la robotique, en parallèle des travaux de Physical Intelligence (pi0, pi0-FAST), de NVIDIA (GR00T N2) et des approches VLA de Google DeepMind. La distinction revendiquée est l'abandon des priors géométriques là où les méthodes concurrentes les jugent incontournables. Aucun partenaire industriel ni calendrier de déploiement réel n'est mentionné dans ce preprint : il s'agit d'une contribution de recherche fondamentale, dont les suites naturelles incluront l'extension à des catégories d'objets plus larges et une validation hors environnement mocap contrôlé.

RechercheOpinion

1 source

2arXiv cs.RO

MotorMind : structurer des modèles vision-langage généralistes pour la manipulation robotique sans apprentissage préalable

Des chercheurs présentent MotorMind, un « harness » de manipulation robotique (arXiv 2609.38078, première version) qui permet à un modèle vision-langage (VLM) généraliste de piloter directement un bras, sans entraînement spécifique à la tâche. Le système ne recourt ni à un expert d'actions appris, ni à un agent de codage, ni à un outil de grounding comme SAM3. Le VLM propose des actions de niveau intermédiaire, exécutées par un contrôle robotique déterministe qui renvoie un retour d'exécution. Un suivi asynchrone et des mises à jour de mémoire en arrière-plan complètent l'ensemble. Sur la suite LIBERO-PRO de base, MotorMind atteint 66,7 % de réussite, et 53,8 % sous perturbations. Les méthodes zéro-shot antérieures évaluées plafonnent à 13,3 % et 19,2 %. Sur un robot xArm6 réel, la même interface affiche 95 % de réussite moyenne, en manipulation directe comme en présence de perturbations humaines. Les auteurs n'indiquent ici ni le VLM utilisé, ni le nombre de tâches, ni le nombre d'essais réels. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. L'intérêt tient à la voie proposée. Les modèles VLA (vision-langage-action) généralisent encore mal, hors distribution, à de nouvelles tâches et de nouveaux environnements. Leur entraînement spécialisé les coupe aussi des progrès rapides des VLM généralistes. MotorMind suggère qu'une bonne représentation d'actions intermédiaires, associée à une exécution asynchrone, permet d'exploiter ces VLM tels quels, comme un téléopérateur humain qui regarde, agit et corrige. Les auteurs constatent que remplacer le VLM par un modèle plus puissant améliore les scores. Les échecs restants viennent surtout du grounding visuel, du raisonnement incarné et de la connaissance des actions, et ils diminuent avec la capacité du modèle. Pour les intégrateurs, cela laisse entrevoir des robots qui bénéficient mécaniquement des mises à jour des modèles de fondation, sans réentraînement. La prudence reste de mise : LIBERO-PRO est un benchmark en simulation, l'écart avec les baselines est calculé sur des méthodes zéro-shot choisies par les auteurs, et rien n'est dit sur le temps de cycle, la latence ni le coût d'inférence, décisifs en production. Ce travail s'inscrit dans deux courants. Les VLA généralistes de type Pi-0 ou GR00T comptent sur de vastes données robotiques. Les systèmes « agentiques » utilisent des VLM pour le raisonnement de haut niveau, ou des agents de codage pour générer le contrôle, au prix d'une chaîne d'outils lourde et coûteuse. MotorMind cherche un compromis plus simple, avec un seul modèle. La suite dépendra de sa reproductibilité sur d'autres bras, de sa robustesse sur des tâches longues et de sa comparaison avec des VLA entraînés. Aucun pilote ni calendrier n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage automatique de programme d'entraînement au niveau des trajectoires pour la locomotion de robots à pattes sur terrain non structuré

Des chercheurs ont mis en ligne le 18 août 2026 un article sur arXiv (référence 2608.16164, soumission croisée) présentant une méthode d'apprentissage par curriculum automatique au niveau des trajectoires pour entraîner des politiques de locomotion de robots à pattes sur terrain non structuré. Contrairement aux approches existantes, qui imposent des curriculums heuristiques sur des terrains paramétrés artificiellement (pentes, marches ou obstacles générés selon des règles fixes), la méthode génère directement les tâches d'entraînement à partir de cartes de terrain réel non structuré. Le système fonctionne en boucle fermée avec deux composants: un évaluateur qui apprend, à chaque mise à jour du curriculum, une fonction de difficulté associant à une trajectoire donnée un score adapté au niveau actuel de la politique, et un échantillonneur qui propose de nouvelles trajectoires guidées par cet évaluateur pour l'entraînement suivant. Les auteurs rapportent un gain de 56,3% du taux de réussite des trajectoires par rapport à un entraînement sans curriculum, de 18,5% par rapport à un curriculum conçu manuellement sur les terrains les plus difficiles, et jusqu'à 39,74% lorsque le robot doit franchir un même obstacle depuis des directions d'approche variées. Le problème visé, la conception du curriculum d'entraînement, reste un goulot d'étranglement concret pour les équipes qui développent des robots à pattes destinés à des environnements réels non standardisés: chantiers, sites logistiques extérieurs, interventions post-catastrophe. Les curriculums heuristiques actuels risquent de faire surapprendre les politiques sur des motifs perceptifs quasi fixes, ce qui limite leur généralisation une fois confrontées à un terrain véritablement irrégulier. En automatisant la génération de trajectoires au bon niveau de difficulté et en la faisant évoluer avec la politique, cette approche réduit potentiellement le travail d'ingénierie manuelle et améliore la robustesse hors distribution, un enjeu central pour tout intégrateur cherchant à passer de la démonstration en simulation à un déploiement fiable. L'article s'inscrit dans la lignée des travaux sur l'apprentissage par curriculum en apprentissage par renforcement, technique connue pour éviter les échecs d'exploration précoce lors de l'entraînement de politiques complexes. Aucun nom d'entreprise, de laboratoire ni de plateforme robotique spécifique n'apparaît dans le résumé, et les résultats communiqués semblent reposer sur des expériences quantitatives et qualitatives sans précision explicite d'un déploiement sur matériel réel, ce qui invite à la prudence avant d'extrapoler ces gains à des conditions de terrain hors simulation.

RecherchePaper

1 source

4arXiv cs.RO

SketchMate : raisonnement géométrique à base d'agents pour l'insertion de précision sans apprentissage préalable

Des chercheurs proposent SketchMate, une méthode d'insertion de pièces inconnues en zéro-shot, décrite dans un preprint arXiv (2610.41844v1). Un modèle vision-langage (VLM) construit un « croquis » de la tâche, composé de quelques primitives géométriques et de deux repères d'accouplement (mate frames). Un agent VLM mesure ce croquis avec des outils géométriques appliqués à des cartes de profondeur multivues. Un planificateur standard et un contrôleur compliant exécutent ensuite l'insertion. Comme le croquis décrit les pièces indépendamment de leur placement, il n'est construit qu'une fois par tâche. Une mémoire de croquis stocke chaque exécution de l'agent et la transfère aux placements suivants par recalage de nuages de points, de sorte que le VLM n'est appelé que pour les pièces inédites. Une fois la pièce saisie, le robot inspecte de près les deux faces d'accouplement et corrige le croquis par appariement de formes. Sur 69 épisodes simulés, la méthode insère 88 % des pièces à la pose assemblée, selon un test cinématique strict, alors que ReKep et MOKA, avec le même VLM, n'en insèrent aucune. Sur de nouveaux placements de huit tâches, réutiliser une seule exécution stockée donne autant d'insertions réussies que rappeler l'agent à chaque épisode, avec un croquis produit en 3,4 s au lieu d'environ 90 s. L'enjeu est la précision. Une insertion exige une exactitude sub-millimétrique et la bonne orientation des détails d'ergotage, alors que les sorties spatiales des méthodes agentiques à base de VLM restent trop grossières. Le gain de latence (environ 26 fois plus rapide) rend l'approche plus crédible pour des cadences industrielles, puisque le coût du raisonnement du VLM est amorti sur les placements suivants. Il faut toutefois relativiser. Les résultats sont obtenus en simulation, aucune validation sur robot réel n'est mentionnée, et les deux bases de comparaison n'ont pas été conçues pour de l'insertion à ce niveau de tolérance, ce qui explique en partie leur score nul. ReKep et MOKA appartiennent à la lignée des méthodes qui font produire à un VLM des contraintes ou des points clés pour guider la manipulation en zéro-shot. Leur limite est la résolution spatiale. SketchMate déplace le travail du VLM vers une représentation géométrique mesurable et réutilisable. Face à lui se trouvent les politiques apprises de type VLA, qui demandent en général des démonstrations par tâche. Les suites logiques sont un transfert sur robot réel, des tests sur des pièces à tolérances industrielles et une évaluation de la robustesse de la mémoire de croquis sur des catalogues de pièces plus larges.

RecherchePaper

1 source