Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents
RecherchearXiv cs.RO 

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens.

Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones.

Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents
1arXiv cs.RO 

Retour sur la tâche de manipulation « Push-T » avec la robotique à base d'agents

Un article publié le 20 août 2026 sur arXiv (référence 2608.18227v1) revisite Push-T, benchmark de référence pour l'apprentissage de politiques de manipulation par démonstration humaine, dans lequel un robot doit pousser un bloc en forme de T jusqu'à une pose cible en n'utilisant qu'un seul point de contact. Les auteurs ont chargé un agent de codage LLM, Claude Code associé au modèle Fable 5, de produire une solution algorithmique sans aucune donnée de démonstration. L'agent a retrouvé de lui-même la simulation 2D Gym du benchmark en ligne, mené des expériences simulées pour apprendre la mécanique de poussée, puis optimisé itérativement son code jusqu'à atteindre 100% de réussite avec 46% d'étapes en moins que la meilleure politique de diffusion entraînée sur 200 démonstrations humaines. Il a ensuite étendu la tâche à tout l'alphabet, de Push-A à Push-Z, via un curriculum auto-généré, et produit des simulations 3D avec retour visuel pour les bras robotiques Franka et UR5. Vidéos, politiques et détails complets doivent encore être publiés en ligne. Ce résultat interroge une hypothèse centrale du secteur, selon laquelle la manipulation robotique fine passe nécessairement par l'apprentissage par imitation ou par des modèles vision-langage-action entraînés sur de vastes jeux de démonstrations, à l'image de Pi-0, GR00T N2 ou Helix. Ici, un agent de codage génère un contrôle explicite et interprétable qui surpasse une politique de diffusion apprise, sans collecte de données préalable, ce qui intéresse directement les intégrateurs et équipes de R&D cherchant à réduire le coût et le délai de déploiement sur des tâches bien spécifiées. Le succès reste toutefois circonscrit à un benchmark 2D très étudié : l'extension à des simulations 3D avec Franka et UR5 constitue un pas vers la généralisation, mais aucune validation sur robot physique réel n'est rapportée, ce qui limite la portée immédiate pour la production. Push-T tire son origine des travaux sur la Diffusion Policy, qui en avaient fait un banc d'essai standard pour comparer les politiques de manipulation apprises. Ce court article se positionne dans le champ émergent de la « robotique agentique », où des agents de codage basés sur des LLM, comme Claude Code, sont testés comme alternative aux pipelines d'apprentissage par imitation qui dominent aujourd'hui la robotique humanoïde et les bras manipulateurs. Aucun laboratoire ni entreprise autre qu'Anthropic, via son modèle Fable 5, n'est cité dans le résumé, et aucune date de publication des vidéos et politiques associées n'est encore précisée. L'étude reste à ce stade une preuve de concept en simulation, sans pilote industriel ni déploiement matériel confirmé.

RecherchePaper
1 source
RACaP : raisonnement, action et codage à base d'agents pour un apprentissage robotique évolutif
2arXiv cs.RO 

RACaP : raisonnement, action et codage à base d'agents pour un apprentissage robotique évolutif

Des chercheurs ont publié sur arXiv, le 25 septembre 2026 (référence 2609.29394), un article décrivant RACaP (Reasoning, Acting, and Coding as Policies), un framework agentique pour l'apprentissage robotique évolutif. Contrairement aux méthodes Code as Policies (CaP) classiques, qui génèrent et réparent du code au moment de l'exécution au prix d'une latence et d'un mélange entre mécanismes réutilisables et décisions spécifiques à la tâche, RACaP déplace la génération de code vers une phase d'évolution en amont et s'appuie, au déploiement, sur une boucle ReAct qui appelle des API de politiques figées et typées, combinant curriculum d'apprentissage et auto-évolution autonome. Sur les bancs d'essai en simulation LIBERO, RACaP atteint 54,4% de réussite sur LIBERO-90, 45,0% en zero-shot sur LIBERO-PRO et 46,0% sur LIBERO-Long, contre au maximum 4,0% pour les baselines CaP sur les tâches à long horizon, soit 2,5 fois leur taux de réussite sur LIBERO-PRO et un temps de décision médian 1,9 fois plus rapide. Un fine-tuning par échantillonnage par rejet distille ensuite les décisions ReAct de GPT-5.6 dans un modèle compact Qwen3-VL-8B-Instruct, accélérant l'inférence par décision d'un facteur 13,2 et réduisant les appels physiques répétés de 16 à 4. Ce travail cible un problème concret pour les intégrateurs: la latence et la fragilité des approches où un modèle de langage génère et corrige du code de contrôle en direct, ce qui complique la maintenance et le passage à l'échelle sur des tâches longues. En séparant le code réutilisable, figé après évolution, des décisions prises en temps réel via mémoire de travail, mémoire d'expérience et retour visuel, RACaP illustre une piste pour rendre les agents VLA (vision-language-action) plus robustes et plus rapides sans sacrifier l'adaptabilité. La distillation vers un modèle compact comme Qwen3-VL-8B-Instruct répond directement à une contrainte industrielle: les grands modèles comme GPT-5.6 restent trop lents et coûteux pour tourner en boucle fermée sur un robot physique. Ces résultats demeurent toutefois obtenus en simulation sur les bancs académiques LIBERO, et non lors d'un déploiement réel en usine ou en entrepôt, laissant ouvert l'écart classique entre performance simulée et performance en conditions réelles. RACaP s'inscrit dans la lignée des méthodes Code as Policies, qui font piloter des robots par des grands modèles de langage générant directement du code exécutable, une approche dont les limites sur les tâches longues et complexes sont confirmées ici par les scores plafonnés à 4,0% des baselines CaP citées dans l'article. En comparant son architecture à ces méthodes de référence sur les mêmes bancs LIBERO-90, LIBERO-PRO et LIBERO-Long, l'équipe cherche à démontrer qu'une architecture combinant code figé et raisonnement au moment de l'action offre une meilleure transférabilité zero-shot, un critère que surveillent les décideurs avant tout investissement en robotique VLA. L'article, disponible en prépublication sous la référence 2609.29394v1, ne mentionne ni calendrier de déploiement sur robot physique ni partenariat industriel; les prochaines étapes attendues pour ce type de travaux académiques restent une validation sur plateforme réelle et une revue par les pairs.

RechercheActu
1 source
AgenticRoboRL : appliquer le post-entraînement des agents de code à la robotique à base d'agents
3arXiv cs.RO 

AgenticRoboRL : appliquer le post-entraînement des agents de code à la robotique à base d'agents

Des chercheurs publient AgenticRoboRL, un cadre de post-entraînement destiné aux planificateurs des systèmes de robotique agentique. Ces systèmes associent un planificateur, c'est-à-dire un modèle de langage qui décompose la tâche, à un « harnais » qui exécute les actions, soit en appelant des compétences VLA (vision-langage-action), soit en générant du code de contrôle. La recette combine un réglage supervisé (SFT) et un apprentissage par renforcement multi-tours. Des adaptateurs propres à chaque harnais relient les interactions enregistrées du planificateur aux résultats des tâches. Le pipeline RL reste ainsi commun et les composants d'exécution restent figés. Sur le benchmark LIBERO-PRO, un planificateur de 9 milliards de paramètres passe de 18,1 % à 71,0 % de réussite sans mémoire externe. Codex (GPT-5.5) atteint 72,1 % avec mémoire externe. Les auteurs annoncent la publication du cadre et des checkpoints entraînés. Pour l'instant, il s'agit d'une prépublication arXiv, sans code disponible. L'intérêt tient à ce que les travaux récents sur la robotique agentique cherchaient surtout à améliorer le harnais et la mémoire externe, tout en s'appuyant sur de gros modèles propriétaires pour planifier. Ces résultats suggèrent qu'un modèle ouvert de taille modeste, spécialisé par post-entraînement, peut se rapprocher d'un modèle fermé de pointe sur ce benchmark. Pour un intégrateur ou un industriel, cela change le calcul sur trois points : la dépendance à une API tierce, la latence et la possibilité d'un déploiement embarqué ou sur site. Le gain de 53 points montre aussi que l'écart de départ venait en grande partie de l'inadéquation du modèle à la tâche, et pas de la seule faiblesse du harnais. Il faut toutefois relativiser. LIBERO-PRO est un benchmark simulé de manipulation, le comparatif avec Codex mélange des conditions différentes (avec ou sans mémoire), et rien n'indique encore une validation sur robot réel, en environnement non structuré, ni sur des temps de cycle industriels. Le transfert sim-to-real reste donc entièrement à démontrer. Cette approche transpose à la robotique ce qui a fait progresser les agents de code, dont les gains récents viennent du post-entraînement du modèle lui-même par RL sur des retours d'exécution vérifiables. Elle se place face aux architectures de type VLA de bout en bout (Pi-0, GR00T, Helix), qui fusionnent perception et contrôle dans un seul modèle, alors qu'ici la planification reste séparée de l'exécution. Elle se distingue aussi des systèmes agentiques qui reposent sur des LLM fermés avec mémoire externe. La suite dépendra de la publication effective des poids et du code, qui permettra une réplication indépendante. Il faudra ensuite voir si le gain tient sur d'autres harnais, sur des tâches plus longues et sur du matériel réel. Aucun pilote industriel ni calendrier n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert
4arXiv cs.RO 

Raisonnement sémantique relationnel sur des graphes de scènes 3D pour la recherche interactive d'objets en monde ouvert

Des chercheurs présentent SCOUT (Scene Graph-Based Exploration with Learned Utility), un système permettant à un robot domestique de retrouver un objet inconnu dans un environnement ouvert, sans carte préalable ni liste d'objets fixe. Publié sur arXiv (2603.05642v2), le travail propose de représenter l'environnement sous forme de graphes de scène 3D, où chaque pièce, chaque frontière inexplor ée et chaque objet reçoit un score d'utilité calculé à partir d'heuristiques relationnelles : la probabilité qu'un objet cible se trouve dans telle pièce (containment), ou qu'il soit co-localisé avec d'autres objets connus (co-occurrence). Le robot explore ainsi en priorité les zones les plus prometteuses, sans interroger un LLM à chaque étape. Pour conserver la généralisation en vocabulaire ouvert, les auteurs introduisent un cadre de distillation procédurale hors ligne : les connaissances relationnelles sont extraites d'un grand modèle de langage une fois, puis compressées dans des modèles légers exécutables directement sur le robot. Un benchmark symbolique baptisé SymSearch est également proposé pour évaluer le raisonnement sémantique dans ce type de tâches. L'enjeu central est l'équilibre entre pertinence sémantique et faisabilité temps réel, un point de friction majeur pour les intégrateurs en robotique de service. Les méthodes fondées sur la similarité d'embeddings vision-langage (type CLIP) sont rapides mais échouent sur les relations contextuelles : un robot cherchant un médicament ne déduit pas spontanément "salle de bain" depuis un embedding. Les LLMs résolvent cela mais sont trop lents et trop coûteux pour un déploiement embarqué. SCOUT, selon les évaluations menées en simulation et dans des environnements physiques réels, égale les performances des LLMs tout en restant computationnellement léger, ce qui ouvre la voie à une navigation sémantique réactive sur du matériel standard. La démonstration en environnement réel, avec des contraintes de capteurs et de navigation authentiques, atténue en partie le reproche habituel de sim-to-real gap, même si aucune métrique quantitative de transfert n'est détaillée dans le résumé. Ce travail s'inscrit dans un champ actif depuis les approches de navigation sémantique par graphes de scène (ScanQA, SceneGraph-Fusion, 3DSG), face auxquelles SCOUT se distingue par la distillation offline plutôt que par l'appel LLM en ligne. Les concurrents directs incluent les méthodes basées sur ESC, CoNaV ou L3MVN, qui exploitent des embeddings ou des LLMs pour guider l'exploration. Aucune intégration industrielle ni partenariat commercial n'est annoncé à ce stade : il s'agit d'une contribution académique avec benchmark et expériences réelles, dont la prochaine étape naturelle serait une évaluation sur des plateformes robotiques standards comme Spot ou Hello Robot Stretch.

RecherchePaper
1 source