RecherchearXiv cs.RO 25 juin 2026

HEART : coordination d'agents experts hétérogènes pour la planification de tâches robotiques ancrée dans le réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs publie sur arXiv (réf. 2606.25404) HEART, un framework de planification robotique qui distribue le raisonnement entre plusieurs LLM spécialisés plutôt que de confier l'ensemble de la tâche à un seul modèle. Le principe : décomposer une instruction complexe en sous-tâches atomiques (vérification des capacités du robot, analyse de l'atteignabilité des objets, respect des contraintes logiques et temporelles), puis allouer chacune à un agent LLM dédié, le tout sous une contrainte de budget en tokens pour rester viable sur du matériel embarqué ou en communication limitée. La synthèse finale produit un plan d'actions physiquement exécutable, validé avant transmission au robot. Les expériences sur plusieurs benchmarks de scénarios domestiques montrent une amélioration consistante du taux de succès face aux planificateurs mono-LLM et aux approches à base de règles, sans que l'abstract disponible détaille de chiffres absolus.

La contribution centrale de HEART est d'intégrer une couche de validation physique avant la génération du plan, un angle mort chronique des approches LLM-only. Les modèles de langage généralisent bien le raisonnement symbolique mais peinent avec les contraintes géométriques réelles : objet hors de portée, séquence d'actions physiquement impossible, outil absent. En déléguant ces vérifications à des agents rôle-spécialisés, le framework réduit le taux de plans invalides ou incomplets. Pour les intégrateurs travaillant sur l'automatisation de tâches non-structurées en environnement domestique ou industriel léger, c'est un signal pertinent : la spécialisation des agents LLM par type de contrainte commence à produire des gains mesurables sur les benchmarks standard.

Ce travail s'inscrit dans un courant de recherche actif qui cherche à dépasser les limites du "single LLM as planner", avec des approches comme SayPlan, LLM+P ou Code as Policies comme antécédents directs. Aucun acteur industriel ni déploiement terrain n'est mentionné, et le papier reste un preprint non relu par les pairs. L'absence de métriques chiffrées précises dans l'abstract (taux de succès, nombre de benchmarks, configurations matérielles testées) rend l'évaluation externe difficile. Les prochaines étapes naturelles seraient une validation sur robot physique réel et une comparaison contre des frameworks VLA (Vision-Language-Action) comme pi-0 ou GR00T N2, qui intègrent déjà un raisonnement ancré dans la perception sensorielle.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme

Le laboratoire à l'origine de RoboHarness propose un framework unifié qui encapsule des systèmes de contrôle robotique développés indépendamment, qu'il s'agisse de modèles VLA (vision-langage-action), de politiques d'apprentissage par renforcement (RL) ou de planificateurs tâche-et-mouvement (TAMP), sous forme de compétences agentiques réutilisables. L'idée centrale est d'orchestrer ces politiques hétérogènes sans les ré-entraîner conjointement, via une mémoire d'exécution multimodale et des preuves collectées en ligne qui cartographient les limites de capacité de chaque politique. Un composant appelé Memory Bridge récupère les trajectoires d'exécution associées à la politique suivante, estime sa région de distribution "in-distribution", puis guide le robot vers cette zone pour stabiliser les transitions entre politiques. Le système a été testé sur trois benchmarks publics, 500 tâches personnalisées et 135 expériences sur robot réel, avec des gains significatifs en planification zero-shot sur des horizons longs et en robustesse hors distribution. Le problème que RoboHarness cherche à résoudre est structurel pour l'industrie robotique: aucune politique unique, aussi performante soit-elle sur son benchmark d'origine, ne couvre l'ensemble des capacités nécessaires à une tâche longue et complexe. Les méthodes de planification existantes reposent sur des compétences homogènes et prédéfinies, avec une applicabilité fixe, ce qui limite leur capacité à combiner des modèles VLA génériques avec des politiques RL spécialisées ou des planificateurs TAMP plus rigoureux. En proposant un routage conscient des capacités et une décomposition dynamique des tâches, ce travail répond directement à une hypothèse contestée du secteur: qu'un seul modèle généraliste suffirait à couvrir la diversité des tâches robotiques. Pour les intégrateurs et les équipes R&D, cela ouvre la voie à des architectures modulaires où plusieurs politiques spécialisées, potentiellement issues de fournisseurs différents, cohabitent sans réentraînement coûteux. Ce travail s'inscrit dans un contexte de recherche académique, publié sur arXiv fin juillet 2026, plutôt que dans une annonce produit commerciale. Il rejoint un courant de recherche actif sur l'orchestration de politiques robotiques multiples, alors que le secteur voit se multiplier des modèles VLA à vocation généraliste censés unifier perception et action en un seul réseau. RoboHarness prend le contre-pied de cette tendance en misant sur la composition de systèmes hétérogènes plutôt que sur un modèle monolithique unique, un pari qui reste à valider au-delà des benchmarks académiques et des essais en laboratoire, notamment sur la robustesse en conditions industrielles réelles et à plus grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu

1 source

3arXiv cs.RO

Planification séquentielle par points d'ancrage pour la robotique

Des chercheurs de la Case Western Reserve University ont publié SPARK (Sequential Planning via Anchored Robotic Keypoints), un système neurosymbolique de manipulation robotique sans entraînement supplémentaire. Sur LIBERO-PRO, benchmark évaluant la robustesse face aux changements de position et de tâche, SPARK atteint 43,7 % sur six configurations, soit plus du double de CaP-Agent0 (18,2 %) et des baselines Vision-Language-Action. L'architecture repose sur deux appels Gemini : le premier génère un arbre de comportement (behavior tree) typé composé de primitives précodées intégrant le contrôle bas niveau (mouvement, préhension, géométrie de profondeur) ; le second propose trois formulations textuelles alternatives par objet, que SAM3 évalue pour retenir la détection la plus confiante. Un mécanisme de récupération relance toute primitive échouée sur des objets re-détectés, sans nouvel appel LLM. Le système a été validé sur trois familles de robots (UR10e, Franka FR3, Franka bimanuels) pour neuf tâches à vingt essais chacune, avec une moyenne de 68 %. Le résultat central est architectural : SPARK identifie la perception comme le principal point de rupture des pipelines de manipulation, non la planification. Les formulations alternatives par objet apportent +27,7 points sur les tâches spatiales et +10,0 sur la suite objet ; la boucle de récupération ajoute +5,0 points globalement. Là où CaP-Agent0 re-interroge un LLM en repartant de zéro à chaque échec, SPARK ne replanifie que la détection, réduisant significativement le coût computationnel. Point stratégique : chaque essai produit automatiquement une trajectoire vérifiée et étiquetée, permettant à un planificateur training-free de générer les données dont les VLAs ont besoin sans téleopération humaine. SPARK s'inscrit dans le débat entre architectures VLA end-to-end (pi-0 de Physical Intelligence, RT-2 de Google DeepMind, OpenVLA de Berkeley) et approches hybrides symboliques. Les VLAs misent sur la généralisation apprise de données massives mais restent fragiles aux distributions non vues à l'entraînement, précisément ce que LIBERO-PRO mesure. SPARK démontre qu'une conception neurosymbolique rigoureuse peut surpasser des modèles foundation sur des configurations difficiles. La validation reste limitée à neuf tâches sur trois plateformes, sans timeline de déploiement industriel annoncée. La modularité du système -- détecteur, planificateur et contrôleur remplaçables indépendamment -- ouvre la voie à des intégrations sur de nouvelles plateformes sans réentraînement.

RecherchePaper

1 source

4arXiv cs.RO

Planification assistée par éclaireur pour équipes de robots hétérogènes en environnements partiellement connus

Des chercheurs ont publié sur arXiv (arXiv:2605.22693) un cadre de planification appelé Scout-Assisted Planning (SAP), conçu pour des équipes robotiques hétérogènes évoluant dans des environnements partiellement cartographiés. Le problème ciblé est concret : lorsqu'un robot terrestre (UGV) progresse sur un réseau routier dont certaines voies sont bloquées, il ne le découvre qu'en s'y engageant physiquement, générant des détours coûteux. SAP intègre des drones éclaireurs (UAV) qui collectent de l'information en avance de phase pour guider les UGV. Pour cibler les reconnaissances les plus utiles, les auteurs introduisent l'Information Gain-based Action Pruning (IGAP), un mécanisme qui score chaque action de scouting selon son impact attendu sur le comportement du robot au sol. Comme le calcul exact de l'IGAP est prohibitif en temps réel, un modèle Graph Neural Network (GNN) est entraîné à prédire ces valeurs directement depuis la structure du graphe routier et l'état de croyance courant. Sur trois types d'environnements testés, SAP avec IGAP réduit le coût de déplacement des UGV de 31,9 à 37,7 % par rapport à la baseline Canadian Traveler Problem, et surpasse de 8 à 14 % les approches de guidage par proximité. Ces résultats pointent vers un verrou industriel réel : dans la logistique d'entrepôt, la réponse à sinistre, ou les opérations minières, un robot terrestre contraint de faire demi-tour mobilise du temps machine et perturbe les flux. L'apport de SAP est de rendre la décision de scouting dirigée par la valeur informationnelle plutôt que par la simple distance, un glissement non trivial. L'usage d'un GNN pour approximer l'IGAP est l'élément clé : il ramène le planning à des niveaux temps réel sans dégradation mesurable de la qualité de solution, ce qui ouvre la voie à un déploiement embarqué sur matériel contraint. La distinction entre guidage par information et guidage par proximité, avec 8 à 14 % d'écart, valide quantitativement que la sophistication algorithmique se traduit en gains opérationnels réels. Ce travail s'inscrit dans un courant de recherche actif sur la planification multi-robots hétérogènes, où drones et robots terrestres forment des binômes complémentaires. La formulation s'appuie sur le Canadian Traveler Problem, un cadre classique de navigation sous incertitude, et l'étend avec une couche d'apprentissage automatique. Les acteurs industriels proches de cette problématique incluent Boston Dynamics (Spot + drones), Exotec pour la logistique autonome en entrepôt, ou encore les consortiums de robotique minière australiens. La prochaine étape naturelle serait la validation sur plateforme physique réelle : les expériences rapportées restent simulées, et le sim-to-real gap sur des graphes routiers dynamiques reste un défi non résolu par cet article.

UERésultats encore simulés, mais la méthode pourrait bénéficier indirectement à des acteurs logistiques européens comme Exotec lors d'une éventuelle validation sur plateforme physique réelle.

RecherchePaper

1 source