RecherchearXiv cs.RO 4 août 2026

Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Le laboratoire à l'origine de ce papier arXiv (identifiant 2602.12244, version révisée) présente AHAT, pour Any House Any Task, un planificateur de tâches ménagères conçu pour la planification à long horizon dans des environnements domestiques de grande taille et face à des consignes humaines ambiguës. Le système s'appuie sur un grand modèle de langage entraîné à convertir une instruction et un graphe de scène textuel (une représentation symbolique de la maison et des objets qu'elle contient) en sous-objectifs formalisés dans le langage PDDL, le standard académique pour décrire des problèmes de planification. Ces sous-objectifs sont ensuite résolus par un solveur symbolique explicite, qui produit un plan d'exécution complet et jugé optimal. Pour améliorer la capacité du modèle à décomposer des intentions complexes et floues, les auteurs introduisent TGPO, un nouvel algorithme d'apprentissage par renforcement qui intègre une correction externe des traces de raisonnement intermédiaires dans le cadre de GRPO, la méthode de renforcement popularisée par les modèles de raisonnement de type DeepSeek.

L'enjeu identifié par les auteurs est central pour la robotique de service : les planificateurs purement basés sur du prompting LLM voient leurs performances chuter fortement dès que l'environnement grandit, que le plan s'allonge, ou que l'instruction devient ambiguë. En combinant génération de sous-objectifs par LLM et résolution symbolique rigoureuse, AHAT vise à conserver la flexibilité du langage naturel tout en garantissant la faisabilité formelle du plan produit, un compromis recherché par tous les acteurs qui veulent faire sortir les agents domestiques du laboratoire. Les auteurs rapportent des gains significatifs face aux méthodes de référence par prompting, planification classique et apprentissage, notamment sur des tâches formulées de façon brève mais nécessitant une exécution complexe, le scénario le plus proche d'un usage domestique réel.

Il s'agit ici d'un travail de recherche publié sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement matériel : ni robot humanoïde, ni intégrateur, ni date de mise en service ne sont mentionnés. AHAT se positionne dans la lignée des travaux récents cherchant à hybrider LLM et planification symbolique PDDL pour la robotique domestique, une piste alternative aux approches VLA de bout en bout, et son intérêt réel pour l'industrie dépendra de sa reproductibilité et de son passage, ou non, à des essais sur robot physique.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme

Le laboratoire à l'origine de RoboHarness propose un framework unifié qui encapsule des systèmes de contrôle robotique développés indépendamment, qu'il s'agisse de modèles VLA (vision-langage-action), de politiques d'apprentissage par renforcement (RL) ou de planificateurs tâche-et-mouvement (TAMP), sous forme de compétences agentiques réutilisables. L'idée centrale est d'orchestrer ces politiques hétérogènes sans les ré-entraîner conjointement, via une mémoire d'exécution multimodale et des preuves collectées en ligne qui cartographient les limites de capacité de chaque politique. Un composant appelé Memory Bridge récupère les trajectoires d'exécution associées à la politique suivante, estime sa région de distribution "in-distribution", puis guide le robot vers cette zone pour stabiliser les transitions entre politiques. Le système a été testé sur trois benchmarks publics, 500 tâches personnalisées et 135 expériences sur robot réel, avec des gains significatifs en planification zero-shot sur des horizons longs et en robustesse hors distribution. Le problème que RoboHarness cherche à résoudre est structurel pour l'industrie robotique: aucune politique unique, aussi performante soit-elle sur son benchmark d'origine, ne couvre l'ensemble des capacités nécessaires à une tâche longue et complexe. Les méthodes de planification existantes reposent sur des compétences homogènes et prédéfinies, avec une applicabilité fixe, ce qui limite leur capacité à combiner des modèles VLA génériques avec des politiques RL spécialisées ou des planificateurs TAMP plus rigoureux. En proposant un routage conscient des capacités et une décomposition dynamique des tâches, ce travail répond directement à une hypothèse contestée du secteur: qu'un seul modèle généraliste suffirait à couvrir la diversité des tâches robotiques. Pour les intégrateurs et les équipes R&D, cela ouvre la voie à des architectures modulaires où plusieurs politiques spécialisées, potentiellement issues de fournisseurs différents, cohabitent sans réentraînement coûteux. Ce travail s'inscrit dans un contexte de recherche académique, publié sur arXiv fin juillet 2026, plutôt que dans une annonce produit commerciale. Il rejoint un courant de recherche actif sur l'orchestration de politiques robotiques multiples, alors que le secteur voit se multiplier des modèles VLA à vocation généraliste censés unifier perception et action en un seul réseau. RoboHarness prend le contre-pied de cette tendance en misant sur la composition de systèmes hétérogènes plutôt que sur un modèle monolithique unique, un pari qui reste à valider au-delà des benchmarks académiques et des essais en laboratoire, notamment sur la robustesse en conditions industrielles réelles et à plus grande échelle.

RecherchePaper

1 source

2arXiv cs.RO

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper

1 source

3arXiv cs.RO

Planification à long terme grâce à des politiques bi-niveaux sur des modèles du monde symboliques

Une équipe de recherche publie sur arXiv (réf. 2605.15975, mai 2026) BISON, un système de planification robotique à deux niveaux conçu pour résoudre des tâches longue durée impliquant des séquences d'actions complexes. L'architecture repose sur des "bilevel policies" : une politique bas niveau (π^ll), un réseau de neurones entraîné par imitation sur des démonstrations continues, et une politique haut niveau (π^hl), construite à partir d'abstractions symboliques de ces mêmes démonstrations, enrichies par généralisation inductive. Sur les benchmarks étendus MetaWorld, BISON surpasse les méthodes VLA (Vision-Language-Action) et les architectures end-to-end en généralisation à de longues séquences et à des environnements contenant davantage d'objets que ceux vus à l'entraînement. Le chiffre mis en avant : la composante symbolique seule peut résoudre des problèmes impliquant 10 000 objets pertinents en moins d'une minute. L'enjeu technique sous-jacent est bien connu des équipes de robotique industrielle : l'apprentissage par imitation fonctionne remarquablement bien pour le contrôle fin des manipulateurs, mais ne passe pas à l'échelle dès qu'une tâche exige plusieurs dizaines d'étapes enchaînées. Les VLA de nouvelle génération comme Pi-0 ou les dérivés de RT-2 restent en difficulté sur ce point. BISON propose de ne pas choisir entre les deux paradigmes, mais de les stratifier : le réseau neuronal gère la dextérité physique, le raisonnement symbolique prend en charge la séquence globale. Pour un intégrateur ou un COO industriel, cela signifie potentiellement des robots capables d'exécuter des gammes opératoires longues sans replanification humaine à chaque étape, avec un coût mémoire et temps d'inférence réduit par rapport aux approches monolithiques. BISON s'inscrit dans un retour discret mais croissant aux approches hybrides neuro-symboliques, en réaction aux limites des architectures entièrement end-to-end qui dominent la littérature depuis 2022. La comparaison directe avec les VLA dans les expériences est un positionnement explicite dans ce débat. Il faut toutefois noter que les évaluations sont réalisées en simulation (MetaWorld), sans validation en environnement physique rapportée à ce stade, ce qui laisse entière la question du sim-to-real gap. La page projet est disponible, aucun calendrier de déploiement réel n'est annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Interpréteur vision-langage ancré pour la planification bimanuelle de tâches et mouvements à long horizon

Le laboratoire de recherche Omron Sinic X a publié une version mise à jour sur arXiv d'un article présentant ViLaIn-TAMP, un système hybride de planification pour robots bimanuels. Le framework combine trois briques : un interpréteur vision-langage (ViLaIn, dérivé d'un travail antérieur) qui convertit des entrées multimodales en spécifications structurées au format PDDL, un moteur de planification tâche-et-mouvement (TAMP) qui transforme ces spécifications en séquences de trajectoires concrètes en vérifiant leur faisabilité géométrique et symbolique avant exécution, et un module de planification corrective (CP) qui récupère les retours d'échec moteur et les réinjecte comme contraintes pour affiner la spécification initiale. Les chercheurs ont conçu des tâches de manipulation bimanuelle complexes dans un contexte de cuisine pour évaluer le système. Résultat : ViLaIn-TAMP dépasse de 17,5 points le taux de réussite moyen d'une approche de référence où un modèle vision-langage sert directement de planificateur, et le module correctif ajoute 32,9 points supplémentaires. Le framework a aussi été testé sur un robot physique à deux bras. L'enjeu dépasse la simple performance chiffrée. La quasi-totalité des travaux existants sur la planification pilotée par le langage se limite à des tâches de préhension-dépose à un seul bras, laissant la manipulation bimanuelle, où les sous-tâches sont étroitement interdépendantes et où les collisions inter-bras doivent être gérées explicitement, largement inexplorée. Les modèles vision-langage seuls agissent en boîte noire, sans garanties de sécurité vérifiables, tandis que les planificateurs symboliques classiques offrent ces garanties mais exigent une expertise poussée pour être configurés. En combinant les deux, ViLaIn-TAMP vise à répondre à un besoin concret pour les intégrateurs industriels : obtenir un comportement robotique interprétable et vérifiable avant déploiement, plutôt qu'une démonstration qui échoue silencieusement en conditions réelles. Le travail s'inscrit dans la continuité d'un ViLaIn antérieur, adapté ici pour la planification tâche-et-mouvement complète plutôt que la seule interprétation de scène. Il se positionne explicitement contre les approches où un modèle vision-langage fait office de planificateur de bout en bout, une tendance qui gagne du terrain mais que ces résultats questionnent en matière de fiabilité sur tâches longues et bimanuelles. Le code et les démonstrations sont disponibles sur la page du projet hébergée par Omron Sinic X.

RecherchePaper

1 source