Aller au contenu principal
Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites
RecherchearXiv cs.RO 

Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le laboratoire à l'origine de ce papier arXiv (identifiant 2602.12244, version révisée) présente AHAT, pour Any House Any Task, un planificateur de tâches ménagères conçu pour la planification à long horizon dans des environnements domestiques de grande taille et face à des consignes humaines ambiguës. Le système s'appuie sur un grand modèle de langage entraîné à convertir une instruction et un graphe de scène textuel (une représentation symbolique de la maison et des objets qu'elle contient) en sous-objectifs formalisés dans le langage PDDL, le standard académique pour décrire des problèmes de planification. Ces sous-objectifs sont ensuite résolus par un solveur symbolique explicite, qui produit un plan d'exécution complet et jugé optimal. Pour améliorer la capacité du modèle à décomposer des intentions complexes et floues, les auteurs introduisent TGPO, un nouvel algorithme d'apprentissage par renforcement qui intègre une correction externe des traces de raisonnement intermédiaires dans le cadre de GRPO, la méthode de renforcement popularisée par les modèles de raisonnement de type DeepSeek.

L'enjeu identifié par les auteurs est central pour la robotique de service : les planificateurs purement basés sur du prompting LLM voient leurs performances chuter fortement dès que l'environnement grandit, que le plan s'allonge, ou que l'instruction devient ambiguë. En combinant génération de sous-objectifs par LLM et résolution symbolique rigoureuse, AHAT vise à conserver la flexibilité du langage naturel tout en garantissant la faisabilité formelle du plan produit, un compromis recherché par tous les acteurs qui veulent faire sortir les agents domestiques du laboratoire. Les auteurs rapportent des gains significatifs face aux méthodes de référence par prompting, planification classique et apprentissage, notamment sur des tâches formulées de façon brève mais nécessitant une exécution complexe, le scénario le plus proche d'un usage domestique réel.

Il s'agit ici d'un travail de recherche publié sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement matériel : ni robot humanoïde, ni intégrateur, ni date de mise en service ne sont mentionnés. AHAT se positionne dans la lignée des travaux récents cherchant à hybrider LLM et planification symbolique PDDL pour la robotique domestique, une piste alternative aux approches VLA de bout en bout, et son intérêt réel pour l'industrie dépendra de sa reproductibilité et de son passage, ou non, à des essais sur robot physique.

Dans nos dossiers

À lire aussi

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme
1arXiv cs.RO 

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme

Le laboratoire à l'origine de RoboHarness propose un framework unifié qui encapsule des systèmes de contrôle robotique développés indépendamment, qu'il s'agisse de modèles VLA (vision-langage-action), de politiques d'apprentissage par renforcement (RL) ou de planificateurs tâche-et-mouvement (TAMP), sous forme de compétences agentiques réutilisables. L'idée centrale est d'orchestrer ces politiques hétérogènes sans les ré-entraîner conjointement, via une mémoire d'exécution multimodale et des preuves collectées en ligne qui cartographient les limites de capacité de chaque politique. Un composant appelé Memory Bridge récupère les trajectoires d'exécution associées à la politique suivante, estime sa région de distribution "in-distribution", puis guide le robot vers cette zone pour stabiliser les transitions entre politiques. Le système a été testé sur trois benchmarks publics, 500 tâches personnalisées et 135 expériences sur robot réel, avec des gains significatifs en planification zero-shot sur des horizons longs et en robustesse hors distribution. Le problème que RoboHarness cherche à résoudre est structurel pour l'industrie robotique: aucune politique unique, aussi performante soit-elle sur son benchmark d'origine, ne couvre l'ensemble des capacités nécessaires à une tâche longue et complexe. Les méthodes de planification existantes reposent sur des compétences homogènes et prédéfinies, avec une applicabilité fixe, ce qui limite leur capacité à combiner des modèles VLA génériques avec des politiques RL spécialisées ou des planificateurs TAMP plus rigoureux. En proposant un routage conscient des capacités et une décomposition dynamique des tâches, ce travail répond directement à une hypothèse contestée du secteur: qu'un seul modèle généraliste suffirait à couvrir la diversité des tâches robotiques. Pour les intégrateurs et les équipes R&D, cela ouvre la voie à des architectures modulaires où plusieurs politiques spécialisées, potentiellement issues de fournisseurs différents, cohabitent sans réentraînement coûteux. Ce travail s'inscrit dans un contexte de recherche académique, publié sur arXiv fin juillet 2026, plutôt que dans une annonce produit commerciale. Il rejoint un courant de recherche actif sur l'orchestration de politiques robotiques multiples, alors que le secteur voit se multiplier des modèles VLA à vocation généraliste censés unifier perception et action en un seul réseau. RoboHarness prend le contre-pied de cette tendance en misant sur la composition de systèmes hétérogènes plutôt que sur un modèle monolithique unique, un pari qui reste à valider au-delà des benchmarks académiques et des essais en laboratoire, notamment sur la robustesse en conditions industrielles réelles et à plus grande échelle.

RecherchePaper
1 source
Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement
2arXiv cs.RO 

Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement

Des chercheurs proposent une méthode baptisée VIZ-COAST, décrite dans une nouvelle version (v3) d'un article déposé sur arXiv (2510.25548), qui exploite des modèles vision-langage (VLM) pré-entraînés à grande échelle pour améliorer la planification de tâches et de mouvements (TAMP, Task and Motion Planning) en robotique. Le principe repose sur le raisonnement spatial de bon sens de ces VLM pour repérer, avant même de lancer la recherche de plan, les endroits où un plan de haut niveau risque de ne pas se traduire en trajectoire de mouvement continue exécutable. Les auteurs ont testé leur approche sur trois domaines TAMP jugés complexes, en extrayant des contraintes plausibles directement à partir d'images et de descriptions de domaine. Résultat annoncé : une réduction drastique des temps de planification, et dans certains cas une élimination complète des échecs de raffinement (downward refinement), avec une généralisation à un ensemble varié d'instances au sein d'un même domaine plus large. Il s'agit à ce stade d'un travail de recherche publié en prépublication, sans déploiement industriel ni produit commercialisé associé. L'enjeu touche un goulot d'étranglement classique de la planification robotique à long horizon : les plans de tâches sont construits sur une abstraction du monde pour rendre la recherche efficace, mais cette abstraction ne garantit pas qu'un plan valide au niveau symbolique puisse réellement être exécuté par un planificateur de mouvement continu. Quand ce lien (le raffinement descendant) est mauvais, des plans en apparence corrects échouent en cours d'exécution, forçant un replanification coûteuse en temps. Les méthodes existantes ne corrigent ce problème qu'après coup, une fois l'échec constaté, en gaspillant du temps de calcul sur des branches de recherche infaisables. L'apport de VIZ-COAST est de déplacer cette détection en amont, en utilisant le sens commun spatial des VLM comme filtre a priori plutôt que comme diagnostic a posteriori, ce qui rejoint une tendance plus large consistant à injecter les capacités des modèles de fondation vision-langage dans les piles de planification classiques utilisées par l'industrie robotique, notamment pour les systèmes de manipulation et de navigation à long horizon. Le contexte scientifique est celui des limites bien connues du TAMP, où l'écart entre plan symbolique et exécution physique reste un frein à l'autonomie des robots sur des tâches longues et complexes. Les travaux antérieurs cités par les auteurs se contentaient d'encoder les échecs de raffinement en contraintes correctives une fois détectés pendant la planification. VIZ-COAST s'inscrit dans la lignée des approches combinant VLM et robotique symbolique, sans toutefois préciser d'implémentation matérielle, de partenaire industriel ni de calendrier de déploiement : il s'agit pour l'instant d'une validation expérimentale sur des domaines de test, dont la prochaine étape logique serait une évaluation sur des plateformes robotiques réelles.

RecherchePaper
1 source
Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique
3arXiv cs.RO 

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper
1 source
Modélisation visuelle des tâches et planification automatisée pour robots humanoïdes dans l'éducation de personnes autistes
4arXiv cs.RO 

Modélisation visuelle des tâches et planification automatisée pour robots humanoïdes dans l'éducation de personnes autistes

Des chercheurs publient sur arXiv (2610.27162v1) une méthode permettant à un robot semi-autonome équipé d'une caméra de comprendre l'objectif d'une tâche et de planifier les actions pour l'atteindre, dans un cadre d'éducation assistée par robot. Le travail porte sur les « Shoebox Tasks », des activités de tri et d'assemblage couramment utilisées auprès de personnes autistes (TSA), conçues pour que le but se déduise directement de leur structure visuelle. L'équipe a développé un solveur qui s'appuie sur un grand modèle de langage doté de vision pour convertir des photos de la tâche en représentation PDDL (Planning Domain Definition Language, le langage standard de planification automatique), puis générer un plan d'actions. Une interface robotique permet à un robot Nao, le petit humanoïde éducatif de SoftBank/Aldebaran, d'exécuter seul diverses Shoebox Tasks et d'assister l'élève en suggérant la prochaine étape ou en signalant une erreur, par démonstration d'actions, commandes vocales ou gestes. Le solveur n'utilise que des images capturées en entrée. Aucun chiffre de performance, taux de réussite ou modèle de vision-langage précis n'apparaît dans le résumé. L'intérêt tient à l'architecture : le LLM ne pilote pas directement le robot, il traduit la scène en un problème formel que résout un planificateur symbolique. Ce découpage limite les actions incohérentes que produisent souvent les modèles de bout en bout, et rend le plan vérifiable, ce qui compte dans un contexte éducatif où une erreur peut déstabiliser un élève. L'absence de programmation requise côté enseignant s'attaque à un frein réel du secteur : les robots sociaux ont longtemps exigé des scénarios écrits à la main. Avec une interface adaptée, le solveur peut en outre être porté sur d'autres robots éducatifs, ce qui réduit la dépendance à une plateforme. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, sans données chiffrées dans le résumé, et rien n'indique encore une validation avec des élèves, un déploiement en classe ou un gain d'apprentissage mesuré. Le contexte est celui d'un champ de recherche établi, où les travaux en éducation spécialisée suggèrent que les élèves avec TSA tirent un bénéfice notable de l'enseignement assisté par robot, le Nao étant depuis des années la plateforme de référence de ces études. Ce travail s'écarte de la tendance dominante en robotique, celle des modèles vision-langage-action de bout en bout comme Pi-0 ou GR00T, en privilégiant la planification symbolique, plus lisible. Les suites logiques sont des essais en situation réelle avec des enseignants et des élèves, des mesures de fiabilité de la conversion image vers PDDL, et le portage vers d'autres robots, y compris des humanoïdes plus récents. Les auteurs affichent aussi l'objectif de susciter l'intérêt des personnes autistes pour la robotique.

RecherchePaper
1 source