Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites
RecherchearXiv cs.RO 

Toute maison, toute tâche : planification évolutive à long terme pour des tâches humaines abstraites

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Le laboratoire à l'origine de ce papier arXiv (identifiant 2602.12244, version révisée) présente AHAT, pour Any House Any Task, un planificateur de tâches ménagères conçu pour la planification à long horizon dans des environnements domestiques de grande taille et face à des consignes humaines ambiguës. Le système s'appuie sur un grand modèle de langage entraîné à convertir une instruction et un graphe de scène textuel (une représentation symbolique de la maison et des objets qu'elle contient) en sous-objectifs formalisés dans le langage PDDL, le standard académique pour décrire des problèmes de planification. Ces sous-objectifs sont ensuite résolus par un solveur symbolique explicite, qui produit un plan d'exécution complet et jugé optimal. Pour améliorer la capacité du modèle à décomposer des intentions complexes et floues, les auteurs introduisent TGPO, un nouvel algorithme d'apprentissage par renforcement qui intègre une correction externe des traces de raisonnement intermédiaires dans le cadre de GRPO, la méthode de renforcement popularisée par les modèles de raisonnement de type DeepSeek.

L'enjeu identifié par les auteurs est central pour la robotique de service : les planificateurs purement basés sur du prompting LLM voient leurs performances chuter fortement dès que l'environnement grandit, que le plan s'allonge, ou que l'instruction devient ambiguë. En combinant génération de sous-objectifs par LLM et résolution symbolique rigoureuse, AHAT vise à conserver la flexibilité du langage naturel tout en garantissant la faisabilité formelle du plan produit, un compromis recherché par tous les acteurs qui veulent faire sortir les agents domestiques du laboratoire. Les auteurs rapportent des gains significatifs face aux méthodes de référence par prompting, planification classique et apprentissage, notamment sur des tâches formulées de façon brève mais nécessitant une exécution complexe, le scénario le plus proche d'un usage domestique réel.

Il s'agit ici d'un travail de recherche publié sur arXiv, sans lien annoncé avec un produit commercial ou un déploiement matériel : ni robot humanoïde, ni intégrateur, ni date de mise en service ne sont mentionnés. AHAT se positionne dans la lignée des travaux récents cherchant à hybrider LLM et planification symbolique PDDL pour la robotique domestique, une piste alternative aux approches VLA de bout en bout, et son intérêt réel pour l'industrie dépendra de sa reproductibilité et de son passage, ou non, à des essais sur robot physique.

Dans nos dossiers

arXiv cs.RO

À lire aussi

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme
1arXiv cs.RO 

RoboHarness : orchestration mémoire de politiques robotiques hétérogènes pour la planification à long terme

Le laboratoire à l'origine de RoboHarness propose un framework unifié qui encapsule des systèmes de contrôle robotique développés indépendamment, qu'il s'agisse de modèles VLA (vision-langage-action), de politiques d'apprentissage par renforcement (RL) ou de planificateurs tâche-et-mouvement (TAMP), sous forme de compétences agentiques réutilisables. L'idée centrale est d'orchestrer ces politiques hétérogènes sans les ré-entraîner conjointement, via une mémoire d'exécution multimodale et des preuves collectées en ligne qui cartographient les limites de capacité de chaque politique. Un composant appelé Memory Bridge récupère les trajectoires d'exécution associées à la politique suivante, estime sa région de distribution "in-distribution", puis guide le robot vers cette zone pour stabiliser les transitions entre politiques. Le système a été testé sur trois benchmarks publics, 500 tâches personnalisées et 135 expériences sur robot réel, avec des gains significatifs en planification zero-shot sur des horizons longs et en robustesse hors distribution. Le problème que RoboHarness cherche à résoudre est structurel pour l'industrie robotique: aucune politique unique, aussi performante soit-elle sur son benchmark d'origine, ne couvre l'ensemble des capacités nécessaires à une tâche longue et complexe. Les méthodes de planification existantes reposent sur des compétences homogènes et prédéfinies, avec une applicabilité fixe, ce qui limite leur capacité à combiner des modèles VLA génériques avec des politiques RL spécialisées ou des planificateurs TAMP plus rigoureux. En proposant un routage conscient des capacités et une décomposition dynamique des tâches, ce travail répond directement à une hypothèse contestée du secteur: qu'un seul modèle généraliste suffirait à couvrir la diversité des tâches robotiques. Pour les intégrateurs et les équipes R&D, cela ouvre la voie à des architectures modulaires où plusieurs politiques spécialisées, potentiellement issues de fournisseurs différents, cohabitent sans réentraînement coûteux. Ce travail s'inscrit dans un contexte de recherche académique, publié sur arXiv fin juillet 2026, plutôt que dans une annonce produit commerciale. Il rejoint un courant de recherche actif sur l'orchestration de politiques robotiques multiples, alors que le secteur voit se multiplier des modèles VLA à vocation généraliste censés unifier perception et action en un seul réseau. RoboHarness prend le contre-pied de cette tendance en misant sur la composition de systèmes hétérogènes plutôt que sur un modèle monolithique unique, un pari qui reste à valider au-delà des benchmarks académiques et des essais en laboratoire, notamment sur la robustesse en conditions industrielles réelles et à plus grande échelle.

RecherchePaper
1 source
Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement
2arXiv cs.RO 

Utiliser le raisonnement des VLM pour contraindre la planification tâche-mouvement

Des chercheurs proposent une méthode baptisée VIZ-COAST, décrite dans une nouvelle version (v3) d'un article déposé sur arXiv (2510.25548), qui exploite des modèles vision-langage (VLM) pré-entraînés à grande échelle pour améliorer la planification de tâches et de mouvements (TAMP, Task and Motion Planning) en robotique. Le principe repose sur le raisonnement spatial de bon sens de ces VLM pour repérer, avant même de lancer la recherche de plan, les endroits où un plan de haut niveau risque de ne pas se traduire en trajectoire de mouvement continue exécutable. Les auteurs ont testé leur approche sur trois domaines TAMP jugés complexes, en extrayant des contraintes plausibles directement à partir d'images et de descriptions de domaine. Résultat annoncé : une réduction drastique des temps de planification, et dans certains cas une élimination complète des échecs de raffinement (downward refinement), avec une généralisation à un ensemble varié d'instances au sein d'un même domaine plus large. Il s'agit à ce stade d'un travail de recherche publié en prépublication, sans déploiement industriel ni produit commercialisé associé. L'enjeu touche un goulot d'étranglement classique de la planification robotique à long horizon : les plans de tâches sont construits sur une abstraction du monde pour rendre la recherche efficace, mais cette abstraction ne garantit pas qu'un plan valide au niveau symbolique puisse réellement être exécuté par un planificateur de mouvement continu. Quand ce lien (le raffinement descendant) est mauvais, des plans en apparence corrects échouent en cours d'exécution, forçant un replanification coûteuse en temps. Les méthodes existantes ne corrigent ce problème qu'après coup, une fois l'échec constaté, en gaspillant du temps de calcul sur des branches de recherche infaisables. L'apport de VIZ-COAST est de déplacer cette détection en amont, en utilisant le sens commun spatial des VLM comme filtre a priori plutôt que comme diagnostic a posteriori, ce qui rejoint une tendance plus large consistant à injecter les capacités des modèles de fondation vision-langage dans les piles de planification classiques utilisées par l'industrie robotique, notamment pour les systèmes de manipulation et de navigation à long horizon. Le contexte scientifique est celui des limites bien connues du TAMP, où l'écart entre plan symbolique et exécution physique reste un frein à l'autonomie des robots sur des tâches longues et complexes. Les travaux antérieurs cités par les auteurs se contentaient d'encoder les échecs de raffinement en contraintes correctives une fois détectés pendant la planification. VIZ-COAST s'inscrit dans la lignée des approches combinant VLM et robotique symbolique, sans toutefois préciser d'implémentation matérielle, de partenaire industriel ni de calendrier de déploiement : il s'agit pour l'instant d'une validation expérimentale sur des domaines de test, dont la prochaine étape logique serait une évaluation sur des plateformes robotiques réelles.

RecherchePaper
1 source
Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique
3arXiv cs.RO 

Représentations sémantiques et géométriques des tâches pour la manipulation bimanuelles : des démonstrations humaines à la planification robotique

Des chercheurs ont publié une approche pour apprendre des représentations structurées de tâches bimanuelles directement à partir de démonstrations humaines, sans annotation manuelle des actions. Le système, baptisé représentation sémantique-géométrique par graphe, combine un encodeur de type Message Passing Neural Network (MPNN) avec un décodeur Transformer. L'encodeur opère sur un graphe de scène temporel : il capture les identités des objets, leurs relations sémantiques mutuelles et l'historique de leurs mouvements. Le décodeur, conditionné par le contexte d'action, prédit l'action suivante, les objets impliqués et leurs trajectoires. L'ensemble a été évalué sur onze tâches bimanuelles issues de deux jeux de données distincts, et déployé avec succès sur deux tâches réelles en boucle fermée, via un planificateur couplant les prédictions à des Probabilistic Movement Primitives (ProDMP). L'apport principal réside dans le découplage entre encodeur et décodeur : l'encodeur produit des représentations dites agnostiques à la tâche, réutilisables sur différents robots via un simple fine-tuning du décodeur sur un petit dataset robot. En pratique, cela réduit significativement le coût de ré-entraînement lors d'un changement de plateforme ou d'effecteur. Les résultats montrent que le bénéfice des représentations sémantiques-géométriques sur les modèles séquentiels plus simples s'accentue avec la variabilité des tâches : plus l'ordre des actions et les objets impliqués varient d'une exécution à l'autre, plus l'avantage est marqué. Le système surpasse des baselines incluant un Transformer pur, un décodeur seul, et des modèles vision-langage fine-tunés (VLM), ce qui est notable même si les benchmarks utilisés restent internes aux auteurs et non standardisés dans la communauté. Ce travail s'inscrit dans un effort plus large visant à combler le fossé entre manipulation bimanuelle en laboratoire et déploiement industriel, là où la reproductibilité d'exécutions variables reste un verrou. Il fait écho à des approches concurrentes comme les Vision-Language-Action models (VLA) de Google DeepMind ou les travaux sur les graphes de tâches de l'ETH Zurich, mais se distingue par son orientation vers le transfert inter-robots à faible coût de données. Les auteurs n'annoncent pas de partenaire industriel ni de timeline de déploiement commercial ; il s'agit d'un résultat académique, présenté en version révisée sur arXiv (v2, janvier 2026), dont les suites probables incluent une extension à des scènes plus encombrées et à des horizons de planification plus longs.

RecherchePaper
1 source
Assistance humaine à la demande pour poursuivre une tâche après un échec d'action physique dans la planification par LLM
4arXiv cs.RO 

Assistance humaine à la demande pour poursuivre une tâche après un échec d'action physique dans la planification par LLM

Une équipe de recherche présente REPAIR, un système de planification robotique combinant des modèles de langage (LLM) avec une intervention humaine à distance pour surmonter les échecs d'action physique, selon un article publié sur arXiv (2603.28156). Le problème visé est concret : lorsqu'un robot piloté par LLM échoue à saisir un objet, il peut continuer indéfiniment à tenter de le détecter sans réaliser, par exemple, que l'objet est tombé de la table, bloquant ainsi la tâche. Le système proposé fonctionne ainsi : quand le LLM détecte un échec d'action, le robot sollicite une assistance à distance, un opérateur humain résout le problème par téléopération puis décrit le résultat en langage naturel, information qui est réinjectée dans le LLM pour mettre à jour son plan et permettre la poursuite de la tâche. Les chercheurs ont testé leur approche sur une tâche réelle de collecte de déchets, en la comparant à une méthode entièrement autonome et à une téléopération intégrale de référence. Le système hybride améliore la progression de la tâche par rapport à la méthode purement autonome. Cette approche s'attaque à un angle mort connu du secteur : la plupart des systèmes de planification par LLM échouent silencieusement quand une erreur physique dépasse leur capacité de replanification en boucle fermée, tandis que les solutions purement téléopérées ne remontent jamais l'information vers le planificateur pour éviter de répéter l'erreur. En couplant intervention humaine ponctuelle et mise à jour du plan par retour en langage naturel, les auteurs montrent une voie intermédiaire entre autonomie totale et téléopération permanente, un compromis pertinent pour les intégrateurs qui déploient des robots en environnement non structuré sans vouloir monopoliser un opérateur à plein temps. Les résultats restent toutefois nuancés et méritent d'être lus avec prudence : pour les déchets faciles à récupérer, l'écart avec la référence téléopérée est faible, mais il se creuse nettement pour les cas plus difficiles, signe que le gain apporté par le LLM diminue quand la difficulté de manipulation augmente. Le travail s'inscrit dans la lignée des recherches sur la robustesse des systèmes de planification LLM appliqués à la robotique, un domaine où le fossé entre démonstrations en laboratoire et déploiement réel reste un sujet récurrent. Le site du projet est hébergé par l'équipe Emergent Systems Lab. L'étude se limite à un cas d'usage unique, la collecte de déchets, et les auteurs ne détaillent pas de calendrier de déploiement industriel ni de partenariat commercial à ce stade ; il s'agit d'un travail de recherche exploratoire plutôt que d'un produit prêt à l'emploi.

RecherchePaper
1 source