Aller au contenu principal
TaskGround : inférence de tâches exécutables structurées pour le raisonnement domestique globalIllustration générée par IA
RecherchearXiv cs.RO 

TaskGround : inférence de tâches exécutables structurées pour le raisonnement domestique global

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs publie TaskGround, un cadre de planification de tâches ménagères pour agents robotiques, dans un preprint arXiv daté de mai 2026 (arXiv:2605.18109). Le problème visé : dans un déploiement domestique réel, un agent reçoit une requête contextuelle ("prépare le petit-déjeuner") face à une scène complète comprenant des centaines d'objets non pertinents à la tâche. TaskGround adopte une architecture "Ground-Infer-Execute" en trois étapes, filtrage de la scène vers une tranche compacte d'entités pertinentes, inférence de la structure de tâche exécutable, puis compilation en séquence d'actions au niveau compétence. Le cadre est sans entraînement (training-free) et agnostique au modèle de langage sous-jacent. Pour l'évaluation, les auteurs introduisent FullHome, une suite de 400 tâches ménagères validées humainement, couvrant des environnements domestiques variés et deux types de contraintes : orientées objectif et orientées processus.

Les résultats montrent que TaskGround améliore substantiellement les taux de succès sur FullHome, aussi bien pour les modèles propriétaires qu'open-weight. Le point saillant : le modèle Qwen3.5-9B couplé à TaskGround devient compétitif avec GPT-5 en prompting direct complet, tout en réduisant le coût total en tokens d'entrée jusqu'à 18 fois. Pour les intégrateurs et équipes robotiques opérant sous contraintes de calcul local ou de confidentialité des données, c'est un signal concret : la sophistication du raisonnement n'exige pas nécessairement des modèles propriétaires massifs. Les auteurs identifient l'inférence de structure de tâche exécutable comme le goulot d'étranglement central du raisonnement en scène complète, davantage que la qualité intrinsèque du modèle de base.

Ce travail s'inscrit dans un axe de recherche actif autour des agents de planification pour la robotique domestique, qui cherche à combler l'écart entre démonstration en laboratoire et déploiement réel. Les approches concurrentes incluent les VLA (Vision-Language-Action models) de Physical Intelligence (pi0), les pipelines de planification hiérarchique utilisés par Figure ou 1X, ainsi que les travaux SayCan de Google DeepMind. TaskGround se distingue en n'exigeant aucun fine-tuning supplémentaire, ce qui facilite l'intégration à des stacks existantes. Le preprint reste pour l'instant confiné à l'évaluation sur benchmarks textuels et simulation ; une validation sur plateformes hardware réelles constituerait la prochaine étape naturelle, non encore annoncée.

À lire aussi

Raisonnement sans coût d'inférence : échafaudage sémantique latent pour les politiques VLA de robots
Illustration générée par IA
1arXiv cs.RO 

Raisonnement sans coût d'inférence : échafaudage sémantique latent pour les politiques VLA de robots

Une équipe de recherche a publié sur arXiv (arXiv:2609.04893v1, soumis début septembre 2026) une méthode nommée Latent Semantic Scaffolding (LSS), conçue pour les modèles vision-langage-action (VLA) qui pilotent des robots manipulateurs. Le constat de départ : les VLA actuels apprennent par imitation à partir de démonstrations humaines et retiennent quelle action exécuter, mais pas pourquoi ; ajouter un raisonnement causal améliore la manipulation, mais les méthodes existantes le paient cher à l'inférence, en générant des tokens de raisonnement ou en simulant des états futurs à chaque pas de contrôle, un surcoût qui s'accumule sur les séquences longues. LSS introduit à la place une perte auxiliaire appliquée uniquement pendant le pré-entraînement sur démonstrations humaines : une petite tête de projection aligne les représentations des tokens d'action du VLA avec des embeddings textuels de justifications physiques du geste. Cette tête est ensuite supprimée à l'inférence, laissant la politique de base intacte et donc sans coût additionnel au déploiement. La découverte centrale concerne la granularité de cet alignement : une version « Dense », qui relie chaque token d'action au raisonnement propre à sa phase de manipulation, transfère nettement mieux vers des tâches inédites qu'une version « Pooled » fondée sur un embedding unique pour tout l'épisode, laquelle se sur-spécialise à la tâche d'entraînement. Une sonde représentationnelle montre que Dense LSS induit environ deux fois plus de séparabilité par phase dans le réseau de base. Le résultat intéresse directement les concepteurs de politiques VLA de type Pi-0, GR00T N2 ou Helix, confrontés à un arbitrage classique entre qualité du raisonnement et fréquence de contrôle en temps réel. En déplaçant le bénéfice du raisonnement causal vers la phase d'entraînement, LSS suggère qu'il est possible d'obtenir un gain de généralisation sans dégrader le temps de cycle ni la charge de calcul embarquée, un point critique pour les intégrateurs qui évaluent le ROI de bras manipulateurs ou d'humanoïdes en production. Il faut toutefois noter qu'il s'agit d'un article de recherche non encore relu par les pairs, avec des résultats obtenus sur un jeu de tâches et d'architectures limité, pas d'une validation à grande échelle industrielle. Ces travaux s'inscrivent dans la lignée des VLA de type fondation qui dominent la robotique de manipulation depuis l'essor de modèles comme RT-2, Pi-0 ou GR00T N2, et dans le prolongement d'une autre famille de méthodes qui injectent du raisonnement explicite via chaînes de pensée ou modèles du monde, au prix d'un calcul supplémentaire à chaque étape. LSS se positionne comme une alternative à ce compromis en traitant l'alignement sémantique comme un mécanisme d'entraînement jetable plutôt que comme un module permanent. L'abstract ne mentionne ni laboratoire ni entreprise nommément, ni acteur français ou européen ; les auteurs annoncent vouloir approfondir l'effet de la granularité de l'alignement sur d'autres tâches et vérifier si Dense LSS se généralise à des architectures VLA de plus grande échelle.

RechercheActu
1 source
GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues
Illustration générée par IA
2arXiv cs.RO 

GraphThink : une planification robotique guidée par un graphe de raisonnement pour les tâches longues

Des chercheurs présentent GraphThink, un nouveau framework de planification pour agents robotiques pilotés par des grands modèles de langage (LLM), détaillé dans un article publié le 7 août 2026 sur arXiv (2608.07905v1). Le système combine deux structures de données : un graphe de tâches (task graph), qui guide le raisonnement du LLM via un prompting contextuel et un raffinement itératif pour limiter les hallucinations de planification, et un graphe de scène (scene graph), qui sert de mémoire environnementale pour déclencher une replanification en boucle fermée dès qu'un événement imprévu survient. L'entraînement du planificateur s'appuie sur GRPO (Group Relative Policy Optimization), avec une conception de récompense calquée sur le graphe de tâches. Sur le benchmark ALFRED, référence standard pour l'exécution de tâches ménagères instruites en langage naturel par un agent virtuel, GraphThink atteint l'état de l'art : son module de haut niveau dépasse les LLM propriétaires accessibles par API, aussi bien sur l'ensemble de validation que sur des tâches longues inédites (held-out long-horizon tasks), avec une bonne généralisation zero-shot et few-shot à des environnements et tâches jamais vus. Ce résultat cible un problème central pour l'industrie de la robotique humanoïde et des agents incarnés : les planificateurs fondés sur des LLM génériques hallucinent souvent des actions physiquement impossibles et perdent en cohérence sur des séquences de tâches longues, un écart classique entre démonstration et usage réel. En ancrant le raisonnement dans une représentation structurée de l'environnement plutôt que dans le seul texte, GraphThink illustre une piste concrète pour fiabiliser les architectures de type VLA (vision-language-action) utilisées par des systèmes comme GR00T N2 ou Helix, sans dépendre uniquement de modèles propriétaires massifs. Il s'agit toutefois d'un résultat de recherche évalué en simulation sur ALFRED, non d'un déploiement sur robot physique. Le champ des planificateurs LLM pour la robotique s'est développé depuis des approches comme SayCan ou Code as Policies, et la comparaison de GraphThink aux LLM API démontre surtout un gain méthodologique en environnement contrôlé ; sa validation sur du matériel réel reste l'étape suivante attendue.

RecherchePaper
1 source
T2-z : optimisation à l'inférence des latents d'environnement pour les modèles du monde en robotique
Illustration générée par IA
3arXiv cs.RO 

T2-z : optimisation à l'inférence des latents d'environnement pour les modèles du monde en robotique

T2-Z est une méthode de recherche, décrite dans un article arXiv (2610.22364v1), qui ajoute à un modèle du monde robotique un « latent d'environnement » apprenable. Ce vecteur compact conditionne les prédictions du modèle et capte des facteurs que la caméra ne voit pas et que personne n'a spécifiés : friction, masse, mais aussi règles définies par l'humain. L'entraînement alterne deux étapes. Dans la première, les latents sont fixés et le modèle apprend une dynamique générale conditionnée par l'action, sur plusieurs environnements. Dans la seconde, le modèle est gelé et seuls les latents sont optimisés. La structure du latent émerge ainsi de la seule prédiction du monde, sans supervision sur la nature ou la valeur des facteurs. Au test, le modèle reste gelé. Un latent initialisé à neuf est optimisé à partir d'une ou plusieurs interactions, ce qui adapte le modèle à une configuration inédite. Sur 7 environnements simulés et 4 tâches robotiques réelles, les auteurs annoncent une baisse de l'erreur de prédiction des objets de 15,20 à 7,00 et une hausse du taux de réussite des actions de 33,73 % à 72,96 %. Pour les intégrateurs et les équipes qui déploient des robots de manipulation, l'enjeu est l'écart entre la démonstration et la réalité. Un modèle entraîné dans un cadre donné se dégrade dès qu'un objet est plus lourd, qu'un sol est plus glissant ou qu'une règle de tâche change. Ici, l'adaptation ne demande ni réentraînement, ni étiquetage des propriétés physiques, ni identification manuelle des paramètres. Elle repose sur de l'optimisation à l'inférence, et les ablations indiquent qu'une seule trajectoire d'interaction peut suffire. C'est un argument en faveur de modèles du monde qui s'ajustent en quelques essais sur site. Les réserves habituelles s'appliquent. Les gains sont des moyennes sur un benchmark choisi par les auteurs, et le résumé ne donne ni plateforme robotique, ni nature des tâches réelles, ni coût de calcul de l'optimisation au test. Le taux de 72,96 % reste aussi loin d'un seuil industriel. L'approche s'inscrit dans une lignée connue : randomisation de domaine, identification de système, méta-apprentissage et modèles du monde conditionnés par des variables latentes, comme les travaux de type Dreamer ou les modèles vidéo-action. Elle prolonge les politiques généralistes de type VLA (vision-langage-action), qui ont du mal à tenir compte de propriétés non observables. Les auteurs rapportent que les latents appris organisent des facteurs individuels et combinés à travers des scènes visuelles variées, ce qui laisse entrevoir une certaine interprétabilité. Aucun pilote ni calendrier de transfert vers un produit n'est annoncé, et l'article est une préimpression, sans évaluation par les pairs. Les prochaines étapes à surveiller sont la publication du code, les tests sur des plateformes variées et la combinaison avec des politiques VLA ou de la planification par modèle prédictif.

RecherchePaper
1 source
Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents
Illustration générée par IA
4arXiv cs.RO 

Raisonnement structuré sur l'état du monde pour la recherche robotique à base d'agents

Des chercheurs proposent WORLDS (World-state Observation and Reasoning for Language-guided Discovery and Search), un cadre pour la recherche robotique guidée par le langage naturel sur de longs horizons, détaillé dans un preprint publié sur arXiv (arXiv:2609.23841). Le système construit un graphe persistant initialisé à partir de priors géospatiaux, mis à jour par la perception, dans lequel des "Reasoners" parallèles maintiennent plusieurs interprétations candidates concurrentes et déclenchent la collecte d'observations pour les départager, avant qu'un "Examiner" multimodal traite ces observations et qu'un "Judge" choisisse une cible ou redemande une passe supplémentaire. Sur le benchmark CityNav, WORLDS atteint 51,8% de succès de navigation sur l'ensemble des 5 311 épisodes de test, le meilleur taux publié à ce jour, soit 15,7 points de plus que la référence précédente, sous un protocole limité aux données OpenStreetMap et à l'imagerie orthographique haute résolution. Sur un sous-ensemble comparatif de 1 000 épisodes, à modèle, prior, chaîne de perception et budget de déplacement identiques, WORLDS obtient 50,0% contre 27,9% pour la meilleure base adaptée. La vérification par observations de l'Examiner apporte à elle seule 5,9 points, et même avec un effort de raisonnement réduit, WORLDS dépasse encore la référence GeoNav adaptée de 18,8 points tout en générant moins de tokens. Pour les intégrateurs de robotique autonome et les équipes travaillant sur la navigation par instructions en langage naturel, ce résultat suggère que l'écart provient bien de l'architecture de raisonnement, avec maintien d'hypothèses concurrentes et vérification active par perception, plutôt que d'un simple gain de puissance de calcul, puisque la comparaison se fait à modèle et budget identiques. Le fait que la performance se maintienne, voire s'améliore relativement, à effort de raisonnement réduit et avec moins de tokens générés est un signal concret pour des applications embarquées où la latence et la puissance de calcul sont contraintes, comme les drones. Le cadre a aussi été testé sur un quadrirotor, qui exécute les points de passage de détection générés par le système et identifie trois cibles langagières à partir de son imagerie embarquée, dont un véhicule absent de la carte initiale. Il s'agit toutefois d'un preprint de recherche non encore évalué par les pairs, sans nom d'entreprise ni date de déploiement commercial associée: la démonstration drone reste un test de validation en conditions contrôlées, pas un produit déployé sur le terrain.

RecherchePaper
1 source