RecherchearXiv cs.RO 27 octobre 2026

TrySee : ancrage modulaire d'un VLM enrichi par la perception pour la planification de tâches robotiques en boucle fermée dans des domaines spécialisés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

TrySee, un pipeline de planification de tâches robotiques en boucle fermée, vient d'être décrit sur arXiv (2610.35687). Il associe le raisonnement d'un modèle vision-langage (VLM) généraliste à des modules de perception propres à chaque domaine et à des briques robotiques classiques, notamment la planification de mouvement. Le système repose sur un cycle de planification réactif, enrichi par un prétraitement visuel modulaire qui assure un ancrage (grounding) en ligne de ce que voit le modèle. Un mécanisme de sélection dynamique du prétraitement permet d'étendre le pipeline à de nouveaux cas d'usage. Aucun fine-tuning du VLM ni démonstration de bout en bout n'est requis : l'adaptation passe par le remplacement des modules de perception et de planification de mouvement. L'évaluation couvre cinq domaines très différents, dont une tâche réelle de désassemblage robotisé, testée en environnement brownfield, c'est-à-dire un site existant non conçu pour la robotique. Le résumé ne donne ni taux de réussite, ni temps de cycle, ni nom de VLM ou de robot, ni détail sur les quatre autres domaines.

L'intérêt tient au problème visé. Les VLM raisonnent bien sur des scènes courantes, mais leur interprétation d'images et leur localisation d'objets se dégradent dans les contextes spécialisés, comme l'industrie, la maintenance ou le recyclage. Plutôt que de recourir à des modèles vision-langage-action (VLA) entraînés sur de grandes quantités de démonstrations, TrySee en conserve la partie « raisonnement » et confie la perception fine à des modules interchangeables. Pour un intégrateur, c'est une voie plus économe en données, qui rend le système plus auditable et permet de changer un composant sans réentraîner l'ensemble. Cela suggère aussi que, dans les domaines pauvres en données, une architecture modulaire reste une alternative crédible aux approches de bout en bout. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par les pairs. Sans chiffres publiés, la robustesse, la latence d'une boucle qui interroge un VLM à chaque cycle et la sensibilité au choix des modules restent inconnues. Un seul test réel, celui du désassemblage, ne prouve pas la généralité du système.

Ce travail s'inscrit dans la lignée des approches qui pilotent des robots par un modèle de langage, telles que SayCan ou Code as Policies. Il s'oppose à la tendance actuelle des VLA entraînés de bout en bout, comme Pi-0, Helix ou GR00T, qui demandent beaucoup de données de téléopération. Le désassemblage, utile à l'économie circulaire et au recyclage de batteries ou d'électronique, est un terrain où les variations d'objets sont importantes et les données rares. L'étape suivante consistera à publier des métriques détaillées, à comparer TrySee à des VLA et à tester le système sur davantage de sites industriels réels.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu

1 source

2arXiv cs.RO

VersualRL : apprentissage par renforcement verbal en boucle fermée avec retour visuel pour la planification robotique au niveau des tâches

VersualRL est un système en boucle fermée pour la planification de tâches robotiques qui exploite le retour visuel d'exécution afin d'affiner en continu des arbres de comportement (Behavior Trees) exécutables, via des critiques formulées en langage naturel structuré. L'architecture associe un modèle vision-langage jouant le rôle de critique, chargé d'analyser les observations visuelles et les traces d'exécution de l'arbre de comportement, à un grand modèle de langage jouant le rôle d'acteur, qui applique des mises à jour de politique discrètes et interprétables. Point notable : pendant le déploiement physique, les deux modèles fondation restent gelés, seul l'arbre de comportement est modifié au niveau symbolique, sans optimisation de politique par descente de gradient en ligne. Les auteurs ont validé leur approche sur un robot mobile réel exécutant une tâche de navigation et de manipulation en plusieurs étapes, dans des conditions d'incertitude d'exécution. Le papier, disponible sur arXiv (2603.22169), en est à sa troisième version. L'intérêt pour l'industrie robotique tient à l'absence de réentraînement par gradient sur le terrain, une contrainte lourde et coûteuse pour du réel. En figeant les modèles fondation et en ne modifiant que la structure symbolique du plan, VersualRL produit un raisonnement traçable et des évolutions de politique compréhensibles par un humain, un atout pour les intégrateurs et décideurs B2B soucieux d'auditabilité et de sécurité plutôt que de politiques neuronales opaques. Cette approche répond directement à l'écart classique entre démonstration et réalité observé sur le terrain, en offrant un mécanisme explicite de correction des échecs d'exécution plutôt qu'un simple ajustement statistique. Le travail s'inscrit dans une tendance qui combine raisonnement de modèles de fondation et contrôle symbolique classique, les arbres de comportement étant déjà largement utilisés en robotique industrielle pour la prise de décision hiérarchique. Il se distingue des approches bout-en-bout de type VLA (GR00T N2, Helix, Pi-0), qui misent sur des politiques neuronales continues, en privilégiant l'interprétabilité à la dextérité brute. L'abstract ne précise ni calendrier ni extension prévue à des tâches de manipulation plus complexes, laissant ces suites ouvertes.

RecherchePaper

1 source

3arXiv cs.RO

HEART : coordination d'agents experts hétérogènes pour la planification de tâches robotiques ancrée dans le réel

Une équipe de chercheurs publie sur arXiv (réf. 2606.25404) HEART, un framework de planification robotique qui distribue le raisonnement entre plusieurs LLM spécialisés plutôt que de confier l'ensemble de la tâche à un seul modèle. Le principe : décomposer une instruction complexe en sous-tâches atomiques (vérification des capacités du robot, analyse de l'atteignabilité des objets, respect des contraintes logiques et temporelles), puis allouer chacune à un agent LLM dédié, le tout sous une contrainte de budget en tokens pour rester viable sur du matériel embarqué ou en communication limitée. La synthèse finale produit un plan d'actions physiquement exécutable, validé avant transmission au robot. Les expériences sur plusieurs benchmarks de scénarios domestiques montrent une amélioration consistante du taux de succès face aux planificateurs mono-LLM et aux approches à base de règles, sans que l'abstract disponible détaille de chiffres absolus. La contribution centrale de HEART est d'intégrer une couche de validation physique avant la génération du plan, un angle mort chronique des approches LLM-only. Les modèles de langage généralisent bien le raisonnement symbolique mais peinent avec les contraintes géométriques réelles : objet hors de portée, séquence d'actions physiquement impossible, outil absent. En déléguant ces vérifications à des agents rôle-spécialisés, le framework réduit le taux de plans invalides ou incomplets. Pour les intégrateurs travaillant sur l'automatisation de tâches non-structurées en environnement domestique ou industriel léger, c'est un signal pertinent : la spécialisation des agents LLM par type de contrainte commence à produire des gains mesurables sur les benchmarks standard. Ce travail s'inscrit dans un courant de recherche actif qui cherche à dépasser les limites du "single LLM as planner", avec des approches comme SayPlan, LLM+P ou Code as Policies comme antécédents directs. Aucun acteur industriel ni déploiement terrain n'est mentionné, et le papier reste un preprint non relu par les pairs. L'absence de métriques chiffrées précises dans l'abstract (taux de succès, nombre de benchmarks, configurations matérielles testées) rend l'évaluation externe difficile. Les prochaines étapes naturelles seraient une validation sur robot physique réel et une comparaison contre des frameworks VLA (Vision-Language-Action) comme pi-0 ou GR00T N2, qui intègrent déjà un raisonnement ancré dans la perception sensorielle.

RecherchePaper

1 source

4arXiv cs.RO

Modélisation visuelle des tâches et planification automatisée pour robots humanoïdes dans l'éducation de personnes autistes

Des chercheurs publient sur arXiv (2610.27162v1) une méthode permettant à un robot semi-autonome équipé d'une caméra de comprendre l'objectif d'une tâche et de planifier les actions pour l'atteindre, dans un cadre d'éducation assistée par robot. Le travail porte sur les « Shoebox Tasks », des activités de tri et d'assemblage couramment utilisées auprès de personnes autistes (TSA), conçues pour que le but se déduise directement de leur structure visuelle. L'équipe a développé un solveur qui s'appuie sur un grand modèle de langage doté de vision pour convertir des photos de la tâche en représentation PDDL (Planning Domain Definition Language, le langage standard de planification automatique), puis générer un plan d'actions. Une interface robotique permet à un robot Nao, le petit humanoïde éducatif de SoftBank/Aldebaran, d'exécuter seul diverses Shoebox Tasks et d'assister l'élève en suggérant la prochaine étape ou en signalant une erreur, par démonstration d'actions, commandes vocales ou gestes. Le solveur n'utilise que des images capturées en entrée. Aucun chiffre de performance, taux de réussite ou modèle de vision-langage précis n'apparaît dans le résumé. L'intérêt tient à l'architecture : le LLM ne pilote pas directement le robot, il traduit la scène en un problème formel que résout un planificateur symbolique. Ce découpage limite les actions incohérentes que produisent souvent les modèles de bout en bout, et rend le plan vérifiable, ce qui compte dans un contexte éducatif où une erreur peut déstabiliser un élève. L'absence de programmation requise côté enseignant s'attaque à un frein réel du secteur : les robots sociaux ont longtemps exigé des scénarios écrits à la main. Avec une interface adaptée, le solveur peut en outre être porté sur d'autres robots éducatifs, ce qui réduit la dépendance à une plateforme. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, sans données chiffrées dans le résumé, et rien n'indique encore une validation avec des élèves, un déploiement en classe ou un gain d'apprentissage mesuré. Le contexte est celui d'un champ de recherche établi, où les travaux en éducation spécialisée suggèrent que les élèves avec TSA tirent un bénéfice notable de l'enseignement assisté par robot, le Nao étant depuis des années la plateforme de référence de ces études. Ce travail s'écarte de la tendance dominante en robotique, celle des modèles vision-langage-action de bout en bout comme Pi-0 ou GR00T, en privilégiant la planification symbolique, plus lisible. Les suites logiques sont des essais en situation réelle avec des enseignants et des élèves, des mesures de fiabilité de la conversion image vers PDDL, et le portage vers d'autres robots, y compris des humanoïdes plus récents. Les auteurs affichent aussi l'objectif de susciter l'intérêt des personnes autistes pour la robotique.

RecherchePaper

1 source