Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

FISRF : un cadre de réflexion à échafaudage d'instructions flexible pour la planification de tâches robotiques avec un grand modèle de langage

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs proposent FISRF (Flexible Instructional Scaffolding Reflection Framework), une architecture « agent et mentor » qui vise à améliorer la planification de tâches robotiques pilotée par un grand modèle de langage (LLM). Le principe emprunte à la pédagogie la notion de zone proximale de développement (ZPD). Le système estime ce que le robot sait déjà faire seul et ce qui exige une aide extérieure. Il choisit ensuite, de façon adaptative, la stratégie de réflexion et le niveau de guidage du mentor. Les auteurs annoncent des essais sur le benchmark ALFWorld (environnement domestique simulé en texte) et sur des plateformes robotiques réelles, non précisées dans le résumé. Ils rapportent 37 % de tours de correction d'erreurs en moins, 25,1 % de raisonnement redondant en moins et un gain de 8 points de taux de réussite global. Le travail est un préprint arXiv publié avec une page de projet.

L'intérêt tient au problème ciblé. Les méthodes de réflexion de type auto-correction laissent le LLM explorer seul, et les erreurs des premières interactions avec un nouvel environnement s'accumulent dans la mémoire d'expérience, ce qui dégrade la suite. Encadrer cette phase de démarrage répond à une difficulté réelle du déploiement sur site, où un robot arrive dans un lieu inconnu. Il faut toutefois rester prudent. Le gain de 8 points est modeste. Le résumé ne précise ni les modèles de référence comparés, ni les robots utilisés, ni le nombre d'essais réels. La question du coût du mentor, probablement un autre LLM ou un humain, reste ouverte. L'économie de tours de correction pourrait être annulée par ces appels supplémentaires.

Ces travaux s'inscrivent dans la lignée des approches de réflexion verbale comme Reflexion, déclinées sur ALFWorld, et des planificateurs LLM pour la robotique. Leur limite récurrente est la dépendance à l'exploration autonome. FISRF ajoute une supervision graduée plutôt qu'un modèle plus gros ou un entraînement spécifique. Aucun calendrier de pilote ni partenaire industriel n'est mentionné, et aucun acteur français ou européen n'est cité. Le résultat relève donc de la recherche académique. La suite logique serait une validation sur des tâches de manipulation plus longues, avec des mesures de latence et de coût.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques
1arXiv cs.RO 

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io. L'article ne précise pas de métriques chiffrées de type charge utile, degrés de liberté ou temps de cycle, ni de nom de robot commercial identifiable, ce qui limite l'évaluation de la performance réelle du système face aux standards du secteur. L'intérêt de ce travail réside dans la promesse de généralisation inter-incarnations, c'est-à-dire la capacité d'un même modèle à fonctionner sur des morphologies de robots différentes sans réentraînement spécifique à chaque plateforme. C'est l'un des points durs actuels de l'IA robotique, où les modèles VLA (vision-language-action) peinent souvent à transférer d'un bras ou d'un humanoïde à un autre. Si l'adaptabilité dynamique aux changements de consigne se confirme à plus grande échelle, cela répondrait à une limite classique des architectures de planification traditionnelles, qui séparent rigidement le raisonnement de haut niveau de l'exécution bas niveau et s'adaptent mal aux imprévus. Ce travail s'inscrit dans la lignée des modèles VLA récents comme Pi-0 ou GR00T N2, qui cherchent tous à unifier perception, langage et action dans un même modèle entraîné de bout en bout. Il s'agit ici d'une contribution académique, sans annonce de partenaire industriel ni de déploiement commercial, et la prudence reste de mise tant qu'une validation indépendante sur des benchmarks standardisés n'a pas été publiée.

RechercheActu
1 source
OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle
2arXiv cs.RO 

OntoPlan : une représentation de scène fondée sur une ontologie et un cadre à base d'agents pour la planification de tâches robotiques à grande échelle

Des chercheurs publient OntoPlan, un cadre de planification de tâches robotiques fondé sur une représentation ontologique de la scène, accompagné d'un code ouvert sur GitHub (dépôt namhyeongwoo/OntoPlan). Le système cible un défaut connu de la planification par grands modèles de langage (LLM) : sur les tâches à long horizon dans de vastes environnements, la performance se dégrade. Quand la géométrie de la scène est transmise sous forme de texte, le modèle saisit mal le contexte spatial, et le coût en tokens croît avec la taille de l'environnement. OntoPlan aligne objets, espaces, relations et états dans un vocabulaire symbolique commun. Un cadre agentique interprète l'instruction, récupère de façon sélective les informations utiles, formalise buts et contraintes, puis produit un plan exécutable. Sur 150 tâches générales réparties dans cinq environnements intérieurs et trois échelles de scène, il atteint un taux de réussite moyen de 0,89, contre 0,27 pour la meilleure méthode de référence. Il consomme en moyenne 18,1 k tokens par tâche, soit environ 5,6 fois moins que la référence la plus économe. L'enjeu est double pour les intégrateurs et les équipes qui déploient des robots pilotés par LLM. D'abord, l'écart de 0,89 contre 0,27 suggère que le goulot d'étranglement tient moins à la capacité de raisonnement du modèle qu'à la manière de lui présenter le monde : un LLM qui génère directement des séquences d'actions peine à respecter l'état courant et les préconditions, alors qu'une formalisation symbolique les rend vérifiables. Ensuite, le coût en tokens, rarement discuté dans les démonstrations, détermine la viabilité économique et la latence en exploitation. Les auteurs indiquent que l'avantage persiste quand l'échelle de la scène augmente, alors que les méthodes concurrentes perdent davantage en réussite et restent beaucoup plus coûteuses. Le système demande aussi des précisions face à une instruction ambiguë, ou signale un manque d'information face à une instruction infaisable, au lieu de s'engager dans un plan invalide. C'est un comportement de sécurité utile pour tout déploiement industriel. Plusieurs réserves s'imposent. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Les résultats viennent d'un banc d'essai de 150 tâches, sans précision dans le résumé sur la nature des environnements (simulés ou réels) ni sur les méthodes de référence. Les chiffres ne disent donc rien de la robustesse en conditions réelles, où perception bruitée et échecs d'exécution compliquent la construction de l'ontologie. Ce travail s'inscrit dans le courant de la planification neuro-symbolique, qui combine LLM et planificateurs formels (type PDDL) pour pallier les limites des approches où le modèle génère directement les actions. Il se distingue des modèles vision-langage-action de bout en bout, qui traitent le bas niveau. La publication du code permettra une reproduction indépendante, étape décisive pour juger si l'écart de performance tient hors du banc d'essai des auteurs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Une étude systématique des grands modèles de langage pour la planification tâche-mouvement avec PDDLStream
3arXiv cs.RO 

Une étude systématique des grands modèles de langage pour la planification tâche-mouvement avec PDDLStream

Une équipe de recherche a mené une étude systématique sur l'usage des grands modèles de langage (LLM) pour la planification tâche-mouvement (TAMP) en robotique, en s'appuyant sur le framework PDDLStream. Les auteurs ont conçu 16 algorithmes différents substituant des composants clés de TAMP par des LLM, puis les ont évalués en zero-shot sur 13750 essais répartis sur trois domaines robotiques distincts. Le code et les résultats complets sont disponibles publiquement sur GitHub (jorge-a-mendez/llm-pddlstream). L'article, référencé arXiv:2510.00182, constitue une version révisée (replace) d'une publication antérieure. Les résultats tempèrent nettement l'enthousiasme autour des LLM comme solution universelle de planification robotique. Les planificateurs basés sur des LLM affichent des taux de réussite inférieurs et des temps de calcul supérieurs comparés aux systèmes d'ingénierie classiques, spécialisés pour la tâche. Autre constat contre-intuitif: fournir des détails géométriques supplémentaires aux LLM augmente le nombre d'erreurs de planification par rapport à des descriptions PDDL pures, suggérant que l'ajout de contexte ne se traduit pas automatiquement par de meilleures décisions. Les variantes LLM "directes", plus rapides, surpassent dans la majorité des cas les variantes à raisonnement explicite, plus lentes, ce qui interroge la valeur ajoutée du chain-of-thought pour ce type de tâche. Pour les intégrateurs et chercheurs en robotique, ce travail rappelle que malgré les progrès des LLM sur le raisonnement sémantique, le couplage avec la planification formelle et géométrique reste un défi ouvert, loin d'être résolu par la simple taille des modèles. TAMP combine depuis des années la planification symbolique de tâches et la planification continue de mouvements, un problème historiquement traité par des solveurs spécialisés comme PDDLStream. L'essor des LLM a multiplié les propositions visant à exploiter leurs connaissances sémantiques pour remplacer certains de ces composants formels, souvent via des démonstrations isolées et peu comparables entre elles. Cette étude se distingue en proposant une évaluation empirique large et contrôlée plutôt qu'un nouveau système ponctuel, offrant une base de comparaison utile pour orienter les futurs travaux hybrides associant raisonnement neuronal et garanties formelles.

RecherchePaper
1 source
Génération d'arbres de comportement multimodaux : un petit modèle vision-langage pour la planification de tâches robotiques
4arXiv cs.RO 

Génération d'arbres de comportement multimodaux : un petit modèle vision-langage pour la planification de tâches robotiques

Une nouvelle version (v2) d'un article de recherche publié sur arXiv (2603.06084) détaille un pipeline pour entraîner des modèles vision-langage (VLM) compacts à générer des arbres de comportement (Behavior Trees, BT) exécutables et compatibles ROS2 pour la planification de tâches robotiques. Les auteurs ont converti 1 622 épisodes du corpus Open X-Embodiment via un pipeline enseignant multi-étapes, produisant un jeu de données augmenté de 2 433 exemples multimodaux associant images, instructions et BT. Ce jeu de données a servi à affiner, par fine-tuning efficace en paramètres (PEFT), des VLM open source allant de 500 millions à 4 milliards de paramètres. Les BT générés ont été évalués hors ligne sur leur validité syntaxique, puis exécutés sur 15 tâches domestiques dans l'environnement de simulation BEHAVIOR-1K. Le meilleur modèle, Gemma-3 4B, atteint une validité syntaxique parfaite et un taux de réussite de 87%, devançant Claude Opus 4.8 et approchant GPT-5, tout en tournant entièrement en local. Ce résultat nourrit le débat récurrent sur l'écart entre démonstration et réalité dans la planification robotique pilotée par IA: un modèle compact, exécutable sans API propriétaire ni connexion cloud, égale voire dépasse des modèles fermés bien plus massifs sur une tâche concrète. Pour les intégrateurs et décideurs industriels, c'est un signal en faveur d'une planification embarquée, sans latence réseau ni coûts d'inférence récurrents, un critère souvent déterminant pour un déploiement à grande échelle. Les ablations confirment aussi une hypothèse centrale du secteur: l'ancrage visuel est décisif, le taux de réussite passant de 40% en texte seul à 87% avec observations visuelles. L'augmentation de données, elle, fait grimper la validité syntaxique des BT de 65% à 100%, rappelant que la qualité des données d'entraînement prime souvent sur la taille du modèle. Ces travaux prolongent une lignée de recherches utilisant les Behavior Trees, formalisme hiérarchique déjà répandu en robotique industrielle via ROS2, comme cible de génération pour les grands modèles de langage. Jusqu'ici, ces approches restaient soit purement textuelles, soit dépendantes de VLM propriétaires massifs, faute de jeu de données public reliant observations visuelles et BT exécutables, un manque que ce travail cherche explicitement à combler. La comparaison directe avec Claude Opus 4.8 et GPT-5 positionne cette contribution académique comme une tentative de démocratiser la planification VLM face aux modèles propriétaires. Aucun partenariat industriel ni déploiement sur robot physique n'est mentionné: l'évaluation reste cantonnée à la simulation BEHAVIOR-1K, ce qui invite à la prudence avant toute extrapolation vers un usage en environnement réel.

RechercheOpinion
1 source