Agents neurosymboliques incarnés

Un agent neurosymbolique décrit dans un article publié sur arXiv sous la référence 2608.16794 vise à rendre exécutables les plans que les modèles de vision-langage (VLM) génèrent pour des tâches domestiques, alors que ces plans violent souvent la physique de l'environnement ou ciblent des objets mal identifiés. Le système fonctionne en deux phases : une exploration visuelle dirigée par la tâche construit d'abord, à partir d'observations égocentriques et d'interactions ancrées, un état symbolique initial fiable ; puis un modèle de transition PDDL restreint le décodage aux seules actions réalisables, complété par une recherche arborescente Monte Carlo (MCTS) guidée par une heuristique de planification indépendante du domaine. Testé sur les environnements simulés VirtualHome et ALFWorld, le système dépasse 90% de réussite avec des modèles ouverts de 4 à 27 milliards de paramètres, et sa version la plus légère surpasse nettement une politique visuelle directe à 27 milliards de paramètres. Sur ALFWorld, contraintes seules ou recherche seule ne résolvent chacune qu'un tiers des tâches, contre plus de 95% une fois combinées.

Cette démonstration cible un problème central de l'IA embodied : la fiabilité à l'exécution des plans produits par de grands modèles de langage, souvent convaincants en démonstration mais fragiles une fois confrontés à un environnement réel. En garantissant l'exécutabilité par construction plutôt que par apprentissage, la méthode déplace le goulot d'étranglement vers la perception : les échecs résiduels proviennent presque exclusivement d'erreurs d'ancrage visuel lors de l'acquisition de l'état, pas de la planification, ce qui réoriente l'effort de recherche vers la perception plutôt que vers des modèles toujours plus gros. L'approche consomme aussi nettement moins de tokens générés qu'un raisonnement étendu classique et bien moins d'images vues par le modèle qu'une interaction directe, un argument concret pour les intégrateurs cherchant à réduire les coûts de calcul embarqué, sans entraînement spécialisé additionnel.

Le travail s'inscrit dans la filiation de la planification symbolique classique (PDDL), réactivée par l'essor des modèles vision-langage-action qui dominent aujourd'hui la robotique humanoïde et domestique. Il s'oppose implicitement aux approches tout-apprentissage bout en bout, qui misent sur des politiques visuelles directes sans structure symbolique explicite, en montrant qu'un modèle nettement plus petit mais correctement contraint peut surpasser un modèle plus gros laissé libre. La validation reste toutefois cantonnée à des environnements simulés : le transfert vers un robot physique dépendra, selon les auteurs eux-mêmes, de la qualité de l'ancrage visuel en conditions réelles, une étape que le papier n'a pas encore testée sur matériel.