Aller au contenu principal
ProAct-VLM : replanification de tâches vision-langage avant l'échec, avec retour de perception continuIllustration générée par IA
RecherchearXiv cs.RO 

ProAct-VLM : replanification de tâches vision-langage avant l'échec, avec retour de perception continu

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs publie sur arXiv ProAct-VLM, un cadre de planification de tâches pour la manipulation robotique. Il intègre un modèle vision-langage (VLM) dans une boucle de perception en temps réel. Le code et la page projet sont hébergés sur GitHub (moured/ProAct-VLM). Le système surveille l'environnement en continu pendant l'exécution d'une tâche longue et replanifie dès qu'un changement pertinent apparaît, avant que l'action en cours n'échoue. Les auteurs l'ont comparé à plusieurs approches de référence et l'ont testé avec différents VLM comme backbone. Ils rapportent de meilleurs taux de succès et une meilleure efficacité sur des tâches de manipulation dynamiques à long horizon. Le résumé publié ne donne ni chiffres précis, ni nom de robot, ni liste des baselines. Le gain reste donc à vérifier dans le texte complet.

Le problème visé est courant en déploiement : une pièce déplacée, un objet tombé ou un opérateur qui passe suffisent à rendre un plan périmé ou dangereux. Les pipelines à règles, réglés à la main pour des scénarios précis, se généralisent mal en milieu ouvert. Les cadres à base de VLM existants replanifient surtout de façon réactive, après un échec d'exécution ou lors d'un contrôle en fin de tâche. Certains vérifient des conditions avant chaque action, mais ces contrôles ponctuels ne voient pas ce qui change pendant le mouvement. ProAct-VLM propose de passer d'une correction après l'échec à une anticipation pendant l'exécution. Pour un intégrateur, l'enjeu est de réduire les arrêts, les reprises et les risques de collision dans les environnements semi-structurés, comme la logistique ou l'assemblage avec présence humaine. Il faut toutefois rester prudent. Une boucle de perception continue couplée à un VLM pose des questions de latence, de coût de calcul et de fausses alertes qui déclenchent des replanifications inutiles. Le résumé n'en dit rien.

Ce travail s'inscrit dans le mouvement qui utilise les modèles vision-langage comme planificateurs de haut niveau, en complément des politiques VLA (vision-langage-action) qui pilotent directement les actionneurs. Les cadres de replanification réactifs et les vérifications de préconditions constituent les références directes. Ils sont cités comme les limites que ProAct-VLM cherche à dépasser. Il s'agit d'une prépublication (v1) non évaluée par des pairs. On ne sait pas encore si les résultats ont été obtenus en simulation ou sur robot réel, ni sur quelles plateformes. Les prochaines étapes à surveiller sont la publication du code, la reproduction indépendante et des tests sur matériel avec des perturbations réelles.

À lire aussi

Adaptation de la planification avec pensées vision-langage entrelacées
Illustration générée par IA
1arXiv cs.RO 

Adaptation de la planification avec pensées vision-langage entrelacées

Une équipe de recherche présente APIVOT (Adaptive Planning with Interleaved Vision-Language Thoughts), un planificateur pour robots basé sur un modèle vision-langage (VLM), détaillé dans un article publié sur arXiv le 8 juillet 2026 (référence 2607.08024v1). Le système cible la planification à long horizon, c'est-à-dire des tâches robotiques composées de plusieurs étapes successives, comme des scénarios de cuisine impliquant la manipulation d'objets dans un espace contraint. Sa particularité est d'alterner de façon adaptative entre deux types de raisonnement: du texte pour décomposer les objectifs, sélectionner les objets pertinents et séquencer les actions, et des représentations visuelles générées pour imaginer les états futurs de la scène et vérifier en interne si un plan est géométriquement réalisable, notamment en cas d'espace libre limité…

RecherchePaper
1 source
Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage
Illustration générée par IA
2arXiv cs.RO 

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter.

RecherchePaper
1 source
Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques
Illustration générée par IA
3arXiv cs.RO 

Vision-Langage-Politique : un modèle pour la planification dynamique des tâches robotiques

Une équipe de recherche propose un nouveau modèle baptisé Vision-Language-Policy, ou VLP, destiné à la planification dynamique de tâches robotiques à partir de commandes en langage naturel. Décrit dans un article déposé sur arXiv (2512.19178, version révisée), le système s'appuie sur un modèle vision-langage affiné sur des données réelles, capable d'interpréter des instructions sémantiques et de raisonner sur la scène de travail observée pour générer directement des politiques de comportement pilotant le robot. Les auteurs ont testé leur approche sur plusieurs robots différents et sur une variété de tâches en conditions réelles, démontrant que le modèle peut ajuster sa stratégie en cours d'exécution lorsque les instructions changent, sans nécessiter de replanification complète. Des vidéos de démonstration sont disponibles sur robovlp.github.io.

RechercheActu
1 source
RePlan-VLA : replanification guidée par la progression pour les modèles vision-langage-action (VLA) à long horizon
Illustration générée par IA
4arXiv cs.RO 

RePlan-VLA : replanification guidée par la progression pour les modèles vision-langage-action (VLA) à long horizon

Des chercheurs publient sur arXiv (v1, novembre 2026) RePlan-VLA, un cadre logiciel conçu pour fiabiliser l'exécution de tâches longues par des modèles vision-langage-action (VLA), ces politiques de manipulation robotique qui convertissent images et instructions en commandes moteur. Le système est indépendant du VLA utilisé : il laisse la politique sous-jacente intacte, sans aucun réglage fin supplémentaire. Il surveille explicitement le mouvement du robot pour évaluer la progression de la tâche en cours, puis révise le plan à venir en fonction des résultats observés. Sur les benchmarks de simulation RoboCasa365 et CALVIN, il améliore le taux de réussite de 21,9 % et de 10,4 % par rapport à la meilleure base de comparaison.

RecherchePaper
1 source