Aller au contenu principal
RePlan-VLA : replanification guidée par la progression pour les modèles vision-langage-action (VLA) à long horizonIllustration générée par IA
RecherchearXiv cs.RO 

RePlan-VLA : replanification guidée par la progression pour les modèles vision-langage-action (VLA) à long horizon

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (v1, novembre 2026) RePlan-VLA, un cadre logiciel conçu pour fiabiliser l'exécution de tâches longues par des modèles vision-langage-action (VLA), ces politiques de manipulation robotique qui convertissent images et instructions en commandes moteur. Le système est indépendant du VLA utilisé : il laisse la politique sous-jacente intacte, sans aucun réglage fin supplémentaire. Il surveille explicitement le mouvement du robot pour évaluer la progression de la tâche en cours, puis révise le plan à venir en fonction des résultats observés. Sur les benchmarks de simulation RoboCasa365 et CALVIN, il améliore le taux de réussite de 21,9 % et de 10,4 % par rapport à la meilleure base de comparaison. Une validation en conditions réelles a été menée sur un bras Franka Research 3. Le résumé ne précise ni les VLA testés, ni le nombre d'essais réels, ni les durées de cycle.

L'intérêt tient au choix d'architecture. Plutôt que de demander à un VLA unique de raisonner sur l'horizon long, de garder une mémoire, de suivre sa progression et de se rattraper après une erreur, les auteurs cantonnent la politique à ce qu'elle fait de mieux, les gestes courts, et déportent le suivi d'exécution dans une couche externe. Pour un intégrateur, cela signifie qu'une brique de supervision pourrait s'ajouter à un modèle existant sans recollecte de données ni réentraînement, ce qui réduit le coût d'adaptation. Le résultat appuie aussi l'hypothèse selon laquelle la fiabilité sur des enchaînements de tâches interdépendantes ne viendra pas uniquement de modèles toujours plus gros, mais d'une boucle de contrôle explicite. Il faut toutefois rester prudent : des gains en simulation, mesurés en taux de réussite, ne disent rien de la robustesse en environnement industriel, de la latence ajoutée par la supervision, ni de la sensibilité aux échecs mal détectés. Un seul bras de laboratoire en démonstration réelle reste loin d'un déploiement.

Ces travaux s'inscrivent dans une tendance déjà nette : la dégradation des VLA sur les tâches longues, due à l'accumulation d'erreurs et à l'absence de mémoire, est un problème reconnu. Les approches hiérarchiques, où un modèle de haut niveau planifie et un modèle de bas niveau exécute, se sont multipliées, y compris dans les architectures à double système de certains acteurs de l'humanoïde. RoboCasa365, benchmark de tâches domestiques en cuisine, et CALVIN, référence des enchaînements d'instructions en langage naturel, servent de terrain commun pour comparer ces méthodes. La suite logique serait de tester RePlan-VLA avec plusieurs familles de VLA, sur des plateformes variées et des cadences réalistes. Il s'agit pour l'instant d'une prépublication, sans relecture par les pairs ni produit associé annoncé.

À lire aussi

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action
Illustration générée par IA
1arXiv cs.RO 

PHR-VLA : raisonnement à horizon de planification pour les modèles vision-langage-action

Des chercheurs présentent PHR-VLA (Planning Horizon Reasoning for Vision-Language-Action Models), décrit dans un preprint arXiv publié fin août 2026 (arXiv:2608.27609). Le système ajoute aux modèles vision-langage-action une tête auxiliaire légère, activée uniquement à l'entraînement, qui aligne les représentations internes du modèle avec la dynamique future de la tâche extraite d'observations à venir. Une supervision locale et centrée sur le contact, au niveau des patchs d'image issus de la caméra de poignet, fait passer le taux de réussite sur le benchmark simulé LIBERO de 84,1% à 88,4%, et sur des tâches réelles de désassemblage de 63,3% à 82,5%. Une supervision équivalente via une caméra à la troisième personne améliore aussi légèrement les résultats sur Meta-World, de 56,70% à 57,8%.

RechercheOpinion
1 source
MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon
Illustration générée par IA
2arXiv cs.RO 

MIKASA-Robo-VLA : évaluer la mémoire des modèles vision-langage-action (VLA) pour la manipulation à long horizon

MIKASA-Robo-VLA, un nouveau benchmark publié sur arXiv (v1, octobre 2026), propose 90 tâches de manipulation conditionnées par le langage pour mesurer comment les politiques vision-langage-action (VLA) exploitent une information qui disparaît en cours de tâche. Dans 80 d'entre elles, l'indice dont dépend l'action est masqué ; les 10 restantes sont des contrôles réactifs où il reste visible. Chaque tâche fournit une instruction textuelle, alors que la suite d'origine, MIKASA-Robo (32 tâches), n'utilisait le langage que sur un sous-ensemble représentatif. Pour 70 tâches, les temps de phase de l'environnement définissent un « écart d'information », et dans 28 cas il dépasse la fenêtre de 16 images du VLA à contexte fixe le plus large recensé par les auteurs.

RecherchePaper
1 source
Mémoire linguistique explicite pour la planification à long terme dans les modèles vision-langage-action
Illustration générée par IA
3arXiv cs.RO 

Mémoire linguistique explicite pour la planification à long terme dans les modèles vision-langage-action

Une équipe de recherche propose sur arXiv (référence 2608.04765) une nouvelle architecture pour les modèles vision-langage-action (VLA), conçue pour améliorer la planification sur des tâches longues et complexes. Le système repose sur un module de mémoire linguistique explicite qui convertit les observations visuelles successives en une séquence textuelle cohérente, dotée d'une logique temporelle. L'architecture est hiérarchique et découplée en deux niveaux : un modèle vision-langage (VLM) de haut niveau, entraîné selon un paradigme de question-réponse visuelle, effectue le raisonnement sémantique et met à jour récursivement la mémoire ainsi que les sous-instructions ; un modèle VLA de bas niveau exécute ensuite le contrôle continu et précis à partir de ces sous-instructions et des observations visuelles.

RechercheOpinion
1 source
Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage
Illustration générée par IA
4arXiv cs.RO 

Planification de tâches et de mouvements guidée par la preuve avec des modèles vision-langage

EAFG (Evidence Acquisition and Feasibility Gating), publié sur arXiv le 20 août 2026 (2608.20084v1), est un framework de planification de tâches et de mouvements (TAMP) pilotée par des modèles vision-langage (VLM) pour robots manipulateurs. Face à une instruction longue, comme cuisiner un plat, le VLM peut halluciner la présence d'objets jamais observés et bâtir des sous-objectifs sur ses connaissances a priori plutôt que sur la perception réelle, causant des échecs d'exécution. EAFG fait d'abord explorer le robot, via des sous-objectifs générés par le VLM et exécutés par TAMP, pour recueillir des preuves visuelles ; une porte de faisabilité décide ensuite de planifier, d'explorer davantage, ou d'arrêter.

RecherchePaper
1 source