RecherchearXiv cs.RO 21 octobre 2026

Replanification pour la reprise sur erreur : entraîner des VLM incarnés par interaction vérifiable avec Turn-GSPO groupé par actions

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un cadre complet pour apprendre à des modèles vision-langage (VLM) embarqués à se rétablir après une erreur d'exécution en manipulation robotique. Le travail comprend trois éléments. ERR-Env est un environnement interactif qui fournit un retour vérifiable sur l'avancement de la tâche et sur les erreurs d'exécution. ERR-Bench est un banc d'essai de tâches tenues à l'écart de l'entraînement, couvrant des états nominaux, intermédiaires et d'erreur. AGT-GSPO (Action-Grouped Turn-GSPO) est une méthode d'apprentissage par renforcement en ligne, qui combine des récompenses au niveau de chaque tour (progression, états d'erreur) et une estimation d'avantage groupée par action. Elle sert à entraîner ERR-VLM, un VLM compact de 2 milliards de paramètres. Selon les auteurs, AGT-GSPO gagne 10,25 points de pourcentage de taux de succès strict (achèvement sans aucune erreur) et 22,95 points de taux de rétablissement. Des ablations et un transfert zéro-shot sont présentés à l'appui. Il s'agit d'un préprint arXiv (v1), non évalué par les pairs. Le résumé ne donne ni valeurs absolues ni robot physique, ni détail sur la nature des environnements.

L'intérêt tient à un constat que le secteur connaît bien sans toujours le mesurer : l'écart entre la progression d'une tâche et la fiabilité d'exécution. L'évaluation de plusieurs VLM sur ERR-Bench montre que ces deux dimensions ne vont pas de pair. Un modèle peut avancer vers l'objectif tout en commettant des erreurs qui laissent l'environnement dans un état difficile à rattraper. Pour un intégrateur ou un responsable d'exploitation, c'est la différence entre une démo réussie et un déploiement tenable, où les cas dégradés (objet tombé, prise manquée) dominent le coût réel. Le gain en rétablissement, supérieur à celui du succès strict, suggère aussi que la replanification se prête à un apprentissage dédié. Un modèle de 2 milliards de paramètres reste exécutable sur du matériel embarqué, ce qui compte pour la latence et le coût. En revanche, sans chiffres absolus ni validation sur robot réel, la portée industrielle reste à démontrer.

Ce travail s'inscrit dans la montée des modèles vision-langage-action et des VLM embarqués, qui ont surtout été évalués sur la réussite nominale. Les méthodes de récupération existantes s'appuient soit sur des mécanismes à l'inférence avec une politique figée, soit sur des exemples d'échec et des corrections de référence, plutôt que sur des résultats d'actions vérifiés. L'approche présentée applique à ce problème l'apprentissage par renforcement de type GSPO, une variante de GRPO utilisée pour les LLM de raisonnement, et le fait avec des récompenses vérifiables. Les prochaines étapes naturelles sont la validation sur robots physiques, la comparaison avec les grands modèles généralistes et l'adoption d'ERR-Bench par d'autres équipes, ce que le préprint n'annonce pas à ce stade.

Dans nos dossiers

IA physique & VLA Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

RePlan-Bot : replanification à plusieurs niveaux pour le suivi d'instructions par IA incarnée

Une équipe de recherche a publié fin mai 2026 un preprint arXiv (2605.25851) présentant RePlan-Bot, un agent conçu pour l'exécution d'instructions en langage naturel dans des environnements 3D interactifs, un champ désigné sous le terme Embodied Instruction Following (EIF). Le système repose sur trois couches complémentaires : un auditeur de haut niveau basé sur un LLM, qui ajuste dynamiquement les sous-objectifs en fonction des retours de l'environnement ; un mécanisme de recherche guidé par le sens commun, s'appuyant sur une carte d'instances multi-couches pour localiser précisément les objets ; et un correcteur léger basé sur un Vision Transformer (ViT), chargé de détecter et corriger les actions bas niveau à risque avant qu'elles ne causent des erreurs irréversibles. Évalué sur le benchmark ALFRED (Action Learning From Realistic Environments and Directives), RePlan-Bot revendique des performances à l'état de l'art dans les environnements vus et non vus, bien que l'abstract ne fournisse aucun chiffre précis de taux de succès ni comparaisons numériques explicites. L'intérêt de cette architecture pour les équipes d'IA embarquée réside dans sa gestion du replanning continu face aux changements d'état irréversibles, un point de défaillance classique des systèmes de planification hiérarchique. En robotique de service ou en manipulation d'objets, une action mal exécutée (déplacer un objet au mauvais endroit, ouvrir un conteneur prématurément) peut invalider l'ensemble du plan en cours. RePlan-Bot adresse ce problème via un audit permanent pendant l'exécution, ce qui le distingue des approches plan-then-execute qui supposent un environnement statique. La combinaison LLM haute-décision et ViT basse-exécution reflète une tendance structurante dans les architectures VLA (Vision-Language-Action) actuelles : déléguer la supervision sémantique à un modèle de langage, et la correction réactive à un modèle vision plus léger et plus rapide. Le benchmark ALFRED, publié par l'Allen Institute for AI en 2020, reste la référence dominante pour l'EIF en simulation (environnement iTHOR), mais son écart avec les conditions réelles (manipulation physique, bruit sensoriel, variabilité des objets) est bien documenté dans la littérature. RePlan-Bot s'inscrit dans un champ de recherche concurrentiel qui inclut des travaux comme FILM et HLSM, ainsi que des approches VLA plus récentes comme OpenVLA ou Pi-0 de Physical Intelligence. Aucun déploiement matériel ni partenariat industriel n'est mentionné dans le preprint : il s'agit d'une contribution académique en environnement simulé, et la question du transfert sim-to-real, centrale pour tout intégrateur, reste entière.

RechercheOpinion

1 source

2arXiv cs.RO

CLOSER : vérification visuelle active fondée sur les preuves pour la navigation par objectif d'IA incarnée

CLOSER, un cadre logiciel décrit dans un preprint arXiv (2610.28476), s'attaque à un point faible de la navigation robotique par objet-cible (ObjectNav): décider quand s'arrêter. Dans cette tâche, un agent incarné doit trouver une instance d'une catégorie donnée dans un environnement inconnu et s'arrêter à proximité. Il s'appuie sur un détecteur d'objets, mais doit juger en ligne, à partir d'un flux vidéo égocentrique limité (parfois une seule image), si le candidat détecté est bien la cible. Les détecteurs confondent souvent avec assurance des objets proches, comme un canapé pris pour un lit, et un arrêt sur un faux positif fait échouer l'épisode. CLOSER affine un modèle vision-langage (VLM) open source pour classer chaque vue d'un candidat suivi dans le temps en cible, non-cible ou incertain. Une porte de diversité fondée sur des embeddings sélectionne des vues complémentaires, et un réseau léger fusionne leurs probabilités. Si le verdict reste incertain, une politique de diffusion rapproche l'agent du candidat en n'utilisant que le masque suivi et la profondeur, jusqu'à ce que la décision soit nette. Sur Gibson et Habitat-Matterport 3D, le taux de succès moyen progresse de 3,6 points et le SPL (succès pondéré par la longueur du chemin) de 2,0 points. L'intérêt tient à la méthode plus qu'à l'ampleur du gain. Les systèmes actuels approchent le candidat de façon gloutonne, souvent sous un angle occulté ou partiel, puis s'arrêtent. CLOSER traite l'arrêt comme une acquisition d'indices en boucle fermée, en couplant vérification par VLM et perception active. Le module s'exécute en local et se greffe sur des systèmes ObjectNav existants sans les réentraîner, ce qui réduit le coût d'intégration pour les équipes qui disposent déjà d'une pile de navigation. Ces résultats suggèrent que, pour la navigation sémantique, une part des échecs vient de la décision d'arrêt plus que de l'exploration. Les réserves sont claires: les chiffres proviennent de benchmarks en simulation, sans validation annoncée sur robot réel, et un gain de 3,6 points reste modeste. Le surcoût en temps de calcul et en trajet induit par la vérification active n'est pas détaillé dans le résumé. Ce travail s'inscrit dans la lignée de l'ObjectNav sur Gibson et HM3D, où les approches modulaires à détecteur open-vocabulary et cartes sémantiques coexistent avec des méthodes de bout en bout et des VLM de plus en plus utilisés pour la décision. CLOSER se positionne comme une couche de vérification complémentaire, non comme un nouveau navigateur complet. Les suites logiques seraient des tests sur plateforme physique, des environnements plus encombrés et une mesure du compromis entre précision de l'arrêt et longueur du trajet. Le preprint n'annonce ni code, ni pilote industriel, ni calendrier de déploiement.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

ACID : cohérence des actions par dynamique inverse pour la planification avec des modèles du monde

ACID (Action Consistency via Inverse Dynamics), présenté dans un article arXiv publié début juillet 2026 (arXiv:2607.02403v1), s'attaque à un défaut connu de la planification par modèles du monde conditionnés par l'action, une méthode largement utilisée en contrôle robotique. Le problème identifié par les auteurs : le coût de planification standard ne juge une trajectoire candidate qu'à l'aune de la proximité entre l'état terminal prédit et l'objectif, sans vérifier si les transitions intermédiaires sont réalisables. Résultat, une trajectoire peut sembler cohérente sur le papier tout en divergeant fortement une fois exécutée dans l'environnement réel. ACID introduit un principe de "cohérence d'action cyclique" : à chaque étape, un modèle de dynamique inverse tente de retrouver, à partir de la transition prédite, l'action qui l'a produite ; l'écart entre cette action reconstruite et l'action réelle est intégré au coût de planification via une pondération adaptative invariante à l'échelle. Les auteurs valident la méthode sur quatre modèles du monde différents et six tâches couvrant la manipulation d'objets rigides et déformables, le contrôle de systèmes articulés et la navigation visuelle, avec un gain systématique en qualité de planification. L'apport principal n'est pas seulement la précision, mais l'efficacité : ACID atteint une exactitude comparable aux méthodes de référence tout en réduisant substantiellement le budget de calcul nécessaire à la planification. C'est un point sensible pour l'embarqué robotique, où le temps de cycle et la puissance de calcul disponible contraignent directement le déploiement temps réel. Le papier touche aussi à un débat plus large dans le secteur : la fiabilité des modèles du monde utilisés pour anticiper les conséquences d'une action avant de l'exécuter, un maillon critique face aux erreurs qui s'accumulent le long d'une trajectoire prédite. Cette approche s'inscrit dans la lignée des travaux sur la planification par modèle prédictif (MPC) couplée à des dynamiques apprises, une alternative aux architectures vision-langage-action de bout en bout comme Pi-0, GR00T N2 ou Helix, qui n'exposent pas de mécanisme de vérification explicite des trajectoires intermédiaires. Publié en preprint, ACID n'a pas encore fait l'objet d'une revue par les pairs ni d'une validation sur robot physique au-delà des bancs de test utilisés dans l'étude ; la suite logique serait une évaluation en conditions réelles et une comparaison directe avec les méthodes de planification par diffusion, autre piste active du domaine.

RecherchePaper

1 source

4arXiv cs.RO

Vertus du chaos ordonné : planification par actions de renversement pour la réorganisation de piles sur table

Publiée sur arXiv (2605.17815) en mai 2026, une étude propose d'enrichir les planificateurs de manipulation robotique avec des actions non-préhensiles dites "agrégantes", en particulier le basculement d'objets (topple). Au lieu de déplacer un à un les éléments d'une pile sur un plan de travail, le robot peut renverser tout ou partie de la pile d'un seul mouvement avant de saisir les objets dans l'ordre souhaité. Les chercheurs formalisent cet espace de planification hybride pick-and-place + topple via un gadget graphique directionnel original, réduisant le calcul du plan à une variante du problème des galets en mouvement (pebble motion problem) : chaque objet est traité comme un galet se déplaçant sur un graphe selon des contraintes de non-collision. Les benchmarks conduits en simulation physique sur NVIDIA IsaacSim montrent une réduction significative du temps d'exécution par rapport à une stratégie purement pick-and-place. L'enjeu industriel est concret pour la manipulation en entrepôt, le kitting ou le tri de bacs. Réorganiser une pile de n pièces nécessite classiquement O(n) opérations de saisie-dépose ; une action topple peut en remplacer plusieurs, réduisant le temps de cycle et la sollicitation mécanique des actionneurs. L'article pointe ainsi un angle mort fréquent en robotique de production : les planificateurs de tâches restent majoritairement construits autour de la saisie, alors que les actions non-préhensiles offrent des gains de débit substantiels dès lors qu'elles sont correctement abstraites. Limite notable : les gains sont mesurés en simulation seulement, et le passage sim-to-real pour des actions dynamiques comme le topple reste une question ouverte. Les auteurs s'inscrivent dans la continuité des recherches sur la manipulation non-préhensile, actives depuis les années 1990 mais rarement intégrées au niveau de la planification symbolique de tâches. La formalisation est volontairement généraliste : une action de type "scoop" (raclage) peut être modélisée par la même abstraction graphique, ouvrant la voie à un cadre unifié pour plusieurs familles d'actions agrégantes. Face aux approches concurrentes basées sur l'apprentissage par renforcement ou les planificateurs géométriques, cette méthode symbolique-graphique offre lisibilité et garanties de complétude sur les instances modélisées. Aucun déploiement n'est annoncé ; les auteurs qualifient eux-mêmes leurs résultats de "preliminary indication", laissant la validation en environnement physique réel pour de futurs travaux.

RecherchePaper

1 source