RecherchearXiv cs.RO 23 septembre 2026

RoboFollow : le mirage du suivi d'instructions chez les agents incarnés

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs du AutoLab de la Shanghai Jiao Tong University publie RoboFollow, un benchmark diagnostique détaillé dans un article déposé sur arXiv sous la référence 2609.25636v1 et intitulé "Unveiling the Instruction Following Mirage in Embodied Agents". Les auteurs identifient un biais structurel qu'ils nomment "low scene entropy": lorsqu'une scène visuelle n'admet qu'une seule tâche valide, le langage devient redondant et une politique peut afficher un score de réussite élevé sans réellement exploiter l'instruction donnée. RoboFollow repose sur trois principes: des scènes à entropie élevée, où plusieurs branches de tâches cinématiquement distinctes coexistent pour forcer la dépendance au langage; un protocole diagnostique hiérarchique en quatre niveaux, L0 à L3, qui perturbe progressivement la disposition visuelle et la sémantique des instructions afin de tester la cohérence du comportement face aux relations spatiales, attributs, contraintes de trajectoire et logique; et un contrôle des facteurs confondants, avec objets d'interaction simplifiés, actions restreintes au répertoire entraîné, et des scores séparés d'Intention et d'Exécution. Neuf politiques VLA (vision-language-action) et WAM ont été évaluées: toutes réussissent bien au niveau L0, mais ces performances ne se transfèrent pas de façon fiable aux niveaux L1 à L3 dans le protocole de fine-tuning testé. Code et jeu de données sont publiés sur GitHub et Hugging Face.

Ce résultat rejoint des soupçons déjà présents dans la communauté robotique: les taux de réussite affichés par les modèles VLA sur les benchmarks classiques masquent souvent un raccourci visuel plutôt qu'une réelle compréhension du langage, un problème analogue au "shortcut learning" documenté en vision par ordinateur. Pour les intégrateurs et décideurs B2B qui évaluent des politiques génératives pour des lignes de production ou de la manipulation flexible, l'étude suggère que des scores impressionnants en environnement contrôlé ne garantissent pas une capacité à suivre des consignes variées dans des scènes ambiguës ou multi-objets. Plus préoccupant, les remèdes habituellement invoqués pour renforcer l'ancrage langagier, à savoir des backbones VLM plus puissants, le co-entraînement par questions-réponses, la technique LangForce et le Classifier-Free Guidance, échouent tous à combler l'écart entre L0 et les niveaux supérieurs, ce qui indique que le problème est structurel plutôt que réglable par un simple changement d'échelle ou d'architecture.

Ce travail s'inscrit dans une vague récente de benchmarks cherchant à sonder la robustesse des agents incarnés au-delà des métriques agrégées de succès de tâche, à mesure que les politiques VLA se multiplient dans la recherche académique et chez les fournisseurs de robots généralistes. En isolant la compréhension de l'exécution motrice via des scores distincts, RoboFollow propose un outil reproductible pour comparer objectivement des politiques avant tout déploiement industriel. La publication ouverte du code et des données sur GitHub et Hugging Face vise à permettre à la communauté d'auditer d'autres modèles avec le même protocole L0-L3, et pourrait devenir une référence pour qualifier les futures générations de politiques avant leur mise en production sur des tâches nécessitant un véritable suivi d'instructions en langage naturel.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Le syndrome du béni-oui-oui : évaluer l'abstention dans les agents robotiques incarnés

Une équipe du laboratoire PursecLab a publié en mai 2026 un article documentant ce qu'ils nomment le "syndrome du yes-man" dans les VLM (vision-language models) utilisés comme planificateurs pour robots incarnés : ces modèles exécutent des instructions même lorsqu'elles sont physiquement infaisables, ambiguës ou fondées sur de fausses prémisses. Pour mesurer cette faille, les chercheurs ont développé RoboAbstention, un benchmark de 6 069 instructions générées à partir d'images issues de cinq jeux de données robotiques, via un pipeline en trois phases : ancrage visuel structuré, dérivation déterministe de contraintes physiques, et génération contrôlée par gabarits par catégorie. Les résultats sont sévères : Gemini 2.5 Flash, meilleur modèle général testé, n'abstient que dans 39,0 % des cas où il devrait refuser. Gemini Robotics ER 1.6 Preview, planificateur dédié à la robotique incarnée, tombe à 16,5 %. L'application de techniques de "defensive prompting" et d'in-context learning remonte ces taux à 93,6 % pour Gemini Robotics ER et 88,6 % pour GPT-5.4 Mini, sans résoudre entièrement le problème. Ce comportement représente un risque opérationnel concret : un robot qui ne détecte pas les limites d'une instruction peut endommager des équipements, violer des consignes de sécurité, ou échouer silencieusement sans signal d'erreur exploitable. La taxonomie proposée distingue quatre cas légitimes d'abstention - instruction ambiguë, contrainte physique violée, prémisse factuelle fausse, contexte sensoriel insuffisant. Le fait que des modèles dotés de raisonnement avancé échouent massivement démontre que la capacité à "savoir refuser" n'émerge pas naturellement avec la montée en puissance des VLM, y compris ceux dédiés à la robotique. Les benchmarks d'abstention existants portaient exclusivement sur des LLM en contexte textuel, ignorant les contraintes perceptuelles propres aux environnements physiques - c'est le vide que comble RoboAbstention. À mesure que les architectures VLA (Vision-Language-Action) se rapprochent des déploiements industriels réels, la validation comportementale avant mise en service devient un critère incontournable pour intégrateurs et décideurs industriels. Le benchmark est open-source sur purseclab.github.io/RoboAbstention, directement utilisable comme outil d'audit pré-déploiement. Aucun acteur européen n'est impliqué dans cette étude. Les prochaines étapes logiques pointent vers le fine-tuning ciblé sur l'abstention, les correctifs au niveau du prompt ayant montré leurs limites structurelles.

UELes intégrateurs européens déployant des systèmes VLA en environnement industriel devront probablement intégrer des outils d'audit comportemental comme RoboAbstention pour répondre aux exigences de sécurité de l'AI Act applicables aux systèmes robotiques autonomes.

RechercheOpinion

1 source

2arXiv cs.RO

MIND : ancrage incrémental conditionné par l'instruction pour les robots

Des chercheurs proposent MIND (Maintenance via INstruction-conditioned Dependencies), un cadre logiciel destiné aux robots qui exécutent des instructions persistantes en langage naturel, du type « trouve la pièce la plus proche contenant un objet X ». Un modèle de langage compile chaque instruction en dépendances de deux types : celles de qualification sémantique (la pièce satisfait-elle le critère ?) et celles de sélection de la cible. Lorsqu'un événement survient, le contrôleur croise ces dépendances avec l'« empreinte » de l'événement, rafraîchit uniquement les jugements concernés, puis met à jour séparément l'accessibilité et la sélection. Sur 240 séquences ProcTHOR de cinq événements, avec un prédicat exact, les évaluations sémantiques moyennes passent de 30,6 à 11,2, et les 1 200 décisions post-événement restent identiques à celles d'un recalcul complet. Avec les évaluateurs figés Phi-4 et Qwen3-14B, les 1 200 décisions sont aussi préservées, sans que la précision propre de ces modèles progresse. En boucle fermée, sur 32 épisodes AI2-THOR, MIND retrouve la décision finale du recalcul complet dans chaque cas. Sur un Unitree G1, le robot réutilise ou resélectionne sa cible lors de changements de pièce sans évaluation sémantique supplémentaire. Après une barrière et le retrait d'un objet, il s'abstient avec 4 évaluations, contre 15 à 18 sans MIND. L'intérêt est d'abord économique et énergétique. Dans les architectures où un modèle de langage ou un VLM juge l'état de chaque pièce, le coût d'inférence croît avec chaque changement d'environnement. Réduire ces appels d'environ 63 % sur le benchmark, sans modifier les décisions, rend plus réaliste une exécution embarquée, avec moins de latence et de consommation. Pour les intégrateurs, cela concerne les tâches longues et persistantes, comme la surveillance, la logistique intérieure ou l'assistance, où l'environnement évolue en continu. Il faut toutefois relativiser. La garantie de préservation des décisions suppose une évaluation, une planification et une sélection déterministes, ainsi qu'une couverture conservatrice des dépendances et des empreintes. Elle ne corrige pas les erreurs de l'évaluateur, comme le montrent les tests avec Phi-4 et Qwen3-14B. Les résultats reposent aussi sur des prédicats exacts et des empreintes tirées des métadonnées du simulateur, donc plus propres que la perception réelle. Le test sur G1 reste une démonstration limitée à quelques scénarios. Ce travail s'inscrit dans la lignée des systèmes qui ancrent le langage dans des cartes sémantiques ou des graphes de scène, et des approches de planification par modèles de langage, qui recalculent le plus souvent tout après chaque observation. MIND emprunte plutôt au calcul incrémental et à la maintenance de vues en bases de données. L'article, de type préimpression arXiv (sans relecture par les pairs à ce stade), renvoie à un site de matériel complémentaire dont le nom évoque ICRA 2027. Les prochaines étapes à surveiller sont la validation avec une perception bruitée, la gestion d'évaluateurs non déterministes et le passage à des environnements plus grands et plus dynamiques que les cinq événements testés ici.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RePlan-Bot : replanification à plusieurs niveaux pour le suivi d'instructions par IA incarnée

Une équipe de recherche a publié fin mai 2026 un preprint arXiv (2605.25851) présentant RePlan-Bot, un agent conçu pour l'exécution d'instructions en langage naturel dans des environnements 3D interactifs, un champ désigné sous le terme Embodied Instruction Following (EIF). Le système repose sur trois couches complémentaires : un auditeur de haut niveau basé sur un LLM, qui ajuste dynamiquement les sous-objectifs en fonction des retours de l'environnement ; un mécanisme de recherche guidé par le sens commun, s'appuyant sur une carte d'instances multi-couches pour localiser précisément les objets ; et un correcteur léger basé sur un Vision Transformer (ViT), chargé de détecter et corriger les actions bas niveau à risque avant qu'elles ne causent des erreurs irréversibles. Évalué sur le benchmark ALFRED (Action Learning From Realistic Environments and Directives), RePlan-Bot revendique des performances à l'état de l'art dans les environnements vus et non vus, bien que l'abstract ne fournisse aucun chiffre précis de taux de succès ni comparaisons numériques explicites. L'intérêt de cette architecture pour les équipes d'IA embarquée réside dans sa gestion du replanning continu face aux changements d'état irréversibles, un point de défaillance classique des systèmes de planification hiérarchique. En robotique de service ou en manipulation d'objets, une action mal exécutée (déplacer un objet au mauvais endroit, ouvrir un conteneur prématurément) peut invalider l'ensemble du plan en cours. RePlan-Bot adresse ce problème via un audit permanent pendant l'exécution, ce qui le distingue des approches plan-then-execute qui supposent un environnement statique. La combinaison LLM haute-décision et ViT basse-exécution reflète une tendance structurante dans les architectures VLA (Vision-Language-Action) actuelles : déléguer la supervision sémantique à un modèle de langage, et la correction réactive à un modèle vision plus léger et plus rapide. Le benchmark ALFRED, publié par l'Allen Institute for AI en 2020, reste la référence dominante pour l'EIF en simulation (environnement iTHOR), mais son écart avec les conditions réelles (manipulation physique, bruit sensoriel, variabilité des objets) est bien documenté dans la littérature. RePlan-Bot s'inscrit dans un champ de recherche concurrentiel qui inclut des travaux comme FILM et HLSM, ainsi que des approches VLA plus récentes comme OpenVLA ou Pi-0 de Physical Intelligence. Aucun déploiement matériel ni partenariat industriel n'est mentionné dans le preprint : il s'agit d'une contribution académique en environnement simulé, et la question du transfert sim-to-real, centrale pour tout intégrateur, reste entière.

RechercheOpinion

1 source

4arXiv cs.RO

Suivi d'instructions préemptif avec reprise

Des chercheurs publient sur arXiv (2610.35576v1) PIFR, un nouveau benchmark consacré à la préemption et à la reprise de tâches en navigation incarnée de longue durée. Le scénario testé est le suivant: un agent exécute une séquence de tâches quand une instruction de priorité supérieure arrive. Il doit terminer sa tâche atomique en cours, exécuter la tâche insérée, puis reprendre le reste de la séquence. Entre-temps, l'état de l'environnement a changé: le point de vue de l'agent n'est plus le même et les candidats de navigation disponibles ont pu évoluer. Le benchmark couvre trois configurations: interruption unique, interruptions répétées et interruptions imbriquées. Il mesure séparément trois étapes: l'accomplissement de la tâche insérée, la reprise de la tâche d'origine et l'achèvement de la séquence complète. Les auteurs proposent aussi une référence légère de classement de candidats, destinée à améliorer le « ré-grounding » de la cible, c'est-à-dire la ré-identification de l'objectif après l'interruption. Le résumé ne donne aucun chiffre de performance, aucun nom de modèle évalué ni aucun jeu de données de base. L'intérêt tient à un angle mort des évaluations actuelles. Les benchmarks de navigation et de suivi d'instructions mesurent le plus souvent un taux de succès global sur une séquence linéaire. Les auteurs relèvent que ce score agrégé masque les différences de comportement selon le type d'interruption: un agent peut réussir la tâche insérée et échouer à reprendre l'originale. Pour un intégrateur ou un COO qui déploie des robots mobiles en entrepôt, en hôpital ou en usine, c'est un cas courant, puisque les ordres urgents s'intercalent sans cesse dans le flux prévu. Séparer les métriques par étape permet de localiser la défaillance, qu'elle vienne de la compréhension de l'ordre ou du retour au plan initial. Il faut toutefois rester prudent: il s'agit d'un benchmark de recherche, très probablement en simulation, et rien n'indique encore qu'il transfère à des robots réels ou à des environnements dynamiques. Ce travail s'inscrit dans la lignée de la navigation guidée par le langage (de type vision-and-language navigation) et des agents à base de modèles vision-langage-action, qui progressent sur les horizons longs mais traitent surtout les instructions comme un bloc figé. La gestion des interruptions, courante en robotique de service et en logistique, restait peu formalisée. Le benchmark ne prétend pas résoudre le problème: il fournit un cadre de mesure et une base de comparaison simple. La suite logique est son adoption par d'autres équipes, qui testeraient leurs modèles de navigation sur les cas imbriqués, les plus exigeants, et le compareraient à des approches de planification à mémoire explicite. Aucun acteur industriel, y compris européen, ni aucune échéance de déploiement n'est mentionné à ce stade.

RecherchePaper

1 source