RecherchearXiv cs.RO 27 octobre 2026

Suivi d'instructions préemptif avec reprise

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs publient sur arXiv (2610.35576v1) PIFR, un nouveau benchmark consacré à la préemption et à la reprise de tâches en navigation incarnée de longue durée. Le scénario testé est le suivant: un agent exécute une séquence de tâches quand une instruction de priorité supérieure arrive. Il doit terminer sa tâche atomique en cours, exécuter la tâche insérée, puis reprendre le reste de la séquence. Entre-temps, l'état de l'environnement a changé: le point de vue de l'agent n'est plus le même et les candidats de navigation disponibles ont pu évoluer. Le benchmark couvre trois configurations: interruption unique, interruptions répétées et interruptions imbriquées. Il mesure séparément trois étapes: l'accomplissement de la tâche insérée, la reprise de la tâche d'origine et l'achèvement de la séquence complète. Les auteurs proposent aussi une référence légère de classement de candidats, destinée à améliorer le « ré-grounding » de la cible, c'est-à-dire la ré-identification de l'objectif après l'interruption. Le résumé ne donne aucun chiffre de performance, aucun nom de modèle évalué ni aucun jeu de données de base.

L'intérêt tient à un angle mort des évaluations actuelles. Les benchmarks de navigation et de suivi d'instructions mesurent le plus souvent un taux de succès global sur une séquence linéaire. Les auteurs relèvent que ce score agrégé masque les différences de comportement selon le type d'interruption: un agent peut réussir la tâche insérée et échouer à reprendre l'originale. Pour un intégrateur ou un COO qui déploie des robots mobiles en entrepôt, en hôpital ou en usine, c'est un cas courant, puisque les ordres urgents s'intercalent sans cesse dans le flux prévu. Séparer les métriques par étape permet de localiser la défaillance, qu'elle vienne de la compréhension de l'ordre ou du retour au plan initial. Il faut toutefois rester prudent: il s'agit d'un benchmark de recherche, très probablement en simulation, et rien n'indique encore qu'il transfère à des robots réels ou à des environnements dynamiques.

Ce travail s'inscrit dans la lignée de la navigation guidée par le langage (de type vision-and-language navigation) et des agents à base de modèles vision-langage-action, qui progressent sur les horizons longs mais traitent surtout les instructions comme un bloc figé. La gestion des interruptions, courante en robotique de service et en logistique, restait peu formalisée. Le benchmark ne prétend pas résoudre le problème: il fournit un cadre de mesure et une base de comparaison simple. La suite logique est son adoption par d'autres équipes, qui testeraient leurs modèles de navigation sur les cas imbriqués, les plus exigeants, et le compareraient à des approches de planification à mémoire explicite. Aucun acteur industriel, y compris européen, ni aucune échéance de déploiement n'est mentionné à ce stade.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

RoboFollow : le mirage du suivi d'instructions chez les agents incarnés

Une équipe de chercheurs du AutoLab de la Shanghai Jiao Tong University publie RoboFollow, un benchmark diagnostique détaillé dans un article déposé sur arXiv sous la référence 2609.25636v1 et intitulé "Unveiling the Instruction Following Mirage in Embodied Agents". Les auteurs identifient un biais structurel qu'ils nomment "low scene entropy": lorsqu'une scène visuelle n'admet qu'une seule tâche valide, le langage devient redondant et une politique peut afficher un score de réussite élevé sans réellement exploiter l'instruction donnée. RoboFollow repose sur trois principes: des scènes à entropie élevée, où plusieurs branches de tâches cinématiquement distinctes coexistent pour forcer la dépendance au langage; un protocole diagnostique hiérarchique en quatre niveaux, L0 à L3, qui perturbe progressivement la disposition visuelle et la sémantique des instructions afin de tester la cohérence du comportement face aux relations spatiales, attributs, contraintes de trajectoire et logique; et un contrôle des facteurs confondants, avec objets d'interaction simplifiés, actions restreintes au répertoire entraîné, et des scores séparés d'Intention et d'Exécution. Neuf politiques VLA (vision-language-action) et WAM ont été évaluées: toutes réussissent bien au niveau L0, mais ces performances ne se transfèrent pas de façon fiable aux niveaux L1 à L3 dans le protocole de fine-tuning testé. Code et jeu de données sont publiés sur GitHub et Hugging Face. Ce résultat rejoint des soupçons déjà présents dans la communauté robotique: les taux de réussite affichés par les modèles VLA sur les benchmarks classiques masquent souvent un raccourci visuel plutôt qu'une réelle compréhension du langage, un problème analogue au "shortcut learning" documenté en vision par ordinateur. Pour les intégrateurs et décideurs B2B qui évaluent des politiques génératives pour des lignes de production ou de la manipulation flexible, l'étude suggère que des scores impressionnants en environnement contrôlé ne garantissent pas une capacité à suivre des consignes variées dans des scènes ambiguës ou multi-objets. Plus préoccupant, les remèdes habituellement invoqués pour renforcer l'ancrage langagier, à savoir des backbones VLM plus puissants, le co-entraînement par questions-réponses, la technique LangForce et le Classifier-Free Guidance, échouent tous à combler l'écart entre L0 et les niveaux supérieurs, ce qui indique que le problème est structurel plutôt que réglable par un simple changement d'échelle ou d'architecture. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à sonder la robustesse des agents incarnés au-delà des métriques agrégées de succès de tâche, à mesure que les politiques VLA se multiplient dans la recherche académique et chez les fournisseurs de robots généralistes. En isolant la compréhension de l'exécution motrice via des scores distincts, RoboFollow propose un outil reproductible pour comparer objectivement des politiques avant tout déploiement industriel. La publication ouverte du code et des données sur GitHub et Hugging Face vise à permettre à la communauté d'auditer d'autres modèles avec le même protocole L0-L3, et pourrait devenir une référence pour qualifier les futures générations de politiques avant leur mise en production sur des tâches nécessitant un véritable suivi d'instructions en langage naturel.

RecherchePaper

1 source

2arXiv cs.RO

RePlan-Bot : replanification à plusieurs niveaux pour le suivi d'instructions par IA incarnée

Une équipe de recherche a publié fin mai 2026 un preprint arXiv (2605.25851) présentant RePlan-Bot, un agent conçu pour l'exécution d'instructions en langage naturel dans des environnements 3D interactifs, un champ désigné sous le terme Embodied Instruction Following (EIF). Le système repose sur trois couches complémentaires : un auditeur de haut niveau basé sur un LLM, qui ajuste dynamiquement les sous-objectifs en fonction des retours de l'environnement ; un mécanisme de recherche guidé par le sens commun, s'appuyant sur une carte d'instances multi-couches pour localiser précisément les objets ; et un correcteur léger basé sur un Vision Transformer (ViT), chargé de détecter et corriger les actions bas niveau à risque avant qu'elles ne causent des erreurs irréversibles. Évalué sur le benchmark ALFRED (Action Learning From Realistic Environments and Directives), RePlan-Bot revendique des performances à l'état de l'art dans les environnements vus et non vus, bien que l'abstract ne fournisse aucun chiffre précis de taux de succès ni comparaisons numériques explicites. L'intérêt de cette architecture pour les équipes d'IA embarquée réside dans sa gestion du replanning continu face aux changements d'état irréversibles, un point de défaillance classique des systèmes de planification hiérarchique. En robotique de service ou en manipulation d'objets, une action mal exécutée (déplacer un objet au mauvais endroit, ouvrir un conteneur prématurément) peut invalider l'ensemble du plan en cours. RePlan-Bot adresse ce problème via un audit permanent pendant l'exécution, ce qui le distingue des approches plan-then-execute qui supposent un environnement statique. La combinaison LLM haute-décision et ViT basse-exécution reflète une tendance structurante dans les architectures VLA (Vision-Language-Action) actuelles : déléguer la supervision sémantique à un modèle de langage, et la correction réactive à un modèle vision plus léger et plus rapide. Le benchmark ALFRED, publié par l'Allen Institute for AI en 2020, reste la référence dominante pour l'EIF en simulation (environnement iTHOR), mais son écart avec les conditions réelles (manipulation physique, bruit sensoriel, variabilité des objets) est bien documenté dans la littérature. RePlan-Bot s'inscrit dans un champ de recherche concurrentiel qui inclut des travaux comme FILM et HLSM, ainsi que des approches VLA plus récentes comme OpenVLA ou Pi-0 de Physical Intelligence. Aucun déploiement matériel ni partenariat industriel n'est mentionné dans le preprint : il s'agit d'une contribution académique en environnement simulé, et la question du transfert sim-to-real, centrale pour tout intégrateur, reste entière.

RechercheOpinion

1 source

3arXiv cs.RO

Planification de la prochaine vue optimale avec prise en compte de l'incertitude de mouvement pour la reconstruction d'objets mobiles

Des chercheurs présentent dans un preprint arXiv (2605.17593) un cadre de planification baptisé "motion-uncertainty-aware next-best-view" (NBV), destiné à reconstruire en 3D des objets rigides en mouvement planaire avec un robot mobile équipé d'un capteur de profondeur. Le problème central est le délai entre la sélection d'un viewpoint et son exécution : au moment où le robot atteint la position choisie, l'objet a déjà bougé, rendant caduc tout plan basé sur une pose prédite unique. Pour y répondre, chaque viewpoint candidat est évalué non pas sur une position fixe, mais sur l'ensemble des états futurs plausibles de l'objet, modélisés par un lisseur à processus gaussien à fenêtre glissante (fixed-lag Gaussian Process smoother) alimenté par des mesures de position bruitées. Les expériences, menées en simulation et en conditions réelles, montrent une complétude de reconstruction supérieure à celle des planificateurs NBV non-prédictifs et des méthodes de tracking-seul. Ce résultat comble un angle mort documenté de la robotique perceptive : les planificateurs NBV classiques optimisent la couverture de surface en supposant des objets statiques, tandis que les méthodes de perception active orientées mouvement favorisent le suivi au détriment de la qualité de reconstruction. La combinaison des deux dans un seul cadre probabiliste est directement applicable à l'inspection automatisée de pièces sur convoyeur, au contrôle qualité en ligne ou à la génération de jumeaux numériques en environnement dynamique. Traiter le futur comme une distribution d'états plutôt qu'une estimation ponctuelle améliore la robustesse aux perturbations capteurs et aux variations de dynamique que les approches déterministes ne gèrent pas. La planification NBV est un problème actif depuis les années 1990 en robotique perceptive, mais son extension aux objets en mouvement reste peu traitée dans la littérature. L'usage de processus gaussiens pour la prédiction de trajectoire est éprouvé dans d'autres domaines, rarement couplé jusqu'ici à des scores de couverture de surface en contexte NBV. Il s'agit d'un preprint sans évaluation par les pairs à ce stade, sans partenaire industriel ni déploiement annoncé. Les métriques de complétude avancées restent à confirmer sur des dynamiques plus complexes : les expériences actuelles se limitent au mouvement planaire et aux objets rigides. Les extensions naturelles incluent le mouvement 3D non-planaire, les objets déformables et les configurations multi-cibles. Aucun acteur français ou européen n'est impliqué dans cette publication.

RecherchePaper

1 source

4arXiv cs.RO

Contrôle de corps entier des manipulateurs mobiles avec prise en compte de la reconstruction des objets

Des chercheurs proposent une méthode de reconstruction d'objets 3D par manipulateur mobile qui supprime le planificateur de trajectoire dédié, pour un coût de calcul nettement réduit. Le travail, publié sur arXiv (troisième version, septembre 2025 pour la première), part d'un constat: pour reconstruire ou inspecter un objet, il faut choisir des trajectoires qui révèlent le plus de zones encore inconnues. Les approches actuelles échantillonnent des trajectoires candidates et évaluent de nombreuses vues le long de chacune, ce qui coûte cher en calcul. La nouvelle méthode calcule un point de focalisation dans la région la plus informative, puis impose au robot de le garder dans le champ de vision de la caméra pendant son déplacement. Cette contrainte de visibilité est intégrée directement dans le contrôle du corps entier (whole-body control) du manipulateur mobile. L'évaluation repose sur des simulations réalistes avec 114 objets de tailles variées, issus de 57 catégories, et sur une analyse statistique bayésienne. Trois stratégies sont comparées: la méthode proposée, une planification par échantillonnage, et une approche sans trajectoires informatives. Face à l'échantillonnage, aucune différence statistiquement significative n'apparaît sur l'entropie de reconstruction, et la probabilité que les deux soient pratiquement équivalentes en couverture est de 52,3 %. Le calcul est 6,2 à 19,36 fois plus rapide, et le temps passé par le robot entre deux vues baisse de 13,76 % à 27,9 %, selon le champ de vision de la caméra et la résolution du modèle. Des essais réels ont été menés avec un manipulateur mobile omnidirectionnel à 8 DoF et un manipulateur à pattes. L'intérêt pour les intégrateurs est concret: l'inspection, le contrôle qualité et la numérisation d'objets par robot mobile sont limités par la latence de décision entre deux vues, et pas seulement par la qualité de la reconstruction. Ici, la qualité reste proche de l'état de l'art tout en réduisant le calcul embarqué, ce qui compte sur des plateformes à ressources limitées. Il faut toutefois nuancer: l'équivalence de couverture n'est établie qu'à 52,3 %, donc non démontrée. Il s'agit en outre d'un résultat académique, validé en simulation et sur deux plateformes de laboratoire, sans déploiement industriel ni mesure en environnement de production. Ce travail s'inscrit dans la lignée de la planification de la « prochaine meilleure vue » (next-best-view), dominante depuis des années en reconstruction active, et du contrôle de corps entier des manipulateurs mobiles, qui coordonne base et bras comme un seul système. La démarche rejoint ainsi la tendance à fusionner perception active et commande, plutôt que de les chaîner. Les suites probables concernent des tests sur des scènes plus complexes, avec occlusions et objets déformables, et une intégration dans des chaînes d'inspection. Aucun partenaire industriel ni calendrier de transfert n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source