RecherchearXiv cs.RO 16 octobre 2026

Décision interactive et exécution tenant compte des affordances pour des instructions ambiguës

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent AIDE (Affordance-Aware Interactive Decision-Making and Execution for Ambiguous Instructions), un cadre logiciel destiné aux robots qui doivent agir dans des environnements inconnus à partir de consignes humaines ambiguës. L'exemple type est « j'ai soif » : le robot doit déduire par lui-même que des objets comme une tasse ou une boisson sont pertinents, puis aller les identifier en explorant la scène. L'architecture repose sur deux flux inspirés de la cognition humaine. Le premier, Multi-Stage Inference (MSI), joue le rôle de flux de décision, plus délibératif. Le second, Accelerated Decision-Making (ADM), assure l'exécution, de manière plus intuitive. Ensemble, ils permettent une analyse d'affordances (ce qu'un objet permet de faire) en zero-shot et l'interprétation d'instructions floues. Les auteurs annoncent, en simulation comme en conditions réelles, plus de 80 % de réussite en planification de tâches et plus de 95 % de précision d'exécution continue en boucle fermée à 10 Hz. Ils affirment dépasser les méthodes existantes fondées sur des modèles vision-langage (VLM) dans divers scénarios ouverts. Il s'agit d'un travail académique publié sur arXiv (version 2 du preprint 2602.05273), sans produit ni déploiement industriel associé.

L'intérêt est surtout architectural. Les approches à base de VLM souffrent de deux limites : un raisonnement coûteux en temps d'inférence, incompatible avec la planification et l'exécution en temps réel, et une interaction limitée avec l'environnement, qui empêche de lever l'ambiguïté en allant regarder. En séparant un raisonnement lent et un exécuteur rapide cadencé à 10 Hz, AIDE vise le compromis que cherchent aussi les modèles vision-langage-action (VLA) à double système, où un modèle « lent » planifie et un contrôleur « rapide » agit. Pour un intégrateur ou un responsable d'exploitation, le sujet est concret : des opérateurs ne donnent pas des instructions formelles, et la capacité à résoudre l'ambiguïté sans reprogrammation conditionne l'usage en environnement non structuré. Il faut toutefois rester prudent. Le chiffre de 80 % de réussite en planification signifie encore un échec sur cinq tâches, ce qui reste loin des exigences industrielles. Le résumé ne précise ni la nature des tâches, ni le nombre d'essais, ni la plateforme robotique, ni les méthodes de référence utilisées pour la comparaison. Les 95 % portent sur la précision d'exécution, pas sur la réussite de bout en bout.

Ce travail s'inscrit dans la vague des méthodes qui utilisent les VLM pour ancrer le langage dans la perception et l'action, après les approches fondées sur les affordances et les modèles de type Pi-0, Helix ou GR00T, qui cherchent eux aussi à marier raisonnement sémantique et contrôle à haute fréquence. La concurrence se joue autant dans les laboratoires académiques que chez les acteurs industriels comme Figure, Physical Intelligence ou NVIDIA. Aucune société européenne n'est mentionnée ici. La suite logique serait une validation sur des plateformes variées, avec des protocoles et des métriques publiés, avant tout transfert vers des pilotes. Aucun calendrier n'est annoncé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

SAIN : navigation interactive tenant compte de la structure et ancrée dans le dialogue actif pour robot mobile

Des chercheurs ont publie en aout 2026 sur arXiv (2608.09196v1) SAIN (Structure-Aware Interactive Navigation), un framework permettant a un robot mobile de dialoguer avec un humain pour lever l'ambiguïté d'une instruction. La tache visée, l'Interactive Instance Goal Navigation, demande au robot de retrouver un objet précis derrière une consigne de catégorie, par exemple "la tasse" parmi plusieurs tasses. Plutot que de traiter les réponses obtenues comme un indice textuel jetable, SAIN les convertit en état persistant reparti dans quatre mémoires structurées (valeur, pièce, graphe, objet), exploitées par une politique unique pour explorer et approcher la cible. Sur le benchmark VL-LN IIGN, SAIN fait passer le taux de succès de 20,2 a 25,4 et le SPL de 13,07 a 14,17 face a la meilleure base dialoguée publiée, sans entrainement spécifique a la tache. Pour les équipes de navigation vision-langage et de robots de service, ce résultat esquisse une piste pour combler l'écart entre instructions humaines vagues et des benchmarks qui supposent des consignes complètes, en transformant le dialogue en état spatial structure plutôt qu'en contexte textuel jetable, ce qui évite un reentrainement couteux par tache. Le gain reste toutefois mesure (environ cinq points de SR, un point de SPL), obtenu sur un seul benchmark face a une seule base de comparaison, ce qui invite a la prudence avant d'extrapoler a des environnements réels non contrôles. Il s'agit d'une contribution de recherche publiée sur arXiv et non d'un produit déployé: l'article ne mentionne ni partenaire robotique ni mise en production. Le problème du dialogue actif en navigation s'inscrit dans la continuité des travaux de navigation vision-langage, qui visent a gérer le langage naturel impreci des humains; les méthodes dialoguées antérieures se limitaient a exploiter les réponses comme indices ponctuels sans mémoire persistante, ce qui dégradait leurs performances sur des trajets longs. SAIN se positionne comme une alternative zero-shot misant sur la structuration de la mémoire plutôt que sur un apprentissage supplémentaire. L'article ne fournit ni calendrier de suite ni partenariat industriel ni portage vers un robot physique au-delà des simulations du benchmark VL-LN IIGN.

RecherchePaper

1 source

2arXiv cs.RO

ActiveWAM : vision active tenant compte des preuves pour les modèles monde-action

Des chercheurs publient ActiveWAM, un modèle unifié « monde-action » (world-action model) destiné à la manipulation à vision active, c'est-à-dire des politiques qui pilotent à la fois les effecteurs et la caméra. Le système génère des actions bimanuelles et des mouvements pan/tilt, y compris des comportements de maintien du point de vue (« stay ») et de réacquisition, à partir d'un historique tenant compte des vues, puis met à jour son contexte avec les nouvelles images RGB mesurées. Il est entraîné par une « inversion au moment de l'entraînement » (training-time inversion), qui contraint un prior vidéo figé par les preuves visuelles de la tâche et les changements temporels visibles. Cela supprime l'inversion au test et le classement de candidats. La prédiction de vidéo future sert de signal de co-entraînement, mais la génération d'actions n'exige ni décodage vidéo futur ni annotation de point de vue optimal. L'équipe introduit aussi RoboTwin-AV, un benchmark de 50 tâches avec contrôle pan/tilt exécutable et démonstrations générées automatiquement. ActiveWAM gagne jusqu'à 17,0 points de pourcentage de réussite hors distribution sur TAVIS face aux meilleures références. Il devance Fast-WAM de 20,0 points sur RoboTwin-AV et de 26,7 points sur des tâches physiques de cuisine en conditions réelles. L'intérêt tient à la manière dont le travail formalise un problème souvent traité de façon empirique. Bouger la caméra pour acquérir une nouvelle vue peut écarter du champ des indices critiques pour la tâche, tandis que conserver la vue perd des observations potentiellement utiles. Poser ce compromis « garder ou acquérir » comme un problème de gestion des preuves, appris conjointement avec la manipulation, évite de recourir à des heuristiques de recherche de vue ou à du classement de candidats coûteux à l'exécution. Le fait que l'action se génère sans décoder la vidéo future réduit aussi la charge de calcul au déploiement, un point sensible pour les intégrateurs. Les gains réels de 26,7 points sont notables, mais ils portent sur des tâches de cuisine dont le nombre et la diversité ne sont pas précisés dans le résumé. Le benchmark étant introduit par les mêmes auteurs, la comparaison reste à confirmer par des évaluations indépendantes. Ce travail s'inscrit dans l'essor des modèles monde-action, qui exploitent des priors vidéo pré-entraînés pour guider le contrôle, avec Fast-WAM comme principale référence ici. La plupart des politiques de manipulation actuelles supposent une caméra fixe ou montée sur la tête, et ne contrôlent pas activement la vue. Le benchmark RoboTwin-AV prolonge l'écosystème RoboTwin en y ajoutant le contrôle de caméra, ce qui pourrait servir de base commune à d'autres équipes. Il s'agit d'une publication de recherche, sans produit, déploiement industriel ni calendrier commercial annoncés. Les prochaines étapes naturelles seraient des tests sur davantage de plateformes, des environnements moins structurés que la cuisine, et une intégration avec les grands modèles VLA du secteur.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

CIRRA : réconciliation continue des instructions à deux niveaux pendant l'exécution, pour des robots agents incarnés dans des tâches domestiques interactives

Des chercheurs proposent CIRRA (Continual Instruction Reconciliation for Robot Agents), un cadre destiné aux robots domestiques qui doivent intégrer une nouvelle consigne utilisateur pendant qu'une tâche est déjà en cours. Le travail, publié sur arXiv (2610.08862v1), introduit aussi CHIRP (Continual Household Instruction Reconciliation and Planning), un benchmark textuel de 120 épisodes couvrant huit environnements domestiques et six catégories d'activités quotidiennes. Sur CHIRP, CIRRA atteint 74,2 % d'accord de décision, soit 30 points de pourcentage de plus que la meilleure méthode de replanification testée. Selon les auteurs, chaque décision de fusion correcte produit un planning bien placé et sans conflit. Sur un humanoïde Unitree G1, le système interrompt la compétence en cours au bon moment dans tous les essais et surpasse toutes les références sur chaque métrique. Le nombre d'essais réels et les valeurs absolues ne figurent pas dans le résumé. CIRRA repose sur deux niveaux. Un raisonneur sémantique à base de LLM ancre d'abord la consigne entrante sur une compétence exécutable unique et lève les ambiguïtés sur l'action et le lieu. Un niveau structurel, piloté par des règles, conserve la séquence de sous-tâches en cours comme « colonne vertébrale » d'exécution. Il génère des candidats d'intégration en insérant les nouvelles sous-tâches dans les segments correspondant au même lieu. Le LLM n'évalue alors que les segments modifiés, pour repérer dépendances et conflits et retenir l'insertion la plus cohérente. Les sous-tâches communes sont réutilisées afin d'éviter les exécutions redondantes. L'intérêt est pratique. La plupart des agents embarqués pilotés par LLM régénèrent ou révisent en profondeur le reste du plan à chaque nouvelle consigne, ce qui crée de l'ambiguïté, des incohérences logiques et des gestes inutiles. Restreindre le raisonnement à des segments locaux réduit ce risque et limite aussi le coût d'inférence. Cela illustre une tendance du secteur : combiner un LLM avec des contraintes symboliques plutôt que de s'en remettre à une planification entièrement générative. Les réserves sont claires. Le benchmark est textuel, donc l'incertitude de perception et les échecs de manipulation n'y apparaissent pas. Un taux de 74,2 % laisse aussi un quart des décisions erronées, ce qui reste loin de ce qu'exige un robot qui évolue chez des particuliers. La démonstration sur G1 valide la ponctualité de l'interruption, mais pas la robustesse sur de longues séquences. Le travail s'inscrit dans la lignée des planificateurs LLM pour robots d'intérieur, de type SayCan et de ses successeurs, qui supposent généralement une consigne unique et un plan fixe. La gestion d'instructions arrivant en cours d'exécution, avec reconfiguration continue, reste peu traitée dans la littérature. L'Unitree G1, humanoïde accessible largement répandu dans les laboratoires, sert de plateforme de validation courante. Aucun pilote commercial ni calendrier de déploiement n'est annoncé. Les prochaines étapes probables sont une extension du benchmark à des environnements simulés ou réels avec perception, et la mesure du coût de calcul face aux approches de replanification complète.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Découpler planification et contrôle pour des agents instructibles

Une équipe de recherche publie sur arXiv (2608.26788v1) l'article « Decoupling Planning and Control for Instructable Agents », qui présente le système Instruct-to-Act. L'architecture associe un modèle vision-langage (VLM) pré-entraîné, chargé de traduire instructions et observations en plans de haut niveau peu fréquents, à un contrôleur de type « world model » entraîné pour agir en autonomie à haute fréquence à partir de ces instructions. Pour le rendre instructable, les chercheurs relabellisent des trajectoires du contrôleur avec des instructions synthétiques et optimisent conjointement clonage de comportement, récompense et modélisation du monde. Le système est testé sur sept environnements simulés, dont trois multi-agents où des planificateurs VLM coordonnent par le langage pendant que les contrôleurs entraînés agissent comme actionneurs. Ce travail répond à une limite bien identifiée dans le secteur : les VLM planifient bien à partir d'instructions et d'observations, mais peinent à transformer ces plans en actions fiables et rapides en environnement inconnu, tandis que les contrôleurs « world model » contrôlent vite mais manquent de guidage sur la tâche à accomplir. À espaces d'observation et d'action équivalents, l'approche découplée surpasse de façon constante les variantes contrôleur seul et génération d'action directe par le VLM, tout en gardant un contrôle rapide et en permettant de changer de planificateur VLM sans réentraîner le contrôleur, un atout pour des intégrateurs voulant faire évoluer le « cerveau » sans retoucher les « réflexes » du robot. Elle reste toutefois seulement compétitive, et non systématiquement supérieure, face à des références vision-langage-action (VLA) et RL multi-agent solides, sur six tâches sur sept. Il s'agit d'un article de recherche, non d'une annonce produit : le résumé ne cite aucune entreprise ni robot commercial, et les sept environnements testés sont simulés, sans déploiement sur matériel réel évoqué. La démarche rejoint une tendance de l'apprentissage robotique consistant à séparer un raisonnement lent de haut niveau d'un contrôle réactif rapide, déjà explorée par des systèmes industriels comme Helix chez Figure ou GR00T N2 chez Nvidia. Aucun pilote ni calendrier vers des robots physiques n'est mentionné : la contribution porte sur la méthodologie et sa capacité à généraliser entre plusieurs bancs d'essai simulés.

RechercheActu

1 source