RecherchearXiv cs.RO 14 août 2026

FUSE : ancrage actif de l'affordance fonctionnelle par acquisition adaptative de preuves sémantiques et géométriques

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un preprint publié sur arXiv (2608.12683v1) introduit une nouvelle tâche baptisée « Active Functional Affordance Grounding » : un agent doit explorer activement une scène pour localiser un objet répondant à une fonction demandée, par exemple un objet pour verser un liquide, plutôt qu'à une simple étiquette d'identité. Les auteurs proposent FUSE, un framework d'acquisition de preuves sémantiques et géométriques combinant une exploration pilotée par une mesure explicite d'incertitude et un planificateur amorti appris qui choisit les points de vue les plus informatifs quand les indices fonctionnels sont occultés ou incomplets. Ils publient aussi un benchmark bâti sur le simulateur Habitat pour évaluer cette tâche. Selon les expériences rapportées, FUSE atteint la meilleure performance de localisation non-oracle observée parmi les méthodes comparées, réduit le calcul de 1,33 fois par rapport à une exploration entièrement explicite, et reste efficace avec plusieurs sources de connaissances sur les affordances.

Ce travail cible un angle mort des systèmes de perception embarquée actuels : la plupart des méthodes de affordance grounding opèrent depuis un point de vue fixe et échouent dès qu'un indice fonctionnel est masqué ou invisible sous un seul angle. Pour des intégrateurs qui cherchent à faire raisonner un robot sur ce à quoi sert un objet plutôt que sur ce qu'il est, ce mécanisme d'exploration active pilotée par l'incertitude constitue un prérequis en amont de toute manipulation. Le résultat rappelle aussi qu'un grand modèle vision-langage ne suffit pas à lui seul si l'agent ne sait pas décider où regarder ensuite pour lever une ambiguïté fonctionnelle ; le gain de calcul de 1,33x reste toutefois mesuré uniquement en simulation, sans validation rapportée sur robot physique.

Le papier combine deux lignées de recherche jusque-là largement séparées, l'affordance grounding sémantique qui associe langage et régions de scène, et la perception active centrée sur le choix du prochain meilleur point de vue. Le résumé ne précise ni l'affiliation des auteurs ni de calendrier de suite, et l'évaluation se limite pour l'instant au benchmark Habitat introduit par les auteurs eux-mêmes, sans comparaison sur un jeu de données tiers ni déploiement sur une plateforme réelle. La suite logique, non annoncée dans ce résumé, serait un transfert vers un robot physique et une comparaison face à des méthodes d'exploration active plus générales.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Découplage de la sémantique et de l'ancrage géométrique : prompts visuels spatiaux pour l'apprentissage par imitation guidé par le langage

Une équipe de chercheurs présente SVP-IL dans un préprint publié sur arXiv le 25 juin 2026 (arXiv:2606.25360), une architecture destinée à l'apprentissage par imitation conditionné par le langage naturel en robotique de manipulation. Le constat de départ est précis : les modèles Vision-Language-Action (VLA) de bout en bout actuels couplent dans un même réseau le raisonnement sémantique et le contrôle spatial, ce qui génère un goulot d'étranglement d'alignement quand les données d'entraînement sont rares. SVP-IL découple ces deux fonctions : un modèle fondation vision-langage analyse les instructions textuelles pour produire des masques géométriques zero-shot, traduits en "Spatial Visual Prompts" (SVP), qui sont ensuite injectés dans un générateur d'actions continu via une fusion légère au niveau des features. Résultats sur des tâches à ambiguïté linguistique élevée : avec seulement 50 à 100 démonstrations, le taux de succès moyen passe de 24,0 % à 39,5 %, et atteint 67,8 % sur les benchmarks standards. Des expériences en environnement physique non structuré ont validé la robustesse de l'approche hors laboratoire. L'enjeu industriel de ce résultat est le coût de collecte de données. Les VLA monolithiques comme RT-2, OpenVLA ou π0 (Physical Intelligence) exigent des milliers à des dizaines de milliers de démonstrations pour généraliser à de nouvelles tâches ou de nouveaux environnements, ce qui rend leur déploiement chez les intégrateurs robotiques coûteux et lent. SVP-IL ramène ce seuil à 50-100 démos, soit une réduction d'un ou deux ordres de grandeur, tout en surpassant l'état de l'art sur les tâches à désambiguïsation difficile. Pour un COO industriel ou un intégrateur, cela signifie un temps de mise en service radicalement plus court pour chaque nouvelle cellule de travail. L'approche valide aussi l'hypothèse que le couplage sémantique-spatial n'est pas une nécessité architecturale mais un choix de conception contournable. Les architectures VLA ont émergé à partir de 2022-2023 avec les travaux de Google DeepMind (RT-2), avant d'être popularisées par des modèles open-source et des acteurs comme Physical Intelligence avec π0 ou l'initiative GR00T N2 de NVIDIA. La tendance dominante reste le paradigme monolithique de bout en bout, considéré comme plus simple à scaler. SVP-IL conteste cette hypothèse en montrant qu'un découplage explicite donne de meilleurs résultats en régime de faibles données, sans compromis sur la généralisation. Le préprint ne mentionne pas de partenaire industriel ni de calendrier de déploiement, ce qui en fait pour l'instant une contribution académique ouverte, sans produit shipé associé. Les prochaines étapes naturelles seraient une validation sur des robots commerciaux multi-DOF (bras industriels 6-7 axes, manipulateurs mobiles) et une intégration avec des pipelines de collecte de données synthétiques pour réduire encore davantage le besoin en démonstrations humaines.

RechercheOpinion

1 source

2arXiv cs.RO

Adaptation des politiques génériques de robots par apprentissage par renforcement sémantique

Les auteurs de ce nouvel article arXiv (2606.31958v1) présentent SARL, pour Semantic Action Reinforcement Learning, une méthode d'apprentissage par renforcement pour adapter des politiques robotiques généralistes déjà pré-entraînées, c'est-à-dire des modèles vision-langage-action (VLA) capables d'un large répertoire de comportements. Au lieu d'optimiser directement l'espace des actions du robot, comme le font les approches RL classiques, SARL agit sur l'espace des prompts en langage naturel envoyés au modèle. Concrètement, l'algorithme apprend en ligne, par interaction avec l'environnement, à moduler les instructions textuelles données à la politique pour faire émerger et combiner des compétences déjà présentes dans son répertoire, plutôt que d'apprendre de nouveaux comportements depuis zéro. Les auteurs rapportent des validations à la fois en conditions réelles et sur des bancs d'essai simulés, avec des performances supérieures aux méthodes existantes d'amélioration de comportement en déploiement. L'intérêt de cette approche tient au problème qu'elle cherche à résoudre : les méthodes RL usuelles appliquées à un modèle généraliste supposent que sa distribution d'actions de départ est déjà proche d'une politique performante, une hypothèse qui s'effondre dès que la tâche est longue, complexe ou sort de la distribution d'entraînement initiale. En déplaçant l'optimisation vers l'espace sémantique des prompts, SARL rend l'exploration plus structurée et l'apprentissage en ligne beaucoup plus efficace en données, un enjeu central pour l'industrie robotique où le fine-tuning par interaction réelle reste coûteux et lent. Si les résultats se confirment à plus grande échelle, cela ouvrirait la voie à une adaptation rapide de robots généralistes à des tâches spécifiques d'un site industriel sans réentraînement lourd. Ce travail s'inscrit dans la lignée des politiques robotiques généralistes de type VLA, entraînées sur de larges corpus de démonstrations, dont l'adaptation post-déploiement est devenue un axe de recherche actif face aux limites du simple zéro-shot. Il rejoint d'autres tentatives d'affinage par renforcement de ces modèles, en proposant une alternative à l'optimisation directe des actions. Les auteurs annoncent vouloir approfondir les validations sur des tâches réelles à horizon plus long, sans toutefois préciser de calendrier de déploiement industriel.

RechercheActu

1 source

3arXiv cs.RO

UniFlowWAM : un modèle unifié du monde et de l'action, fondé sur la sémantique visuelle et la géométrie 4D

UniFlowWAM, un modèle publié sur arXiv (2610.30991) par une équipe de recherche, traite le flot de scène 3D, c'est-à-dire le suivi de points 3D de la scène dans le temps, comme une troisième modalité à part entière, au même niveau que la vision et l'action. Il s'agit d'un diffusion transformer avec un expert par modalité, les trois échangeant via une attention conjointe. L'entraînement repose sur une grille de dix objectifs où chaque modalité reçoit l'un de trois rôles: cible, condition ou absente. Un même modèle peut ainsi servir de politique, de dynamique directe ou inverse, et de prédicteur de caractéristiques visuelles futures ou de flot 3D. Les tests couvrent trois benchmarks en simulation et quatre tâches bimanuelles réelles. Sur RoboCasa-GR1, le taux de succès passe de 52,1 % à 56,4 % par rapport au modèle de base sans flot. Sur LIBERO, il reste à 98,1 % en distribution, et atteint 87,7 % en zero-shot sur LIBERO-Plus. Sur robot réel, la moyenne atteint 87,0 %, contre 68,5 % pour la meilleure référence. L'intérêt tient à la place donnée à la géométrie 4D. Les démonstrations robotiques enregistrent ce que le robot voit et fait, mais pas la manière dont le monde 3D évolue entre les deux. Jusqu'ici, le flot servait de prédiction intermédiaire convertie en actions par un autre modèle, d'a priori injecté à l'inférence, ou de sortie auxiliaire apprise avec l'action. Dans tous les cas il restait extérieur à la politique. Le gain de 4,3 points en simulation est modeste, et celui du robot réel (+18,5 points) est le résultat le plus marquant, mais il repose sur seulement quatre tâches, sans indication ici sur le nombre d'essais, la nature des baselines ni la variance. Le score de 98,1 % sur LIBERO confirme surtout que ce benchmark est saturé, alors que LIBERO-Plus, qui introduit des perturbations, est plus discriminant. Pour un intégrateur, il s'agit d'un résultat de recherche et non d'un produit, sans données de temps de cycle, de coût ni de déploiement. Ce travail s'inscrit dans la vague des modèles monde-action, qui prolongent les politiques vision-langage-action (VLA) en leur adjoignant une prédiction de l'avenir, et dans la lignée des méthodes exploitant le flot comme signal intermédiaire. Il se positionne face aux approches où le flot reste un module séparé, et face aux VLA généralistes qui s'appuient uniquement sur l'image et l'action. La formulation à rôles interchangeables laisse envisager un modèle unique réutilisable pour la planification, la simulation et le contrôle. Les prochaines étapes à surveiller sont la validation sur davantage de tâches réelles, la mise à l'échelle des données et une évaluation indépendante, car l'article n'annonce ni pilote ni calendrier de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

ASPEN : raisonnement sémantique adaptatif par prédiction de la persistance des commandes pour des VLA de navigation efficaces

Des chercheurs proposent ASPEN, un ordonnanceur déclenché par événements, conçu pour réduire le coût de calcul des politiques de navigation de type vision-langage-action (VLA). Ces modèles relancent à répétition un raisonnement sémantique coûteux, même quand la commande suivante reste identique à la précédente. ASPEN estime si la politique de base, gelée, réémettrait sa commande précédente. Un prédicteur multimodal léger combine les observations temporelles, les instructions en langage naturel, l'historique d'exécution et la confiance mise en cache du VLA. Aux frontières de commande éligibles, une persistance prédite suffisante autorise la réutilisation de la commande. Sinon, le système relance un raisonnement sémantique complet. Testé avec NaVILA gelé sur le jeu RxR-CE val-unseen, en évaluation inter-jeux de données, ASPEN réduit de 9,5 % le nombre d'appels au VLA et de 8,1 % le temps d'inférence estimé, surcoût d'ordonnancement inclus. Les performances de navigation restent comparables, et les séquences d'actions sont identiques à celles de la référence sur 92,1 % des épisodes. L'intérêt tient moins à l'ampleur du gain qu'à la méthode. Le coût d'inférence des VLA est l'un des verrous du déploiement embarqué, où le calcul, l'énergie et la latence sont contraints. Ici, l'économie vient d'un ordonnancement externe, sans réentraîner ni modifier le modèle de base, ce qui facilite l'intégration à des politiques existantes. Le risque de la réutilisation de commandes, qui est de manquer un virage ou un arrêt dépendant de l'instruction, est traité explicitement. Il faut toutefois relativiser. Un gain de 8 % sur le temps d'inférence reste modeste. Il s'agit d'un temps estimé, non mesuré sur robot, et l'évaluation porte sur un benchmark en simulation. Elle ne dit rien de la robustesse en conditions réelles, ni de l'effet sur la sécurité quand les 7,9 % d'épisodes divergents concernent des situations critiques. Le chiffre de 92,1 % d'actions identiques ne précise pas non plus l'ampleur des écarts sur les autres épisodes. Ce travail s'inscrit dans la montée des VLA de navigation, dont NaVILA est un représentant, après les VLA de manipulation qui ont popularisé le contrôle guidé par le langage. À mesure que ces modèles grossissent, l'efficacité d'inférence devient un axe de recherche à part entière, à côté de la quantification, de la distillation et de l'inférence adaptative. ASPEN relève d'une logique voisine de l'appel conditionnel au modèle lourd, ici appliquée à la navigation. Il s'agit d'une prépublication arXiv (v1), non évaluée par les pairs. La suite logique serait une validation sur matériel réel, avec des mesures de latence de bout en bout, et le test sur d'autres politiques de base que NaVILA, afin de vérifier que le prédicteur généralise.

RecherchePaper

1 source