RecherchearXiv cs.RO 15 septembre 2026

Ancrage des parties, pas connaissance de l'action : le goulot d'étranglement des VLM en prédiction d'affordance

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une étude arXiv (2609.13225, septembre 2026) sépare deux étapes que les benchmarks d'affordance robotique confondent : localiser la partie d'un objet à actionner, et savoir quelle action lui appliquer. Sur 19 objets articulés, huit modèles vision-langage issus de trois développeurs devaient indiquer le mouvement qu'un robot devait exécuter. En consigne ouverte, l'action « pousser », pourtant correcte pour 8 des 19 objets, n'a été produite qu'une fois sur 64 cas où elle était juste : les modèles décrivaient souvent une autre partie de l'objet, par exemple comment saisir une caméra plutôt que presser son bouton. En nommant explicitement la partie cible, la précision grimpe de 0,32 à 0,63 point selon les modèles, passant de 0,158-0,474 à 0,684-0,947, et le rappel de « pousser » bondit de 0-1/8 à 7-8/8.

Ce résultat déplace le diagnostic habituel sur les VLM appliqués à la manipulation : l'échec ne viendrait pas d'une mauvaise connaissance de la mécanique des objets mais d'un déficit de repérage visuel, un constat stable sur les trois familles testées et qui ne s'atténue pas avec des modèles plus puissants. Sous consigne ouverte, aucun des huit modèles ne bat une réponse constante ignorant totalement l'image ; une fois la partie nommée, les huit la battent tous. Pour les intégrateurs qui misent sur des VLM génériques pour piloter la préhension d'objets articulés comme des boutons, poignées ou tiroirs, la conclusion est concrète : améliorer le raisonnement ne suffira pas, mieux vaut renforcer la segmentation des parties en amont. Sur des photos réelles, seuls trois modèles sur huit localisent mieux les points de préhension qu'une base constante, et aucun n'y parvient sur des objets en rendu 3D.

Les auteurs nuancent eux-mêmes leur résultat : nommer la partie fournit seulement la variable de repérage manquante et ne démontre pas une compréhension générale de la mécanique des objets. L'étude documente aussi, avec transparence, deux erreurs de mesure commises dans son propre protocole, un seuil laissant une réponse constante atteindre 0,929 et une règle d'étiquetage erronée sur 4 des 19 objets, repérées seulement en comparant systématiquement les résultats à des références triviales. Ce travail porte sur des VLM généralistes utilisés en amont de la perception, et non sur des systèmes VLA comme Pi-0, GR00T N2 ou Helix, mais ses conclusions questionnent directement les architectures qui s'appuient sur ces modèles pour générer des affordances sans module de segmentation dédié.

Dans nos dossiers

NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

Attention à partir de l'action, pour l'action : goulots d'étranglement visuels émergents pour l'apprentissage de politiques

Des chercheurs publient sur arXiv (arXiv:2608.13422v1, mi-août 2026) Seeker, une méthode d'apprentissage de politiques visuomotrices pour la manipulation robotique. Le système s'appuie sur DINOv3, un extracteur de features visuelles figé, et apprend à générer des régions d'intérêt (ROI) évolutives dans le temps à partir du seul signal d'action, sans étiquette externe comme le regard, la classe d'objet ou une annotation d'affordance. Cette ROI sert de filtre spatial pour trois usages : recadrage RGB, augmentation d'arrière-plan guidée par masque, et filtrage de nuages de points. Testé en simulation et sur robots réels, Seeker porte le taux de succès moyen en conditions connues de 48,3% (meilleure baseline) à 76,7%, et le taux de succès sous variations d'éclairage et de décor de 20% à 60%. Le résultat vise un goulot d'étranglement connu de l'apprentissage par imitation visuomotrice : une politique reste imprécise quand l'indice visuel utile s'éloigne du gripper ou se déplace pendant la tâche, un cas que les recadrages fixes centrés sur l'effecteur terminal ne capturent pas. Pour les intégrateurs qui déploient des politiques vision-language-action à la manière de Pi-0, GR00T ou Helix, la robustesse aux changements de lumière et de fond est précisément ce qui sépare une démonstration de laboratoire d'un déploiement industriel fiable. Seeker montre qu'on peut gagner en efficacité de données et en résistance aux perturbations visuelles sans coût d'annotation supplémentaire, ce qui contredit l'idée reçue que la robustesse exige davantage de labels ou de données brutes. Seeker se positionne face à deux approches existantes : les interfaces ROI à base de labels externes, coûteuses à annoter, et les recadrages dits "action-derived" sans label, qui détectent un événement lié au gripper pour centrer une fenêtre fixe sur l'effecteur terminal projeté, une heuristique rigide dès que l'évidence visuelle utile se déplace. En repartant des features gelées de DINOv3 et en apprenant une requête itérative conditionnée par la tâche et l'état du robot, Seeker automatise cette sélection spatiale. Le travail reste au stade de preprint de recherche, sans annonce de produit ni de partenariat industriel à ce jour, mais s'inscrit dans la course plus large à des politiques VLA à la fois frugales en données et robustes aux variations d'environnement, un enjeu central pour les laboratoires travaillant sur la manipulation robotique généraliste.

RecherchePaper

1 source

2arXiv cs.RO

Exploration des goulots d'étranglement dans la navigation VLM-LLM : l'impact de la compréhension de scènes 3D sur la navigation sans apprentissage préalable

Des chercheurs ont publié le 20 mai 2026 sur arXiv (arXiv:2605.14801) une étude quantifiant un goulet d'étranglement structurel dans les systèmes de navigation zéro-shot pilotés par VLM-LLM (Vision-Language Model couplé à un Large Language Model). Le paradigme analysé repose sur une architecture à deux étages : un VLM construit des graphes de scène 3D en extrayant objets, relations spatiales et sémantique de l'environnement, tandis qu'un LLM prend les décisions de haut niveau (planification topologique) et pilote un navigateur réactif rapide via coordonnées spatiales et boîtes englobantes. Les auteurs ont modélisé des bornes supérieures statistiques du taux de succès pour ces deux sous-systèmes, les ont validées sur les modèles 3D de l'état de l'art, et ont identifié un phénomène de saturation perceptive : au-delà d'un certain seuil de précision 3D, les gains de navigation deviennent marginaux, voire nuls. Ce résultat remet en cause une hypothèse implicite du secteur : que progresser en perception 3D se traduit mécaniquement en meilleure navigation incarnée. L'étude montre que les modèles de perception actuels optimisent la précision au niveau pixel, ce qui entre directement en conflit avec les contraintes temps-réel d'un robot naviguant dans un environnement dynamique. Pour les intégrateurs et les équipes de R&D robotique, cela signifie que sur-investir en qualité de segmentation ou de reconstruction 3D fine ne se justifie pas pour la navigation autonome : la ressource limitante n'est pas la résolution perceptive, mais la pertinence sémantique des objets détectés et la fiabilité des boîtes englobantes pour l'exécution motrice. C'est un signal fort pour réorienter les efforts vers des vocabulaires visuels navigation-centrés plutôt que vers la précision géométrique exhaustive. La navigation zéro-shot par VLM-LLM est un axe de recherche actif depuis 2022, porté notamment par des travaux sur les agents incarnés dans des simulateurs comme Habitat ou R2R (Room-to-Room). Cette approche vise à s'affranchir des coûts massifs de collecte de données supervisées qui pèsent sur les architectures imitation-learning classiques. Dans le paysage concurrent, des équipes chez Google DeepMind, Meta AI et des laboratoires universitaires (Stanford, CMU) explorent des variantes similaires, certaines intégrant des modèles VLA (Vision-Language-Action) de bout en bout comme Pi-0 ou GR00T N2. Cette étude ne présente pas de déploiement terrain, mais ses bornes analytiques pourraient guider la conception de benchmarks plus pertinents et orienter l'entraînement des prochaines générations de modèles de perception 3D spécialisés navigation.

RechercheOpinion

1 source

3arXiv cs.RO

Apprentissage de représentations suffisantes pour la manipulation via des goulots d'étranglement de résultat

Publiée sur arXiv en septembre 2026 (arXiv:2609.13235), une étude propose de compresser les données échangées entre perception et actionnement dans les systèmes de manipulation robotique en réseau. Plutôt que des états géométriques denses type RGB-D optimisés pour la fidélité visuelle, l'encodeur produit une représentation stochastique de 512 octets, conditionnée sur l'action et entraînée via un goulot d'étranglement centré sur le résultat de l'action plutôt que sur la reconstruction géométrique. Sur 11 979 prises simulées couvrant 13 objets, cette représentation atteint une AUC de 0,876 pour prédire le succès de la préhension, contre seulement 0,542 pour un score de force issu de la géométrie reconstruite, qui tombe même sous le niveau du hasard sur les objets courbes. À 25% d'engagement, le taux de réussite des prises exécutées grimpe à 98,4% contre 50,3% pour la ligne de base géométrique. L'interface, 288 fois plus compacte qu'une image RGB-D, se décide en 16 millisecondes sur simple CPU. Pour les intégrateurs de flottes robotiques et les architectures de robotique en nuage, où perception et commande sont séparées par des liens à bande passante et calcul limités, ce résultat bouscule une hypothèse répandue: une reconstruction géométrique plus fidèle n'implique pas une meilleure manipulation, alors qu'une représentation optimisée directement pour le résultat de l'action préserve l'information utile à la prise tout en divisant drastiquement le trafic réseau. Le même encodeur alimente aussi la sélection de prise, un filtrage conforme, le choix actif de point de vue et l'adaptation au moment du test, ce qui en fait un composant potentiellement réutilisable plutôt qu'une astuce isolée pour les pipelines de manipulation distribués. Le travail reste à ce stade une contribution académique, évaluée en simulation et validée partiellement sur des objets scannés, où un substitut analytique concorde avec les invariances mesurées du simulateur à 0,56 degré près; aucun déploiement sur robot réel ni partenaire industriel n'est mentionné. Les auteurs signalent eux-mêmes une limite de généralisation: sur des objets non vus, l'AUC chute de 0,876 à 0,569, même si la couverture de calibration progresse de 0,728 à 0,883 après une mise à jour complète par retour d'information. Aucun acteur européen ni fabricant de robot n'est associé à ces travaux, positionnés comme une brique pour de futurs systèmes de manipulation distribués plutôt que comme un produit livré.

RecherchePaper

1 source

4arXiv cs.RO

FUSE : ancrage actif de l'affordance fonctionnelle par acquisition adaptative de preuves sémantiques et géométriques

Un preprint publié sur arXiv (2608.12683v1) introduit une nouvelle tâche baptisée « Active Functional Affordance Grounding » : un agent doit explorer activement une scène pour localiser un objet répondant à une fonction demandée, par exemple un objet pour verser un liquide, plutôt qu'à une simple étiquette d'identité. Les auteurs proposent FUSE, un framework d'acquisition de preuves sémantiques et géométriques combinant une exploration pilotée par une mesure explicite d'incertitude et un planificateur amorti appris qui choisit les points de vue les plus informatifs quand les indices fonctionnels sont occultés ou incomplets. Ils publient aussi un benchmark bâti sur le simulateur Habitat pour évaluer cette tâche. Selon les expériences rapportées, FUSE atteint la meilleure performance de localisation non-oracle observée parmi les méthodes comparées, réduit le calcul de 1,33 fois par rapport à une exploration entièrement explicite, et reste efficace avec plusieurs sources de connaissances sur les affordances. Ce travail cible un angle mort des systèmes de perception embarquée actuels : la plupart des méthodes de affordance grounding opèrent depuis un point de vue fixe et échouent dès qu'un indice fonctionnel est masqué ou invisible sous un seul angle. Pour des intégrateurs qui cherchent à faire raisonner un robot sur ce à quoi sert un objet plutôt que sur ce qu'il est, ce mécanisme d'exploration active pilotée par l'incertitude constitue un prérequis en amont de toute manipulation. Le résultat rappelle aussi qu'un grand modèle vision-langage ne suffit pas à lui seul si l'agent ne sait pas décider où regarder ensuite pour lever une ambiguïté fonctionnelle ; le gain de calcul de 1,33x reste toutefois mesuré uniquement en simulation, sans validation rapportée sur robot physique. Le papier combine deux lignées de recherche jusque-là largement séparées, l'affordance grounding sémantique qui associe langage et régions de scène, et la perception active centrée sur le choix du prochain meilleur point de vue. Le résumé ne précise ni l'affiliation des auteurs ni de calendrier de suite, et l'évaluation se limite pour l'instant au benchmark Habitat introduit par les auteurs eux-mêmes, sans comparaison sur un jeu de données tiers ni déploiement sur une plateforme réelle. La suite logique, non annoncée dans ce résumé, serait un transfert vers un robot physique et une comparaison face à des méthodes d'exploration active plus générales.

RecherchePaper

1 source