Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Les journaux d'exécution influencent les juges VLM dans l'évaluation de la progression des robots
RecherchearXiv cs.RO 

Les journaux d'exécution influencent les juges VLM dans l'évaluation de la progression des robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une préimpression arXiv (2610.34151, v1) montre que les modèles vision-langage (VLM) chargés de noter des vidéos de robots se laissent influencer par du texte placé à côté des images. Les auteurs prennent des séquences où le robot perd du terrain sur sa tâche et ajoutent une seule ligne de journal d'exécution affirmant qu'il progresse. Sur des juges Gemini, Qwen et GPT, cela fait basculer des verdicts corrects vers « progression » 10 à 35 points de pourcentage plus souvent qu'une ligne neutre. Des fausses mentions « tâche terminée », sélectionnées, retournent la moitié des verdicts corrects de Qwen, contre un dixième pour des lignes sans rapport. Gemini n'y réagit pas de façon détectable. Un avertissement d'une ligne, précisant que le journal peut être erroné, supprime l'essentiel de l'effet.

Les juges VLM servent de plus en plus à évaluer des politiques robotiques, détecter les succès ou produire des signaux de récompense sans annotation humaine. Si un log de télémétrie, ou un texte généré par la politique elle-même, accompagne la vidéo, le juge peut valider un échec et gonfler les métriques, sans intention malveillante. Pour les intégrateurs et les équipes qui testent des modèles VLA, le risque porte sur la fiabilité des évaluations automatisées. Le correctif est peu coûteux, mais il atténue le problème sans le garantir, et la sensibilité varie fortement d'un modèle à l'autre.

L'abstract ne donne ni la taille du jeu de données, ni les versions exactes des modèles, ni les tâches testées. Les fausses annonces étant sélectionnées, les chiffres de Qwen décrivent un pire cas, pas une moyenne. Il s'agit d'un travail non relu par les pairs. La suite logique consiste à tester avec de vrais journaux de production, à séparer les canaux texte et vision, et à auditer les juges de façon adversariale avant de les brancher sur des boucles d'entraînement ou de recette.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

Évaluation de l'incertitude et de la qualité des robots à base de VLA
1arXiv cs.RO 

Évaluation de l'incertitude et de la qualité des robots à base de VLA

Des chercheurs publient une étude d'évaluation portant sur les robots pilotés par des modèles Vision-Language-Action (VLA), qui combinent perception visuelle, compréhension du langage naturel et planification d'actions pour exécuter des tâches de façon autonome. Le papier (arXiv:2507.17049) adapte huit métriques d'incertitude et cinq métriques de qualité spécifiquement conçues pour les tâches de manipulation robotique par VLA. L'étude s'appuie sur 908 exécutions de tâches réussies, issues de trois modèles VLA de pointe testés sur quatre tâches de manipulation représentatives et deux morphologies de robots différentes. Des experts du domaine ont annoté manuellement la qualité de chaque exécution, servant ainsi d'oracle humain de référence pour mesurer la corrélation avec les métriques automatiques proposées. L'enjeu dépasse l'exercice académique. Aujourd'hui, la quasi-totalité des benchmarks robotiques VLA se limitent au taux de succès binaire, une tâche est réussie ou échouée, sans mesurer la qualité de l'exécution ni le niveau de confiance du modèle dans ses propres décisions. Pour les intégrateurs et les équipes qui déploient ces modèles en conditions réelles, cette limite est concrète : un robot peut valider une tâche tout en l'exécutant de manière hésitante, dangereuse ou peu répétable, sans que cela apparaisse dans les statistiques de succès. Les auteurs montrent que plusieurs de leurs métriques présentent une corrélation modérée à forte avec le jugement humain, et que certaines permettent même de distinguer des exécutions de bonne, moyenne ou mauvaise qualité parmi les tâches échouées, un cas où l'oracle de succès classique ne fournit aucune information exploitable. Ce travail s'inscrit dans la montée en puissance rapide des architectures VLA ces deux dernières années comme brique centrale des robots humanoïdes et bras manipulateurs, où l'écart entre démonstration et fiabilité réelle reste une question ouverte pour le secteur. En proposant des métriques exploitables sans oracle de succès préexistant, les auteurs ouvrent la voie à du monitoring temps réel et à des mécanismes d'amélioration adaptative pour des robots déployés en production, plutôt qu'à une simple évaluation a posteriori en laboratoire.

RecherchePaper
1 source
HumanoidToolBench : évaluation de l'utilisation d'outils par les robots humanoïdes, du choix à l'exécution mobile
2arXiv cs.RO 

HumanoidToolBench : évaluation de l'utilisation d'outils par les robots humanoïdes, du choix à l'exécution mobile

HumanoidToolBench, un nouveau benchmark publié sur arXiv (2610.02089), vise à évaluer l'usage d'outils par des robots humanoïdes, de la sélection de l'outil jusqu'à l'exécution mobile. Il comprend 18 tâches réparties sur trois scénarios, trois niveaux d'exécution et deux modes de jeu d'outils. Il est accompagné de ToolBook, un jeu de 3 100 démonstrations collectées en simulation et sur un Unitree G1 réel. Les auteurs ont évalué sept politiques en simulation et trois sur le robot physique. Ils ont aussi mené des sondages ciblés sur GR00T N1.7, le modèle fondation de NVIDIA. Le code et les données sont publiés en accès libre sur le site du projet, hébergé par le groupe SNU-PI. Les résultats montrent un écart important entre choisir un outil adapté et mener la tâche à son terme. Les sondages sur GR00T N1.7 révèlent deux faiblesses. La précision de sélection baisse sur des outils jamais vus à l'entraînement. Le robot continue en outre d'exécuter la tâche initiale lorsqu'on lui donne une instruction sans rapport. Le résumé ne donne ni taux de réussite chiffrés ni détail par politique, ce qui empêche de mesurer l'ampleur exacte de l'écart. Pour l'industrie, ce travail cible un angle mort. Un humanoïde dépasse ses limites physiques (portée, force, précision) grâce à des outils, et cette capacité conditionne des usages réels en logistique, maintenance ou assemblage. Or les benchmarks existants testent séparément la sélection d'outil, la manipulation ou la locomotion, rarement les trois ensemble sur un humanoïde. Le résultat est un rappel utile pour les intégrateurs: un modèle vision-langage-action (VLA) qui paraît convaincant en démonstration peut échouer dès que l'outil change ou que la consigne dérive. Le second défaut, la persistance de la tâche malgré une instruction étrangère, soulève une question de fiabilité et de sécurité pour tout déploiement au contact d'opérateurs humains. Le choix du Unitree G1, humanoïde de recherche à prix relativement accessible, répond à une logique de reproductibilité: de nombreux laboratoires peuvent répliquer les expériences. GR00T N1.7 s'inscrit dans la lignée des modèles généralistes de NVIDIA, face à des VLA concurrents comme Pi-0 de Physical Intelligence ou Helix de Figure. Il s'agit ici d'un benchmark académique, sans produit ni déploiement commercial à la clé. Sa valeur dépendra de son adoption par la communauté, qui pourra s'en servir pour comparer des modèles plus récents et mesurer si l'écart entre sélection et exécution se réduit.

RecherchePaper
1 source
Évaluation de la sécurité conditionnée par les obstacles dans la navigation des robots domestiques
3arXiv cs.RO 

Évaluation de la sécurité conditionnée par les obstacles dans la navigation des robots domestiques

Des chercheurs publient sur arXiv (2610.34674) OSMA-Bench, un benchmark de navigation domestique conçu pour tester si un robot adapte son mouvement à la nature de l'obstacle. Il repose sur des jeux de scénarios appariés spatialement, qui ne diffèrent que par le type d'obstacle. Les auteurs proposent aussi un indicateur, le Semantic Sensitivity Index (SSI). Il mesure si la distance de dégagement, la vitesse en fonction de la distance et la fluidité de la trajectoire suivent l'ordre de précaution attendu entre obstacles. Ils ont évalué des politiques fondées sur des VLM (modèles vision-langage) et des politiques VLA (vision-langage-action). Aucune n'adapte son mouvement de façon cohérente à la sensibilité de l'obstacle, même avec des consignes de sécurité explicites. Ces politiques identifient pourtant correctement les obstacles sensibles, mais cette distinction n'apparaît ni dans les paramètres de mouvement ni dans les actions générées. Pour les approches VLM, qui reconnaissent l'obstacle puis produisent un programme de navigation, l'ajout d'une étape explicite d'inférence de paramètres entre les deux phases améliore l'adaptation. Le résumé ne fournit ni chiffres ni noms de modèles testés. L'enjeu touche directement les robots de service et domestiques. Un robot qui reconnaît un verre, un animal ou un enfant sans ralentir ni s'écarter davantage n'est pas plus sûr qu'un robot aveugle à la sémantique, et un excès de prudence uniforme le rendrait inutilisable. Les auteurs nomment ce défaut « semantic-to-motion grounding » : la compréhension de la scène ne se traduit pas en commande. Cela nuance l'hypothèse selon laquelle des modèles de fondation de plus en plus capables en perception suffiraient à produire un comportement sûr. Pour un intégrateur, la piste la plus concrète est architecturale : une couche intermédiaire qui convertit explicitement la catégorie d'obstacle en paramètres (marge, vitesse maximale) semble plus fiable qu'une politique de bout en bout. Il faut toutefois rester prudent : il s'agit d'un preprint non évalué par les pairs, et le résumé ne précise ni l'ampleur des écarts mesurés ni le degré de réalisme des scénarios. Ce travail s'inscrit dans la montée des VLA et des agents VLM pour la manipulation et la navigation en environnement domestique. La sécurité y est le plus souvent évaluée par le taux de succès ou de collision, des métriques binaires qui ne disent rien de la modulation fine du mouvement. Il se démarque ainsi des approches classiques de planification à cartes de coûts sémantiques, où les marges par classe d'objet sont réglées à la main, mais où la généralisation à des scènes ouvertes reste limitée. La suite logique est l'adoption du SSI par d'autres équipes pour comparer des politiques existantes, et l'intégration de mécanismes de conditionnement du mouvement dans l'entraînement ou le pipeline des modèles. Aucun pilote ni calendrier industriel n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Le jeu de l'imitateur : évaluer la capacité d'imitation des robots au-delà de la prédiction d'action
4arXiv cs.RO 

Le jeu de l'imitateur : évaluer la capacité d'imitation des robots au-delà de la prédiction d'action

Un benchmark baptisé « The Imitator Game » évalue en quatre niveaux (L0 à L3) la capacité d'un robot à imiter l'intention d'une démonstration humaine, et non son simple mouvement, en écartant progressivement la scène du robot de celle de la démonstration. L'étude s'appuie sur IG-10K, le plus grand jeu de données humain-robot appairé et aligné par environnement à ce jour : plus de 20 000 épisodes couvrant 50 tâches et 6 domaines, en réel comme en simulation. Les auteurs publient aussi Imitator Arena, une plateforme ouverte d'évaluation humaine en aveugle par comparaison A/B. Sur neuf modèles vision-langage-action testés, les performances restent stables de L0 à L2 puis s'effondrent à L3 : aucun ne dépasse 13% de réussite en zero-shot sur des tâches inédites, malgré des gains nets après un fine-tuning sur seulement 10 démonstrations appariées. Le point de rupture identifié est la « substitution fonctionnelle » : atteindre le même objectif via un objet ou un outil différent de celui vu en démonstration, plus déterminante dans l'effondrement des scores que la simple variation visuelle du décor. Pour les intégrateurs et équipes robotique, le résultat tempère l'idée que les politiques vision-langage-action actuelles comprennent réellement une tâche : elles semblent surtout rejouer des trajectoires proches de ce qu'elles ont observé, sans transfert vers une affordance différente. Le plafond de 13% en zero-shot confirme l'écart persistant entre démonstrations soignées et généralisation réelle ; le protocole d'évaluation en aveugle d'Imitator Arena vise à limiter les biais de sélection des vidéos de démonstration, une critique récurrente adressée aux annonces du secteur. Ce travail s'inscrit dans la vague des modèles vision-langage-action qui apprennent des tâches robotiques à partir de vidéos humaines plutôt que de téléopération coûteuse, une piste suivie par plusieurs laboratoires de robotique généraliste. En décomposant l'évaluation en quatre niveaux plutôt qu'en un score global agrégé, les auteurs cherchent précisément à localiser où l'apprentissage par imitation cesse de fonctionner. Le site du projet et l'accès à Imitator Arena sont ouverts sur imitator-game.github.io, pour que la communauté y soumette et compare ses propres modèles. Ce gain rapide avec un minimum de données ouvre une piste concrète pour de futurs déploiements : combiner pré-entraînement à grande échelle sur données appariées et calibration légère sur site.

RecherchePaper
1 source