Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Vers des modèles vision-langage à faible latence avec prédictions doublement correctes pour la compréhension visuelle égocentrique
RecherchearXiv cs.RO 

Vers des modèles vision-langage à faible latence avec prédictions doublement correctes pour la compréhension visuelle égocentrique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (réf. 2606.25160v1) une étude sur l'élagage des modèles vision-langage (VLMs) appliqué à la compréhension visuelle égocentrique, c'est-à-dire depuis le point de vue d'un robot ou d'un humain équipé de capteurs embarqués. L'objectif est de réduire la latence d'inférence pour des tâches collaboratives homme-robot (HRC) en temps réel, où chaque milliseconde compte. Les auteurs introduisent le concept de "prédiction doublement correcte" : une sortie du modèle doit être à la fois précise dans sa réponse ET ancrée dans les bonnes preuves visuelles (localisation d'evidence correcte). Leurs expériences montrent un résultat surprenant : les méthodes d'élagage existantes (weight pruning) tendent à préserver la localisation des indices visuels pertinents, mais dégradent la précision de la prédiction finale. Pour corriger cela, ils proposent une stratégie d'élagage informée par le raisonnement (rationale-informed pruning), validée sur des jeux de données vidéo égocentrique, sur lesquels elle surpasse les approches concurrentes en précision et en taux de prédictions doublement correctes.

Pour les intégrateurs robotiques et les équipes qui déploient des VLMs sur des robots collaboratifs, ce résultat a des implications directes. La sécurité en HRC exige non seulement que le robot prenne la bonne décision, mais qu'il la prenne pour les bonnes raisons, ce qui est essentiel pour l'auditabilité et la conformité dans des contextes industriels réglementés. La démonstration que les techniques d'élagage standards cassent silencieusement la chaîne preuve-décision est un signal d'alarme pour quiconque compresse des VLMs à des fins de déploiement embarqué sans valider ce couplage.

Cette publication s'inscrit dans une vague de travaux visant à rendre les VLMs exploitables sur hardware contraint, en réponse à la montée en puissance des architectures vision-action comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA), qui intègrent déjà des capacités de compréhension visuelle pour la manipulation. L'élagage structuré reste une voie active face à la distillation ou la quantification. La prochaine étape naturelle serait de tester cette approche sur des benchmarks de manipulation réelle ou des pipelines de type VLA (Vision-Language-Action), où le gap sim-to-real reste ouvert. Il s'agit pour l'instant d'un preprint non évalué par les pairs.

Dans nos dossiers

NVIDIA GR00TPhysical Intelligence — π0arXiv cs.RO

À lire aussi

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)
1arXiv cs.RO 

Entraînement au moment de l'inférence pour les modèles vision-langage-action à prévision visuelle (VLA)

Des chercheurs proposent T³VF (Test-Time Training Visual Foresight VLA), une méthode d'adaptation à l'inférence publiée sur arXiv en mai 2025 (réf. 2605.08215). Les architectures Visual Foresight VLA, qui figurent parmi les plus performantes pour le contrôle de robots manipulateurs, fonctionnent en deux temps : elles prédisent d'abord une image future représentant l'état visuel attendu après l'action, puis génèrent la commande motrice à partir de cette prédiction. Cette dépendance en cascade crée une vulnérabilité double aux situations hors-distribution (OOD) : une prédiction visuelle dégradée corrompt directement la décision motrice en aval. T³VF exploite l'écart entre l'image future prédite et l'observation réellement reçue comme signal de supervision naturel, permettant au modèle de s'ajuster en continu pendant l'exécution, sans modification architecturale ni modules auxiliaires. Un mécanisme de filtrage adaptatif sélectionne les mises à jour pertinentes pour éviter la dérive par accumulation d'erreurs indiscriminée. Pour les équipes de déploiement, l'enjeu est direct : les VLA sont benchmarkés en laboratoire mais confrontés en production à des variations de scène (éclairage, textures, disposition des objets) rarement couvertes par les données d'entraînement. T³VF propose une adaptation sans annotation humaine ni nouvelle session d'entraînement, le robot se corrigeant à partir de ses propres observations, avec un surcoût d'inférence qualifié de modeste par les auteurs, une affirmation à vérifier selon les environnements cibles. Si les résultats se confirment à plus grande échelle, la méthode pourrait réduire les cycles de re-fine-tuning lors du passage en production, un poste de coût opérationnel significatif pour les intégrateurs industriels. Les VLA s'imposent depuis 2023 comme architecture dominante en manipulation robotique, portés par des modèles comme RT-2 (Google DeepMind), OpenVLA ou Pi-0 de Physical Intelligence. Les variantes Visual Foresight, qui ajoutent une prédiction d'état futur avant l'action, ont montré des gains sur les tâches de précision, mais leur fragilité face aux shifts de distribution restait peu adressée dans la littérature. Ce travail s'inscrit dans un courant croissant de Test-Time Training (TTT) appliqué à la robotique, distinct du fine-tuning classique en ce qu'il n'exige aucune supervision externe. Aucun partenariat industriel ni timeline de transfert technologique n'est mentionné : ce pré-print académique ne décrit pas de produit ou de déploiement commercialisé associé.

RechercheOpinion
1 source
DarkQA : évaluation des modèles vision-langage sur la compréhension visuelle primitive en intérieur faiblement éclairé
2arXiv cs.RO 

DarkQA : évaluation des modèles vision-langage sur la compréhension visuelle primitive en intérieur faiblement éclairé

Une équipe de recherche a publié DarkQA, un benchmark open-source destiné à évaluer les modèles de vision-langage (VLM) dans des conditions de faible éclairage intérieur, selon un prépublication arXiv (2512.24985, version 4). Le benchmark contient 9 400 paires image-question générées de manière déterministe et vérifiable, couvrant cinq familles de primitives visuelles : détection d'objets, estimation de profondeur, lecture de texte, identification de couleur et reconnaissance de forme. La dégradation lumineuse y est modélisée en espace RAW linéaire, simulant une chute physique d'illumination et du bruit capteur via un pipeline de rendu inspiré des pipelines ISP (Image Signal Processing) des appareils photo. Les résultats ont été validés contre des données réelles de caméras en basse lumière. Les auteurs ont évalué plusieurs VLMs représentatifs ainsi que des méthodes de prétraitement Low-Light Image Enhancement (LLIE). Le verdict : les VLMs se dégradent de manière systématique sous faible illumination et bruit capteur, tandis que les méthodes LLIE offrent une récupération partielle mais instable selon la sévérité des conditions. Ce travail comble un angle mort critique dans l'évaluation des agents incarnés. Les benchmarks existants supposent des conditions d'éclairage idéales, alors que le déploiement 24h/24 de robots ou de systèmes de perception autonome implique nécessairement des environnements mal éclairés : entrepôts de nuit, couloirs intérieurs, scènes résidentielles en soirée. Le fait que les LLIE améliore les performances de façon non monotone selon l'intensité de la dégradation est un signal d'alerte pour les intégrateurs qui considèrent ces méthodes comme une solution générique de prétraitement. DarkQA isole les échecs perceptuels avant qu'ils ne soient noyés dans des tâches embodied complexes, ce qui permet d'identifier précisément quel type de primitive visuelle casse en premier. Dans le contexte plus large, cette publication s'inscrit dans une dynamique de maturité des benchmarks pour l'IA incarnée, après des frameworks comme RoboVQA, OpenEQA ou ScanQA qui évaluaient la compréhension de scène sans contrainte photométrique. L'absence d'un tel benchmark laissait les développeurs sans signal clair sur la robustesse réelle de modèles comme GPT-4V, LLaVA ou Gemini Pro Vision en conditions dégradées. La disponibilité du code et du dataset est conditionnée à l'acceptation de l'article en conférence ou journal, ce qui en limite l'usage immédiat. Le site projet (darkqa-benchmark.github.io) est déjà en ligne, et les auteurs indiquent une prochaine mise à disposition publique complète.

RecherchePaper
1 source
HuGe : passage à l'échelle de modèles vision-langage-action (VLA) généralistes pour humanoïdes grâce à l'expérience égocentrique
3arXiv cs.RO 

HuGe : passage à l'échelle de modèles vision-langage-action (VLA) généralistes pour humanoïdes grâce à l'expérience égocentrique

Des chercheurs présentent HuGe, une famille de VLA (modèles vision-langage-action) généralistes pour humanoïdes, pré-entraînés sur plus de 2 000 heures de données égocentriques, humaines et robotiques. HuGe ne propose pas de nouvelle architecture. Il réutilise trois architectures VLA existantes, qui prédisent des « tokens de mouvement » latents transmis à un contrôleur du corps entier pré-entraîné, ainsi que des signaux de commande des mains. L'entraînement se fait en trois étapes: pré-entraînement sur données égocentriques, adaptation à l'humanoïde, puis fine-tuning sur la tâche cible. Deux techniques comblent l'écart entre humain et robot. Pendant le pré-entraînement, des états pseudo-proprioceptifs sont reconstruits par rejeu en simulation, car les vidéos humaines n'ont pas de proprioception robot. Pendant le fine-tuning, l'apparence des bras est modifiée par re-rendu pour ressembler à celle du robot. Les auteurs revendiquent l'état de l'art sur le benchmark de simulation HumanoidArena. En réel, sur un Unitree G1, ajouter des démonstrations égocentriques adaptées visuellement aux démonstrations robot augmente nettement le taux de réussite d'une tâche de saisie et dépose (pick-and-drop). L'enjeu est le coût de la donnée. La téléopération d'humanoïdes en corps entier est lente et chère, alors que les vidéos égocentriques humaines se collectent vite et à grande échelle. Si le transfert tient, cela déplace le goulot d'étranglement de la téléopération vers la curation de vidéos. Le découplage entre VLA et contrôleur corps entier, qui assure l'équilibre et la locomotion, réduit aussi la difficulté pour le modèle. Les résultats appellent toutefois à la prudence. L'évaluation réelle porte sur une seule tâche et un seul robot, et le résumé ne donne pas de taux de réussite chiffrés. Le record sur HumanoidArena reste un résultat de simulation, et rien ne prouve encore la généralisation à des tâches de manipulation plus longues ou plus fines. HuGe s'inscrit dans la course aux modèles fondation pour humanoïdes, aux côtés de GR00T de NVIDIA, de Pi-0 de Physical Intelligence ou de Helix de Figure, qui misent surtout sur de la donnée robot et de la simulation. Plusieurs équipes explorent aussi la vidéo humaine comme source d'expérience. Le choix du Unitree G1, plateforme de recherche abordable et très répandue, facilite la reproduction par d'autres laboratoires. Les prochaines étapes à surveiller sont la publication des poids et du code, des évaluations multi-tâches sur plusieurs robots, et la mesure du gain réel en heures de téléopération économisées.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Modes de défaillance des modèles vision-langage pour la compréhension des activités humaines en IRH thermique
4arXiv cs.RO 

Modes de défaillance des modèles vision-langage pour la compréhension des activités humaines en IRH thermique

Des chercheurs publient sur arXiv (2610.29244) une évaluation des modes de défaillance des modèles vision-langage (VLM) pour la compréhension d'activités humaines en interaction homme-robot (HRI) à partir d'images thermiques. L'étude teste sept VLM déployables en local, dont des modèles conçus pour l'IA physique et la robotique, sur deux jeux de données thermiques centrés sur la personne. Trois tâches diagnostiques sont posées: la reconnaissance d'actions fines, la reconstruction de chronologies d'activité, et la capacité à s'abstenir de répondre quand rien ne permet d'affirmer. Des enregistrements RGB appariés servent de référence, tandis que des variations contrôlées (échantillonnage des images, présentation de l'entrée thermique, raisonnement additionnel) testent si les erreurs sont corrigibles. Le constat: les modèles identifient correctement les grandes catégories d'activité, mais échouent sur des gestes fins comme tousser, éternuer ou bâiller, produisent des chronologies d'événements inexactes et hallucinent des actions impliquant des objets. L'enjeu touche directement les intégrateurs qui envisagent des robots opérant de nuit ou dans des lieux sensibles (soins, domicile, espaces partagés). La caméra thermique fonctionne dans l'obscurité et révèle moins d'informations d'apparence permettant d'identifier une personne, ce qui la rend séduisante pour le respect de la vie privée. Or ces résultats montrent que les VLM, entraînés surtout sur de l'imagerie RGB, ne transfèrent pas proprement leurs capacités à ce capteur. Le prétraitement thermique simple et le raisonnement supplémentaire n'apportent que des gains limités et variables selon le modèle. Plus gênant pour un usage opérationnel, le comportement d'abstention diverge d'un modèle à l'autre, même avec des instructions explicites: un robot ne peut donc pas s'appuyer de façon fiable sur ces systèmes pour savoir quand ne pas conclure. Pour un décideur, c'est un rappel que l'écart entre performance de démonstration et fiabilité en conditions réelles reste large pour la perception sémantique fine. Ce travail s'inscrit dans la tendance qui consiste à intégrer des VLM dans les systèmes embarqués pour la compréhension de scène et la planification de haut niveau, avec une attention croissante aux modèles dédiés à l'IA physique. L'article est une étude académique de diagnostic, et non l'annonce d'un produit: l'abstract ne précise ni les noms des sept modèles, ni les jeux de données, ni les scores chiffrés, ce qui limite la comparaison immédiate avec les acteurs du secteur. Les suites naturelles seraient un entraînement ou un affinage spécifique sur données thermiques, des méthodes d'étalonnage de l'abstention, et des benchmarks plus larges avant tout déploiement dans des contextes sensibles à la vie privée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source