Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
VL2Spike : distillation de modèles vision-langage vers des réseaux à impulsions pour la perception visuelle basse consommation dans l'IA incarnée
RecherchearXiv cs.RO 

VL2Spike : distillation de modèles vision-langage vers des réseaux à impulsions pour la perception visuelle basse consommation dans l'IA incarnée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié sur arXiv (référence 2606.15898) VL2Spike, un cadre de distillation de connaissances qui transfère les représentations multi-modales des grands modèles vision-langage (VLM) vers des réseaux de neurones impulsionnels (SNN), spécifiquement des architectures Spikformer. Les résultats annoncés sur trois jeux de données statiques indiquent un gain de précision de 6,81 points de pourcentage, avec une consommation énergétique réduite à 15,7 % de celle d'un modèle de référence classique. Sur la reconnaissance de lieu par vision (VPR), tâche directement applicable à la navigation robotique, le gain atteint 6,63 %. Deux contributions techniques sont mises en avant : une distillation visuo-temporelle (SVS) qui aligne les représentations spatiales et temporelles du VLM avec les tokens impulsionnels du Spikformer, et une distillation linguistique guidée par prototypes (SPL) qui synchronise les prototypes de classes du SNN avec les embeddings textuels du VLM.

L'enjeu de ce travail est réel pour la robotique embarquée. Les SNN sont architecturalement attractifs pour les systèmes edge (drones, robots mobiles, exosquelettes) car leur calcul événementiel consomme peu d'énergie, mais leurs performances en classification restaient structurellement inférieures aux transformers classiques, limitant leur adoption dans des pipelines de perception industriels. VL2Spike propose une voie pour combler cet écart sans sacrifier l'efficacité énergétique. La précision du chiffre "15,7 % de consommation" mérite toutefois d'être relativisée : il s'agit d'une estimation théorique en opérations synaptiques, pas d'une mesure sur silicium réel, ce que les auteurs reconnaissent implicitement en parlant de "modèles contraints en ressources".

Les réseaux impulsionnels ont connu un regain d'intérêt depuis 2020 avec l'émergence des Spiking Transformers (SpikFormer, Spikingformer, SDT), notamment portés par des groupes à Pékin Jiaotong University et Zhejiang University. Sur le front des VLM utilisés comme "professeurs" en distillation, les approches s'appuient généralement sur CLIP ou ses variantes. Le positionnement concurrentiel direct de VL2Spike se situe face aux méthodes de quantification et de pruning de transformers classiques, qui visent aussi la contrainte énergétique sans les propriétés biologiquement inspirées des SNN. Les suites naturelles incluent des validations sur hardware neuromorphique (Intel Loihi, SpiNNaker) et des tests intégrés dans des boucles de perception robotique complètes.

Dans nos dossiers

IA physique & VLAExosquelettesarXiv cs.RO

À lire aussi

ActiveFly-Bench : aligner la réponse à des questions incarnée avec un modèle vision-langage-action pour la perception aérienne incarnée
1arXiv cs.RO 

ActiveFly-Bench : aligner la réponse à des questions incarnée avec un modèle vision-langage-action pour la perception aérienne incarnée

Une équipe de recherche publie ActiveFly-Bench, un nouveau benchmark visant à combler le fossé entre le raisonnement en environnement virtuel et l'interaction physique pour la perception active des drones. Décrit dans un article déposé sur arXiv (2607.10180v1), ce benchmark décompose la perception active en trois tâches hiérarchiques: le question-réponse incarné aérien (Air-EQA), la planification du comportement d'observation (OBP) et le contrôle fin du drone guidé par le langage (FLUC), reliant explicitement la compréhension de tâches de haut niveau, la planification comportementale et le contrôle bas niveau. Les jeux de données combinent des environnements extérieurs réels et simulés, utilisés à la fois pour l'entraînement et l'évaluation. Les auteurs ont aussi développé ActiveFly, un agent en boucle fermée qui associe raisonnement vision-langage et contrôle fin, effectivement déployé sur une plateforme UAV physique, et non testé uniquement en simulation. L'enjeu dépasse le simple exercice académique: les tests menés avec des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) représentatifs montrent que les agents actuels peinent encore sur la planification comportementale, l'ajustement de point de vue et l'accomplissement robuste de tâches en perception active. Autrement dit, la promesse des architectures VLA généralistes, popularisées au sol par des systèmes comme GR00T N2 ou Helix, ne se transpose pas automatiquement au domaine aérien: piloter un drone qui doit décider où regarder, comment se repositionner et quand agir reste un problème ouvert. Pour les intégrateurs de drones d'inspection, d'agriculture ou de surveillance, ce constat tempère l'enthousiasme autour des copilotes autonomes tout-en-un et souligne que le sim-to-real n'est pas résolu pour l'aérien comme il commence à l'être pour la manipulation au sol. Ce travail s'inscrit dans la lignée des benchmarks d'IA incarnée (embodied QA) déjà développés pour les robots terrestres et les bras manipulateurs, mais transposés pour la première fois de façon systématique au domaine UAV, où les contraintes de vol, de vent et de champ de vision changent la donne. Face à des acteurs commerciaux comme DJI ou Skydio qui vendent déjà de l'autonomie de vol assistée, ActiveFly-Bench propose un cadre d'évaluation académique standardisé plutôt qu'un produit, avec l'ambition de devenir une référence pour mesurer les progrès futurs des agents aériens embarquant du raisonnement multimodal.

RecherchePaper
1 source
RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée
2arXiv cs.RO 

RoboJudge : des modèles de langage multimodaux comme juges pour la génération de vidéos d'IA incarnée

Des chercheurs proposent RoboJudge, un cadre destiné à évaluer la capacité des modèles de langage multimodaux (MLLM) à juger des vidéos générées pour la robotique. Son banc d'essai, RoboJudge-Bench, regroupe 800 vidéos annotées par des humains. Elles proviennent de 8 corpus sources et de 10 générateurs vidéo, et couvrent des pinces, des mains humaines et des mains dextres. Deux critères sont notés : l'adhérence physique (la scène respecte-t-elle les lois de la physique ?) et l'alignement avec l'instruction (la vidéo exécute-t-elle bien la tâche demandée ?). Les auteurs constatent un accord inégal entre juges automatiques et humains. Les MLLM généralistes s'accordent moins bien avec les humains sur la physique. Les juges vidéo spécialisés, conçus pour le raisonnement physique en domaine général, ne se transfèrent pas de façon constante aux scènes incarnées. L'équipe a ensuite construit RoboJudge-Train : 12 000 vidéos, 25 000 scores vérifiés par des humains et des justifications produites avec l'aide d'un modèle. Un MLLM de 9 milliards de paramètres a été affiné par apprentissage supervisé puis par apprentissage par renforcement, ce qui donne RoboJudge-9B. Ce modèle atteint la meilleure corrélation de Pearson du banc d'essai, 0,719. Il devance de 0,089 points, un écart statistiquement significatif, Gemini-3.7-Flash, le meilleur modèle propriétaire testé. Les modèles de monde fondés sur la génération vidéo sont de plus en plus présentés comme une base pour la simulation et l'entraînement de politiques robotiques. Cela suppose de pouvoir dire si une trajectoire générée est utilisable, c'est-à-dire sans objets qui traversent la pince ni contacts irréalistes, et fidèle à la consigne. Or l'évaluation à grande échelle repose de plus en plus sur des MLLM utilisés comme arbitres, sans que leur fiabilité ait été mesurée sur des vidéos de manipulation. Ce travail indique que ce choix est risqué : le classement de générateurs vidéo par un juge généraliste peut être biaisé justement sur la physique, critère le plus important pour les robots. Un juge de 9 milliards de paramètres, spécialisé, peut surpasser un modèle propriétaire. Il est donc réaliste de l'exécuter localement, à faible coût et de façon reproductible. Il faut toutefois relativiser : une corrélation de 0,719 reste loin d'un accord parfait avec les humains. Le benchmark est modeste, avec 800 vidéos, et les résultats n'ont pas été validés sur des tâches de robotique en conditions réelles. Ce travail s'inscrit dans la lignée des benchmarks de physique vidéo comme VideoPhy2 et Physion-Eval, sur lesquels l'entraînement avec RoboJudge-Train apporte aussi des gains selon les auteurs. Il répond à la multiplication des modèles de monde incarnés et des générateurs vidéo orientés manipulation, dont l'évaluation reste surtout visuelle ou subjective. Les auteurs utilisent RoboJudge-9B pour classer des générateurs vidéo selon les deux critères, mais le résumé ne détaille ni les résultats ni la disponibilité publique des données et du modèle. La suite logique serait d'intégrer ce type de juge dans les boucles de génération de données synthétiques et de filtrage de rollouts, puis de vérifier si les scores prédisent réellement la réussite de politiques entraînées sur ces vidéos.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Vers une intelligence incarnée générale : intégrer modèles de langage, bases de connaissances et raisonnement pour les agents IA de nouvelle génération
3arXiv cs.RO 

Vers une intelligence incarnée générale : intégrer modèles de langage, bases de connaissances et raisonnement pour les agents IA de nouvelle génération

Une équipe de chercheurs publie sur arXiv (référence 2608.19794v1, article de type "cross-listing") un travail de synthèse intitulé "Towards general embodied intelligence: integrating large language models, knowledge bases, and reasoning capabilities to build the next generation of AI agents". Il ne s'agit pas d'un produit ou d'un robot testé en conditions réelles, mais d'une revue conceptuelle qui analyse la convergence entre grands modèles de langage (LLM), bases de connaissances structurées (KB) et capacités de raisonnement (RA), envisagée comme trajectoire vers une intelligence incarnée générale (général embodied intelligence, GEI). Les auteurs passent en revue les architectures de LLM, leurs méthodes de pré-entraînement et leurs mécanismes d'inférence, ainsi que leur articulation avec des sources de connaissances externes et des cadres de raisonnement logique structuré. Ils examinent également les paradigmes d'intelligence incarnée dans lesquels un agent apprend et agit directement dans un environnement physique. Le papier propose un cadre conceptuel censé illustrer la synergie entre LLM, bases de connaissances, raisonnement et incarnation physique, présenté explicitement comme un modèle directeur pour la perception, le raisonnement et l'action, et non comme une architecture d'ingénierie implémentée ou testée. L'intérêt de ce travail pour l'industrie robotique tient moins à une avancée technique démontrée qu'à la mise en évidence de l'écart persistant entre les promesses des modèles vision-langage-action (VLA) déjà déployés commercialement et les briques encore manquantes pour une véritable autonomie incarnée. En identifiant cinq verrous précis, déploiement efficace des LLM en embarqué, intégration en boucle fermée avec les bases de connaissances, raisonnement hybride symbolique-neuronal, ancrage perception-action, et apprentissage continu, les auteurs formalisent ce que les intégrateurs et décideurs B2B pressentent déjà empiriquement sur le terrain. Ce type de synthèse s'inscrit dans un mouvement plus large de la recherche académique cherchant à consolider, après plusieurs années de publications éparses sur les agents LLM et la robotique fondée sur les modèles de fondation, une feuille de route commune. Le document ne mentionne ni acteur industriel spécifique ni calendrier de déploiement, et se positionne comme une contribution de cadrage théorique destinée à orienter les travaux futurs plutôt qu'à annoncer un système opérationnel.

RecherchePaper
1 source
Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution
4arXiv cs.RO 

Adaptation des modèles vision-langage-action (VLA) à des perturbations visuelles inconnues pendant l'exécution

Des chercheurs proposent SALT (Self-supervised Adaptation from Leftover Trajectories), une méthode d'adaptation au moment du test pour les modèles vision-langage-action (VLA), publiée sur arXiv (2610.07946). Elle cible un problème précis : une perturbation visuelle (corruption d'image, obstruction physique de la caméra) survient en cours d'exécution, sans que la politique connaisse son type ni son moment d'apparition. SALT exploite la « trajectoire résiduelle », c'est-à-dire la partie non exécutée du chunk d'actions précédent. Les chunks consécutifs se recouvrant dans le temps, ce résidu fournit une cible alignée sur le même intervalle de contrôle que la prédiction courante. Aucune annotation de perturbation, aucune action d'expert et aucune démonstration du domaine cible ne sont requises. Une porte d'adaptation légère, calibrée uniquement sur des trajectoires nominales, déclenche les mises à jour. Sur LIBERO-10, le taux de succès moyen sur cinq corruptions visuelles persistantes passe de 43,9 % à 53,2 % avec SmolVLA, et de 58,7 % à 66,0 % avec GR00T N1.7, avec une performance nominale largement préservée. Sur robot réel, la progression de tâche moyenne, perturbations numériques et physiques confondues, passe de 0,49 à 0,61. L'intérêt tient à la nature du problème traité. La plupart des travaux de robustesse des VLA supposent un entraînement avec augmentation de données ou une connaissance du décalage de domaine. Or en production, caméras salies, éclairage changeant ou occultations partielles arrivent sans préavis. SALT suggère qu'on peut gagner entre 7 et 9 points de succès sans données supplémentaires, en recyclant les prédictions déjà produites par le modèle. Deux mécanismes expliquent l'effet : à l'apparition du décalage, le résidu garde un plan formé avant la corruption et sert d'ancre (Transition Anchoring), puis la correction se propage d'un replanning à l'autre (Sequential Correction Propagation). Les limites sont nettes : le gain reste modeste en valeur absolue, les taux de succès restent sous les 70 %, et le test sur robot réel, mesuré par un score de progression et non un taux de réussite, offre peu de détails sur le nombre d'essais ou les tâches. Le benchmark LIBERO reste de plus de la simulation. Ce travail s'inscrit dans l'effort de fiabilisation des VLA après la vague de modèles généralistes comme Pi-0, GR00T ou SmolVLA, dont l'écart entre démonstration et déploiement tient souvent à la sensibilité aux conditions visuelles. L'approche rejoint l'adaptation au moment du test, déjà explorée en vision par ordinateur, mais l'applique ici à la structure par chunks d'actions propre aux politiques modernes. Elle reste un résultat de recherche, sans produit ni déploiement annoncé. Les prochaines étapes probables sont des validations sur d'autres architectures, des perturbations plus variées et des tâches longues, ainsi qu'une évaluation du coût de calcul des mises à jour en ligne sur du matériel embarqué, point que le résumé ne chiffre pas.

RecherchePaper
1 source