RecherchearXiv cs.RO 25 août 2026

La modélisation Mamba à espace d'états sélectif améliore le compromis précision-complexité des experts VLA de SmolVLA

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs ont mis en ligne le 25 août 2026 un article arXiv (2608.21407v1) proposant de remplacer l'attention causale de l'expert d'action du modèle SmolVLA par une modélisation d'espace d'état sélectif de type Mamba. SmolVLA est un modèle vision-langage-action (VLA) de référence, réputé pour sa précision élevée à faible complexité de calcul. Les deux variantes, Mamba et Transformer, ont été évaluées sur la suite de benchmarks LIBERO selon trois horizons d'exécution avant replanification: N=1, N=25 et N=50 actions, correspondant respectivement à une complexité de calcul élevée, modérée et faible. À N=50, horizon jugé compatible avec un déploiement temps réel, l'expert Mamba dépasse le Transformer de 7,8 points de taux de réussite. À N=25, l'écart est de 3,7 points. À N=1, avec une replanification à chaque action, les deux variantes obtiennent un taux de réussite équivalent, mais Mamba réduit le nombre de paramètres du modèle de 24%.

Le compromis entre précision et fréquence d'appel du modèle est un frein central au déploiement industriel des VLA: replanifier à chaque action donne le meilleur contrôle mais génère une latence incompatible avec le temps réel, tandis qu'espacer les replanifications allège le calcul au prix d'une fiabilité dégradée. Ce résultat montre qu'un changement d'architecture au niveau de l'expert d'action, sans toucher aux données d'entraînement ni à la taille globale du modèle, peut atténuer cette dégradation sur les horizons longs. Pour les intégrateurs robotiques qui doivent faire tourner ces politiques sur du calcul embarqué à ressources limitées, cela ouvre une piste concrète pour rapprocher les VLA d'un fonctionnement en cadence réelle, plutôt que de rester cantonnés à des démonstrations en laboratoire à faible vitesse d'exécution.

SmolVLA, développé par Hugging Face, sert de modèle de référence léger et ouvert dans la famille des VLA, aux côtés d'architectures plus lourdes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, ces dernières associées à des plateformes comme Figure 03 ou Optimus. Mamba, architecture d'espace d'état sélectif conçue comme alternative moins coûteuse à l'attention pour le traitement séquentiel, avait déjà fait ses preuves en traitement du langage; son application à l'expert d'action d'un VLA reste un axe de recherche récent. Les auteurs positionnent leurs résultats comme une base à valider au-delà du benchmark simulé LIBERO, sur des tâches robotiques réelles et sur d'autres modèles VLA de plus grande taille.

Impact France/UE

SmolVLA, modèle ouvert développe par Hugging Face (fortement implante a Paris), sert de référence pour les intégrateurs robotiques européens a ressources de calcul limitées, qui pourraient bénéficier de cet allègement architectural.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Le contact comme variable de décision : sélection de contacts par compromis de capacité pour la loco-manipulation des robots à pattes

Un article soumis le 25 septembre 2026 sur arXiv (2609.30140) présente CTCS (Capability-Tradeoff Contact Selection), une méthode qui choisit conjointement, pour une tâche de loco-manipulation donnée, un point d'appui environnemental et une posture corps entier. Pour chaque contact candidat, elle évalue trois mesures, le wrench résiduel (force et couple restants), la portée de l'effecteur terminal et la mobilité de la base une fois la tâche satisfaite, et les compare au coût d'acquisition du contact. Plutôt que d'exécuter une optimisation corps entier complète pour chaque candidat, coûteuse en calcul, CTCS filtre les points faisables, regroupe les candidats similaires par surface, prédit leurs capacités par analyse de sensibilité locale, puis vérifie et classe un sous-ensemble restreint avant la décision finale. Elle a été validée en simulation et sur un quadrupède Unitree Go2 équipé d'un bras AgileX NERO, sur 392 conditions de tâche et neuf surfaces d'appui disponibles. CTCS surpasse une stratégie limitée au sol et une stratégie de contact fixe, en sélectionnant les surfaces offrant le meilleur compromis selon la tâche, avec un temps de calcul divisé par environ trois par rapport à une évaluation exhaustive, pour un objectif moyen quasi identique. Pour les intégrateurs de robots à pattes destinés aux chantiers, entrepôts ou sites industriels, ce résultat s'attaque à un verrou concret: le choix de où et comment un robot s'appuie sur son environnement reste rarement optimisé faute de budget de calcul suffisant. L'étude ouvre la voie à une planification de contact quasi temps réel, condition nécessaire pour des robots capables de manipuler en s'appuyant sur des surfaces variées plutôt que de rester cantonnés au sol. Le travail s'inscrit dans la recherche en planification de contact pour la loco-manipulation, domaine où les approches se limitaient jusqu'ici au seul contact au sol ou à des points fixés à l'avance, faute de méthode pour arbitrer entre plusieurs surfaces. Le choix d'un Unitree Go2 couplé à un bras AgileX NERO reflète une plateforme de recherche de laboratoire, non un système commercial en déploiement. Classé nouvelle soumission arXiv, sans partenariat industriel ni feuille de route annoncée, l'article constitue une contribution algorithmique dont la suite logique serait l'extension à des morphologies plus complexes, comme des humanoïdes à deux bras, ou à des environnements moins structurés que les neuf surfaces testées.

RecherchePaper

1 source

2arXiv cs.RO

Mamba Policy : vers une politique de diffusion 3D efficace avec des modèles à états sélectifs hybrides

Une équipe de recherche présente Mamba Policy, une nouvelle architecture pour piloter des robots manipulateurs en 3D, décrite dans une version mise à jour de l'article arXiv:2409.07163. Les modèles de diffusion sont devenus une méthode de référence pour apprendre à prédire des trajectoires d'action en manipulation robotique, mais ils s'appuient généralement sur de lourds réseaux UNet comme backbone, difficiles à faire tourner sur du matériel contraint en ressources, comme l'électronique embarquée d'un bras robotique. Les auteurs remplacent une partie de cette architecture par des blocs Mamba, un type de modèle à état sélectif réputé pour sa faible complexité de calcul en modélisation de séquences. Le résultat, baptisé Mamba Policy, réduit le nombre de paramètres de plus de 80 % par rapport au réseau de politique original, tout en obtenant de meilleures performances. La brique technique centrale, le XMamba Block, combine les informations d'entrée avec des caractéristiques conditionnelles en mélangeant mécanismes Mamba et attention pour une extraction de features plus fine. Pour l'industrie robotique et les équipes de recherche en manipulation, ce travail répond à une contrainte très concrète: les politiques de diffusion actuelles, aussi précises soient-elles, restent souvent trop volumineuses pour un déploiement embarqué en temps réel. Diviser le coût de calcul par cinq tout en gagnant en performance ouvre la voie à des politiques d'action utilisables sur des contrôleurs moins puissants, un enjeu clé pour les intégrateurs qui veulent sortir la manipulation robotique du laboratoire. Les auteurs mettent aussi en avant une meilleure robustesse sur les tâches à long horizon, un point faible connu des méthodes de diffusion classiques. Ce travail s'inscrit dans la vague plus large de modèles Mamba, apparus récemment comme alternative crédible aux architectures Transformer pour le traitement de séquences longues avec moins de calcul. Les expériences ont été menées sur les bancs d'essai académiques Adroit, Dexart et MetaWorld, avec plusieurs variantes de Mamba testées au sein du framework, et complétées par des essais en conditions réelles pour valider les résultats hors simulation. Le code et les détails du projet sont publiés en open source.

RecherchePaper

1 source

3arXiv cs.RO

Modélisation du seuil de différence perceptible pour la compression de tokens dans les modèles vision-langage-action

Des chercheurs publient sur arXiv (2608.21247, catégorie cross-list, 24 août 2026) une méthode baptisée Action-JND pour la compression de tokens dans les modèles vision-langage-action (VLA). Le principe consiste à adapter le concept de "just noticeable différence" (JND), issu de la caractérisation de la tolérance du système visuel humain aux signaux, au contrôle robotique en boucle fermée : un token ne doit être compressé que si sa modification n'entraîne pas de déviation d'action au-delà d'une marge tolérée par la politique. Les auteurs développent un estimateur JND léger, calculé token par token dans l'espace de features visuelles profondes, qui prédit la perturbation maximale admissible sans dégrader la réponse du modèle. Ce score de tolérance d'action sert ensuite de critère plug-and-play pour prioriser les tokens à compresser dans des techniques existantes comme la réutilisation de KV-cache périmé ("stale-KV reuse") ou l'élagage de tokens ("token pruning"). Testée sur le benchmark de simulation LIBERO avec les modèles open-source OpenVLA et OpenVLA-OFT, la méthode améliore la fiabilité de la compression, en particulier aux ratios les plus agressifs. Pour les équipes travaillant sur des VLA embarqués, réduire le coût d'inférence est un enjeu direct puisque la latence conditionne la viabilité d'un contrôle robotique temps réel en boucle fermée. Les critères de compression habituels (similarité visuelle, scores d'attention, saillance) mesurent la redondance perceptuelle mais ignorent l'effet réel sur l'action produite, ce qui peut faire dévier une politique sans avertissement en cas de compression trop agressive. En rattachant explicitement le critère de compression à la réponse d'action plutôt qu'à la perception, Action-JND vise à sécuriser des déploiements VLA à budget de calcul réduit, un sujet central pour l'embarqué robotique. Il s'agit toutefois d'une contribution méthodologique validée uniquement en simulation, et non d'un produit ou d'un déploiement terrain. Le travail prolonge les techniques de compression de tokens popularisées sur les grands modèles vision-langage, désormais transposées aux agents incarnés pilotés par des politiques VLA comme OpenVLA, l'un des modèles open-source de référence pour le contrôle robotique par langage naturel, aux côtés d'autres familles telles que Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA. Le concept de JND, historiquement développé pour la perception humaine, avait déjà été étendu aux réponses de systèmes machine avant cette extension à l'action robotique. Les auteurs positionnent Action-JND comme complémentaire des schémas de compression existants plutôt que comme une alternative, applicable en amont du pruning ou du stale-KV reuse. Aucun calendrier de déploiement industriel ni partenariat n'est mentionné : l'apport reste, à ce stade, une preuve de concept académique sur benchmark simulé.

RecherchePaper

1 source

4arXiv cs.RO

L'œil mobile : améliore la généralisation spatiale des VLA grâce à une collecte de données hybride et dynamique

Le fil d'actualité de l'IA, voici l'article traduit et synthétisé. Une équipe de recherche publie sur arXiv (référence 2607.02322v1, soumis début juillet 2026) une étude intitulée "The Moving Eye", consacrée à la généralisation spatiale des modèles Vision-Language-Action (VLA). Le protocole expérimental repose sur une configuration à deux bras robotiques : l'un exécute la tâche de manipulation, l'autre sert de caméra mobile filmant la scène sous des angles variables. Les chercheurs comparent trois stratégies de collecte de données : vue fixe (Fixed), multi-fixe avec plusieurs points de vue statiques (Multi-Fixed), et vue mobile en mouvement continu (Moving Views). Les modèles testés couvrent le spectre actuel des architectures de manipulation robotique : ACT, les modèles à diffusion (Diffusion Policy), ainsi que les VLA Pi-0 et GR00T. Résultat central : une approche hybride, combinant mouvement continu de caméra et diversité de points de vue statiques, surpasse nettement les deux autres méthodes prises isolément. Cette étude s'attaque à un problème connu mais peu quantifié dans le secteur : le "shortcut learning", où un modèle VLA apprend des corrélations superficielles (pose relative fixe entre objets, ou entre caméra et base du robot) plutôt que la géométrie spatiale réelle de la tâche. Concrètement, un modèle entraîné avec des caméras fixes peut sembler performant en test mais échouer dès qu'on change la position de la caméra ou la disposition des objets, un écart démo-réalité que les intégrateurs industriels connaissent bien. L'article démontre que multiplier les points de vue fixes ne suffit pas à corriger ce biais, contrairement à une hypothèse répandue dans le secteur : seul le mouvement de caméra combiné à la diversité des vues réduit efficacement ces corrélations parasites, et ce gain se vérifie sur toutes les architectures testées, pas seulement sur les VLA les plus récents. Cette fragilité spatiale des VLA fait l'objet d'une attention croissante depuis la montée en puissance de modèles comme Pi-0 (Physical Intelligence) et GR00T N2 (NVIDIA), présentés comme généralistes mais dont la robustesse hors distribution reste discutée. En proposant une méthode de collecte de données peu coûteuse en matériel (un simple bras robotique reconverti en caméra mobile) plutôt qu'une refonte architecturale, les auteurs ouvrent une piste concrète pour les équipes qui entraînent leurs propres politiques de manipulation, avant d'éventuels essais à plus grande échelle sur des tâches et robots variés.

RechercheActu

1 source