FR/EU ecosystemearXiv cs.RO 16 octobre 2026

REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

REKI, un modèle vision-langage-action (VLA) de 2,4 milliards de paramètres, est présenté dans un preprint arXiv (octobre 2026) par le laboratoire français Kyutai. Il est pré-entraîné exclusivement sur des données publiques: un mélange sélectionné de données robotiques, de vidéos égocentriques d'humains et de données vision-langage. L'architecture associe un modèle vision-langage (VLM) à un « action expert » à flow-matching, qui génère les actions. Les auteurs ajoutent une mémoire: quelques jetons de registre dans l'action expert résument la sortie du VLM à chaque image et restent dans son cache. Selon eux, cette mémoire coûte très peu en calcul, améliore le taux de réussite en simulation comme sur robots réels, et rend les oscillations entre poses environ quatre fois plus rares. Sur les benchmarks LIBERO-Plus, RoboTwin Clean2Rand et RoboCasa365, REKI n'est devancé que par des modèles environ deux fois plus gros. Le code complet (curation des données, entraînement, inférence, évaluation, déploiement) et tous les poids, pré-entraînés et affinés, sont publiés sur GitHub.

Pour les intégrateurs et les équipes R&D, l'intérêt tient à l'efficacité plus qu'au score brut. Un VLA de 2,4 milliards de paramètres demande bien moins de calcul à l'entraînement et à l'inférence que les modèles de grande taille, ce qui facilite l'exécution embarquée et l'itération. Le résultat suggère aussi qu'un corpus entièrement public suffit pour approcher l'état de l'art, ce qui relativise l'avantage des jeux de données propriétaires de téléopération. Le problème que vise la mémoire, les oscillations entre poses, est un défaut courant des politiques qui ne voient que l'instant présent, et le corriger à faible coût compte pour la fiabilité en conditions réelles. Il faut toutefois rester prudent: les gains sont mesurés surtout en simulation, les essais sur robots réels sont décrits sans chiffres dans le résumé, et les benchmarks ne garantissent pas la robustesse en production. Le « nouveau front de Pareto » est une revendication des auteurs, non validée de façon indépendante.

Kyutai, laboratoire de recherche à but non lucratif basé à Paris et connu pour ses travaux en IA vocale, s'aventure ici dans la robotique avec une politique ouverte et reproductible, ce qui donne de la visibilité à l'écosystème européen. REKI se place face aux VLA ouverts comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, souvent plus volumineux ou dépendants de données partiellement fermées. La publication de l'ensemble de la chaîne, jusqu'au déploiement, permet à d'autres équipes de la reproduire et de l'étendre. La suite dépendra de validations indépendantes, de tests sur davantage de plateformes physiques et de la capacité de la communauté à enrichir la mémoire à registres vers des horizons temporels plus longs.

Impact France/UE

Le laboratoire parisien Kyutai publie un VLA ouvert et reproductible (code et poids), utilisable par les équipes R&D et intégrateurs français et européens et qui renforce la visibilité de l'écosystème européen en IA physique.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

AR-VLA : un expert d'action autorégressif pour les modèles vision-langage-action

Des chercheurs de l'INSAIT (Institute for Computer Science, Artificial Intelligence and Technology, Sofia, Bulgarie) ont publié début 2026 AR-VLA, une architecture de politique robotique qui remplace les têtes d'action à base de blocs (chunk-based) par un expert d'action autorégressif autonome. Contrairement aux modèles VLA existants, qu'ils soient réactifs ou basés sur la diffusion, qui réinitialisent leur contexte temporel à chaque nouvelle observation, AR-VLA maintient une mémoire longue durée et génère les actions comme une séquence causale continue. Le système intègre un mécanisme de re-ancrage (re-anchoring) pour synchroniser les modalités asynchrones vision-langage-action, compensant mathématiquement le délai entre une perception lente (quelques Hz) et un contrôle moteur rapide (centaines de Hz). Les expériences couvrent des tâches de manipulation en simulation et sur robots réels, où AR-VLA atteint ou dépasse les taux de succès des VLA réactifs de l'état de l'art tout en produisant des trajectoires sensiblement plus lisses. L'enjeu central est le découplage entre raisonnement perceptif lent et contrôle moteur rapide, un problème structurel des architectures VLA actuelles. En traitant les actions comme une séquence autorégressive avec historique persistant plutôt que comme un bloc prédit à chaque nouvelle trame, AR-VLA rend la politique intrinsèquement consciente du contexte : elle sait ce qu'elle vient d'exécuter, pas seulement ce qu'elle observe à l'instant T. Pour les équipes robotiques et les intégrateurs, cette architecture autorise un préentraînement modulaire de la syntaxe cinématique indépendamment du backbone de perception, réduisant potentiellement les coûts de développement de politiques spécialistes ou généralistes. La cohérence spatio-temporelle accrue réduit également les oscillations et les reprises de mouvement, deux facteurs critiques en déploiement industriel. L'INSAIT, fondé en 2022 à Sofia avec le soutien de Google, Microsoft et de l'EPFL, s'est imposé rapidement comme un pôle de recherche en IA en Europe centrale. AR-VLA s'inscrit dans une compétition ouverte sur l'architecture des politiques robot-généralistes, où Physical Intelligence (pi-0, pi-0.5), NVIDIA (GR00T N2), Google DeepMind et des startups comme Figure (Helix) ou 1X défendent des approches concurrentes. L'approche par diffusion, popularisée notamment par pi-0 et Diffusion Policy, constitue l'alternative dominante aux VLA réactifs ; AR-VLA la défie directement en montrant qu'un modèle autorégressif pur peut produire des trajectoires plus cohérentes sans recourir à des processus de débruitage itératifs. AR-VLA demeure pour l'instant un preprint arXiv (2603.10126v2), sans annonce de déploiement industriel ni de commercialisation. Le code et les vidéos de démonstration sont disponibles sur arvla.insait.ai.

UEL'INSAIT (Sofia, Bulgarie), soutenu par Google, Microsoft et l'EPFL, positionne l'UE comme acteur de recherche crédible dans la course aux architectures VLA généralistes ; le code est disponible et testable par les équipes robotiques européennes.

FR/EU ecosystemeOpinion

1 source

2arXiv cs.RO

Évolution continue des compétences dans un modèle vision-langage-action (VLA)

Des chercheurs ont publié Stellar VLA (arXiv:2511.18085v3), un cadre d'apprentissage continu par imitation (continual imitation learning, CIL) pour les modèles Vision-Langage-Action (VLA). La méthode propose deux variantes progressives : T-Stellar, fondée sur une modélisation plate centrée sur les tâches, et TS-Stellar, organisée en structure hiérarchique tâche-compétence. Les expériences menées sur le benchmark LIBERO, référence standard pour les tâches de manipulation robotique, montrent que les deux variantes surpassent les baselines VLA et CIL actuelles, avec seulement 1 % de rejeu de données. Une validation en conditions réelles sur une plateforme bi-bras, avec des configurations de scènes et d'embodiments distincts, confirme que le transfert de connaissances entre tâches reste effectif au-delà du simulateur. Le principal apport de Stellar VLA est d'adresser un frein structurel au déploiement des grands modèles VLA : les méthodes CIL existantes nécessitent des paramètres additionnels ou des modules externes, ce qui les rend difficilement scalables lorsque le modèle de base est déjà massif. En optimisant conjointement des représentations de tâches et un espace de connaissances partagé, Stellar VLA introduit un mécanisme de routage expert guidé par la sémantique, sélectionnant les K embeddings les plus proches pour orienter le modèle vers la compétence pertinente, sans alourdir l'architecture. Pour les équipes qui déploient des robots polyvalents en production, cela ouvre la voie à l'apprentissage incrémental de nouvelles tâches avec un coût de fine-tuning réduit. TS-Stellar se distingue notamment sur les manipulations hiérarchiques complexes, et les visualisations publiées illustrent une rétention robuste des compétences acquises ainsi qu'une capacité de découverte automatique de nouvelles tâches. Les VLA constituent un axe de recherche en accélération depuis 2023, portés par Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA (UC Berkeley) ou encore RT-2 (Google DeepMind), qui cherchent à généraliser la manipulation robotique via un préentraînement multimodal massif. La question du catastrophic forgetting, c'est-à-dire la perte des compétences antérieures lors de l'apprentissage d'une nouvelle tâche, reste un verrou non résolu à l'échelle industrielle. Stellar VLA se positionne comme une surcouche légère applicable à des VLA existants, sans retraining complet. Le projet est documenté sur stellarvla.github.io ; aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans la publication, qui reste à ce stade un travail de recherche académique.

RechercheOpinion

1 source

3arXiv cs.RO

Dissocier le déclaratif du procédural dans les modèles vision-langage-action (VLA)

Des chercheurs proposent w²VLA, un nouveau modèle vision-langage-action (VLA) publié sur arXiv (2606.21496, deuxième version) qui s'attaque à une faiblesse connue des politiques robotiques actuelles : leur incapacité à séparer le savoir déclaratif (concepts, sémantique des entités) du savoir procédural (comment réaliser un geste), tous deux encodés dans les mêmes paramètres. Le paradigme dominant consiste à affiner un modèle vision-langage (VLM) de plusieurs milliards de paramètres, d'abord sur de grands jeux de données robotiques, puis sur un petit nombre de démonstrations propres à un scénario. w²VLA modifie le flux d'information : au lieu d'envoyer tous les tokens multimodaux du encodeur VLM vers un grand « action expert » à base de transformeur, jugé opaque, il module la séquence d'état du robot avec des informations visuelles, spatiales et de compétence, de manière compositionnelle et interprétable. Les auteurs revendiquent un clonage de comportement robuste et un transfert de compétences zéro-shot vers des objets dissemblables jamais vus. L'extrait disponible ne fournit ni taux de réussite, ni nombre de démonstrations, ni plateforme robotique, ni comparaison chiffrée. L'enjeu est central pour le déploiement industriel. Si une politique doit être réentraînée avec des démonstrations dédiées pour chaque nouvel objet, le coût de collecte de données devient ingérable, ce qui freine les intégrateurs et les exploitants de sites logistiques ou manufacturiers. Les auteurs soulignent que les VLA actuels, bien que performants dans la distribution d'entraînement, restent fragiles face à de légères variations spatiales, sémantiques ou de tâche. Ce constat nuance l'idée que la mise à l'échelle des VLM suffit à produire une généralisation exploitable. L'approche modulaire plaide aussi pour davantage d'interprétabilité, un atout pour la validation et la certification en environnement industriel. Il faut toutefois rester prudent : le terme « sans précédent » employé dans le résumé est un argument des auteurs, non une mesure indépendante. Il s'agit d'un travail académique, sans produit, ni pilote, ni déploiement annoncé, et la solidité des résultats dépendra des benchmarks, des tâches testées et de leur reproductibilité en conditions réelles, y compris face aux écarts entre simulation et monde physique. Ce travail s'inscrit dans la lignée des VLA bâtis sur des VLM préentraînés, comme RT-2, OpenVLA, Pi-0 ou GR00T, qui associent un backbone vision-langage à un module de génération d'actions, souvent de type diffusion ou flow matching. Ces architectures dominent la recherche et les démonstrations commerciales, mais leur généralisation hors distribution reste leur point faible. w²VLA se positionne contre cette tendance en réintroduisant de la structure plutôt qu'en augmentant simplement données et paramètres. La prochaine étape logique serait une validation sur plateformes physiques variées et une confrontation directe avec les VLA de référence sur des benchmarks de généralisation. Le fait qu'il s'agisse d'une version révisée (v2) suggère que le texte a été retravaillé après relecture, sans que l'on sache si les résultats ont été étendus.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Raisonnement continu pour les modèles vision-langage-action (VLA)

Des chercheurs ont publié sur arXiv (2606.00229) une architecture appelée Continuous Reasoning for VLA, qui remplace le langage naturel comme médium de raisonnement pour les politiques robotiques par un espace latent gaussien continu. Le problème est fondamental : le texte opère à la granularité d'une tâche entière, tandis qu'une politique VLA (Vision-Language-Action) doit sélectionner des actions à une échelle temporelle bien plus fine. Le modèle génère d'abord un ensemble structuré de "pensées continues" sous forme de vecteurs gaussiens, puis les réutilise comme contexte partagé pour la génération d'actions par chunks. L'entraînement repose sur un objectif de vérification croisée : un teacher EMA (exponential moving average) doit consommer le raisonnement du modèle étudiant pour prédire les actions cibles, forçant le latent à rester transférable et vérifiable entre instances. Sur robots réels, l'architecture améliore le taux de succès moyen par sous-tâche de 40,4 % sur TX-G2 (variante compatible AgiBot G2) et de 26,3 % sur HSR (Human Support Robot de Toyota), comparé à π0.5 de Physical Intelligence. Ces résultats contredisent une hypothèse répandue : ajouter des tokens de raisonnement textuel via chain-of-thought ou sous-objectifs explicites améliore le contrôle robotique. Les auteurs montrent que ce raisonnement textuel devient facilement un raccourci interne au modèle, efficace sur les comportements vus en entraînement mais peu généralisable. Un médium de raisonnement utile doit être partageable entre instances de modèle et vérifiable via l'amélioration du contrôle aval, deux propriétés que le texte satisfait mal à l'échelle de l'action. La comparaison directe avec π0.5 positionne ce travail en réponse à Physical Intelligence, acteur de référence dans l'espace VLA. Les plateformes testées (AgiBot G2 et HSR) couvrent la robotique de service et industrielle légère, pas uniquement les humanoïdes à fort investissement comme Figure 03 ou Optimus Gen 3. D'autres architectures concurrentes, dont GR00T N2 de NVIDIA et Helix de Figure AI, misent sur des représentations latentes pour améliorer le transfert sim-to-real, mais restent davantage orientées production que recherche fondamentale. Il s'agit pour l'instant d'un résultat académique, sans annonce de pilote commercial ni de déploiement industriel.

RechercheOpinion

1 source