Aller au contenu principal
Juno : dompter les latents prédictifs des modèles vision-langage-action (VLA)Illustration générée par IA
IA physiquearXiv cs.RO 

Juno : dompter les latents prédictifs des modèles vision-langage-action (VLA)

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs publient sur arXiv (2610.09940) Juno, un cadre unifié qui exploite les « latents prédictifs » d'une architecture JEPA (Joint-Embedding Predictive Architecture) pour améliorer les modèles vision-langage-action (VLA). Une JEPA prédit des observations masquées ou futures dans un espace de représentation plutôt qu'en pixels. Juno s'appuie sur une seule JEPA conditionnée par l'action, qui joue trois rôles : backbone de représentation aligné sur le contrôle, enseignant prédictif et modèle de dynamique adaptable. En pré-entraînement, elle est entraînée sur des trajectoires issues de la même morphologie que le robot cible. Une perte « dynamic CLS » transfère la dynamique des patches, pondérée par le mouvement, vers un état global compact. En apprentissage de politique, les patches JEPA de l'image courante sont fusionnés dans la perception du VLA. Une branche de raisonnement découplée, avec ses propres paramètres de transformation, distille les états latents futurs pour générer les actions. Au déploiement, le modèle du monde est adapté sur toutes les transitions observées, échecs compris. L'enseignant adapté est ensuite gelé, et la politique est réalignée sur les exécutions vérifiées via des adaptateurs LoRA et une tête d'action entraînable, sans corrections d'expert ni récompenses de tâche.

Sur le benchmark de simulation SimplerEnv, Juno fait passer le taux de réussite moyen de 60,9 % à 68,5 % face à Qwen3GR00T, la meilleure référence testée. L'adaptation au moment du test porte ce score à 72,7 %. Sur robot réel, la politique conserve 70 à 75 % de réussite quand le fond, la hauteur ou les objets changent, alors que la politique de base tombe à 0 %. Ces chiffres viennent des auteurs, et le papier est une prépublication sans relecture par les pairs. Le nombre d'essais réels, les tâches et la plateforme robotique ne figurent pas dans le résumé, ce qui limite la portée de l'effondrement à 0 % de la référence, un résultat dépendant du protocole.

L'enjeu dépasse le gain de 7,6 points en simulation. Le papier s'attaque à un point faible des VLA déployés : la fragilité face aux décalages de distribution (décor, hauteur de table, objets inédits), qui sépare la démo en laboratoire du fonctionnement en production. Deux idées intéressent les intégrateurs. D'abord, apprendre aussi des échecs, sans opérateur humain ni fonction de récompense. Cela réduirait le coût de réglage sur site, aujourd'hui l'un des principaux freins au déploiement. Ensuite, utiliser un enseignant prédictif figé pour éviter la dérive pendant l'adaptation. Cela dit, une adaptation en ligne exige du calcul embarqué ou un cycle de réentraînement, et la robustesse annoncée reste à confirmer hors du dispositif des auteurs.

Le travail s'inscrit dans la convergence entre les modèles du monde et les VLA. La lignée JEPA, portée par Yann LeCun et Meta avec V-JEPA, sert ici de source de représentations pour l'action. La comparaison avec Qwen3GR00T, un VLA dérivé de la famille GR00T de NVIDIA et adossé à Qwen3, le situe face aux politiques généralistes actuelles, aux côtés de Pi-0 de Physical Intelligence. Aucun déploiement industriel ni code ou calendrier de diffusion n'est annoncé dans le résumé. La suite dépendra de la publication du code, d'évaluations sur d'autres morphologies et d'une reproduction indépendante.

À lire aussi

Fusion des modalités tactiles pour les modèles vision-langage-action (VLA)
Illustration générée par IA
1arXiv cs.RO 

Fusion des modalités tactiles pour les modèles vision-langage-action (VLA)

Il s'agit d'un article de recherche académique (préprint arXiv, version révisée), donc sans annonce commerciale ni chiffres de performance détaillés dans le résumé fourni, je reste factuel sur ce point plutôt que d'inventer des métriques. TacFiLM est une méthode de fusion de modalités proposée dans un préprint arXiv (2603.14604v2, version révisée) qui intègre des signaux tactiles aux modèles vision-langage-action (VLA) utilisés en robotique manipulatrice. Le constat de départ est simple: les VLA actuels, bien qu'efficaces pour généraliser des politiques de contrôle a partir d'instructions sémantiques, reposent presque exclusivement sur la perception visuelle, incapable de capturer les dynamiques d'interaction propres aux taches de manipulation en contact étroit, comme les forces de contact, le frottement de surface, la compliance ou le cisaillement.

IA physiqueOpinion
1 source
UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action
Illustration générée par IA
2arXiv cs.RO 

UniTacVLA : compréhension et prédiction tactiles unifiées dans les modèles vision-langage-action

UniTacVLA, un modèle vision-langage-action (VLA) tactile, vise à résoudre un point faible connu des VLA classiques : la manipulation dextre en contact riche, comme l'insertion, l'essuyage, l'assemblage ou l'ajustement de précision. Contrairement aux approches vision-tactile-langage-action (VTLA) existantes qui traitent le signal tactile comme une simple entrée auxiliaire passive, l'équipe de recherche propose un espace latent tactile unifié qui modélise conjointement l'état tactile courant et les changements de contact futurs, via un raisonnement en chaîne de pensée tactile et une prédiction tactile progressive (coarse-to-fine). Ce prior tactile alimente ensuite un contrôleur mixte tactile-action combinant retour tactile en temps réel et retour prédit, pour corriger à haute fréquence des chunks d'action calculés à basse fréquence.

IA physiqueActu
1 source
Reflex : des modèles vision-langage-action rapides et prédictifs pour la manipulation critique en réaction
Illustration générée par IA
3arXiv cs.RO 

Reflex : des modèles vision-langage-action rapides et prédictifs pour la manipulation critique en réaction

Un preprint publie sur arXiv (référence 2608.14379v1) présente ReflexBench, un banc d'essai de six taches dynamiques pour la manipulation robotique réactive, et ReflexVLA, un modèle vision-langage-action (VLA) conçu pour y répondre sans pré-entrainement massif sur des données robotiques. ReflexBench découplé le pas de simulation du contrôle du robot et permet une latence configurable en inférence synchrone comme asynchrone. ReflexVLA améliore le raisonnement temporel par prédiction latente du futur et fusion multi-images dans son backbone visuel, et réduit sa latence via un encodage visuel par lots et le rejeu CUDA Graph. Les auteurs rapportent une amélioration en manipulation dynamique, une précision maintenue sur les benchmarks statiques classiques, et des validations en conditions réelles, avec un site de projet dédié (reflexvla.github.io).

IA physiqueActu
1 source
Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action
Illustration générée par IA
4arXiv cs.RO 

Modèles vision-langage-action ou monde-action ? Simplement des modèles d'action

Des chercheurs proposent le Just Action Model (JAM), un cadre commun censé réconcilier deux familles de politiques de contrôle robotique, les modèles vision-langage-action (VLA) et les modèles monde-action (WAM). JAM associe un backbone visuel pré-entraîné à un « action expert », entraîné avec deux pertes : une perte d'action et une perte de « foresight ». Cette seconde perte oblige les features de l'observation courante à prédire les encodages figés de l'observation future enregistrée. Elle passe par une tête de prédiction abandonnée après l'entraînement, donc sans génération d'image ni à l'entraînement ni à l'inférence.

IA physiquePaper
1 source