Aller au contenu principal
Pelican-VLA 0.5 : l'attention avant l'action améliore la généralisationIllustration générée par IA
IA physiquearXiv cs.RO 

Pelican-VLA 0.5 : l'attention avant l'action améliore la généralisation

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Pelican-VLA 0.5, un nouveau modèle VLA (vision-langage-action) présenté dans un rapport arXiv publié début juillet, unifie dans une seule architecture la compréhension vision-langage, la génération de trames futures et la prédiction d'action. Sa caractéristique centrale : sans annotations d'objets, sans masques de segmentation, sans supervision explicite de l'attention ni fine-tuning spécifique à la tâche, le module d'action du modèle se concentre spontanément sur l'objet pertinent pour l'instruction et sur sa zone de contact. Ce comportement se maintient sur des scènes inédites et sur des embodiments robotiques jamais vus à l'entraînement, et il est nettement plus marqué que chez les autres modèles VLA open source testés en comparaison. Les auteurs attribuent cette capacité à un module qu'ils nomment Reasoning Slots, inséré entre les étages de perception et d'action.

Cette découverte touche un point sensible de l'industrie des VLA : jusqu'ici, obtenir qu'un modèle regarde le bon objet avant de le manipuler exigeait souvent une supervision lourde, annotations manuelles, masques de segmentation ou fine-tuning tâche par tâche, ce qui limite le passage à l'échelle et la généralisation à de nouveaux robots ou environnements. Si l'attention correcte émerge directement de l'architecture plutôt que de données d'entraînement coûteuses, cela réduit la dépendance à l'ingénierie de données et s'attaque directement à l'écart persistant entre démonstrations en laboratoire et déploiement réel, un sujet central pour les intégrateurs qui évaluent des piles VLA comme Pi-0, GR00T N2 ou Helix.

Techniquement, les Reasoning Slots agissent comme un goulot d'étranglement compact qui force l'information visuelle pertinente pour la tâche à transiter par un nombre limité de canaux, ce qui induit une attention centrée sur la manipulation dès le pré-entraînement. Les auteurs montrent que ce mécanisme reste efficace même appliqué à des architectures de politique différentes, y compris un style Mixture-of-Transformers (MoT). Il s'agit pour l'instant d'un rapport de recherche déposé sur arXiv (arXiv:2607.06655v1), sans annonce de produit commercial ni de déploiement industriel associé.

À lire aussi

AffordanceVLA : un modèle VLA qui améliore la génération d'actions grâce à la compréhension des affordances
Illustration générée par IA
1arXiv cs.RO 

AffordanceVLA : un modèle VLA qui améliore la génération d'actions grâce à la compréhension des affordances

Des chercheurs ont publié le 6 juin 2026 sur arXiv (réf. 2606.06155) un nouveau framework baptisé AffordanceVLA, conçu pour améliorer la manipulation robotique pilotée par des modèles vision-langage-action (VLA). Le coeur du système repose sur l'introduction de l'affordance comme représentation intermédiaire structurée entre la compréhension sémantique et la génération de commandes motrices. Concrètement, trois modules complémentaires décomposent la tâche : Which2Act identifie l'objet pertinent via une prédiction dans l'espace latent visuel pour filtrer les distracteurs ; Where2Act localise en 2D le point d'interaction via une carte d'affordance estimée ; How2Act raisonne en 3D sur la géométrie de la scène pour guider la politique de manipulation.

IA physiqueOpinion
1 source
InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle
Illustration générée par IA
2arXiv cs.RO 

InternVLA-A1.5 : unifier compréhension, prévision latente et action pour une généralisation compositionnelle

Des chercheurs présentent InternVLA-A1.5, un modèle unifie de manipulation robotique qui embarque a la fois les capacités sémantiques d'un VLM preentraine et une prévision physique du futur, le tout dans une seule politique de contrôle. L'architecture conserve un backbone VLM natif qui continue de s'entrainer sur des taches de question-réponse visuelle et de prédiction de sous-taches, auquel est attache un expert léger dédié a la génération continue d'actions. L'innovation clé porte sur la prévision du futur, reformulée comme un problème de "latent-querying": un petit ensemble de jetons de prévision apprenables condense les éléments du futur pertinents pour la tache en un code latent compact, sous la supervision d'un modèle de génération vidéo preentraine et gelé, sans jamais apprendre de génération…

IA physiqueActu
1 source
IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA
Illustration générée par IA
3arXiv cs.RO 

IA généralisable par ancrage de représentation et alignement langage-action pour les modèles VLA

Le laboratoire à l'origine de ce travail publie Anchor-Align, une méthode de finetuning pour les politiques vision-langage-action (VLA), décrite dans un article arXiv (2607.13429, juillet 2026, projet en ligne sur anchoralignvla.github.io). Le problème ciblé est concret : quand un modèle vision-langage préentraîné est affiné sur des démonstrations robotiques par clonage comportemental (behavior cloning), il perd progressivement les représentations qui lui permettaient de généraliser visuellement et sémantiquement. Le co-entraînement sur des données web texte-image, remède habituel, ne corrige pas le vrai défaut : les pertes de langage et d'action portent sur des observations différentes, ce qui laisse un désalignement langage-action invisible aux benchmarks de manipulation classiques.

IA physiqueActu
1 source
La simplicité avant tout : génération d'actions en une étape pour les modèles vision-langage-action (VLA)
Illustration générée par IA
4arXiv cs.RO 

La simplicité avant tout : génération d'actions en une étape pour les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2606.05737, juin 2026) une méthode simplifiée pour accélérer la génération d'actions dans les modèles VLA (vision-language-action) à base de diffusion. L'observation centrale: là où les pipelines diffusion classiques requièrent dix étapes de débruitage itératif pour produire un chunk d'actions, un simple biais de la distribution d'entraînement vers les états à bruit élevé suffit à obtenir des politiques efficaces en une seule étape, sans modèle enseignant, sans distillation et sans objectif auxiliaire. Sur les benchmarks LIBERO, LIBERO-Plus et LIBERO-Pro devenus quasi-standards pour la manipulation dextre simulée, les politiques one-step entraînées avec ce calendrier biaisé égalent ou dépassent des politiques à décodage dix-étapes entraînées avec une distribution uniforme.

IA physiqueOpinion
1 source