IA physiquearXiv cs.RO 11 août 2026

SLIM-0.5B : apprentissage de représentations latentes prédictives ancrées dans l'action pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Optimisée pour le contrôle plutôt que pour la richesse visuelle, une nouvelle politique vision-langage-action baptisée SLIM (Self-supervised Latent Interaction Model) vient d'être présentée dans un article publié le 11 août 2026 sur arXiv (arXiv:2608.09771v1). Développée pour la manipulation robotique, SLIM ne compte que 0,5 milliard de paramètres, un ordre de grandeur en dessous des backbones multimodaux massifs habituellement utilisés par les modèles VLA de référence. Le système apprend des représentations latentes ancrées dans l'action, capables à la fois de prédire les transitions futures conditionnées par une action et d'inférer l'action ayant produit un changement observé. L'entraînement repose sur une prédiction de trajectoire masquée auto-supervisée, combinant reconstruction d'action et prédiction de latent futur, le tout porté par une architecture compacte de type Mixture-of-Transformers (MoT) qui modélise les interactions entre latents d'observation et tokens d'action. La génération d'action conditionnée par le langage utilise ensuite le flow matching. Selon les auteurs, SLIM égale ou dépasse des baselines VLA et des modèles monde-action à grande échelle sur des benchmarks en simulation et en conditions réelles, sans pré-entraînement embarqué supplémentaire.

L'intérêt pour les intégrateurs et décideurs industriels tient moins à la performance brute qu'à l'efficacité: les auteurs revendiquent une latence d'inférence réduite et une empreinte mémoire GPU nettement plus faible que les architectures VLA massives actuelles. Cela répond directement à une critique récurrente du secteur, à savoir que les backbones multimodaux surdimensionnés consacrent l'essentiel de leur capacité à une sémantique ouverte peu utile au contrôle moteur continu, alors que la manipulation robotique nécessite surtout des représentations compactes des observations, actions et transitions. Si les résultats se confirment au-delà des benchmarks académiques, cela ouvrirait la voie à des politiques VLA déployables sur du matériel embarqué moins coûteux, un enjeu direct pour l'industrialisation des humanoïdes et bras robotiques dont le calcul embarqué reste un goulot d'étranglement économique.

SLIM se positionne comme alternative aux modèles monde pixel-level, jugés coûteux car ils prédisent des détails visuels non pertinents pour le contrôle, ainsi qu'aux grandes politiques VLA généralistes du type Pi-0 ou GR00T N2. L'article ne précise pas de partenariat industriel, de date de déploiement pilote ni d'acteur commercial associé: il s'agit à ce stade d'une contribution de recherche publiée en preprint, sans validation industrielle indépendante ni comparaison chiffrée détaillée avec les principales baselines nommées dans le texte.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

PSR : apprentissage de représentations sensorimotrices prédictives pour la manipulation en contact riche

Une équipe de recherche a mis en ligne sur arXiv, le 21 septembre 2026 (référence 2609.21753), un framework baptise PSR (Predictive Sensorimotor Representation), qui entraine un Transformer multimodal a prédire activement la dynamique future des contacts plutôt que de simplement réagir au retour de force, pour améliorer la manipulation robotique dite "contact-rich". Cette hiérarchie de représentations prédictives est ensuite injectée dans le flux d'actions d'une politique visuomotrice, ici un modèle Vision-Language-Action baptise PSR-VLA. Teste sur six taches réelles de manipulation avec contact, PSR-VLA atteint 91,7% de réussite globale, soit 30,0 points de mieux que le modèle de référence pi-0.5, 22,5 points de mieux que ForceVLA-pi-0.5 et 19,2 points de mieux que ForceVLA2-pi-0.5; des vidéos des taches et des tests de stabilité sont en ligne sur psr-vla.pages.dev. Ce résultat cible un angle mort des modèles VLA généralistes actuels, tels Pi-0, GR00T N2 ou Helix, qui peinent sur les taches ou le toucher compte autant que la vue: vissage, insertion avec jeu serre, manipulation d'objets déformables. Pour les intégrateurs industriels évaluant ces modèles pour l'assemblage ou la logistique fine, cette précision est ce qui sépare une démonstration de laboratoire d'une cellule de production fiable. Un gain de 20 a 30 points face a des variantes déjà "force-aware" comme ForceVLA suggère que prédire activement la dynamique des contacts, plutôt que seulement réagir au retour de force, comble une partie de l'écart entre démo et déploiement réel. Les chiffres restent toutefois ceux d'une seule équipe, sur six taches qu'elle a choisies, sans validation indépendante ni test sur d'autres plateformes robotiques. PSR s'inscrit dans la suite de travaux comme ForceVLA, qui ajoutaient déjà un signal de force en entrée sans le rendre prédictif; la comparaison directe avec pi-0.5, ForceVLA-pi-0.5 et ForceVLA2-pi-0.5 positionne le framework comme une amélioration architecturale plutôt qu'un nouveau modèle fondation concurrent de ceux de Physical Intelligence ou NVIDIA. Il s'agit a ce stade d'un simple dépôt de recherche sur arXiv, sans annonce produit ni partenariat industriel: aucun calendrier de déploiement ni d'intégration dans un robot commercial n'est mentionne. La suite logique serait une validation sur d'autres plateformes robotiques, terrain suivi de près par des acteurs européens comme Pollen Robotics ou Wandercraft.

UEAucun acteur européen n'est implique dans cette recherche, mais elle concerne un axe de R&D (manipulation VLA contact-riche) suivi par des intégrateurs européens comme Pollen Robotics et Wandercraft.

IA physiqueOpinion

1 source

2arXiv cs.RO

Représentation continue des trajectoires pour la manipulation robotique

Une équipe de recherche publie sur arXiv (arXiv:2608.24111v1, soumis en août 2026) un nouveau framework baptisé CAT, pour "trajectory-level continuous Action representation", destiné aux politiques de manipulation robotique visuomotrices. Le principe consiste à encoder les trajectoires d'action sur un intervalle temporel fixe en un ensemble de tokens latents continus, plutôt que de lier la représentation à la fréquence de contrôle du robot ou à des paramétrisations temporelles prédéfinies, comme le font la plupart des systèmes actuels. Les auteurs ajoutent un positional encoding "frequency-aware" qui crée un système de coordonnées temporelles partagé, quelle que soit la cadence de contrôle, ainsi qu'une régularisation au niveau trajectoire pour stabiliser l'espace latent. Les évaluations ont porté sur les benchmarks de simulation LIBERO et MimicGen, ainsi que sur des tâches réelles de manipulation à long horizon. Résultat annoncé: les politiques basées sur CAT surpassent de façon constante les baselines par quantification vectorielle (VQ) et les baselines visuomotrices continues concurrentes, à conditions d'entraînement identiques, sur plusieurs backbones de modèle et plusieurs fréquences de contrôle. Le papier cible un problème concret pour les politiques vision-langage-action: coupler la représentation d'action à la fréquence d'échantillonnage produit soit de la redondance à haute cadence, soit une perte de finesse sur les mouvements critiques à basse cadence. En découplant les deux, CAT ouvre une piste pour rendre un même modèle de manipulation plus facilement transférable entre plateformes robotiques opérant à des cadences différentes, un enjeu direct pour les intégrateurs qui doivent déployer une politique sur des bras, mains ou humanoïdes hétérogènes. Dans la course aux modèles fondation pour la robotique, aux côtés de Pi-0, GR00T N2 ou Helix, ce travail confirme que l'architecture de la tête d'action devient un terrain de différenciation aussi disputé que le backbone vision-langage. Reste que les gains sont mesurés surtout en simulation (LIBERO, MimicGen), les résultats réels n'étant pas quantifiés dans le résumé, ce qui appelle une lecture prudente avant extrapolation. Ce travail s'inscrit dans la lignée des recherches sur l'apprentissage par imitation en robotique, où s'opposaient jusqu'ici la quantification vectorielle des trajectoires et les représentations continues à fenêtre fixe type Action Chunking Transformer ou politiques de diffusion. Aucun industriel ni partenariat commercial n'est cité: il s'agit d'une contribution académique, sans calendrier de déploiement annoncé. Sa diffusion suivra vraisemblablement la voie classique de ce type de recherche, adoption dans des frameworks open-source de politiques robotiques, puis, en cas de confirmation des gains, intégration possible dans des piles VLA commerciales.

IA physiqueActu

1 source

3arXiv cs.RO

SlotVLA : vers la modélisation des représentations objet-relation pour la manipulation robotique

Des chercheurs présentent dans un preprint arXiv (2511.06754v3, troisième révision, mai 2026) SlotVLA, un framework de manipulation robotique multitatches qui repose sur des représentations centrées sur les objets et leurs relations plutôt que sur les plongements denses utilisés par la majorité des modèles VLA actuels. L'architecture combine trois composants : un tokeniseur visuel à slots qui maintient des représentations temporellement cohérentes pour chaque objet détecté dans la scène, un décodeur centré sur les relations entre objets pour produire des embeddings pertinents à la tâche, et un module LLM qui traduit ces embeddings en séquences d'actions exécutables. En parallèle, les auteurs publient LIBERO+, un benchmark de manipulation dérivé du jeu de données LIBERO existant, enrichi d'annotations objet-centriques au niveau des boîtes englobantes et des masques de segmentation, ainsi qu'un suivi temporel des instances entre frames. Les expériences conduites sur LIBERO+ montrent que les représentations à slots réduisent significativement le nombre de tokens visuels nécessaires tout en conservant des performances de généralisation comparables aux baselines denses. L'intérêt principal de cette approche réside dans la tension qu'elle adresse directement : les VLAs déployés à ce jour (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) s'appuient sur des encodeurs visuels qui traitent la scène comme un champ dense, sans distinction explicite entre objets manipulables et arrière-plan. Cette architecture entraîne une redondance computationnelle et rend difficile l'audit du raisonnement du modèle, ce qui freine l'adoption industrielle dans des contextes certifiables. SlotVLA propose que des représentations structurées, inspirées de la cognition humaine sur les objets discrets, puissent constituer une base plus efficace et interprétable pour le contrôle visuomoteur. La réduction du nombre de tokens visuels est un levier concret de coût d'inférence pour des systèmes embarqués ou des flottes de robots. Il convient toutefois de noter que les résultats présentés restent confinés à l'environnement simulé LIBERO+ : aucune validation physique sur robot réel n'est rapportée dans ce preprint, ce qui laisse ouverte la question du sim-to-real gap pour ce type de représentation. Cette publication s'inscrit dans un courant actif de recherche sur les architectures objet-centriques pour la robotique, dont les travaux fondateurs incluent les modèles de slot attention de Locatello et al. (2020) et les approches OCRL. LIBERO avait déjà été introduit comme benchmark multitatches pour la manipulation, mais sans annotations objet-centriques fines : LIBERO+ vient combler ce manque pour faciliter l'évaluation comparative de ce type de représentation. Sur le plan concurrentiel, les laboratoires académiques (notamment ceux liés à CMU, Berkeley, Stanford) et industriels travaillent en parallèle sur des architectures plus interprétables pour répondre aux demandes croissantes de traçabilité dans l'automatisation industrielle. Les prochaines étapes naturelles seront la validation sim-to-real sur des plateformes physiques standard (Franka, UR, ou humanoïdes) et l'intégration dans des pipelines de fine-tuning avec des modèles fondateurs publics.

IA physiqueOpinion

1 source

4arXiv cs.RO

SSI-Policy : apprentissage d'interfaces de scène structurées pour la manipulation robotique vision-langage

Des chercheurs ont déposé SSI-Policy sur arXiv (2606.26800, juin 2026), un framework modulaire pour la manipulation robotique en régime de faibles données. Le système repose sur une représentation intermédiaire appelée Structured Scene Interface (SSI), une couche RGB-only qui encode simultanément des caractéristiques de profondeur monoculaire, des dispositions spatiales d'objets ancrées dans le langage naturel, et des trajectoires 2D conditionnées par instruction. Sur le benchmark LIBERO avec seulement 10 démonstrations par tâche, SSI-Policy dépasse la meilleure méthode concurrente de près de 15 points, et reste compétitif face aux approches à 50 démonstrations recourant au préentraînement externe à large échelle. Les auteurs valident également sur 13 tâches réelles : raisonnement spatial, transfert cross-embodiment et manipulation avec contact. L'apport central est architectural : en découplant la perception du contrôle via l'interface SSI, la politique aval peut apprendre à partir de très peu de démonstrations. Que l'interface soit entraînable sur des vidéos sans annotation d'action est particulièrement précieux pour les intégrateurs industriels qui peinent à collecter des données de téléopération à grande échelle. L'absence de capteur de profondeur, le système fonctionnant en pure RGB, réduit les prérequis matériels et facilite le déploiement sur des bras standards. Le caractère robot-agnostique de SSI cible directement la faiblesse récurrente des VLA (Vision-Language Action models) comme Pi-0 de Physical Intelligence, OpenVLA ou GR00T N2 de NVIDIA : leur difficulté à transférer vers de nouveaux embodiments sans réentraînement coûteux. SSI-Policy se positionne face à trois familles de méthodes : les approches vidéo (SuSIE, UniSim), sujettes à dérive géométrique sur les horizons longs ; les méthodes 3D (Act3D, RoboPoint), qui exigent du RGB-D ; et les interfaces de flux optique, sans structure géométrique explicite. SSI-Policy prétend en combiner les avantages, affirmation partiellement étayée par les ablations publiées mais restant à confirmer sur des benchmarks plus larges comme RLBench ou DROID. L'article est un preprint, non soumis à évaluation par les pairs. La suite logique : validation sur plateformes humanoïdes complètes et pilotes industriels réels, deux domaines où la robustesse en faible nombre d'exemples reste le verrou commercial principal.

IA physiqueOpinion

1 source