Aller au contenu principal
FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langageIllustration générée par IA
RecherchearXiv cs.RO 

FRAM : sélection de traits visuels guidée par la trajectoire pour manipulation robotique légère conditionnée au langage

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de recherche présente FRAM (Future Representation Action Model), un modèle vision-langage-action compact pour la manipulation robotique, dans une prépublication arXiv (2609.30965, fin septembre 2026). FRAM relie la trajectoire future de l'effecteur terminal à l'image courante : les coordonnées prédites servent de pointeurs spatiaux pour extraire les caractéristiques visuelles locales liées au mouvement. Les étiquettes de trajectoire sont générées automatiquement à partir des démonstrations et de la géométrie caméra, sans annotation manuelle. Avec 138,7 millions de paramètres, encodeur de langage figé compris, FRAM atteint 92,2 % de réussite moyenne sur les quatre suites LIBERO, contre 94,2 % pour Pi-0 de Physical Intelligence (3,3 milliards de paramètres, soit 24 fois plus), et 67,3 % sur LIBERO-Plus sans entraînement additionnel. Sur un robot réel à deux bras UR5e, il empile des gobelets avec les seules caméras de poignet, en choisissant et en changeant de bras selon les besoins.

Ce résultat contredit l'idée reçue que la performance des modèles vision-langage-action dépend d'abord de leur taille : FRAM approche les scores de Pi-0 avec une fraction de ses paramètres, ce qui allège le calcul embarqué et facilite un déploiement sur du matériel moins coûteux, un point clé pour les intégrateurs cherchant à s'affranchir du cloud. L'étiquetage automatique des trajectoires supprime aussi une annotation manuelle coûteuse, frein habituel au passage à l'échelle des données de démonstration. Les scores sur LIBERO-Plus et la démonstration sur robot réel apportent un élément de réponse, mesuré toutefois sur un nombre restreint de tâches, à la question récurrente de l'écart entre démonstrations en laboratoire et robustesse réelle.

FRAM s'inscrit dans un champ dominé par la course à l'échelle, incarnée par Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, et par des humanoïdes comme Optimus de Tesla ou Figure 03, qui misent sur des milliards de paramètres pour généraliser. Cette prépublication, dont le statut de relecture par les pairs n'est pas précisé, défend la direction inverse de politiques compactes et spécialisées. Aucun partenaire industriel ni plan de déploiement commercial n'est mentionné : les résultats restent limités à des benchmarks simulés et à un seul bras collaboratif en laboratoire. L'étape suivante logique consisterait à étendre l'approche à davantage de tâches, de robots et de configurations de caméras avant d'envisager une intégration en production.

À lire aussi

AntiGrounding : des trajectoires robotiques exécutables comme prompts visuels pour la manipulation guidée par VLM
Illustration générée par IA
1arXiv cs.RO 

AntiGrounding : des trajectoires robotiques exécutables comme prompts visuels pour la manipulation guidée par VLM

AntiGrounding, un framework de sélection visuelle d'actions pour la manipulation robotique guidée par des modèles vision-langage, est détaille dans une version mise a jour d'un article arXiv (2506.12374v3). Chaque trajectoire courte retenue après filtrage de faisabilité sert a la fois de plan de mouvement exécutable et de prompt visuel rendu, évalué par un question-réponse visuel multi-vues qui note sécurité, alignement avec la tache, efficacité et plausibilité physique. Ces scores, agrégés par fusion pondérée des vues, guident les propositions de trajectoire suivantes; des contrôles séparés gèrent orientation et pince, et un jumeau numérique valide les segments choisis avant exécution par le robot réel.

RechercheActu
1 source
MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences
Illustration générée par IA
2arXiv cs.RO 

MAST-VLA : adaptation conditionnée par compétence avec a priori d'affordance de trajectoire pour la manipulation robotique multi-compétences

MAST-VLA, proposé dans un preprint arXiv (2610.32312), est un cadre de politique vision-langage-action (VLA) destiné à la manipulation robotique multi-compétences. Il s'attaque à une faiblesse des VLA généralistes actuels, qui modélisent mal deux aspects d'une même consigne : quelle compétence élémentaire exécuter (saisir, pousser, ouvrir, etc.) et où, comment entrer en contact avec l'objet et le déplacer. Le système repose sur deux mécanismes. Dans le LLM qui sert de colonne vertébrale, des adaptateurs LoRA-MoE (mélange d'experts à faible rang) conditionnés par la compétence utilisent des « skill-query tokens » et des biais de routage pour spécialiser chaque expert.

RecherchePaper
1 source
FineART : jeu de données de trajectoires robotiques annotées finement et modèle vision-langage-action (VLA) pour la manipulation bimanuelle
Illustration générée par IA
3arXiv cs.RO 

FineART : jeu de données de trajectoires robotiques annotées finement et modèle vision-langage-action (VLA) pour la manipulation bimanuelle

FineART est un jeu de données de manipulation bimanuelle annotée finement, présenté sur arXiv (2609.36416v1) avec un modèle associé, FineART-VLA. Le corpus compte 40 543 épisodes, soit 1 718 heures de démonstrations, couvrant 151 tâches et 533 913 sous-tâches annotées individuellement. FineART-VLA est une politique vision-langage-action (VLA) qui prédit elle-même sa prochaine sous-tâche avant d'agir. Selon les auteurs, ce pré-entraînement intermédiaire (mid-training) fait passer le taux de réussite d'une tâche de désambiguïsation spatiale de 32,0 % à 100,0 %. Avec un guidage humain sous-tâche par sous-tâche, une tâche longue jamais vue passe de 16,0 % à 76,0 %.

RechercheActu
1 source
DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

DreamX-Phi 1.0 : modèle du monde vidéo conditionné par l'action pour la manipulation robotique

DreamX-Phi 1.0, un modèle de monde vidéo conditionné par l'action pour la manipulation robotique, est présenté dans un article déposé sur arXiv (2608.13489v1). À partir d'une image observée, d'une instruction en langage naturel et d'une séquence d'actions prescrite, poses de l'effecteur terminal et états du gripper, le système prédit les observations vidéo futures correspondantes. Pour éviter qu'une vidéo réaliste en apparence déplace le mauvais bras ou fasse disparaître l'objet manipulé, les auteurs injectent des transformations géométriques SE(3) propres à chaque bras dans les couches d'attention via un encodage de type PRoPE, complété par une branche de profondeur pour la géométrie de la scène et des masques SAM3 associés à un modèle enseignant V-JEPA figé pour maintenir la cohérence des objets…

RecherchePaper
1 source