RecherchearXiv cs.RO 12 octobre 2026

Splat2Act : des scènes capturées à la manipulation VLA personnalisée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Splat2Act, un pipeline automatisé « real-to-sim-to-real » (arXiv 2610.13945) qui personnalise une politique VLA (vision-langage-action) préentraînée pour une scène et un jeu d'objets précis, à partir d'un simple scan au téléphone et de photos des objets de l'utilisateur. Le point de départ est net : π0.5, pourtant un généraliste de référence, affiche 0 % de réussite sur la prise d'objets dans les scènes capturées par l'équipe, sans adaptation. Le pipeline reconstruit un jumeau numérique photoréaliste en 3D Gaussian Splatting avec géométrie de collision, repère automatiquement les réceptacles (surfaces de table ou non), construit des tâches de prise réalisables et génère des démonstrations réussies grâce à un oracle privilégié en simulation. Appliqué à 101 environnements de campus, d'une surface navigable médiane de 104,87 m² et de 7 réceptacles, il produit 852 réceptacles et plus de 68 000 démonstrations. π0.5 est ensuite affiné en deux étapes : adaptation à des centaines d'objets publics (issus de la seule scène cible ou des 101 scènes), puis personnalisation aux objets de l'utilisateur sur les réceptacles de la scène de déploiement. La meilleure politique atteint 62,5 % de réussite agrégée dans la scène cible. Sur un robot Stretch 3 réel, elle obtient 63,9 % sur un sous-ensemble de 12 tâches, contre 66,7 % en simulation sur les mêmes tâches.

L'intérêt tient à l'économie de la donnée. Collecter des démonstrations réelles dans chaque domicile ou bureau est irréaliste à grande échelle, et le passage de 0 % à environ 60 % montre qu'un VLA généraliste peut être spécialisé sans téléopération, uniquement avec des données issues d'un oracle simulé. L'écart sim-to-real de moins de trois points sur 12 tâches suggère que, pour la prise d'objets, la fidélité visuelle du Gaussian Splatting suffit à transférer la politique. Pour les intégrateurs et les éditeurs de robots de service, cela esquisse un modèle de mise en service où le client scanne son site, puis où un pipeline cloud produit une politique sur mesure. Les réserves sont toutefois réelles : 12 tâches réelles sur un seul type de manipulation (la prise), un robot mobile à bras unique, et un taux de 62,5 % encore loin des seuils de fiabilité exigés en environnement commercial. Les scènes proviennent aussi d'un campus, ce qui ne garantit rien pour des intérieurs domestiques encombrés.

Ces travaux s'inscrivent dans la lignée des approches real-to-sim qui reconstruisaient jusqu'ici des plans de travail isolés, ici étendues à l'échelle du bâtiment. Ils prolongent aussi la famille des VLA généralistes de Physical Intelligence (π0, π0.5), dont les performances s'effondrent hors distribution, ce que les 0 % initiaux illustrent crûment. Le choix du Stretch 3 de Hello Robot, plateforme de recherche abordable, facilite la reproduction par d'autres laboratoires. Les suites logiques sont l'extension à d'autres compétences que la prise (dépose, ouverture de tiroirs), des tests dans de vrais foyers et une évaluation sur davantage de tâches réelles. Il s'agit à ce stade d'un préprint (v1), sans annonce de produit ni de pilote commercial, et son passage à l'échelle dépendra de la robustesse de la reconstruction face à des scans d'amateurs.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique

VersaCamVLA, un framework publié sur arXiv (2610.12451, première version), s'attaque à une faiblesse structurelle des modèles Vision-Language-Action (VLA) : leur dépendance à une configuration de caméras fixe pendant l'entraînement. Les auteurs proposent une interface de « scene tokens » qui convertit un ensemble variable de vues RGB avec pose connue en un nombre fixe de tokens latents de scène. Cette interface est apprise par prédiction de vue cible multi-signaux, et par une méthode d'échantillonnage baptisée Wrist-Augmented Pose Sampling (WAPS), qui exploite les mouvements naturels de la caméra poignet pour obtenir gratuitement de la diversité de poses. Au déploiement, un encodeur spatial léger injecte ces tokens compacts dans un VLA de base préentraîné, comme condition visuelle supplémentaire. Aucun capteur 3D explicite ni rendu de nouvelles vues n'est nécessaire. Les tests couvrent les benchmarks RoboTwin et LIBERO ainsi qu'une plateforme robotique réelle. Les auteurs affirment que VersaCamVLA dépasse les méthodes VLA antérieures et les références multi-vues directes, avec des performances stables quand le nombre de caméras change ou que leurs poses n'ont jamais été vues. L'enjeu est très concret pour les intégrateurs. Un VLA entraîné avec une caméra tête et une caméra poignet à des positions précises perd en fiabilité dès qu'un opérateur déplace une caméra de quelques centimètres, ajoute une vue ou remplace un capteur. Cette fragilité est l'un des freins au passage de la démonstration au déploiement multi-sites, où la géométrie des cellules varie d'un client à l'autre. Découpler la représentation de la scène de l'apprentissage de l'action permet, en principe, de réutiliser un même modèle de base sans réentraînement par configuration, et de réduire les coûts de recalibration. L'approche, qui se greffe sur un VLA existant au lieu d'en exiger un nouveau, est un argument d'adoption. Elle suggère aussi que la généralisation aux changements de point de vue peut passer par une interface visuelle dédiée plutôt que par davantage de données de téléopération. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, dont les résultats reposent sur des benchmarks en simulation et sur une seule plateforme réelle. Le résumé ne chiffre ni les taux de réussite, ni l'amplitude des changements de pose testés, ni le coût de calcul supplémentaire. Ces points seront décisifs pour juger de l'intérêt industriel. Le travail s'inscrit dans la course à la robustesse des VLA, aux côtés de familles de modèles comme Pi-0 ou GR00T, dont les déclinaisons restent généralement entraînées sur des configurations de capteurs précises. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des VLA de base variés, et une validation en conditions réelles avec des variations de caméras mesurées, par exemple sur des lignes de picking ou d'assemblage.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Des comportements VLA locaux du corps entier à la manipulation aérienne à l'échelle de la scène

Des chercheurs proposent un cadre unifié pour faire exécuter à des manipulateurs aériens articulés (UAM, pour uncrewed aerial manipulators) des missions de manipulation à l'échelle d'une scène entière, en s'appuyant sur des modèles vision-langage-action (VLA). La méthode repose sur trois briques. D'abord, un pipeline reconfigurable génère de manière synthétique des trajectoires cinématiquement et dynamiquement réalisables, avec des observations multivues synchronisées, ce qui évite toute démonstration physique sur la plateforme. Ensuite, un algorithme baptisé MPAR (measured-progress-aligned realization) recale les séquences d'actions renvoyées de façon asynchrone par le modèle sur la progression réellement mesurée de l'exécution, puis les convertit en trajectoires continues. Enfin, un graphe de scène relationnel associe les consignes en langage naturel à des instances d'objets et à des zones d'interaction praticables, tandis qu'un transfert guidé par la topologie relie les comportements locaux entre différents sites. En simulation, les compétences VLA locales réussissent 39 essais sur 60 (65,0 %), mais dans des conditions favorables : cible fournie par un oracle et transmission du contrôle jugée réalisable. Avec 500 ms de latence ajoutée, avec ou sans blocage transitoire des mises à jour de commande, MPAR réduit de 0,212 s l'erreur de phase médiane à la reprise de contrôle, par rapport à un alignement sur le temps nominal. Le système complet mène à bien 21 missions multisites simulées sur 50 (42,0 %) et a aussi été validé sur un UAM articulé réel, sans que le résumé ne détaille l'ampleur de cet essai. L'intérêt tient à ce que le travail s'attaque à trois freins concrets du VLA appliqué à la robotique aérienne : le coût des démonstrations en corps entier, le décalage entre action et état causé par la latence, et la difficulté d'enchaîner des comportements d'un site à l'autre. Produire les données d'entraînement par synthèse, sans plateforme physique, réduit un goulot d'étranglement majeur, même si l'écart entre simulation et réalité reste à mesurer sur le matériel. Les chiffres appellent toutefois à la prudence : 42 % de réussite sur missions complètes simulées reste loin d'un niveau exploitable en inspection ou en maintenance, et le 65 % local est obtenu avec des aides oracle. Le message pour les intégrateurs est donc nuancé : la composition de compétences sur de longues missions fonctionne en principe, mais l'érosion du taux de succès d'une étape à l'autre demeure le verrou principal. Ce travail s'inscrit dans la montée des modèles VLA, déjà largement testés sur bras fixes et humanoïdes, et dont l'extension aux drones manipulateurs articulés reste rare, car ces plateformes combinent dynamique de vol, bras mobile et latence de communication. Le résumé ne cite ni concurrents ni acteurs industriels, et aucun calendrier de déploiement n'est annoncé. Il s'agit d'une préimpression arXiv, non évaluée par les pairs. Les suites logiques seraient des essais physiques plus nombreux, la levée des hypothèses d'oracle et une comparaison avec d'autres approches de manipulation aérienne.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

SoTa : peaux tactiles souples pour la manipulation dextère

Des chercheurs proposent SoTa, une peau tactile capacitive souple et bon marché, conçue pour équiper à la fois des mains humaines et des mains de robot. Publiée sur arXiv (2610.02338), elle offre une couverture complète de la main avec une disposition commune de 202 taxels (points de mesure) sur les régions correspondantes des doigts et de la paume. Son empilement multicouche utilise des électrodes en tissu, ce qui permet une fabrication interne de peaux fines, souples et à géométrie personnalisable, pour moins de 10 dollars de matériaux par peau. Côté durabilité, le capteur conserve plus de 97 % de sa plage de réponse initiale après 10 000 cycles de charge-décharge, et ses pistes restent continues après 1 280 cycles de pliage en poing serré. Sur trois tâches de manipulation riches en contacts, les observations tactiles améliorent le taux de réussite en distribution par rapport à des politiques uniquement visuelles. À budget fixe de démonstrations robot, ajouter des démonstrations humaines fait passer le succès moyen de 22,8 % à 45,9 % sur huit conditions d'évaluation, avec un gain dans les cinq conditions hors distribution. Les auteurs prévoient de publier en open source les ressources de fabrication et d'utilisation. L'enjeu porte moins sur le capteur lui-même que sur la donnée. Les démonstrations dextres sur robot exigent de la téléopération, lente et coûteuse, ce qui plafonne la taille des jeux de données visuo-tactiles. Les démonstrations humaines coûtent beaucoup moins cher, mais ne servent que si la main humaine et la main robotique produisent des signaux tactiles comparables. Avec une disposition de taxels partagée, un encodeur tactile unique suffit pour l'entraînement conjoint humain-robot, sans correspondance apprise entre capteurs. Le doublement du succès moyen suggère que les données humaines tactiles peuvent compenser un budget robot limité, y compris face à des conditions hors distribution. Il faut toutefois rester prudent : il s'agit d'un preprint, avec seulement trois tâches et des taux absolus encore inférieurs à 50 % en moyenne. Aucun produit ni déploiement industriel n'est annoncé à ce stade. Ce travail s'inscrit dans un corpus croissant montrant que le toucher complète la vision pour la manipulation dextre, face à des capteurs tactiles existants souvent coûteux, rigides ou propres à un seul type de main. Le goulot d'étranglement des données de téléopération est aussi au cœur de la course aux modèles VLA et aux politiques généralistes, où les démonstrations humaines (vidéo, gants, capture de mouvement) sont vues comme une voie de passage à l'échelle. SoTa y ajoute la modalité tactile, encore peu présente dans ces jeux de données. La suite dépendra de la publication effective des plans de fabrication et de la reproduction par d'autres laboratoires, avec des tâches plus variées et des mains robotiques de morphologies différentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

R2RGEN : génération de données 3D réel-vers-réel pour une manipulation spatialement généralisée

Une équipe de chercheurs propose R2RGen, un cadre de génération de données pour l'apprentissage par imitation en manipulation robotique, publié sur arXiv (identifiant 2510.08547, version 2). Le principe : à partir d'un nombre minimal de démonstrations humaines réelles, le système génère automatiquement un grand volume de données d'entraînement spatialement diversifiées, sans jamais recourir à un simulateur. R2RGen traite les observations sous forme de nuages de points (pointcloud) et augmente les paires observation-action directement dans l'espace 3D réel. Le pipeline repose sur trois étapes : un module de parsing de scène et de trajectoire unifie les démonstrations issues de différentes configurations de caméras dans un espace 3D partagé ; une stratégie de backtracking par groupe augmente ensuite la position des objets et du robot lui-même ; enfin, un post-traitement adaptatif à la caméra aligne les données générées sur la distribution réelle des capteurs 3D. Le cadre est compatible avec les robots mobiles, ce qui le distingue des approches existantes, limitées aux bras fixes et à des angles de prise de vue prédéfinis. Ce résultat s'attaque à l'un des goulots d'étranglement les plus persistants de la robotique apprenante : le fossé sim-to-real. La plupart des pipelines de génération de données actuels passent par des moteurs physiques ou des rendus synthétiques, introduisant des artefacts visuels et des dynamiques inexactes qui dégradent les performances une fois transférés sur robot réel. R2RGen court-circuite entièrement cette chaîne en restant dans le domaine réel du début à la fin. En pratique, cela se traduit par une meilleure efficacité de la donnée sur l'ensemble des expériences rapportées, y compris sur des scénarios de manipulation mobile. Pour les équipes développant des politiques visuomotrices par imitation, cela signifie moins de démonstrations humaines nécessaires pour atteindre une généralisation spatiale robuste, c'est-à-dire la capacité du robot à opérer correctement quelle que soit la configuration relative des objets, de l'environnement ou de l'agent. La généralisation spatiale est le prérequis reconnu à toute manipulation robotique à usage général. Les travaux antérieurs, dans le sillage de RT-X et des pipelines sim-to-real basés sur Isaac Gym ou MuJoCo, avaient montré des gains mais restaient contraints à des bras fixes et à des angles de caméra prédéfinis. R2RGen se positionne comme une alternative plug-and-play sans infrastructure de simulation, abaissant la barrière d'entrée pour les laboratoires ou les équipes industrielles n'ayant pas accès à des environnements simulés robustes. La publication reste à ce stade une contribution académique sans déploiement industriel annoncé ; les auteurs indiquent comme prochaine étape naturelle la validation du passage à l'échelle sur des flottes de robots mobiles en environnement ouvert.

RecherchePaper

1 source