RecherchearXiv cs.RO 27 octobre 2026

Splatting gaussien 3D aligné sur le robot pour une atteinte précise avec des politiques VLA à caméra au poignet

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent un pipeline de génération de données fondé sur le 3D Gaussian Splatting (3DGS) pour adapter des politiques VLA (vision-langage-action) équipées d'une simple caméra de poignet. La méthode reconstruit l'espace de travail réel en 3DGS, puis restitue des observations de caméra de poignet depuis des poses alignées sur le robot. Ces images sont associées à des trajectoires d'approche lisses et structurées, ce qui fournit une supervision visuo-motrice pour le fine-tuning. L'équipe ajoute un vérificateur d'atteinte conditionné par l'instruction, qui estime la proximité de la cible et déclenche l'arrêt avant tout contact physique. Testé sur le démontage de cartes mères avec le modèle π0.5, le système atteint 80,0 % de réussite d'atteinte précise sur trois cibles avec 1 500 trajectoires générées, contre 58,7 % avec 150 démonstrations téléopérées. La capture humaine active a duré moins de 10 minutes, et aucune caméra latérale externe n'a été nécessaire.

Ce résultat s'attaque à l'un des principaux goulets d'étranglement du VLA : le coût de collecte de données, surtout quand la précision de positionnement de l'effecteur et l'alignement entre caméra et action sont critiques. Le démontage de déchets électroniques est un cas difficile, avec des composants denses, visuellement similaires, souvent fins ou réfléchissants. Les jumeaux numériques complets y sont impraticables, faute de maillages d'objets et de modèles de contact fiables. Le 3DGS contourne ce verrou en s'appuyant sur la scène réelle plutôt que sur une simulation physique. Pour les intégrateurs, l'intérêt est de remplacer des heures de téléopération par quelques minutes de capture. Les limites sont nettes : l'étude ne couvre que la phase d'approche, avant contact, sur une seule tâche et trois cibles. Le démontage proprement dit (dévissage, extraction, manipulation) n'est pas traité. Il s'agit d'un preprint arXiv, sans validation indépendante ni déploiement industriel, et la comparaison porte sur un seul jeu de 150 démonstrations, dont la qualité peut peser sur l'écart.

Ces travaux s'inscrivent dans la recherche de méthodes de génération de données synthétiques ou semi-synthétiques pour les VLA, entre simulation physique complète, augmentation d'images et reconstruction neuronale de scènes réelles. Le 3DGS, déjà répandu en reconstruction et en rendu, est ici utilisé pour produire des vues cohérentes avec la géométrie du robot. π0.5, de Physical Intelligence, sert de modèle de base, ce qui reflète son rôle de référence ouverte pour l'adaptation en aval. Les suites logiques sont l'extension aux phases de contact, la généralisation à d'autres cartes et la validation en conditions de tri réel. Aucun calendrier de pilote n'est annoncé, mais le site du projet (PrecisionReach-GS) est public.

Dans nos dossiers

IA physique & VLA Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

Un jumeau numérique haute-fidélité pour la manipulation robotique basé sur le splattage gaussien 3D

Une équipe de chercheurs a publié sur arXiv (identifiant 2601.03200, version 2) un cadre logiciel permettant de construire des jumeaux numériques haute fidélité pour la manipulation robotique en quelques minutes à partir d'un ensemble réduit d'images RGB. Le système repose sur la technique de reconstruction 3D Gaussian Splatting (3DGS), qui modélise une scène comme un nuage de gaussiennes colorées et orientées, offrant un rendu photoréaliste nettement plus rapide que les approches NeRF classiques. À cela s'ajoute une fusion sémantique tenant compte de la visibilité des objets, pour un étiquetage précis des éléments de la scène en 3D, ainsi qu'une méthode de conversion géométrique par filtrage produisant des maillages prêts pour la détection de collisions. L'ensemble s'intègre directement dans la chaîne Unity-ROS2-MoveIt et a été validé expérimentalement sur un bras Franka Emika Panda effectuant des tâches de pick-and-place dans des environnements non structurés. L'intérêt industriel de cette approche réside dans sa capacité à compresser drastiquement le temps de mise en place d'un pipeline sim-to-real : là où la création d'un jumeau numérique exploitable pour la planification de mouvements demande habituellement des heures de scan, de nettoyage de maillage et de paramétrage de collision, le framework proposé vise à produire un environnement simulé cohérent géométriquement et sémantiquement en quelques minutes. Pour un intégrateur ou un responsable de ligne industrielle, cela signifie un déploiement potentiellement plus rapide de cellules robotisées dans des contextes où la scène évolue fréquemment. Le papier démontre aussi que la qualité géométrique des jumeaux 3DGS, souvent critiquée pour ses artefacts aux bords d'objets, peut être suffisante pour piloter une manipulation robuste, ce qui contredit partiellement l'idée que ces reconstructions restent cantonnées à la visualisation. Le contexte est celui d'une compétition intense autour de la représentation de scènes pour la robotique. Le 3DGS, introduit par Kerbl et al. en 2023, s'est imposé comme alternative aux NeRF grâce à sa vitesse de rendu en temps réel, et plusieurs groupes l'ont depuis adapté à la robotique (SplaTAM, Gaussian Grouping, GaussianWorld). Ce travail se distingue par son focus applicatif sur le pipeline complet perception-planification-exécution, en ciblant explicitement MoveIt et ROS2, les standards de facto en robotique industrielle open-source. Il s'agit néanmoins d'un preprint sans revue par les pairs, et les résultats de pick-and-place sont présentés sur un seul type de bras dans un environnement de laboratoire contrôlé, ce qui laisse ouverte la question de la robustesse à plus grande échelle.

UELe framework est validé sur un bras Franka Emika Panda (fabricant allemand) et s'intègre nativement avec ROS2/MoveIt, standards ouverts très utilisés par les intégrateurs industriels européens, ce qui le rend directement pertinent pour réduire les délais de déploiement de cellules robotisées en Europe.

RecherchePaper

1 source

2arXiv cs.RO

PneuTac : manipulation tactile avec des robots pneumatiques souples grâce à une simulation unifiée MPM et Gaussian Splatting

PneuTac est un cadre logiciel de recherche, présenté sur arXiv (v1, 2609.38418), qui vise l'apprentissage de la manipulation tactile avec des robots souples pneumatiques. Les auteurs modélisent la dynamique du robot souple et de la membrane déformable du capteur tactile avec la méthode des points matériels (MPM), puis rendent la scène en 3D Gaussian splatting (3DGS). Le calage réel-vers-simulation repose sur une méthode visuelle simple. Des réseaux d'action et de perception, entraînés comme modèles de substitution, accélèrent ensuite la simulation. Ce pipeline sert à collecter des démonstrations guidées par le toucher directement en simulation. Les tests portent sur un doigt souple pneumatique conçu sur mesure, équipé d'un embout tactile à base de vision, avec des évaluations complémentaires sur d'autres dispositifs. Selon les auteurs, les politiques entraînées avec des démonstrations augmentées par la simulation surpassent des références entraînées sur les mêmes données réelles, sur trois tâches de manipulation compliante riches en contacts. Le résumé ne donne ni chiffres de performance ni taux de réussite. L'enjeu est de lever un goulot d'étranglement connu. Les robots souples offrent un contact sûr grâce à leur compliance, et les capteurs tactiles optiques fournissent une perception fine du toucher. Mais les simulateurs existants les traitent séparément et laissent des écarts de calibration importants et coûteux à corriger. Unifier dans un même moteur MPM la déformation du corps pneumatique et celle de la membrane tactile, avec un rendu 3DGS pour l'image, permet de générer des données synthétiques exploitables pour des politiques d'imitation. Pour les intégrateurs, l'intérêt est indirect mais réel : la manipulation d'objets fragiles (alimentaire, logistique, soin) dépend de mains compliantes, et leur programmation par démonstrations réelles reste lente. Il faut toutefois rester prudent. Il s'agit d'un preprint non évalué par les pairs, validé sur un seul doigt et trois tâches, sans chiffres publics dans le résumé, ce qui ne permet pas de conclure à un « sim-to-real résolu » à l'échelle d'une main complète. Ce travail s'inscrit dans la convergence entre simulation différentiable de matériaux mous, capteurs de type GelSight et rendu neuronal. Il se place à côté des grandes lignes de recherche sur les modèles vision-langage-action (VLA), qui restent surtout alimentés par la vision et très peu par le tactile. Les prochaines étapes naturelles sont l'extension à des effecteurs multi-doigts, la publication du code et des jeux de données, et des comparaisons chiffrées avec les simulateurs rigides ou à éléments finis. Aucun partenaire industriel, pilote ni calendrier de déploiement n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

VersaCamVLA : des politiques VLA à caméra configurable pour la manipulation robotique

VersaCamVLA, un framework publié sur arXiv (2610.12451, première version), s'attaque à une faiblesse structurelle des modèles Vision-Language-Action (VLA) : leur dépendance à une configuration de caméras fixe pendant l'entraînement. Les auteurs proposent une interface de « scene tokens » qui convertit un ensemble variable de vues RGB avec pose connue en un nombre fixe de tokens latents de scène. Cette interface est apprise par prédiction de vue cible multi-signaux, et par une méthode d'échantillonnage baptisée Wrist-Augmented Pose Sampling (WAPS), qui exploite les mouvements naturels de la caméra poignet pour obtenir gratuitement de la diversité de poses. Au déploiement, un encodeur spatial léger injecte ces tokens compacts dans un VLA de base préentraîné, comme condition visuelle supplémentaire. Aucun capteur 3D explicite ni rendu de nouvelles vues n'est nécessaire. Les tests couvrent les benchmarks RoboTwin et LIBERO ainsi qu'une plateforme robotique réelle. Les auteurs affirment que VersaCamVLA dépasse les méthodes VLA antérieures et les références multi-vues directes, avec des performances stables quand le nombre de caméras change ou que leurs poses n'ont jamais été vues. L'enjeu est très concret pour les intégrateurs. Un VLA entraîné avec une caméra tête et une caméra poignet à des positions précises perd en fiabilité dès qu'un opérateur déplace une caméra de quelques centimètres, ajoute une vue ou remplace un capteur. Cette fragilité est l'un des freins au passage de la démonstration au déploiement multi-sites, où la géométrie des cellules varie d'un client à l'autre. Découpler la représentation de la scène de l'apprentissage de l'action permet, en principe, de réutiliser un même modèle de base sans réentraînement par configuration, et de réduire les coûts de recalibration. L'approche, qui se greffe sur un VLA existant au lieu d'en exiger un nouveau, est un argument d'adoption. Elle suggère aussi que la généralisation aux changements de point de vue peut passer par une interface visuelle dédiée plutôt que par davantage de données de téléopération. Il faut toutefois relativiser. Il s'agit d'un preprint non évalué par les pairs, dont les résultats reposent sur des benchmarks en simulation et sur une seule plateforme réelle. Le résumé ne chiffre ni les taux de réussite, ni l'amplitude des changements de pose testés, ni le coût de calcul supplémentaire. Ces points seront décisifs pour juger de l'intérêt industriel. Le travail s'inscrit dans la course à la robustesse des VLA, aux côtés de familles de modèles comme Pi-0 ou GR00T, dont les déclinaisons restent généralement entraînées sur des configurations de capteurs précises. Les prochaines étapes à surveiller sont la publication du code et des poids, des tests sur des VLA de base variés, et une validation en conditions réelles avec des variations de caméras mesurées, par exemple sur des lignes de picking ou d'assemblage.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques

Des chercheurs présentent WARPED, un cadre logiciel qui génère des observations « vue poignet » et les actions associées à partir de simples vidéos de démonstrations humaines, afin d'entraîner des politiques visuomotrices de robot. Le système n'exige qu'une caméra RGB monoculaire portée à hauteur des yeux. Il n'utilise ni configuration multicaméra, ni capteur de profondeur, ni matériel dédié. La chaîne de traitement comporte trois étapes. Des modèles de fondation de vision initialisent d'abord la scène interactive. Un module d'interaction main-objet suit ensuite la main et l'objet manipulé, puis transpose ces trajectoires vers un effecteur de robot (retargeting). Enfin, du Gaussian Splatting produit des images photoréalistes du point de vue du poignet, qui servent à entraîner directement la politique. Les auteurs annoncent des taux de réussite comparables à ceux de la téléopération sur quatre des cinq tâches d'objets rigides sur table, ainsi que sur une tâche à objet articulé. La collecte de données demande 4 à 9 fois moins de temps. Le texte ne précise ni le robot, ni le nombre de démonstrations, ni les modèles de politique employés. Pour l'industrie, l'intérêt tient au coût de la donnée, principal goulot des politiques apprises par imitation. La téléopération reste la référence, mais elle mobilise du matériel et des opérateurs. Filmer un humain avec une seule caméra rend la collecte beaucoup plus simple à déployer. Le point le plus utile pour les intégrateurs est le rendu depuis le poignet. Les caméras embarquées sur l'effecteur sont aujourd'hui très répandues dans les systèmes de manipulation. Or les méthodes d'apprentissage depuis l'humain se limitent en général à des vues tierces ou égocentriques, qui diffèrent de ce que voit le robot. Les résultats restent toutefois à nuancer. Ils portent sur cinq tâches de table, avec une seule tâche articulée, et la mention « comparable à la téléopération » ne vaut que pour une partie des essais. Une des tâches rigides n'atteint donc pas ce niveau. Rien n'indique non plus une validation en environnement industriel, ni sur des tâches dextres ou riches en contacts. Ces travaux s'inscrivent dans la recherche sur l'apprentissage par démonstration humaine, qui cherche à contourner la téléopération. Ils s'appuient sur deux briques récentes : les modèles de fondation de vision pour reconstruire la scène, et le Gaussian Splatting pour le rendu de nouveaux points de vue. L'article, publié sur arXiv sous la référence 2604.10809 et ici en version 2 (v2), est un travail académique. Il ne s'agit ni d'un produit ni d'un déploiement commercial. Les prochaines étapes à surveiller sont la validation sur davantage de tâches, de robots et de scènes encombrées, ainsi que l'éventuelle publication du code, qui conditionnera l'adoption par d'autres laboratoires. Elles détermineront si la méthode sort du cadre de la table de laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source