Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Synthèse de démonstrations à partir d'un seul scan par Gaussian Splatting pour l'apprentissage de politiques visuomotrices
RecherchearXiv cs.RO 

Synthèse de démonstrations à partir d'un seul scan par Gaussian Splatting pour l'apprentissage de politiques visuomotrices

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

GaussianFactory, décrit dans un article déposé sur arXiv le 21 septembre 2026 (arXiv:2609.21112v1), génère des démonstrations d'entraînement pour des politiques robotiques visuomotrices à partir d'un unique scan vidéo, sans moteur physique dans la boucle de génération. Le système reconstruit la scène en réplique 3D Gaussian Splatting éditable, puis planifie de façon purement cinématique les prises et trajectoires pour les tâches de combinaison d'objets qu'elle permet, la formation des prises s'appuyant sur un modèle de contact appris une fois sur un jeu de données d'interactions. Le pipeline complet, du scan au déploiement, a été testé sur une scène simulée et sur un poste réel équipé d'un bras UR10e. Une politique de diffusion entraînée uniquement sur ces démonstrations synthétiques atteint 95,1% de réussite en simulation et 84,2% en conditions réelles.

Ce résultat s'attaque au goulot d'étranglement le plus coûteux de l'apprentissage par imitation en robotique : la collecte de démonstrations réelles, qui suppose un opérateur humain et un environnement identique à celui du déploiement. En cantonnant la simulation physique au seul modèle de contact, la méthode évite les approximations coûteuses des simulateurs classiques tout en restant fidèle au moment où la physique compte vraiment, celui du contact. L'écart entre 95,1% en simulation et 84,2% en réel rappelle qu'un fossé demeure entre reconstruction photoréaliste et transfert effectif sur robot physique, sur un nombre de tâches encore limité. Pour les équipes robotique en entreprise, l'approche esquisse une voie pour amorcer l'entraînement de politiques sur un nouveau poste de travail sans campagne de téléopération répétée.

Ce travail s'inscrit dans la recherche sur la réduction du coût de la donnée pour les politiques d'apprentissage par imitation, un enjeu central depuis la diffusion des politiques de diffusion et des architectures vision-langage-action en robotique. Les approches concurrentes reposent en général soit sur des simulateurs physiques complets, coûteux et sujets à l'écart sim-to-real, soit sur des démonstrations réelles collectées manuellement, donc difficiles à faire passer à l'échelle. Publié comme nouvelle soumission arXiv sans partenariat industriel annoncé, l'article ouvre la voie à une extension future vers davantage de tâches, de robots et de scènes, avant toute validation par la communauté ou adoption industrielle.

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Apprentissage continu pour la synthèse de saisies à 6 DOF à partir de l'expérience et de démonstrations
1arXiv cs.RO 

Apprentissage continu pour la synthèse de saisies à 6 DOF à partir de l'expérience et de démonstrations

Des chercheurs publient sur arXiv (identifiant 2610.01301) un cadre d'apprentissage continu pour la synthèse de prises 6-DoF avec une pince parallèle, à partir d'une seule vue, dans des scènes encombrées. Leur méthode n'ajuste pas un grand modèle paramétrique. Elle adapte le système par une mémoire située dans un espace d'embedding appris. Les résultats de chaque tentative de saisie modifient les scores des prises futures. Des démonstrations fournies par l'utilisateur, facultatives, sont rappelées puis transférées vers de nouvelles scènes, où elles deviennent des prises candidates supplémentaires. L'évaluation combine simulation et expériences réelles, avec plus de 1500 essais de saisie. Selon les auteurs, le système égale les références 6-DoF existantes avant toute adaptation. Il progresse en ligne sur des objets inconnus, issus de catégories absentes ou sous-représentées à l'entraînement. Il tient un apprentissage continu sur le long terme avec peu d'oubli. Sur plusieurs catégories d'objets difficiles, il dépasse 90 % de réussite après seulement 50 tentatives en ligne. La vidéo et le code sont publiés sur la page du projet. Ce résultat s'attaque à un point faible de la manutention robotisée. La plupart des systèmes de saisie sont entraînés hors ligne puis figés au déploiement. Leurs performances baissent dès que les conditions s'écartent des données d'entraînement, par exemple avec une référence jamais vue dans un bac de e-commerce ou de logistique. Passer par une mémoire plutôt que par un réglage fin évite de réentraîner un gros modèle sur site. Cela limite le coût de calcul, le risque de régression et l'oubli catastrophique. Pour un intégrateur, 50 essais représentent quelques heures de fonctionnement. Un robot pourrait donc s'améliorer seul sur son assortiment réel, sans cycle de collecte et de réentraînement. Le canal de démonstrations donne aussi à un opérateur non spécialiste un moyen simple de corriger un échec. Il faut toutefois rester prudent. Il s'agit d'un preprint, pas encore évalué par les pairs. Les chiffres ne couvrent que quelques catégories choisies, sans information dans le résumé sur la diversité des objets, les temps de cycle ou le matériel. Le travail concerne uniquement la saisie par pince parallèle, pas la manipulation dextre ni les humanoïdes. Il s'inscrit dans la lignée des méthodes de saisie 6-DoF apprises, comme Contact-GraspNet et ses successeurs, et des modèles vision-langage-action généralistes. Ceux-ci restent en grande partie figés après l'entraînement. Cette approche à mémoire y ajoute une voie d'adaptation légère. La suite logique serait des essais en conditions industrielles, avec des cadences réelles et des assortiments variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ELA : apprentissage de politique d'action latente de bout en bout à partir de démonstrations vidéo
2arXiv cs.RO 

ELA : apprentissage de politique d'action latente de bout en bout à partir de démonstrations vidéo

ELA est un cadre d'apprentissage proposé dans un article arXiv (2611.05571, première version) qui vise à entraîner des politiques robotiques à partir de vidéos de démonstration dépourvues d'étiquettes d'actions. Le système entraîne conjointement trois modules : un modèle d'actions latentes, qui extrait une représentation de l'action à partir des transitions entre observations, une politique opérant dans cet espace latent, et un décodeur qui convertit ces actions latentes en commandes continues pour le robot. Seules quelques démonstrations robot annotées en actions suffisent pour calibrer le décodeur, le reste de l'apprentissage s'appuyant sur de la vidéo brute. Les auteurs rapportent des résultats supérieurs à ceux des méthodes d'actions latentes antérieures, en simulation comme sur des tâches de manipulation réelles. Le décodeur ne pèse que 4 millions de paramètres et se greffe sur des méthodes d'imitation existantes sans modifier l'architecture de la politique ni son objectif d'entraînement. Le résumé ne précise ni le nombre de démonstrations annotées, ni les benchmarks, ni les taux de réussite, ni le matériel utilisé. L'enjeu touche au principal goulot d'étranglement de l'apprentissage par imitation : les données annotées en actions, coûteuses à collecter par téléopération, sont rares, alors que les vidéos humaines ou robotiques abondent. Les approches d'actions latentes existantes tentent déjà d'exploiter ce gisement, mais elles apprennent leur représentation sans tenir compte de l'usage aval. Il en résulte des espaces latents difficiles à modéliser pour la politique et imprécis à décoder en gestes continus. En optimisant l'ensemble de bout en bout, ELA s'attaque à cette rupture entre représentation et contrôle. Pour un intégrateur ou une équipe R&D, l'aspect le plus exploitable est la compatibilité : un décodeur léger qui s'ajoute à une pile existante abaisse le coût d'adoption. Il faut toutefois rester prudent. Il s'agit d'un preprint sans revue par les pairs, les gains sont exprimés par rapport à d'autres méthodes latentes et non à des politiques entraînées à grande échelle, et rien ne démontre à ce stade une robustesse en conditions industrielles ni un passage à l'échelle de type VLA. Ce travail s'inscrit dans une lignée de méthodes d'actions latentes apprises sur vidéo, qui ont gagné en visibilité avec les modèles fondation robotiques cherchant à tirer parti de données sans annotations d'actions. Il se place en concurrence directe avec ces approches de pré-entraînement, plutôt qu'avec les produits commerciaux des acteurs de l'humanoïde. Aucun déploiement, partenaire industriel ni calendrier n'est mentionné. Les prochaines étapes à surveiller sont la publication du code et des supports annoncés sur la page du projet, les comparaisons chiffrées détaillées, et surtout des tests sur des données vidéo plus hétérogènes, notamment issues d'humains, ainsi que sur des plateformes et des tâches plus variées.

RecherchePaper
1 source
OneDemo : apprentissage de politique et génération de données unifiés à partir d'une seule démonstration
3arXiv cs.RO 

OneDemo : apprentissage de politique et génération de données unifiés à partir d'une seule démonstration

OneDemo, un framework d'apprentissage par renforcement décrit dans un preprint arXiv (2610.18188, version 2), propose de transformer une unique démonstration réussie en une politique de contrôle et en un générateur de données. Au lieu de collecter des centaines de démonstrations expertes, l'éditeur appris adapte la démonstration initiale à de nouvelles configurations de tâche. Il décide à partir de récompenses éparses, uniquement fondées sur le succès de la tâche, quand passer d'un segment de trajectoire centré sur un objet au suivant, et comment adapter géométriquement chaque segment. Sur 15 tâches Meta-World, la méthode atteint en moyenne 92,7 % de réussite après 53,7 k interactions avec l'environnement. Sur 9 tâches DexMimicGen, qui impliquent de la manipulation dextre, elle génère des démonstrations réussies dans 98,4 % des cas. Des politiques BC-RNN (clonage comportemental avec réseau récurrent) entraînées sur ces données atteignent 99,6 % de réussite moyenne à taille de jeu de données équivalente. L'enjeu est le coût de la donnée, qui reste l'un des principaux freins aux politiques apprises, qu'il s'agisse de VLA ou de clonage comportemental. Les méthodes d'augmentation existantes dépendent de règles de transformation écrites à la main ou de planification de trajectoire complexe, ce qui exige de l'ingénierie spécifique à chaque tâche. Si les résultats se confirment, un opérateur pourrait fournir une seule démonstration, puis laisser le système produire un jeu de données varié sans expert supplémentaire. Cela intéresserait les intégrateurs qui redéploient souvent des cellules de manipulation. Il faut toutefois rester prudent : toutes les évaluations sont menées en simulation, sur des benchmarks établis mais relativement structurés. Rien n'est dit sur la robustesse face à la perception réelle, au bruit de capteurs ou au transfert sim-to-real. Le taux de 99,6 % mesure aussi un entraînement sur données générées dans le même simulateur, ce qui ne dit rien de la performance en conditions réelles. Ce travail s'inscrit dans la lignée de MimiGen et de DexMimicGen, qui génèrent des données à partir de peu de démonstrations en recombinant des segments centrés sur les objets, mais avec des règles conçues manuellement. OneDemo remplace ces règles par un éditeur appris par renforcement, au prix de plusieurs dizaines de milliers d'interactions par tâche. Le texte ne précise pas de calendrier de publication du code ni de validation sur robot physique. Les prochaines étapes à surveiller sont donc le passage sur matériel réel, la tenue face à des objets inconnus et la comparaison directe avec les approches de génération de données fondées sur des modèles génératifs ou des modèles du monde.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques
4arXiv cs.RO 

WARPED : rendu aligné sur le poignet pour l'apprentissage de politiques robotiques à partir de démonstrations humaines égocentriques

Des chercheurs présentent WARPED, un cadre logiciel qui génère des observations « vue poignet » et les actions associées à partir de simples vidéos de démonstrations humaines, afin d'entraîner des politiques visuomotrices de robot. Le système n'exige qu'une caméra RGB monoculaire portée à hauteur des yeux. Il n'utilise ni configuration multicaméra, ni capteur de profondeur, ni matériel dédié. La chaîne de traitement comporte trois étapes. Des modèles de fondation de vision initialisent d'abord la scène interactive. Un module d'interaction main-objet suit ensuite la main et l'objet manipulé, puis transpose ces trajectoires vers un effecteur de robot (retargeting). Enfin, du Gaussian Splatting produit des images photoréalistes du point de vue du poignet, qui servent à entraîner directement la politique. Les auteurs annoncent des taux de réussite comparables à ceux de la téléopération sur quatre des cinq tâches d'objets rigides sur table, ainsi que sur une tâche à objet articulé. La collecte de données demande 4 à 9 fois moins de temps. Le texte ne précise ni le robot, ni le nombre de démonstrations, ni les modèles de politique employés. Pour l'industrie, l'intérêt tient au coût de la donnée, principal goulot des politiques apprises par imitation. La téléopération reste la référence, mais elle mobilise du matériel et des opérateurs. Filmer un humain avec une seule caméra rend la collecte beaucoup plus simple à déployer. Le point le plus utile pour les intégrateurs est le rendu depuis le poignet. Les caméras embarquées sur l'effecteur sont aujourd'hui très répandues dans les systèmes de manipulation. Or les méthodes d'apprentissage depuis l'humain se limitent en général à des vues tierces ou égocentriques, qui diffèrent de ce que voit le robot. Les résultats restent toutefois à nuancer. Ils portent sur cinq tâches de table, avec une seule tâche articulée, et la mention « comparable à la téléopération » ne vaut que pour une partie des essais. Une des tâches rigides n'atteint donc pas ce niveau. Rien n'indique non plus une validation en environnement industriel, ni sur des tâches dextres ou riches en contacts. Ces travaux s'inscrivent dans la recherche sur l'apprentissage par démonstration humaine, qui cherche à contourner la téléopération. Ils s'appuient sur deux briques récentes : les modèles de fondation de vision pour reconstruire la scène, et le Gaussian Splatting pour le rendu de nouveaux points de vue. L'article, publié sur arXiv sous la référence 2604.10809 et ici en version 2 (v2), est un travail académique. Il ne s'agit ni d'un produit ni d'un déploiement commercial. Les prochaines étapes à surveiller sont la validation sur davantage de tâches, de robots et de scènes encombrées, ainsi que l'éventuelle publication du code, qui conditionnera l'adoption par d'autres laboratoires. Elles détermineront si la méthode sort du cadre de la table de laboratoire.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source