RecherchearXiv cs.RO 21 juillet 2026

Modèles du monde JEPA à régularisation de profondeur : des représentations plus transférables à partir de données robotiques réelles en extérieur

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Publié sur arXiv (arXiv:2607.16314v1), un nouveau papier de recherche propose une architecture de modèle du monde basée sur JEPA (Joint Embedding Predictive Architecture) qui intègre la profondeur comme prior géométrique pendant l'entraînement. L'équipe a entraîné un modèle de 18 millions de paramètres sur des vidéos capturées par un robot agricole réel évoluant en extérieur, un environnement visuellement complexe et imprévisible par rapport aux données de laboratoire habituelles. La méthode combine une supervision par carte de profondeur avec un régularisateur latent isotrope appelé SIGReg, qui vise la représentation la plus riche en information possible tout en respectant la géométrie de la scène, et ajoute une surparamétrisation limitée à l'entraînement pour ne pas alourdir l'inférence. Face à la baseline LeWM, les résultats montrent une réduction de 33% de l'erreur sur une sonde d'odométrie visuelle à représentation gelée, une meilleure séparation du score de surprise à la fois sur les données d'origine et sur le benchmark hors domaine TartanGround, ainsi qu'une fidélité accrue des projections latentes multi-étapes sous décalage de domaine, avec des gains qui s'amplifient à mesure que l'horizon de prédiction s'allonge.

Ce travail répond à un problème central pour la robotique de terrain: la plupart des modèles du monde performent bien en simulation ou en environnement contrôlé, mais peinent à généraliser sur des données réelles bruitées, avec éclairage variable et textures complexes. Montrer qu'un simple prior physique, la profondeur, améliore la transférabilité sans ajouter de coût de calcul à l'inférence est significatif pour les intégrateurs qui doivent déployer des modèles embarqués sur des robots agricoles, des AMR ou d'autres plateformes mobiles à ressources limitées. Le résultat le plus notable dépasse la géométrie pure: le modèle améliore aussi la détection de surprise sur des phénomènes physiques non directement liés à la 3D, comme l'éclairage et les ombres, ce qui suggère un effet d'amélioration générale de la qualité des représentations plutôt qu'un simple gain spécifique à la tâche de profondeur. À noter toutefois que les gains sont mesurés sur un seul type de robot et un modèle de taille modeste, la généralisation à d'autres plateformes reste à démontrer.

Les architectures JEPA, popularisées par les travaux de Yann LeCun chez Meta, sont présentées comme une alternative aux modèles génératifs pixel par pixel pour apprendre la dynamique du monde sans reconstruire chaque détail visuel. Ce papier s'inscrit dans cette lignée en cherchant à rendre ces modèles utilisables sur des données réelles de terrain, un défi que la littérature identifie souvent comme le principal obstacle entre les démonstrations en simulation et le déploiement effectif. Les auteurs positionnent leur approche contre LeWM comme référence directe et s'appuient sur TartanGround pour valider la généralisation hors domaine. Les prochaines étapes attendues incluraient l'extension à d'autres types de robots et capteurs, et l'intégration de ce modèle du monde dans des politiques de contrôle robotique complètes plutôt que dans des sondes d'évaluation isolées.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Transfert simulation-réel efficace de modèles monde-action à partir de données synthétiques

Le fossé sim-to-real reste un défi central pour déployer des politiques de manipulation apprises, car il permet en théorie de remplacer des démonstrations réelles coûteuses par des données synthétiques bon marché à grande échelle. Publiée le 30 juin 2026 (arXiv:2606.31101), une étude teste si un "world-action model", un modèle combinant prédiction visuelle et contrôle moteur, peut être entraîné uniquement en simulation puis déployé sans aucune démonstration réelle. L'équipe part de Cosmos Policy, un modèle de diffusion vidéo adapté au contrôle visuomoteur, et construit des environnements simulés avec une randomisation poussée des domaines. Les démonstrations d'entraînement, environ 800 par tâche, sont générées automatiquement via le pipeline de planification de mouvement AnyTask, sans donnée réelle. Trois tâches sont testées: soulever un objet, ouvrir un tiroir, et effectuer un pick-and-place. Déployé en zero-shot sur un bras robotique Franka, le modèle atteint un taux de réussite moyen de 35%. Ce résultat, même modeste, répond à une question ouverte du secteur: les world-action models peuvent-ils transférer du simulateur au monde réel sans coûteuses démonstrations humaines? Jusqu'ici, aucun travail n'avait démontré ce transfert pour la manipulation robotique. Un taux de 35% reste loin des standards attendus pour un déploiement industriel, souvent supérieurs à 80%, et confirme que le fossé sim-to-real demeure un obstacle réel, non résolu par la seule échelle des données synthétiques. Pour les intégrateurs et décideurs B2B, le signal est clair: remplacer la téléopération humaine par de la donnée simulée reste au stade de preuve de concept, pas de solution prête à l'emploi. Le travail s'inscrit dans la lignée des modèles de fondation robotiques récents comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure, qui cherchent tous à réduire la dépendance aux démonstrations réelles. Cosmos Policy dérive des travaux de NVIDIA sur les modèles de monde Cosmos. La méthode AnyTask pour générer automatiquement des trajectoires en simulation illustre une tendance plus large: automatiser la création de données d'entraînement plutôt que multiplier les téléopérations en laboratoire, approche également explorée par Physical Intelligence ou Skild AI. Les auteurs présentent ce résultat comme une première preuve de faisabilité, sans calendrier de commercialisation ni partenariat industriel annoncé.

RecherchePaper

1 source

2arXiv cs.RO

RepSAM : adapter les modèles fondation à la vision robotique par guidage de représentation

Des chercheurs ont publié le 26 mai 2026 sur arXiv (2605.25495) RepSAM, un cadre d'adaptation à l'efficacité paramétrique (PEFT) conçu pour transférer les capacités de SAM (Segment Anything Model) vers la perception robotique en environnements non structurés. Le diagnostic de départ est précis : les couches superficielles du transformeur subissent un écart de représentation important entre données génériques et données robotiques (CKA inférieur à 0,7), tandis que les couches profondes restent stables (CKA supérieur à 0,7). RepSAM exploite cette asymétrie via une allocation de rang guidée par la CKA (Centered Kernel Alignment) pour concentrer les paramètres entraînables là où le décalage est effectivement significatif. Le résultat : 89,0 % de mIoU contre 90,9 % pour le fine-tuning complet, soit 97,9 % des performances, avec seulement 4,0 millions de paramètres entraînables sur 632 millions totaux, une réduction de 158 fois. L'entraînement tient en 4 heures sur un seul GPU A100, contre 384 heures-GPU pour le fine-tuning intégral, et surpasse DoRA de 7,9 points de mIoU sur six benchmarks. En manipulation robotique, le gain atteint 12 points absolus de taux de succès par rapport à la baseline LoRA RGB, avec une significativité statistique p inférieur à 0,01. L'enjeu industriel est direct : le gouffre entre les modèles de vision généralistes et les conditions réelles de la robotique (objets transparents, scènes encombrées, éclairage variable) reste l'un des principaux blocages pour les intégrateurs. RepSAM démontre qu'un adapter bien ciblé, informé par la structure interne du réseau plutôt qu'appliqué uniformément, peut quasiment égaler un fine-tuning complet à une fraction du coût de calcul. Pour un responsable technique déployant des bras manipulateurs ou des systèmes de picking, cela signifie qu'il devient réaliste d'adapter un modèle de fondation sur du matériel standard, sans infrastructure de calcul dédiée ni données massives. SAM, développé par Meta AI et publié en 2023, s'est imposé comme référence pour la segmentation zero-shot, mais ses performances se dégradent hors distribution, notamment en robotique industrielle. Les méthodes PEFT comme LoRA et DoRA avaient déjà tenté ce pont, avec des gains limités faute d'adaptation différenciée par couche. RepSAM s'inscrit dans la continuité de travaux sur l'analyse de représentation pour guider le fine-tuning (CKA comme outil de diagnostic, popularisé depuis 2019). La prochaine étape logique est la validation sur des robots réels en conditions industrielles ; l'article se limite pour l'instant à des benchmarks simulés et des tâches de manipulation contrôlées, ce qui laisse ouvert le sim-to-real gap à grande échelle.

UELes intégrateurs européens de bras manipulateurs et systèmes de picking pourraient adapter des modèles de vision fondation sur du matériel GPU standard, réduisant la barrière à l'IA perceptive sans infrastructure de calcul dédiée.

RechercheOpinion

1 source

3arXiv cs.RO

Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses

Une équipe de recherche a publié sur arXiv (2607.12466v1) un nouveau framework baptisé PREC (Preference-based REward Clustering), conçu pour aligner les politiques de contrôle robotique sur les préférences humaines lors du déploiement auprès d'utilisateurs finaux variés. Le problème que les auteurs cherchent à résoudre est concret : quand chaque utilisateur fournit un retour de préférence binaire (trajectoire A préférée à trajectoire B), ce signal est souvent trop rare et bruité pour apprendre une politique individualisée fiable, tandis qu'une politique unique partagée entre tous les utilisateurs écrase les préférences minoritaires. PREC contourne ce dilemme en mettant de côté les labels de préférence dans un premier temps pour apprendre un encodeur de trajectoires au niveau de la population entière, puis en regroupant les utilisateurs en clusters cohérents selon leurs préférences et en entraînant un modèle de récompense représentatif par cluster, à partir duquel une politique dédiée est optimisée. Les tests, menés sur des environnements de locomotion simulés, montrent que PREC identifie mieux les groupes d'utilisateurs aux préférences divergentes que les méthodes de référence, même avec un retour humain sparse et bruité. Pour l'industrie robotique, l'enjeu dépasse la simple curiosité académique : c'est un problème de scalabilité du déploiement. Multiplier les politiques individualisées pour chaque client rend la validation de sécurité intraitable avant mise en production, alors qu'une politique générique déçoit une partie des utilisateurs et nuit à l'adoption. En réduisant le nombre de politiques à un jeu de clusters gérable tout en couvrant les préférences hétérogènes, PREC propose un compromis directement pertinent pour les intégrateurs qui doivent certifier et maintenir un nombre limité de comportements robotiques plutôt qu'une politique par client. Ce travail s'inscrit dans la lignée des recherches sur l'alignement par préférences humaines (RLHF appliqué à la robotique), un champ qui a longtemps oscillé entre alignement individuel coûteux et alignement collectif appauvri. Les auteurs positionnent explicitement PREC face aux approches d'alignement par utilisateur et à l'alignement par politique unique partagée, sur lesquelles il montre des gains sur trois métriques de bien-être social. L'étude reste pour l'instant limitée à des environnements de locomotion simulés, sans validation sur robots physiques ni indication de partenaires industriels ou de calendrier de déploiement.

RecherchePaper

1 source

4arXiv cs.RO

Modèles physiques pour le transfert simulation-réel au tennis de table robotique de niveau professionnel

Des chercheurs ont soumis sur arXiv (arXiv:2606.28805, juin 2026) un ensemble de modèles physiques haute-fidélité destinés à améliorer le sim-to-real transfer en robotique, appliqués au tennis de table de niveau professionnel. À des vitesses et effets compétitifs, une balle de ping-pong suit des trajectoires complexes et contre-intuitives que le robot doit anticiper en une fraction de seconde. Les modèles proposés couvrent trois domaines : la dynamique aérodynamique du vol de balle, avec les coefficients de traînée et de force de Magnus modélisés en fonction du nombre de Reynolds et du rapport de rotation ; le contact balle-table, intégrant les effets de déformation (buckling) de la balle sur le coefficient de restitution ainsi que des termes résiduels ; et le contact balle-raquette, via un réseau de neurones résiduel combiné à des coefficients de restitution normale et tangentielle et un amortissement torsionnel. Ces modèles ont servi à entraîner des politiques par apprentissage par renforcement (RL), aboutissant à ce que les auteurs décrivent comme le premier agent robotique capable d'affronter des joueurs professionnels en conditions réelles. L'intérêt technique dépasse le cadre sportif. La nature adversariale du tennis de table impose une contrainte rarement aussi explicite ailleurs : toute zone où la simulation diverge de la réalité devient exploitable par l'adversaire, forçant une précision de modélisation sans concession. Les travaux antérieurs en robotique ping-pong se cantonnaient à des plages étroites de vitesses et d'effets, insuffisantes pour reproduire les comportements balistiques du jeu professionnel. Que ce pipeline simulation-vers-réalité soit suffisamment fidèle pour approcher ce niveau valide l'approche pour des tâches de manipulation rapide en milieu industriel, où les essais réels restent coûteux ou dangereux, et renforce l'hypothèse que le sim-to-real gap est soluble par la précision physique plutôt que par l'accumulation de données réelles. Ce travail s'inscrit dans la continuité directe des recherches publiées par Google DeepMind en 2024, qui avaient démontré qu'un robot pouvait battre des joueurs amateurs confirmés en conditions réelles. Ce nouveau papier documente les fondations physiques qui rendent possible le saut qualitatif vers le niveau professionnel. Plusieurs équipes concurrentes utilisent le ping-pong comme benchmark de robotique agile, mais peu ont publié des modèles de contact aussi détaillés pour les phases raquette-balle et balle-table. La revendication de compétitivité face à des professionnels reste à confirmer par des évaluations indépendantes, le papier étant une prépublication non encore évaluée par les pairs. Les suites logiques incluent la généralisation de ces modèles de contact résiduels à d'autres objets déformables et leur transposition à des tâches industrielles de manipulation précise à haute cadence.

RecherchePaper

1 source