Pose6DAug : substitution d'objets multi-vues physiquement plausible pour l'augmentation de données en robotique

SpatialVAM : une diffusion vidéo multi-vues consciente de l'espace pour un pilotage robotique économe en données

Une équipe de recherche présente SpatialVAM, un système décrit comme le premier "3D Video Action Model", capable de prédire simultanément des vidéos de heatmaps multi-vues sensibles à la structure spatiale et des vidéos RGB classiques pour piloter un bras robotique. Publié sur arXiv sous la référence 2604.03181 (version de remplacement d'un article existant), le modèle apprend à partir de seulement dix trajectoires de démonstration, sans pré-entraînement supplémentaire. Il est évalué sur les bancs d'essai simulés Meta-World et RoboCasa ainsi que sur des plateformes robotiques réelles, avec des gains de performance rapportés de 22% sur Meta-World, 15% sur RoboCasa et 16% en conditions réelles par rapport aux meilleures alternatives testées, qu'il s'agisse d'autres modèles vidéo-action, de modèles vision-langage-action (VLA) ou de politiques fondées sur des représentations 3D. Le système exécute des tâches longues et impliquant des contacts physiques, généralise à des situations hors distribution d'entraînement et produit des prédictions vidéo jugées réalistes pour anticiper l'évolution future de la scène. L'intérêt principal pour l'industrie robotique tient à l'efficacité en données. La plupart des politiques de manipulation actuelles reposent sur des observations visuelles 2D ou sur des backbones pré-entraînés sur des paires image-texte statiques, ce qui impose des volumes de démonstrations importants et limite la compréhension de la dynamique de l'environnement. En injectant nativement l'information spatiale 3D dans un modèle vidéo fondamental, tout en alignant le format de représentation entre le pré-entraînement vidéo et le finetuning pour l'action, SpatialVAM cherche à combler cet écart. Si ces résultats se confirment au-delà des bancs d'essai académiques, ils renforceraient l'hypothèse qu'un apprentissage par imitation avec très peu de démonstrations peut suffire pour des tâches de manipulation complexes, un enjeu direct pour les intégrateurs cherchant à éviter la collecte de jeux de données massifs et coûteux. Le travail se positionne explicitement contre trois familles d'approches existantes: les modèles vidéo-action classiques, les politiques vision-langage-action de type VLA, et les politiques fondées sur des représentations 3D, sans toutefois nommer de systèmes concurrents précis. Aucune affiliation d'entreprise ni de laboratoire n'est précisée dans le résumé, et le travail reste à ce stade une contribution de recherche évaluée en simulation et sur banc réel, sans indication de déploiement industriel ni de calendrier de commercialisation.

DeformGen : augmentation topologique basée sur la dynamique pour l'apprentissage de politiques de manipulation d'objets déformables

Une équipe de chercheurs a publié fin juin 2026 DeformGen (arXiv:2606.25939), un framework d'augmentation de données de démonstration conçu pour l'apprentissage de politiques de manipulation d'objets déformables. Face au coût prohibitif de la collecte de données réelles pour ce type de tâche, la méthode génère automatiquement de nouveaux exemples d'entraînement à partir d'un ensemble restreint de démonstrations existantes. L'approche repose sur deux briques techniques distinctes : d'abord, l'application de perturbations physiques localisées suivies d'une simulation de dynamique vers l'avant pour produire des états déformés topologiquement cohérents et physiquement plausibles ; ensuite, un transfert de trajectoires par déformation de champ continu ("deformation-field warping"), qui projette les déplacements par particule en une fonction spatiale continue permettant d'adapter la trajectoire de l'effecteur terminal à la nouvelle géométrie de l'objet. Les expériences menées sur des benchmarks haute fidélité de manipulation déformable montrent des améliorations systématiques par rapport à l'entraînement sur les seules démonstrations d'origine et par rapport aux baselines d'augmentation de style rigide. L'enjeu est de taille pour l'industrie robotique : la manipulation d'objets déformables (textiles, câbles, aliments, composants souples) reste l'un des verrous majeurs du déploiement en production, précisément parce que les méthodes d'augmentation classiques, conçues pour des objets rigides, échouent à générer des configurations valides dans un espace d'états haute dimension soumis aux contraintes physiques. DeformGen identifie et adresse deux problèmes fondamentaux jusque-là non résolus : l'espace d'états valides ne peut pas être couvert par de simples perturbations de pose 6-DOF, et le transfert de trajectoire n'est pas équivariant sous déformation. Si ces résultats se confirment sur des tâches industrielles réelles, ce type d'approche pourrait réduire significativement le coût d'acquisition de données pour les lignes de picking textile, le routage de câbles dans l'électronique ou la manipulation agro-alimentaire. Ce travail s'inscrit dans un courant actif de recherche sur l'augmentation de démonstrations pour l'apprentissage par imitation, domaine où les avancées ont surtout bénéficié jusqu'ici à la manipulation d'objets rigides. Les acteurs qui travaillent sur la manipulation déformable en milieu industriel, comme Pollen Robotics en France ou des équipes universitaires spécialisées en sim-to-real, pourraient trouver dans cette approche une piste pour réduire la dépendance à la téléopération coûteuse. Les auteurs se concentrent pour l'instant sur des benchmarks simulés haute fidélité ; la question du sim-to-real gap sur des matériaux réels reste ouverte et constitue la prochaine étape critique à franchir avant tout déploiement opérationnel.

💬 La manipulation d'objets mous, c'est le vrai verrou du déploiement robotique en production, pas l'actionnement. DeformGen s'attaque au problème par la racine : au lieu de collecter des milliers de démos sur du textile ou des câbles, tu génères des variantes physiquement cohérentes depuis quelques exemples. Reste le fossé sim-réel à franchir, mais si ça tient sur matériaux réels, ça change complètement les calculs économiques pour les lignes de picking souple.

VISTA : adaptation des données UMI fondée sur la vision et validée par la physique pour l'entraînement de modèles VLA

Une équipe de chercheurs publie VISTA (Vision-grounded and Physics-Validated Adaptation), un framework visant à entraîner des modèles Vision-Language-Action (VLA) à partir de données collectées via l'Universal Manipulation Interface (UMI). L'UMI permet une collecte robotique à grande échelle sans téléopération hardware-spécifique, mais son exploitation pour les VLA bute sur deux incompatibilités identifiées par les auteurs : les caméras fisheye montées au poignet génèrent une distorsion radiale sévère, hors distribution pour les modèles de vision pré-entraînés ; et les trajectoires humaines enregistrées violent fréquemment les limites cinématiques du robot ou dépassent la bande passante du contrôleur, enseignant ainsi des actions physiquement irréalisables. VISTA répond avec trois composants : UMI-VQA, un premier dataset VQA à grande échelle conçu spécifiquement pour les vues fisheye au poignet ; un pipeline de validation physique scorant chaque trajectoire sur la continuité, le risque d'auto-collision et la fidélité d'exécution ; et une recette d'entraînement en deux étapes combinant ancrage vision-langage et prédiction d'actions. Le modèle, les données et le pipeline sont publiés en open source sous forme de preprint arXiv. L'enjeu est directement opérationnel : les VLA actuels souffrent d'un écart persistant entre démonstration et déploiement réel. VISTA apporte une réponse méthodologique en filtrant les trajectoires défectueuses avant l'entraînement, plutôt qu'en espérant que le modèle les absorbe. Les auteurs montrent que les scores de validation physique sont fortement prédictifs du succès en déploiement, ce qui plaide pour une approche data-quality-first plutôt que data-volume-first, un argument qui contredit la logique dominante du secteur. En simulation et sur des tâches réelles de manipulation, VISTA surpasse des baselines solides incluant π0.5 (Physical Intelligence), LingBot-VLA et Wall-X. Pour un intégrateur ou un décideur industriel, cela valide une voie vers des pipelines de collecte scalables via UMI, compatibles avec les VLA modernes, sans recourir à un hardware propriétaire coûteux. L'UMI avait été conçu initialement pour découpler la collecte de données du hardware robotique spécifique, mais son intégration aux VLA restait largement non documentée à grande échelle. Physical Intelligence a popularisé l'approche VLA avec π0 et π0.5 ; Figure AI, 1X et Apptronik misent sur des architectures concurrentes. VISTA s'attaque à un goulot d'étranglement rarement traité en publication : la qualité intrinsèque des données d'entraînement avant qu'elles n'entrent dans le pipeline. En libérant pipeline de validation, dataset UMI-VQA et modèle pré-entraîné, les auteurs positionnent VISTA comme un outil d'infrastructure pour la communauté robotique cherchant à industrialiser la collecte et le filtrage de données manipulation, en amont des choix d'architecture VLA.

HEARTH : un jeu de données RGB-thermique-3D centré sur l'objet pour la manipulation robotique sensible à la température

Le dataset HEARTH, présenté dans un article publié sur arXiv (2609.23418), regroupe des captures RGB, thermiques et 3D de 90 objets physiques répartis en 18 catégories du quotidien, pour un total de 145 états d'objets enregistrés. Le pipeline associé projette les températures de surface apparentes, mesurées par caméra thermique, directement sur des maillages 3D reconstruits, grâce à une calibration caméra et un transfert de pose. Chaque objet du dataset est ainsi livré avec ses mesures de température brutes, les paramètres de la caméra, un maillage texturé en RGB et une texture thermique exploitable en simulation. Les auteurs ont ensuite construit trois tâches de manipulation dérivées du benchmark LIBERO et collecté 1200 démonstrations pour affiner un modèle vision-langage-action (VLA) préentraîné, π0.5. Résultat de l'étude d'ablation : le taux de réussite sur des tâches de sélection d'objets dépendant de la température passe de 35,0% avec une observation RGB seule à 75,0% lorsque le canal thermique est ajouté. Ce résultat met en évidence une limite concrète des modèles VLA actuels, entraînés quasi exclusivement sur des images visibles : ils échouent à raisonner sur des propriétés physiques invisibles à l'œil, comme la chaleur d'une tasse ou d'une plaque de cuisson, alors même que ce type de discrimination est critique en environnement domestique ou industriel pour la sécurité et la manipulation fine. Pour les intégrateurs robotiques, l'enseignement principal n'est pas architectural mais lié aux données : ajouter un canal thermique low-cost à un pipeline d'apprentissage existant peut plus que doubler le taux de succès sans modifier le modèle lui-même, ce qui relance la question des modalités manquantes dans les VLA génériques déployés à grande échelle. HEARTH comble un vide identifié par les auteurs : l'absence de datasets robotiques associant température mesurée, apparence et géométrie d'objets, alors que les benchmarks de manipulation comme LIBERO servent de référence commune au secteur. Le choix de π0.5 comme base, une évolution du modèle généraliste pi-0 développé par Physical Intelligence, positionne ce travail dans la lignée des VLA foundation models concurrents des approches type GR00T N2 (NVIDIA) ou Helix (Figure), qui reposent aujourd'hui sur des entrées essentiellement visuelles. L'article ne mentionne pas d'extension prévue au-delà des trois tâches testées, mais ouvre la voie à l'intégration systématique de capteurs thermiques dans les pipelines d'entraînement VLA.