RecherchearXiv cs.RO 12 octobre 2026

CASTER : formaliser la manipulation zero-shot à partir de vidéos synthétiques comme un problème d'optimisation sous contraintes

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

CASTER est un cadre formel publié sur arXiv (2610.12567) par l'équipe du laboratoire Collab de Virginia Tech. Il décrit comment passer d'une vidéo synthétique, produite par un modèle de génération vidéo à partir d'un prompt décrivant la tâche, à une trajectoire exécutable par un robot en manipulation zéro-shot, sans aucune démonstration humaine réelle. Les vidéos sont générées dans l'environnement courant du robot, mais elles montrent des mouvements plausibles sans cohérence physique ni ancrage dans le robot, de sorte qu'elles ne peuvent pas être rejouées telles quelles. Les auteurs modélisent le problème comme une optimisation sous contraintes : les trajectoires d'objets extraites de la vidéo servent d'estimation initiale, puis sont raffinées, par exemple dans un jumeau numérique, sous des contraintes de faisabilité physique et de cohérence sémantique. En retirant plusieurs simplifications des méthodes existantes pour se rapprocher de l'optimisation sous-jacente, CASTER améliore le taux de réussite moyen de 34,1 % par rapport à la meilleure référence comparée. Ce chiffre est relatif au jeu de tâches et aux baselines choisis par les auteurs, et le résumé ne précise ni le nombre de tâches, ni le robot, ni les essais réels par rapport à la simulation.

L'intérêt tient d'abord à la formalisation. Beaucoup de pipelines « vidéo générée vers robot » reposent sur des heuristiques assemblées empiriquement. Ici, l'analyse montre que les approches de l'état de l'art sont des cas particuliers d'un même problème d'optimisation, avec des simplifications qui limitent leur robustesse. Elle fournit aussi un critère concret pour les générateurs : la vidéo n'a pas besoin d'être physiquement exacte, mais doit placer, de façon probabiliste, la recherche dans un « bassin d'attraction sémantique », c'est-à-dire une région où la trajectoire peut être modifiée localement sans perdre son alignement avec la tâche. Pour un intégrateur ou une équipe R&D, cela déplace la question : l'enjeu n'est plus d'obtenir des vidéos parfaites, mais de mesurer la fréquence à laquelle elles tombent dans ce bassin, puis de disposer d'un solveur et d'un jumeau numérique fiables pour finir le travail. Cela tempère aussi l'idée que la génération vidéo suffirait à elle seule à résoudre la manipulation : le gain provient surtout de l'étape d'optimisation et de la qualité de la simulation.

Le contexte est celui d'un champ très actif, où les modèles vidéo servent de substitut aux démonstrations téléopérées coûteuses, en concurrence avec les politiques VLA (vision-langage-action) entraînées sur de grands jeux de données, comme Pi-0, GR00T ou Helix, qui exigent des données réelles. CASTER relève de la recherche académique : aucun produit, pilote industriel ni calendrier de déploiement n'est annoncé, et la vidéo de démonstration reste hébergée sur la page du projet. Les suites probables sont des validations sur davantage de robots et de tâches, ainsi qu'une évaluation de la dépendance à la précision du jumeau numérique. Un point à surveiller est la robustesse face aux objets déformables ou aux scènes encombrées, où l'extraction de trajectoires depuis la vidéo est la plus fragile.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA NVIDIA GR00T arXiv cs.RO

À lire aussi

1arXiv cs.RO

EmboAlign : aligner la génération vidéo avec des contraintes de composition pour la manipulation en zero-shot

EmboAlign, décrit dans une version révisée d'un article arXiv (2603.05757v2), est un framework de manipulation robotique zero-shot qui combine modèles génératifs vidéo (VGM) et modèles vision-langage (VLM) pour convertir une instruction textuelle en trajectoire robot exécutable, sans donnée d'entraînement spécifique à la tâche. À l'inférence, un VLM extrait des contraintes compositionnelles à partir de l'instruction ; elles servent d'abord à filtrer un lot de vidéos générées par le VGM pour ne garder que le rollout le plus physiquement plausible, puis à optimiser la trajectoire robot correspondante afin de corriger les erreurs de retargeting géométrique. Sur six tâches de manipulation exécutées sur robot réel exigeant une précision fine, les auteurs rapportent un gain de 43,3 points de pourcentage de taux de succès par rapport à la meilleure baseline testée, sans aucune donnée d'entraînement propre à la tâche. Ce résultat cible un problème connu du secteur : les modèles vidéo pré-entraînés sur des corpus internet produisent des séquences visuellement cohérentes mais souvent physiquement invraisemblables, et leur conversion en commandes robot par estimation de profondeur et suivi de points clés accumule des erreurs à chaque étape. En traitant le VLM comme un module de raisonnement spatial complémentaire, plutôt que comme un générateur d'actions entraîné de bout en bout, EmboAlign teste l'idée que des modèles génériques, jamais affinés sur des démonstrations robotiques, peuvent piloter une manipulation fine sans la collecte massive de données de téléopération qui alimente la plupart des piles VLA commerciales actuelles. Ce gain reste toutefois à relativiser tant que le niveau absolu de performance de la baseline et la diversité réelle du panel de tâches ne sont pas détaillés au-delà du résumé. Ce travail prolonge une ligne de recherche qui utilise la génération vidéo comme modèle du monde pour la planification robotique, longtemps freinée par l'écart entre vidéos plausibles et actions exécutables en toute sécurité. Il se positionne à contre-courant de la stratégie dominante de l'industrie, portée par des modèles vision-langage-action entraînés de bout en bout sur de vastes jeux de démonstrations téléopérées ou simulées, à l'image de Pi-0 de Physical Intelligence, de la série GR00T de NVIDIA ou de Helix de Figure AI, qui misent sur le volume de données plutôt que sur des contraintes ajoutées à l'inférence. L'article ne précise ni l'affiliation des auteurs ni de calendrier de déploiement industriel ; il s'agit à ce stade d'un résultat de recherche publié sur arXiv, validé en laboratoire sur un nombre restreint de tâches, sans pilote ni produit commercial annoncé.

RecherchePaper

1 source

2arXiv cs.RO

3PoinTr : apprentissage de la manipulation robotique à partir de vidéos humaines non contraintes

Une équipe de chercheurs a publié sur arXiv (2603.08485) une méthode baptisée 3PoinTr permettant d'entraîner des politiques de manipulation robotique à partir de vidéos humaines non contraintes, sans recourir à de coûteuses démonstrations téléopérées. Le principe repose sur la prédiction de trajectoires 3D denses de points de scène (point tracks) : un transformer léger dit "visibility-aware" apprend, depuis des vidéos d'humains en train de manipuler des objets librement, comment chaque point de la scène devrait se déplacer. Une politique robotique multitâche en boucle fermée extrait ensuite les priors d'action pertinents depuis ces trajectoires prédites. Avec seulement 20 démonstrations robot étiquetées en action, 3PoinTr surpasse les meilleures baselines de behavioral cloning et de vidéo-préentraînement de 25,0 points de pourcentage en tâches réelles et de 29,6 points en simulation. Ce résultat est notable parce qu'il s'attaque à l'un des goulots d'étranglement structurels du domaine : le coût prohibitif de la collecte de données robot. Les approches existantes de video-pretraining imposent typiquement que l'humain "joue le robot", mouvements chorégraphiés, keypoints prédéfinis, annotations manuelles ou positions de préhension connues. 3PoinTr supprime ces contraintes et exploite des vidéos naturalistes, ce qui élargit considérablement le corpus exploitable (YouTube, vidéos industrielles, données de formation existantes). La gestion des occlusions partielles via la supervision sur les points partiellement occultés représente une avancée technique précise par rapport aux baselines : le transformer conserve un signal d'apprentissage même quand la main ou l'outil masque une partie de la scène. Le travail s'inscrit dans une tendance plus large des Visual-Language-Action models (VLA) et des approches fondées sur les représentations 2D/3D pour le transfert sim-to-real, en compétition directe avec des méthodes comme Track2Act, RoboTAP ou ATM (Action Tracking from Motion). Il se distingue par le passage explicite à la 3D et le faible volume de données supervisées requis. La page projet est disponible chez Adam Hung (adamhung60.github.io/3PoinTr), mais aucune annonce de déploiement industriel ou de partenariat n'est associée à cette publication : il s'agit d'un résultat de recherche, pas d'un produit commercialisé.

RecherchePaper

1 source

3arXiv cs.RO

IronMan : apprentissage vidéo-action sous contrainte d'information pour la manipulation robotique

Des chercheurs publient sur arXiv (2610.07961) IronMan, un cadre d'apprentissage vidéo-action pour la manipulation robotique, dont le nom signifie Information-constRained videO-actioN learning for robot MANipulation. Il s'inscrit dans la famille des Video Action Models (VAM), qui associent la modélisation de la dynamique visuelle à la génération d'actions. IronMan s'appuie sur le principe du goulot d'information (information bottleneck). Un module sensible à la dynamique condense des caractéristiques vidéo bruitées et enchevêtrées, calculées à un seul pas de diffusion, en représentations compactes du monde. Ces représentations suppriment l'information visuelle non pertinente et conservent les indices de dynamique utiles à l'action. Les auteurs annoncent 99,0 % de réussite sur LIBERO et 79,4 % sur RoboTwin en configuration clean2clean, au-dessus de toutes les références évaluées. Hors distribution, sur LIBERO-Plus, le taux atteint 79,1 %, soit 10,4 points de pourcentage de plus que la meilleure référence. Des expériences en conditions réelles et une inférence présentée comme efficace complètent le tableau. Il s'agit d'un travail de recherche, sans produit ni déploiement industriel. L'enjeu tient à un point faible connu des VAM : une représentation vidéo n'est pas naturellement adaptée à la génération d'actions. Exposer la politique à trop de détails visuels (textures, arrière-plans, éclairage) dégrade sa généralisation. IronMan défend l'idée inverse de la tendance à enrichir toujours davantage les représentations : contraindre l'information serait plus rentable que l'étendre. Le résultat le plus parlant est la robustesse hors distribution. C'est là que se joue l'écart entre démonstration et réalité, car un robot en atelier rencontre des changements de scène, de caméra ou de luminosité que les benchmarks propres ne couvrent pas. Pour les intégrateurs, un tel levier pourrait réduire le coût de réadaptation d'une politique à chaque nouveau site. Deux réserves s'imposent. Un score de 99 % sur LIBERO indique surtout que ce benchmark est quasi saturé. Les 79,4 % sur RoboTwin laissent une marge d'échec importante. Les résultats en conditions réelles sont résumés sans détail dans le résumé de l'article (tâches, nombre d'essais, robots), ce qui limite leur portée. Ce travail prolonge deux courants. Les politiques vision-langage-action (VLA) de type Pi-0 ou GR00T reposent sur des modèles vision-langage pré-entraînés. Les modèles vidéo génératifs servent désormais de prior de dynamique pour l'action. Les premiers manquent de compréhension physique explicite. Les seconds, coûteux en calcul et sensibles aux détails superflus, se heurtent au problème que IronMan cherche à corriger. Le recours à des caractéristiques à un seul pas vise à préserver la vitesse d'inférence, critère décisif pour un contrôle en boucle fermée. La suite dépendra de la reproduction des résultats par d'autres équipes, de l'ouverture du code et des tests sur des plateformes variées, y compris dans des environnements industriels réels. Aucune échéance de déploiement n'est annoncée.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Rêver le son du contact : générer vidéo et audio pour la manipulation sensible à la force en zero-shot

Un article déposé sur arXiv (référence 2609.19137, catégorie "new") début septembre 2026, intitulé "Dreaming the Sound of Contact", décrit une méthode pour doter les robots manipulateurs d'une perception de la force lors de tâches de contact. Les modèles de génération vidéo utilisés pour apprendre des trajectoires de manipulation ne produisent que des mouvements cinématiques, sans information de force, et échouent donc dès qu'un contact adéquat est requis pour réussir la tâche. Les auteurs augmentent la vidéo générée avec de l'audio: le volume des sons de contact synthétisés façonne un profil de force désirée, borné et variable dans le temps, dérivé conjointement avec la trajectoire à partir d'un simple prompt textuel structuré. Exécutées sur un bras Franka Panda via un régulateur de force en boucle fermée qui suit ce profil audio pendant le contact, ces trajectoires réussissent plusieurs tâches là où une base purement cinématique échoue, sans qu'un taux de réussite chiffré ne soit précisé dans le résumé. Le pipeline sert aussi de générateur de données pour entraîner des politiques exécutant ces tâches en boucle fermée, avec code, vidéos et jeu de données promis sur dreamingcontactsound.github.io. Le travail cible un angle mort des approches génératives aujourd'hui dominantes en manipulation robotique, notamment les modèles vision-langage-action qui imitent des mouvements visuellement plausibles mais ignorent la dynamique de contact, pourtant indispensable pour pousser, essuyer, visser ou insérer une pièce. Montrer qu'un signal audio généré, et non mesuré par un capteur réel, peut suffire à façonner une consigne de force exploitable en boucle fermée ouvre une piste peu coûteuse pour réduire l'écart entre démonstration vidéo et exécution physique réelle. Pour les intégrateurs et les équipes de R&D en manipulation industrielle, l'intérêt est double: moins dépendre de démonstrations réelles coûteuses à collecter, et étendre le champ des politiques apprises par vidéo, aujourd'hui cantonnées aux tâches sans contact critique, vers l'assemblage ou la manipulation fine. Cette méthode s'inscrit dans une lignée de recherches qui exploitent la génération vidéo comme source de trajectoires de manipulation robotique, une alternative à la téléopération ou à l'apprentissage par renforcement en simulation pour collecter des données d'entraînement. L'absence de force dans ces trajectoires générées, et l'échec conséquent sur les tâches à contact riche, est une limite connue depuis l'essor des architectures vision-langage-action à grande échelle. Le choix du bras Franka Panda, plateforme standard des laboratoires de recherche en manipulation, situe ce travail au stade de validation expérimentale plutôt que de déploiement industriel: aucun partenariat commercial, licence ou calendrier de mise en production n'est mentionné. Les seules suites annoncées sont la mise à disposition du code, des vidéos et du jeu de données sur le site du projet, ouvrant la voie à une réplication par la communauté robotique.

RecherchePaper

1 source