RecherchearXiv cs.RO 17 septembre 2026

EmboAlign : aligner la génération vidéo avec des contraintes de composition pour la manipulation en zero-shot

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

EmboAlign, décrit dans une version révisée d'un article arXiv (2603.05757v2), est un framework de manipulation robotique zero-shot qui combine modèles génératifs vidéo (VGM) et modèles vision-langage (VLM) pour convertir une instruction textuelle en trajectoire robot exécutable, sans donnée d'entraînement spécifique à la tâche. À l'inférence, un VLM extrait des contraintes compositionnelles à partir de l'instruction ; elles servent d'abord à filtrer un lot de vidéos générées par le VGM pour ne garder que le rollout le plus physiquement plausible, puis à optimiser la trajectoire robot correspondante afin de corriger les erreurs de retargeting géométrique. Sur six tâches de manipulation exécutées sur robot réel exigeant une précision fine, les auteurs rapportent un gain de 43,3 points de pourcentage de taux de succès par rapport à la meilleure baseline testée, sans aucune donnée d'entraînement propre à la tâche.

Ce résultat cible un problème connu du secteur : les modèles vidéo pré-entraînés sur des corpus internet produisent des séquences visuellement cohérentes mais souvent physiquement invraisemblables, et leur conversion en commandes robot par estimation de profondeur et suivi de points clés accumule des erreurs à chaque étape. En traitant le VLM comme un module de raisonnement spatial complémentaire, plutôt que comme un générateur d'actions entraîné de bout en bout, EmboAlign teste l'idée que des modèles génériques, jamais affinés sur des démonstrations robotiques, peuvent piloter une manipulation fine sans la collecte massive de données de téléopération qui alimente la plupart des piles VLA commerciales actuelles. Ce gain reste toutefois à relativiser tant que le niveau absolu de performance de la baseline et la diversité réelle du panel de tâches ne sont pas détaillés au-delà du résumé.

Ce travail prolonge une ligne de recherche qui utilise la génération vidéo comme modèle du monde pour la planification robotique, longtemps freinée par l'écart entre vidéos plausibles et actions exécutables en toute sécurité. Il se positionne à contre-courant de la stratégie dominante de l'industrie, portée par des modèles vision-langage-action entraînés de bout en bout sur de vastes jeux de démonstrations téléopérées ou simulées, à l'image de Pi-0 de Physical Intelligence, de la série GR00T de NVIDIA ou de Helix de Figure AI, qui misent sur le volume de données plutôt que sur des contraintes ajoutées à l'inférence. L'article ne précise ni l'affiliation des auteurs ni de calendrier de déploiement industriel ; il s'agit à ce stade d'un résultat de recherche publié sur arXiv, validé en laboratoire sur un nombre restreint de tâches, sans pilote ni produit commercial annoncé.

Dans nos dossiers

Figure IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Rêver le son du contact : générer vidéo et audio pour la manipulation sensible à la force en zero-shot

Un article déposé sur arXiv (référence 2609.19137, catégorie "new") début septembre 2026, intitulé "Dreaming the Sound of Contact", décrit une méthode pour doter les robots manipulateurs d'une perception de la force lors de tâches de contact. Les modèles de génération vidéo utilisés pour apprendre des trajectoires de manipulation ne produisent que des mouvements cinématiques, sans information de force, et échouent donc dès qu'un contact adéquat est requis pour réussir la tâche. Les auteurs augmentent la vidéo générée avec de l'audio: le volume des sons de contact synthétisés façonne un profil de force désirée, borné et variable dans le temps, dérivé conjointement avec la trajectoire à partir d'un simple prompt textuel structuré. Exécutées sur un bras Franka Panda via un régulateur de force en boucle fermée qui suit ce profil audio pendant le contact, ces trajectoires réussissent plusieurs tâches là où une base purement cinématique échoue, sans qu'un taux de réussite chiffré ne soit précisé dans le résumé. Le pipeline sert aussi de générateur de données pour entraîner des politiques exécutant ces tâches en boucle fermée, avec code, vidéos et jeu de données promis sur dreamingcontactsound.github.io. Le travail cible un angle mort des approches génératives aujourd'hui dominantes en manipulation robotique, notamment les modèles vision-langage-action qui imitent des mouvements visuellement plausibles mais ignorent la dynamique de contact, pourtant indispensable pour pousser, essuyer, visser ou insérer une pièce. Montrer qu'un signal audio généré, et non mesuré par un capteur réel, peut suffire à façonner une consigne de force exploitable en boucle fermée ouvre une piste peu coûteuse pour réduire l'écart entre démonstration vidéo et exécution physique réelle. Pour les intégrateurs et les équipes de R&D en manipulation industrielle, l'intérêt est double: moins dépendre de démonstrations réelles coûteuses à collecter, et étendre le champ des politiques apprises par vidéo, aujourd'hui cantonnées aux tâches sans contact critique, vers l'assemblage ou la manipulation fine. Cette méthode s'inscrit dans une lignée de recherches qui exploitent la génération vidéo comme source de trajectoires de manipulation robotique, une alternative à la téléopération ou à l'apprentissage par renforcement en simulation pour collecter des données d'entraînement. L'absence de force dans ces trajectoires générées, et l'échec conséquent sur les tâches à contact riche, est une limite connue depuis l'essor des architectures vision-langage-action à grande échelle. Le choix du bras Franka Panda, plateforme standard des laboratoires de recherche en manipulation, situe ce travail au stade de validation expérimentale plutôt que de déploiement industriel: aucun partenariat commercial, licence ou calendrier de mise en production n'est mentionné. Les seules suites annoncées sont la mise à disposition du code, des vidéos et du jeu de données sur le site du projet, ouvrant la voie à une réplication par la communauté robotique.

RecherchePaper

1 source

2arXiv cs.RO

Génération de données préservant la fonction pour la manipulation réelle-vers-simulation-vers-réelle en zero-shot

Une équipe de recherche publie sur arXiv, sous l'identifiant 2609.18293 et sans revue par les pairs à ce stade, un framework de génération de données synthétiques pour l'apprentissage de politiques de manipulation robotique, capable de produire des démonstrations d'entraînement sans trajectoire téléopérée de départ. La méthode reconstruit des maillages 3D d'objets réels puis les déforme via une déformation guidée par contraintes qui préserve les interfaces géométriques critiques de la tâche, comme les surfaces de contact nécessaires à une insertion précise, tout en transférant les poses de tâche et les proxys de collision de manière physiquement cohérente. Une randomisation visuelle du domaine est ensuite appliquée pendant les simulations, et les politiques ainsi entraînées sont déployées en zero-shot sur robot réel, sans phase de fine-tuning sur données réelles. Les auteurs rapportent des expériences en simulation et sur banc réel pour des tâches de manipulation riches en contacts et à horizon long. L'enjeu vise le goulot d'étranglement actuel de l'apprentissage robotique : collecter, pour chaque nouvelle géométrie d'objet, assez de démonstrations réelles pour des tâches à tolérance géométrique serrée. Les méthodes standards d'augmentation de forme distordent souvent ces interfaces critiques, provoquant des défauts d'ajustement ou des interpénétrations qui rendent les trajectoires générées physiquement invalides et donc inexploitables. En préservant la fonction de l'interface de contact tout en diversifiant l'apparence des objets, l'approche promet de produire à moindre coût des démonstrations valides sans flotte de téléopérateurs humains, un enjeu direct pour l'entraînement des modèles vision-langage-action dont la rareté des données reste le principal facteur limitant. Le papier revendique une généralisation robuste à des géométries et conditions visuelles inédites, mais l'abstract ne fournit aucun taux de réussite chiffré ni comparaison à des méthodes concurrentes publiées, ce qui invite à considérer ces résultats comme préliminaires. Ce travail s'inscrit dans la ligne de recherche dite real-to-sim-to-real, qui cherche depuis plusieurs années à remplacer une partie de la téléopération humaine par de la simulation physique pour faire passer à l'échelle l'apprentissage robotique, notamment sur les tâches d'assemblage et d'insertion. L'abstract ne précise ni le laboratoire ni l'entreprise à l'origine des travaux, ni la disponibilité d'un code ou d'un jeu de données. Les étapes attendues restent classiques pour ce stade de recherche : publication avec revue par les pairs, comparaison chiffrée face aux méthodes existantes de génération de données synthétiques, puis éventuelle adoption par des intégrateurs confrontés à des tâches de manipulation industrielle à forte exigence géométrique.

RecherchePaper

1 source

3arXiv cs.RO

D'une seule démonstration à une politique générale pour la manipulation avec contact

Une équipe de recherche publie sur arXiv (réf. 2605.17601, mai 2026) un framework d'apprentissage par démonstration capable de généraliser à partir d'un seul exemple sur des tâches de manipulation impliquant des contacts répétés avec l'environnement. Le système repose sur un pipeline en quatre étapes : abstraction de la démonstration en primitives de contraintes environnementales, exploration autonome pour lever les ambiguïtés, correction ciblée par un opérateur humain pour couvrir les variantes hors-distribution, et enfin récupération en ligne des détails géométriques via interaction compliante. Validé sur sept tâches réelles multi-étapes à contact riche, le framework atteint un taux de succès supérieur à 90 %. Aucune entreprise spécifique ni plateforme robotique n'est mentionnée dans le préprint, qui reste une contribution académique sans déploiement industriel annoncé. Le point central de l'approche est de représenter une tâche non pas comme une trajectoire à imiter, mais comme une séquence de contraintes environnementales à exploiter. Ce changement de paradigme permet au robot de distinguer la structure générale d'une tâche (types de contraintes, transitions entre elles) des détails spécifiques à une instance donnée (poses exactes, géométrie locale). Pour un intégrateur ou un décideur industriel, cela signifie qu'une seule démonstration suffit potentiellement là où les méthodes de behavior cloning classiques en réclament des centaines. Le résultat de 90 %+ sur des tâches à contact riche est notable car ce domaine concentre la majorité des échecs en manipulation robotique réelle, notamment à cause de la sensibilité aux variations de pose et aux dynamiques de contact non modélisées. L'apprentissage par démonstration est un champ très actif depuis une décennie, concurrencé récemment par les politiques de diffusion (Diffusion Policy, Pi-0 de Physical Intelligence), les architectures VLA (RT-2, GR00T N2 de NVIDIA) et les méthodes ACT (Action Chunking with Transformers). L'originalité revendiquée ici est de traiter les contraintes environnementales comme biais inductif plutôt que d'augmenter massivement les données d'entraînement ou la puissance du modèle. La limite principale reste l'absence d'évaluation sur des plateformes humanoïdes ou collaboratives standard, ce qui rend difficile la comparaison directe avec les benchmarks du secteur. Les suites naturelles seraient un passage à des environnements ouverts et une validation sur des robots commerciaux comme le Franka Research 3 ou les bras UR.

RecherchePaper

1 source

4arXiv cs.RO

Compréhension vidéo découplée centrée sur les objets pour la génération de commandes de manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.16470) un framework de compréhension vidéo orienté objets, conçu pour traduire automatiquement des démonstrations gestuelles en commandes exécutables par un bras robotique, sans passer par une syntaxe de programmation classique. La méthode combine des modules TSM (Temporal Shift Module) pour la classification spatio-temporelle d'actions avec un algorithme original de sélection d'objets qui identifie, dans chaque séquence, les objets fonctionnellement pertinents via trois critères : classification de rôle par trajectoire, détection de flou, et minimisation de chevauchements. Les objets retenus sont ensuite analysés par des VLMs (Vision-Language Models) pour la reconnaissance de catégorie et la généralisation zero-shot. Évalué sur une version modifiée du benchmark Something-Something V2, le système atteint 86,79 % de précision en classification d'actions, un score BLEU-4 de 0,337 sur des objets connus et 0,261 sur des objets inédits, soit des gains respectifs de +80,2 % et +143,9 % face au meilleur baseline spécialisé. Sur METEOR et CIDEr, les gains montent à +157,9 % et +171,7 % pour les objets inconnus. Ce résultat est notable pour deux raisons distinctes. D'abord, la généralisation sur des objets non vus durant l'entraînement, qui est précisément le point de rupture habituel des systèmes task-specific : un robot industriel déployé dans un environnement variable ne peut pas être ré-entraîné pour chaque référence produit. Ensuite, l'architecture modulaire découplée (reconnaissance d'action d'un côté, identification d'objet de l'autre) facilite la maintenance et le débogage en production, à l'inverse des architectures bout-en-bout opaques. Sur le papier, ce type de système pourrait réduire la dépendance à la téléopération manuelle pour constituer des datasets de manipulation, un coût majeur pour les déploiements à grande échelle. Il s'agit ici d'un preprint académique, pas d'un produit validé en environnement réel : les métriques sont mesurées sur un benchmark vidéo, pas sur un robot physique, ce qui laisse entier le sim-to-real gap. Le benchmark Something-Something V2 reste un cadre contrôlé, éloigné du désordre d'un atelier de production. Ce travail s'inscrit dans un mouvement plus large de recherche sur les VLA (Vision-Language-Action models), où des acteurs comme Physical Intelligence (pi), Google DeepMind ou le MIT tentent de résoudre exactement ce problème : faire apprendre un robot par observation vidéo plutôt que par démonstration manuelle coûteuse. La prochaine étape naturelle serait une validation sur hardware réel avec un bras collaboratif standard (UR, Franka), ce que le papier ne documente pas encore.

RechercheOpinion

1 source