Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Transformer Transformer : un modèle unifié pour la co-conception de robots conditionnée par le mouvement
RecherchearXiv cs.RO 

Transformer Transformer : un modèle unifié pour la co-conception de robots conditionnée par le mouvement

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (2607.25798v1) un nouveau modèle baptisé Transformer Transformer, conçu pour la co-conception de robots conditionnée par le mouvement. L'idée : générer automatiquement des architectures robotiques complètes capables de suivre des trajectoires d'effecteur cibles issues de démonstrations humaines, tout en optimisant des fonctions de récompense définies par l'utilisateur. Le système repose sur les RoboTokens, une tokenisation unifiée des morphologies, états et actions des robots, qui permet à une seule architecture de diffusion transformer de fonctionner sur des espaces d'embodiment très différents : robots bimanuels à roues, quadrupèdes, humanoïdes. Plutôt que d'optimiser pour une récompense unique, le modèle agit comme un modèle de dynamique générique, dont les prédictions d'état et d'action servent ensuite à calculer des valeurs spécifiques à chaque objectif, via une procédure nommée Dynamics Self-Guidance qui guide la diffusion vers des designs à haute valeur. Preuve concrète : les chercheurs ont fabriqué une version optimisée de la plateforme ALOHA, réduisant l'erreur de suivi de trajectoire de plus de 70 % par rapport au design d'origine.

L'intérêt pour le secteur tient à ce que la conception mécanique des robots reste largement découplée du contrôle et de l'apprentissage, alors que la performance en manipulation dépend fortement de l'embodiment. Un modèle capable d'optimiser en zero-shot pour des récompenses et trajectoires jamais vues, plus rapidement qu'une baseline évolutionniste, ouvre la voie à des cycles de co-conception matériel-logiciel beaucoup plus rapides pour les intégrateurs et les fabricants de bras ou de plateformes bimanuelles. C'est un signal supplémentaire que les architectures de type transformer/diffusion, déjà dominantes pour les politiques VLA, s'étendent maintenant à la conception physique elle-même, et pas seulement au contrôle.

Le travail s'inscrit dans la lignée de la recherche sur la co-conception robotique, historiquement dominée par des algorithmes évolutionnistes coûteux en calcul et spécifiques à une seule récompense. ALOHA, plateforme bimanuelle open source popularisée par les travaux de Stanford et Google, sert ici de banc d'essai matériel concret plutôt que de simple simulation. Le papier ne précise pas de calendrier de déploiement industriel ni de partenaire, il s'agit à ce stade d'un résultat de recherche fraîchement publié, dont la portée reste à confirmer sur des espaces de conception plus larges.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Skel-WAM : un modèle du monde conditionné par le squelette de la main pour le transfert humain-robot
1arXiv cs.RO 

Skel-WAM : un modèle du monde conditionné par le squelette de la main pour le transfert humain-robot

Des chercheurs ont publié le 21 septembre 2026 sur arXiv (référence 2609.21514) Skel-WAM, un « world action model » qui transfère des démonstrations de manipulation filmées sur des humains vers le contrôle de robots, via une interface commune de squelette de main combinant superpositions squelettiques et points-clés 2.5-D. Un Video Expert et un Keypoint Expert apprennent conjointement la dynamique visuelle et squelettique dans une architecture Mixture-of-Transformers, tandis qu'un Action Expert entraîné uniquement sur des données robot traduit ces prédictions en commandes exécutables, sans nécessiter d'étiquettes d'action sur les vidéos humaines. Sur quatre tâches bimanuelles réelles et sept tâches simulées, le système atteint des taux de réussite moyens de 79,86 % et 63,29 %, devançant la meilleure référence de 22,22 et 8,28 points de pourcentage respectivement. Le co-entraînement humain-robot fait passer la réussite réelle sur des variantes de tâches absentes des données d'entraînement robot de 38,89 % à 86,11 %. Ce résultat s'attaque à un goulot d'étranglement bien connu de la robotique manipulatrice : les démonstrations robot par téléopération sont coûteuses et couvrent mal la diversité des situations réelles, alors que la vidéo humaine est abondante mais souffre d'un écart d'incarnation entre corps humain et bras robotique. En montrant qu'un espace squelettique partagé suffit à superviser conjointement des données humaines et robotiques sans étiquette d'action, l'approche offre aux intégrateurs et laboratoires un moyen concret d'étendre la couverture de tâches d'une politique sans multiplier les campagnes de téléopération. Le bond observé sur les tâches inédites à l'entraînement robot, plus de 47 points grâce au cotraining, suggère que la vidéo humaine comble des trous de distribution plutôt que de simplement gonfler le volume de données, un argument concret dans le débat sur le passage à l'échelle des modèles vision-langage-action. Ces travaux s'inscrivent dans une recherche active sur les world models et les architectures vision-langage-action, où l'écart entre démonstrations humaines et robotiques freine l'apprentissage par imitation à grande échelle. Il s'agit d'une publication arXiv récente, sans mention de revue par les pairs à ce stade, évaluée sur un périmètre restreint de laboratoire, ce qui invite à la prudence avant d'extrapoler ces chiffres à un déploiement industriel. L'article ne nomme aucune entreprise ni plateforme robotique commerciale et ne fixe aucun calendrier de transfert vers un produit ; la contribution reste pour l'instant méthodologique, mais elle rejoint un corpus croissant de travaux cherchant à exploiter la vidéo humaine comme source de données complémentaire pour entraîner des robots manipulateurs généralistes.

RecherchePaper
1 source
De la langue au mouvement : intégration de trajectoires par pile focale conditionnée par la tâche pour robots microscopiques
2arXiv cs.RO 

De la langue au mouvement : intégration de trajectoires par pile focale conditionnée par la tâche pour robots microscopiques

Des chercheurs décrivent, dans un preprint arXiv (2610.12241v1), un cadre qui relie une instruction en langage naturel à des trajectoires physiques pour des robots microscopiques. Le système traduit la consigne en opérateurs géométriques contraints. Il réutilise une perception « open-vocabulary » figée, sans réentraînement. Il n'agrège pas les images : il intègre des trajectoires 2D extraites plan par plan dans une pile focale, là où chaque plan est localement net. Cette intégration repose sur une pondération par confiance et sur la programmation dynamique. Une géométrie multi-vues calibrée convertit ensuite les chemins 2D en exécution physique. Les tests de reconfiguration (changement de prompt, pièces jamais vues, géométrie modifiée) donnent une erreur quadratique moyenne (RMSE) de 6,30 à 6,59 pixels. La configuration « zéro nouvelle annotation » demande 15 minutes de mise en place. Un U-Net spécifique à chaque pièce, entraîné avec 20 à 100 annotations, en demande entre 72 et 165. Sur neuf combinaisons pièce/éclairage, l'intégration dans l'espace des trajectoires fait passer le RMSE de 14,41 à 6,28 pixels (-56,4 %) par rapport à la fusion multi-focus classique, qui construit d'abord une image nette. L'erreur au 95e percentile baisse de 20,07 à 8,13 pixels (-59,5 %). Une ablation isole l'apport de la confiance et celui de la sélection chemin par chemin. Dans des expériences robotiques jugées représentatives par les auteurs, la couverture de la région cible passe de 83,5 % à 92,9 %. La tâche de démonstration est la dépose de fluide (dispensing), qui laisse une trace physique mesurable. Les auteurs précisent que ce choix ne limite pas la méthode à cette tâche. L'intérêt tient à l'ordre des opérations. En microscopie robotisée, la profondeur de champ très faible oblige à fusionner plusieurs plans focaux, et les artefacts de cette fusion se propagent jusqu'à la commande. Extraire le chemin avant de fusionner évite ce biais. Le gain de temps de mise en service, de plusieurs heures à un quart d'heure, concerne directement les intégrateurs d'assemblage de précision, par exemple l'optique, les microsystèmes ou l'électronique, où chaque référence de pièce impose aujourd'hui de réannoter des données. Il faut toutefois lire ces chiffres avec prudence. Les erreurs sont exprimées en pixels, sans conversion en microns dans le résumé. Aucune mesure de débit, de temps de cycle ou de fiabilité en production n'est annoncée. Neuf conditions de test et des expériences « représentatives » ne constituent pas une validation industrielle. La comparaison avec le U-Net porte sur le temps de préparation, pas sur la précision finale. Ce travail s'inscrit dans la tendance qui consiste à réutiliser des modèles de perception pré-entraînés plutôt qu'à réentraîner par tâche, déjà dominante en manipulation macroscopique avec les modèles vision-langage-action (VLA). Il l'applique à l'échelle micro, où la géométrie et la mise au point sont des contraintes dures. Il s'agit d'un preprint de recherche, sans produit, sans partenaire industriel ni calendrier de déploiement annoncés. Les prochaines étapes à surveiller sont la validation sur d'autres tâches que la dépose de fluide, l'expression des erreurs en unités physiques et la reproduction par des tiers.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques
3arXiv cs.RO 

SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques

Des chercheurs proposent SPECTRA (Spectral Movement Primitive, SMP), un framework d'apprentissage par imitation dans le domaine fréquentiel pour la manipulation robotique, décrit dans un article publié sur arXiv (2607.06978v1). Le principe consiste à représenter les démonstrations de trajectoire par des coefficients de Fourier tronqués sur horizon fini, plutôt que par des points temporels bruts. Une bande de fréquences basses, sélectionnée empiriquement, capture la géométrie dominante du mouvement, tandis que les harmoniques plus élevées, responsables d'une croissance disproportionnée des dérivées (vitesse, accélération, jerk), sont écartées. Un modèle GMM/GMR (mélange de gaussiennes avec régression) conditionné par le contexte et sensible au référentiel prédit les coefficients de la bande de tâche dans un repère canonique ; la trajectoire cartésienne obtenue est ensuite convertie en espace articulaire via cinématique inverse séquentielle. Un régulateur couplé en phase limite la progression temporelle demandée sans toucher aux coefficients spectraux, imposant ainsi les limites de vitesse et d'accélération articulaires tout en conservant le chemin de l'effecteur. Les auteurs valident l'approche sur plusieurs critères (reconstruction de la bande de tâche, robustesse à des démonstrations corrompues, généralisation hors distribution entre repères non vus, admissibilité dynamique en espace articulaire, préservation du chemin) et un déploiement réel sur un bras Franka Panda. Le problème que cible SPECTRA est concret pour tout intégrateur en apprentissage par imitation : les pipelines classiques apprennent une trajectoire en espace de tâche puis lui imposent après coup des limites d'exécution (filtrage, lissage, écrêtage, mise à l'échelle temporelle), ce qui déforme souvent le chemin de l'effecteur jugé critique pour la tâche, par exemple lors d'un versement, d'une insertion de pièce ou du suivi d'un contour précis. En couplant génération de trajectoire et régulation dynamique dès la conception, dans le domaine fréquentiel, SPECTRA évite cette distorsion a posteriori : les résultats rapportés montrent une réduction substantielle des violations dynamiques et du jerk, tout en préservant le chemin voulu pendant la régulation de phase. Pour la robotique industrielle, où les cycles de préhension et d'insertion tolèrent mal les à-coups mécaniques, cela offre une alternative aux primitives de mouvement dynamiques (DMP) classiques et aux méthodes de lissage a posteriori. Les primitives de mouvement existent depuis les Dynamic Movement Primitives (DMP), introduites il y a une vingtaine d'années et largement utilisées en apprentissage par imitation pour encoder des trajectoires robustes et reproductibles. SPECTRA s'en démarque en travaillant dans le domaine fréquentiel plutôt que temporel, et en couplant explicitement génération de tâche et contraintes d'exécution articulaire plutôt que de les traiter séparément. Le choix du Franka Panda comme plateforme de validation, un bras collaboratif conçu par l'allemand Franka Robotics (ex Franka Emika) très utilisé en recherche académique, ancre les travaux dans l'écosystème européen de manipulation robotique. L'article ne mentionne ni calendrier de transfert industriel ni partenariat commercial : il s'agit à ce stade d'une contribution de recherche évaluée en laboratoire, dont la suite logique serait une validation sur des tâches de manipulation plus complexes et une comparaison directe avec les approches DMP existantes.

UEImpact indirect: la validation s'appuie sur un bras Franka Panda, plateforme concue par l'allemand Franka Robotics, mais aucun partenariat, financement ou deploiement commercial en France/UE n'est mentionne.

RecherchePaper
1 source
Transition de mouvement pour robot à partir d'un a priori de mouvement humain
4arXiv cs.RO 

Transition de mouvement pour robot à partir d'un a priori de mouvement humain

Des chercheurs présentent STAMP (Spatio-Temporal Alignment with a Motion Prior), un cadre logiciel qui vise à enchaîner des mouvements de robots humanoïdes acquis séparément pour en faire une séquence continue. Le procédé passe par une boucle « robot vers humain vers robot ». Les deux mouvements sont d'abord retargetés (transposés) sur un squelette humain. Un modèle d'alignement appris classe ensuite des candidats de position, de cap et de durée de transition pour le mouvement suivant. Un modèle génératif de mouvement humain, utilisé comme prior, produit alors la transition en « inbetweening », c'est-à-dire en générant les images intermédiaires entre deux poses. La séquence complète est enfin retargetée sur le robot et sert de référence pour entraîner une politique de suivi de mouvement. Les auteurs l'évaluent sur le Unitree G1 et le ROBOTIS K1, et disent avoir réalisé des démonstrations physiques de séquences longues. L'abstract ne donne aucun chiffre : taux de réussite, nombre de mouvements enchaînés et durée des séquences ne sont pas précisés. L'intérêt tient à un problème pratique. Les politiques de suivi de mouvement savent aujourd'hui reproduire des comportements variés, mais les composer en un enchaînement fluide reste un point faible. L'interpolation simple relie des poses sans vérifier que la position relative, le cap et le timing se prêtent à une transition. Un prior génératif, lui, peut inventer de la marche, des rotations ou des gestes non voulus si les bornes sont mal agencées. STAMP traite donc l'alignement des bornes comme un problème à part entière, ce qui est une piste crédible pour construire des répertoires de comportements modulaires, utiles aux intégrateurs qui veulent assembler des gestes sans les réenregistrer. L'approche passe par l'espace humain, ce qui permet de réutiliser la connaissance des transitions d'un robot à l'autre. Cette promesse de transfert entre morphologies reste à confirmer, car seuls deux robots sont testés et les résultats sont ceux des auteurs, sans indication de la part de démonstrations sélectionnées. Ce travail s'inscrit dans la lignée des méthodes de suivi de mouvement humanoïde et des modèles génératifs de mouvement humain, qui ont gagné en maturité ces dernières années. La combinaison de ces briques est ici orientée vers la continuité des séquences. Le choix du Unitree G1, plateforme répandue en recherche, facilite la reproductibilité. Le ROBOTIS K1 élargit le test à une seconde morphologie. Il s'agit d'une prépublication arXiv (2610.30817v1), non évaluée par des pairs, accompagnée d'une page projet. Aucun déploiement industriel ni pilote n'est annoncé. Les prochaines étapes naturelles seraient des comparaisons chiffrées avec l'interpolation et d'autres méthodes génératives, ainsi que des tests sur davantage de robots et de mouvements.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source