Aller au contenu principal
Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotiqueIllustration générée par IA
RecherchearXiv cs.RO 

Primitives de mouvement par le langage : ancrer les modèles de langage dans le mouvement robotique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Des chercheurs du Collaborative Robotics Lab de Virginia Tech ont publié Language Movement Primitives (LMP), un framework qui relie les modèles de vision-langage (VLM) aux Dynamic Movement Primitives (DMP), une famille de contrôleurs de trajectoire établie en robotique depuis les années 2000. Le principe: les DMP définissent des trajectoires continues et stables via un faible nombre de paramètres interprétables, et les VLM configurent ces paramètres directement à partir d'instructions en langage naturel. Testé sur 31 tâches de manipulation de bureau en conditions réelles, LMP atteint un taux de succès de 65%, contre 35% pour le meilleur système de référence évalué. Le pipeline fonctionne en mode zéro-shot, sans fine-tuning spécifique aux tâches cibles. L'article est disponible sur arXiv (2602.02839, troisième révision) et accompagné de vidéos de démonstration.

Le vrai problème que LMP cible est le "grounding" moteur: transformer un raisonnement abstrait en commandes physiquement cohérentes. Les VLM comme GPT-4V excellent à décomposer une tâche en étapes logiques, mais produire des trajectoires exécutables reste hors de leur portée native. À l'inverse, les modèles de fondation robotique tels que Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou RT-2 de Google génèrent des actions directement, mais nécessitent généralement un fine-tuning coûteux en données in-domain pour s'adapter à de nouvelles tâches. LMP propose une troisième voie: les DMP servent d'interface structurée entre le raisonnement LLM et le contrôle bas niveau, préservant la stabilité dynamique sans apprentissage supplémentaire. Le gain de 30 points de pourcentage en zéro-shot sur des tâches réelles est notable, même si le choix des baselines et les conditions de test précises mériteront une vérification indépendante par la communauté.

Les DMP ont été formalisés par Schaal et al. dans les années 2000 et restent un outil de référence pour la manipulation grâce à leur stabilité et leur capacité de généralisation. L'approche de LMP s'inscrit dans la lignée de SayCan (Google) et Code-as-Policies (Liang et al.), mais descend plus bas dans la pile de contrôle sans passer par un réseau de politique intermédiaire. Les concurrents directs sont les VLA bout-en-bout comme OpenVLA ou le récent Helix d'Figure AI, qui offrent plus de flexibilité mais restent tributaires de larges jeux de données de démonstration. Les prochaines étapes probables incluent l'extension à des environnements non-tabulaires et à des robots à plus haute dimensionnalité, notamment la manipulation dextre sur bras 7-DOF.

À lire aussi

Multi-agent : contrôle robotique par modèles vision-langage embarqués
Illustration générée par IA
1arXiv cs.RO 

Multi-agent : contrôle robotique par modèles vision-langage embarqués

Une équipe de recherche présente, dans un article publié sur arXiv (arXiv:2607.07403v1), une architecture multi-agents (MAS) pour le contrôle robotique conçue pour fonctionner entièrement en local, sans dépendre d'une infrastructure de calcul externe. Le système pilote un manipulateur mobile autonome polyvalent dans un entrepôt industriel simulé, où il exécute cinq catégories de tâches : inspection de sécurité, maintenance de l'entrepôt, recherche d'objets, vérification de la qualité des colis, et réponse aux demandes humaines. L'architecture s'appuie sur des modèles vision-langage (VLM) compacts, entre 3 et 20 milliards de paramètres, avec un fine-tuning appliqué spécifiquement pour améliorer la précision de l'inspection des colis.

RecherchePaper
1 source
SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques
Illustration générée par IA
2arXiv cs.RO 

SPECTRA : primitives de mouvement spectrales conditionnées par le contexte pour la généralisation des compétences robotiques

Des chercheurs proposent SPECTRA (Spectral Movement Primitive, SMP), un framework d'apprentissage par imitation dans le domaine fréquentiel pour la manipulation robotique, décrit dans un article publié sur arXiv (2607.06978v1). Le principe consiste à représenter les démonstrations de trajectoire par des coefficients de Fourier tronqués sur horizon fini, plutôt que par des points temporels bruts. Une bande de fréquences basses, sélectionnée empiriquement, capture la géométrie dominante du mouvement, tandis que les harmoniques plus élevées, responsables d'une croissance disproportionnée des dérivées (vitesse, accélération, jerk), sont écartées.

UEImpact indirect: la validation s'appuie sur un bras Franka Panda, plateforme concue par l'allemand Franka Robotics, mais aucun partenariat, financement ou deploiement commercial en France/UE n'est mentionne.

RecherchePaper
1 source
SimForcing : distiller les a priori de mouvement de la simulation dans des modèles du monde robotiques du domaine réel
Illustration générée par IA
3arXiv cs.RO 

SimForcing : distiller les a priori de mouvement de la simulation dans des modèles du monde robotiques du domaine réel

SimForcing est un cadre d'entraînement publié sur arXiv (2610.06598, v2) qui apprend des modèles du monde robotiques conditionnés par l'action, c'est-à-dire des générateurs vidéo qui prédisent la scène future en fonction des commandes du robot. Le principe: utiliser la simulation à la fois comme source de connaissance du mouvement et comme référence contrôlable pendant la prédiction. Deux mécanismes sont combinés. Une distillation de mouvement latent transfère les priors de mouvement d'un modèle enseignant entraîné en simulation, en alignant les variations temporelles dans l'espace latent plutôt que les pixels, ce qui limite l'effet des écarts d'apparence. Un conditionnement multi-blocs par simulation, associé à un « condition dropout », exploite les trajectoires simulées prédites sans trop dépendre de leur exactitude.

RecherchePaper
1 source
Apprentissage par démonstration pour l'alimentation robotisée avec des primitives de mouvement dynamiques
Illustration générée par IA
4arXiv cs.RO 

Apprentissage par démonstration pour l'alimentation robotisée avec des primitives de mouvement dynamiques

Des chercheurs proposent un cadre d'alimentation robotisée par démonstration, publié sur arXiv (2610.31020v1), qui chaîne capture de mouvement, planification par Dynamic Movement Primitives (DMP), perception RGB-D et commande robot. Un opérateur humain exécute d'abord les gestes de prélèvement (« scooping ») et d'alimentation, tandis qu'un système de motion capture enregistre la position et l'orientation en angles d'Euler de la cuillère. La trajectoire est découpée en deux segments, chacun encodé par une DMP distincte. Avant l'exécution, une caméra RGB-D estime la position de la bouche du participant, et deux AprilTags servent au recalage du repère robot et à la localisation du plateau. La pose du plateau place le geste de prélèvement, la position de la bouche fixe l'objectif du geste d'alimentation.

RecherchePaper
1 source