Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Modèle vision-langage-action pour le reciblage robotique multi-corporel via diffusion guidée
RecherchearXiv cs.RO 

Modèle vision-langage-action pour le reciblage robotique multi-corporel via diffusion guidée

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs publient une version retravaillée sur arXiv (2505.20857v2) d'un framework de retargeting de mouvement basé sur un modèle de diffusion conditionné par graphe, conçu pour transférer des mouvements de référence vers des robots à la morphologie différente. Le problème ciblé est connu du secteur : un jeu de données de mouvement capturé pour un robot donné ne se transpose pas directement à un autre, à cause des écarts de structure topologique, de paramètres géométriques et de correspondance entre articulations. La méthode encode chaque robot sous forme de graphe capturant sa topologie et sa géométrie, exploité par un mécanisme d'attention développé spécifiquement au niveau articulaire. Faute de mouvements de référence "vérité terrain" pour l'embodiment cible, les auteurs entraînent le modèle de diffusion via un guidage énergétique, formulé comme des fonctions de perte de retargeting, plutôt que par apprentissage supervisé classique.

L'enjeu dépasse l'exercice académique : la pénurie de données de démonstration spécifiques à chaque plateforme reste un goulot d'étranglement majeur pour l'entraînement des modèles VLA (vision-language-action) qui équipent les humanoïdes actuels, de Figure à Optimus en passant par les architectures type GR00T ou Pi-0. Une méthode capable de recycler un même corpus de mouvements humains ou robotiques vers plusieurs morphologies réduirait potentiellement le coût de collecte de données propre à chaque robot. Les auteurs présentent leur travail comme l'une des premières approches de retargeting cross-embodiment en robotique, mais restent prudents : ils parlent d'une généralisation "à un certain degré" à des structures squelettiques diverses, une formulation qui invite à la retenue plutôt qu'à l'enthousiasme.

Il s'agit d'un article de recherche pur, sans affiliation industrielle citée ni produit commercialisé, à situer dans la lignée des travaux sur l'apprentissage cross-embodiment (type Open X-Embodiment) et le problème historique du retargeting en animation et robotique. Aucun acteur français ou européen n'y est associé. Le texte ne mentionne ni pilote annoncé ni calendrier de déploiement : c'est une brique méthodologique, encore loin d'une intégration produit.

Dans nos dossiers

IA physique & VLANVIDIA GR00TarXiv cs.RO

À lire aussi

MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage
1arXiv cs.RO 

MARVL : guidage multi-étapes pour la manipulation robotique via des modèles vision-langage

Des chercheurs ont publié MARVL (Multi-Stage Guidance for Robotic Manipulation via Vision-Language Models, arXiv:2602.15872), une méthode visant à automatiser la conception de fonctions de récompense dense pour l'apprentissage par renforcement (RL) appliqué à la manipulation robotique. L'approche repose sur l'affinage (fine-tuning) d'un modèle de vision-langage (VLM) pour améliorer sa cohérence spatiale et sémantique, puis décompose chaque tâche en sous-tâches séquentielles. Un mécanisme dit de projection de direction de trajectoire (task direction projection) renforce la sensibilité du signal de récompense aux progrès réels de l'agent. Évalué sur le benchmark Meta-World, référence standard pour les tâches de manipulation à récompenses éparses, MARVL surpasse les méthodes VLM-reward existantes en efficacité d'échantillonnage et en robustesse. La contribution centrale de MARVL est de corriger trois défauts chroniques des approches naïves de récompense par VLM : le désalignement entre signal de récompense et avancement réel de la tâche, la faiblesse du grounding spatial, et la compréhension insuffisante de la sémantique d'une tâche robotique. Pour les équipes de recherche en RL robotique, l'enjeu est concret : la conception manuelle de fonctions de récompense dense est coûteuse, non scalable, et constitue un goulot d'étranglement majeur dans le déploiement de nouveaux comportements. Si la méthode confirme ses performances sur des benchmarks plus larges, elle représenterait un pas vers l'automatisation du cycle de reward design, réduisant la dépendance aux ingénieurs spécialisés et accélérant l'itération expérimentale. Les VLMs utilisés comme superviseurs pour le RL robotique constituent un axe de recherche actif depuis 2023, porté notamment par des travaux comme EUREKA (OpenAI/NVIDIA) ou VLP. MARVL se distingue par son affinage ciblé du VLM et sa décomposition multi-étapes, là où EUREKA s'appuie sur un LLM pour générer du code de récompense sans fine-tuning préalable. La validation se limite pour l'instant à Meta-World, un environnement entièrement simulé ; aucun résultat sur robot physique n'est rapporté dans cette version, ce qui laisse ouverte la question du sim-to-real gap. Les suites naturelles incluront une évaluation sur des plateformes matérielles et des benchmarks plus récents comme RLBench ou ManiSkill.

RechercheOpinion
1 source
Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action
2arXiv cs.RO 

Diffusion cachée : attaques robotiques non restreintes sur les modèles vision-langage-action

Des chercheurs ont publié le 12 août 2026 sur arXiv (référence 2608.10393v1) une nouvelle méthode d'attaque baptisée DURA, pour "diffusion-based unrestricted robotic attack", ciblant les modèles Vision-Language-Action (VLA) qui pilotent des robots dans des tâches de manipulation. Contrairement aux attaques adversariales classiques qui modifient des pixels de façon visible ou nécessitent un accès complet au modèle cible (white-box), DURA génère des patches adversariaux visuellement naturels en optimisant le long de la trajectoire latente d'un modèle de diffusion pré-entraîné. La méthode fonctionne aussi bien en mode white-box qu'en mode black-box, ce dernier ne nécessitant que l'observation des actions prédites par le modèle victime, sans accès à ses poids internes. Les auteurs ont testé DURA à la fois en simulation et en conditions physiques réelles, et rapportent des performances supérieures aux méthodes d'attaque existantes pour détourner un robot vers des actions choisies par l'attaquant. Cette démonstration met en lumière un angle mort de sécurité largement sous-exploré dans les systèmes robotiques pilotés par des modèles VLA, une famille d'architectures de plus en plus déployée dans les bras manipulateurs et robots humanoïdes industriels. Le fait qu'un patch visuellement anodin, sans artefact détectable à l'œil, puisse suffire à détourner un robot vers une action arbitraire constitue un signal d'alarme pour les intégrateurs et décideurs qui envisagent des déploiements physiques de ces modèles dans des environnements non contrôlés. Cela contredit l'hypothèse implicite selon laquelle les attaques adversariales restent cantonnées au numérique ou nécessitent des perturbations grossières et repérables. La validation en monde réel, et pas seulement en simulation, renforce la crédibilité de la menace. Ce travail s'inscrit dans la continuité des recherches sur la robustesse adversariale des réseaux de neurones, désormais étendue aux modèles VLA à mesure que ceux-ci quittent les laboratoires pour piloter des robots physiques. Les auteurs soulignent les limites des attaques existantes, jugées peu déployables en conditions réelles à cause de leur dépendance à un accès white-box ou à des perturbations trop visibles, et appellent explicitement à des mécanismes de défense plus robustes avant une adoption industrielle plus large de ces modèles.

RechercheActu
1 source
Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action
3arXiv cs.RO 

Vision robotique : cartes de points centrées sur le robot pour les modèles vision-langage-action

Des chercheurs proposent dans un article arXiv (2607.11498v1, soumis en juillet 2026) une méthode baptisée "pointmaps robot-centriques" pour résoudre un problème structurel des modèles vision-langage-action (VLA). Ces modèles prédisent des actions robotiques à partir d'observations visuelles et d'instructions en langage naturel, mais les actions sont définies dans le repère 3D propre au robot, alors que la caméra observe la scène dans son propre repère. Ce décalage reste sans conséquence quand le point de vue de la caméra est fixe, la politique pouvant alors mémoriser une correspondance unique observation-action, mais il devient problématique à mesure que les jeux de données agrègent des démonstrations issues de configurations caméra variées. La solution proposée encode les coordonnées 3D des points de la scène, exprimées dans le repère du robot, directement dans une grille dense H x W, format identique à celui attendu par les VLA 2D pré-entraînés, ce qui permet une intégration avec un minimum de modifications architecturales. Testée sur le benchmark RoboCasa, cette approche améliore les performances de deux modèles existants, pi0.5 et SmolVLA, et surpasse des méthodes de référence basées sur le point de vue caméra ou sur une conscience 3D classique. Cette avancée touche un point sensible pour l'industrialisation des VLA à grande échelle: la généralisation à des configurations caméra non standardisées est un frein connu au déploiement sur des cellules robotiques hétérogènes, où chaque intégrateur positionne ses capteurs différemment. Les expériences sur robot réel confirment que l'avantage par rapport à une politique RGB classique s'accentue justement quand la caméra est déplacée vers un emplacement absent de l'entraînement, ce qui va dans le sens d'une meilleure robustesse au changement de point de vue, condition nécessaire pour des flottes de robots déployées avec des configurations non uniformisées, plutôt qu'un simple gain de performance en conditions contrôlées. Le travail s'inscrit dans la lignée des modèles VLA récents tels que pi-0, GR00T N2 ou Helix, qui cherchent à généraliser l'apprentissage de politiques robotiques à partir de larges corpus de démonstrations multi-plateformes. En comparant explicitement leur méthode à des approches de conditionnement par point de vue caméra et à des baselines 3D-aware, les auteurs positionnent les pointmaps comme une alternative légère à des architectures 3D plus lourdes, ouvrant la voie à des validations plus larges sur des flottes robotiques aux configurations caméra diverses.

RechercheActu
1 source
Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée
4arXiv cs.RO 

Modèle vision-langage-action pour la manipulation robuste multi-robot en boucle fermée

Un article publié le 9 juillet 2026 sur arXiv (référence 2607.06990) présente un nouveau système multi-agent destiné à fiabiliser la manipulation robotique lorsque plusieurs robots doivent coopérer. Les chercheurs proposent une architecture hiérarchique et bouclée reposant sur trois agents pilotés par un grand modèle de langage (LLM) : un agent de planification qui décompose une instruction globale en sous-tâches réparties entre les robots, un agent de manipulation propre à chaque robot qui exécute les actions en mobilisant dynamiquement des outils adaptés, et un agent de vérification qui observe les résultats physiques réels et renvoie des corrections sémantiques en cas d'échec ou d'écart. Le système a été testé lors d'expériences réelles, sans que l'article ne précise pour l'instant de chiffres exacts (taux de succès, nombre de robots, temps de cycle) au-delà de l'affirmation d'une performance supérieure aux approches existantes, aussi bien sur des tâches limitées à un seul poste de travail que sur des tâches réparties entre plusieurs espaces de travail distincts. L'intérêt de ce travail tient au problème qu'il cible directement : la plupart des approches actuelles combinant LLM et robotique se cantonnent soit à un seul bras manipulateur, où la prise en compte du contact physique est robuste mais sans coordination multi-robot possible, soit à une planification multi-robot de haut niveau qui traite la manipulation comme une brique idéalisée, ignorant les aléas réels d'exécution (glissement, échec de préhension, erreur de perception). En bouclant la boucle perception-action-vérification à l'échelle du système multi-robot, cette architecture s'attaque à un angle mort connu du secteur : la difficulté à faire passer un plan LLM cohérent en langage naturel vers une exécution physique fiable quand plusieurs machines doivent se synchroniser sur des tâches à long horizon. Ce travail s'inscrit dans une tendance de recherche plus large qui cherche à doter les architectures VLA (vision-language-action) et les systèmes agentiques d'un mécanisme de rétroaction correctif, plutôt que de se reposer uniquement sur des plans ouverts non révisables. Il concurrence conceptuellement les approches de planification hiérarchique pure et les méthodes de manipulation mono-robot type Pi-0 ou GR00T N2, en visant explicitement le passage à l'échelle vers des ateliers ou des cellules industrielles à plusieurs robots. L'article, encore un simple dépôt arXiv à ce stade, ne mentionne pas de partenariat industriel ni de calendrier de déploiement commercial.

RechercheActu
1 source