EmbodiedSWE : agents de codage pour la robotique dextre à long horizon
Une équipe de recherche présente EmbodiedSWE, un système qui exploite des agents de codage pour résoudre des tâches de robotique dextre à long horizon, avant de transformer leurs solutions en données d'entraînement pour des politiques robotiques générales. Les auteurs introduisent EmbodiedSWE-Bench, un benchmark de simulation couvrant la manipulation à contact riche, les objets déformables et des tâches longues exigeant jusqu'à trente minutes d'interaction continue. Les agents de codage de pointe testés résolvent ces tâches et transfèrent leurs solutions d'une tâche à l'autre, voire d'un robot à un autre, au prix de nombreuses itérations et d'une forte spécialisation. EmbodiedSWE-Gen démultiplie ensuite une solution unique en de nombreuses trajectoires diversifiées pour entraîner un modèle vision-langage-action (VLA), qui, entraîné uniquement sur ces démonstrations simulées, exécute avec succès une tâche longue sur un robot réel, sans donnée de téléopération humaine.
Ce résultat s'attaque au principal goulot d'étranglement de l'apprentissage robotique : la collecte de démonstrations, aujourd'hui dominée par la téléopération humaine, lente et coûteuse. En montrant qu'un agent de codage capable d'itérer en simulation peut se substituer à l'opérateur humain pour produire des trajectoires exploitables, l'étude ouvre une piste de supervision scalable pour les politiques VLA, la même famille de modèles que des systèmes connus du secteur comme GR00T N2, Pi-0 ou Helix. Pour les intégrateurs et décideurs industriels, l'enjeu est de réduire le coût et le délai nécessaires pour doter un robot de nouvelles compétences sans dépendre de flottes dédiées à la collecte de données. Le transfert réussi vers un robot réel, même limité à une seule tâche démontrée, suggère que l'écart sim-to-real peut être comblé par une diversification algorithmique des trajectoires plutôt que par un volume massif de données réelles.
L'approche s'inscrit dans la tendance qui consiste à détourner les agents de codage, conçus pour l'ingénierie logicielle, vers des problèmes de contrôle physique, en écho aux efforts des laboratoires développant des modèles VLA pour réduire leur dépendance à la téléopération humaine. Publiée en prépublication sur arXiv (2609.27308), la recherche ne mentionne aucun déploiement industriel : la validation sur robot réel reste limitée à une seule tâche, le reste se déroulant en simulation.
Dans nos dossiers
