Aller au contenu principal
RoboEdit : transformer des vidéos de manipulation humaine en expérience robotique à grande échelleIllustration générée par IA
IA physiquearXiv cs.RO 

RoboEdit : transformer des vidéos de manipulation humaine en expérience robotique à grande échelle

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Un preprint arXiv publie en aout 2026 (2608.18948) présente RoboEdit, une suite logicielle qui convertit des vidéos de manipulation humaine en vidéos robotiques exploitables pour l'entrainement de politiques de contrôle. Son pipeline automatique, RoboEdit-ADC, reconstruit et retarget des interactions 3D main-objet a partir de simples vidéos RGB, et a génère RoboEdit-14M : 174 000 paires de vidéos alignées, soit 14 millions de frames, couvrant sept embodiments robotiques et des scènes variées. Le moteur d'édition, RoboEdit-Trans, applique des modules d'adaptation cross-embodiment pour préserver la cohérence temporelle en changeant apparence et mouvement, tandis qu'un décodeur d'état 3D reconstruit image par image la position de la main pour une supervision structurée. Les auteurs rapportent une qualité d'édition supérieure aux méthodes existantes et des politiques de contrôle entraînées sur ces vidéos, testées avec succès en manipulation réelle.

La collecte de données robot-objet reste couteuse et spécifique a chaque plateforme matérielle, un goulot d'étranglement central pour l'entrainement de modèles vision-langage-action généralistes de type GR00T N2, Pi-0 ou Helix. En transformant la masse de vidéos humaines disponibles, jusqu'ici inutilisables a cause du décalage d'embodiment, en données synthétiques alignées sur sept morphologies robotiques, RoboEdit propose une alternative directe a la téléopération massive. Si les gains se confirment hors des benchmarks des auteurs, l'approche pourrait réduire la dépendance des laboratoires et intégrateurs a la collecte manuelle. Il s'agit toutefois d'un résultat de recherche en preprint, évalué par ses propres auteurs, sans validation industrielle indépendante a ce stade.

Cette publication s'inscrit dans une tendance de deux ans ou plusieurs équipes cherchent a réutiliser les vidéos humaines abondantes plutôt que de multiplier les collectes téléopérées embodiment par embodiment. RoboEdit se distingue par un pipeline entièrement automatique de reconstruction et de retargeting 3D et par l'échelle de son jeu de données, RoboEdit-14M, pense pour sept embodiments simultanément plutôt qu'un seul robot cible. Le résume ne précise ni l'institution porteuse ni de calendrier de publication du code, ni de partenariat industriel. La suite logique attendue est la publication des données et des évaluations indépendantes sur des plateformes tierces, pour vérifier que ces gains se traduisent hors du cadre expérimental des auteurs.

À lire aussi

HuRo : robotiser des vidéos humaines pour un pré-entraînement VLA à grande échelle
Illustration générée par IA
1arXiv cs.RO 

HuRo : robotiser des vidéos humaines pour un pré-entraînement VLA à grande échelle

Publié le 10 septembre 2026 sur arXiv (2609.10706), HuRo est un pipeline qui transforme des vidéos humaines hétérogènes en données d'entraînement pour des politiques vision-langage-action (VLA), en réalignant observations et trajectoires d'action sur la morphologie d'un robot et en reconstruisant les signaux intermédiaires absents des vidéos brutes. À partir de cinq sources de vidéos humaines, les auteurs ont constitué le jeu de données HuRo : environ 630 000 épisodes robotisés et 142 millions de frames traitées. Sur quatre tâches réelles de manipulation, ce pré-entraînement fait passer le taux de réussite global de 51,5% à 80,3% avec l'augmentation du volume de données, et le taux de réussite hors distribution, sous des variations spatiales et visuelles inédites, de 34,9% à 72,2%. Code et données sont publiés sur le site du projet. Le résultat cible un goulot d'étranglement connu du secteur : la collecte de données réelles par téléopération coûte cher et ne passe pas à l'échelle, alors que les vidéos humaines abondent sur internet. En montrant que la robotisation systématique de ces vidéos améliore les performances de façon quasi monotone avec le volume, HuRo apporte une preuve empirique qu'une loi d'échelle s'applique aussi à ce type de pré-entraînement, un point jusqu'ici débattu dans la communauté VLA. Le gain de robustesse hors distribution, plus marqué que le gain en distribution, répond directement à la critique récurrente faite aux démonstrations de robots humanoïdes, qui échouent souvent dès que l'éclairage ou la position d'un objet change. Les auteurs montrent aussi qu'un pré-entraînement de bout en bout avec des actions retargetées surpasse un simple transfert visuel, nuançant l'idée que la vision seule suffirait à combler l'écart d'incarnation entre humain et robot. Le problème n'est pas nouveau : les approches précédentes robotisaient des vidéos humaines soit dans des contextes déjà appariés à une tâche précise, soit en traitant séparément, à grande échelle, l'alignement des observations et celui des actions. HuRo comble ce vide en unifiant robotisation visuelle et retargeting d'action sur cinq sources vidéo hétérogènes, s'inscrivant dans un mouvement plus large de la recherche en robotique visant à réduire la dépendance des politiques VLA à la téléopération réelle. Aucun partenariat industriel ni déploiement sur du matériel commercial n'est mentionné à ce stade : il s'agit d'un travail de recherche publié en preprint, code et données ouverts, sans calendrier annoncé de transfert vers un produit ou un robot physique précis.

IA physiqueActu
1 source
RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D
Illustration générée par IA
2arXiv cs.RO 

RynnVLA-Latent : passage à l'échelle des modèles fondation de manipulation robotique grâce à des actions latentes ancrées en 3D

RynnVLA-Latent est un cadre de pré-entraînement de politiques robotiques de type VLA (vision-langage-action) qui contourne la rareté des démonstrations annotées en actions. Son noyau, RynnLAM, apprend des « actions latentes » continues et ancrées en 3D à partir de simples transitions visuelles, sans exiger les commandes natives d'un robot. Il combine trois ingrédients: la prédiction résiduelle de caractéristiques futures, une supervision par flux 3D compensé du mouvement de caméra, et un découplage explicite du mouvement de caméra. Appliqué à 30,1 K heures de vidéos humaines, robotiques et simulées, RynnLAM produit 745,52 millions de descripteurs d'actions latentes. Le modèle RynnVLA-Latent, de 4 milliards de paramètres, apprend ensuite à prédire des blocs d'actions latentes à partir des observations et du langage par flow matching, puis adapte son backbone et son « action expert » aux actions propres à chaque robot. Les auteurs rapportent 98,8 % de réussite sur LIBERO, 84,7 % sur LIBERO-Plus sans adaptation spécifique au benchmark, 51,9 % en moyenne sur cinq pistes de VLABench et 88,6 % sur le benchmark bimanuel RoboTwin 2.0. Sur six tâches réelles, avec mains dextres et manipulateurs mobiles à pince, il obtient les meilleurs taux parmi les méthodes comparées. L'enjeu est le goulot d'étranglement de la donnée. Les VLA se heurtent à deux limites: le faible volume de téléopération annotée, et l'incompatibilité des espaces de contrôle d'une morphologie à l'autre. Extraire une supervision utilisable de vidéos hétérogènes, dont des vidéos humaines abondantes, indique une voie d'extension qui ne dépend plus de la collecte robotique native. Pour un intégrateur, cela laisse entrevoir une réutilisation de corpus existants et un transfert plus simple entre plateformes. Il faut toutefois rester prudent: LIBERO est proche de la saturation à 98,8 %, ce qui le rend peu discriminant, et les benchmarks simulés ne mesurent pas la fiabilité en production. Les six tâches réelles sont peu nombreuses, la comparaison se limite aux méthodes choisies par les auteurs, et les taux de succès bruts ne disent rien des temps de cycle, de la robustesse sur la durée ni de la reprise sur erreur. Il s'agit d'un résultat de recherche, pas d'un produit livré ni d'un déploiement. Ces travaux s'inscrivent dans la lignée des modèles d'actions latentes appris sans étiquettes d'action, comme LAPA ou la famille Genie, et face aux VLA généralistes tels que Pi-0, OpenVLA ou GR00T, qui reposent encore surtout sur des données annotées avec actions. La spécificité ici tient à l'ancrage 3D et à la compensation du mouvement de caméra, censés isoler le mouvement pertinent pour le contrôle plutôt que les simples changements d'apparence. Le préfixe Rynn évoque la famille RynnVLA, dont les antécédents ne sont pas détaillés dans le résumé. La suite logique serait une validation sur davantage de tâches réelles, des tests inter-morphologies plus larges et des courbes de passage à l'échelle publiées. Aucun calendrier de pilote ni partenaire industriel n'est mentionné.

IA physiquePaper
1 source
Le monde entre vos mains : un écosystème open source à grande échelle pour l'apprentissage de la manipulation centrée sur l'humain en conditions réelles
Illustration générée par IA
3arXiv cs.RO 

Le monde entre vos mains : un écosystème open source à grande échelle pour l'apprentissage de la manipulation centrée sur l'humain en conditions réelles

Un article déposé sur arXiv (version 4) présente World In Your Hands (WIYH), un écosystème open source comprenant plus de 1 000 heures de données de manipulation humaine collectées en conditions réelles, avec une précision de mouvement à l'échelle millimétrique. Il s'articule autour de trois éléments : l'Oracle Suite, un kit de capture portable doté d'un pipeline d'auto-étiquetage pour un suivi de mouvement précis hors laboratoire ; le WIYH Dataset, qui couvre des centaines de compétences de manipulation dans des scénarios réels variés et de multiples modalités ; et un ensemble d'annotations et de benchmarks allant de la perception à l'action. Les auteurs précisent que toutes les données et les plans matériels seront publiés en open source. Le résultat central des expériences menées avec WIYH montre que l'intégration de ces données humaines dans l'entraînement de politiques robotiques fait passer le taux de réussite de manipulation en environnement encombré de 8% à 60%. Cet écart souligne que le goulot d'étranglement des politiques vision-langage-action reste la quantité et la qualité des démonstrations, plus que l'architecture des modèles. Pour les équipes travaillant sur l'apprentissage cross-embodiment, transférable d'une morphologie de robot à une autre voire de la main humaine vers un bras robotique, WIYH offre une alternative aux campagnes de téléopération propriétaires coûteuses. Publier données et matériel en open source tranche avec la logique de plusieurs acteurs commerciaux qui gardent leurs jeux de données fermés. Ce travail s'inscrit dans une série d'efforts visant à exploiter vidéo et geste humains comme alternative aux données de téléopération, face au coût et à la lenteur de la collecte robot par robot. La difficulté historique tenait à la précision du tracking et à l'hétérogénéité des conditions de capture, ce que l'Oracle Suite cherche à résoudre avec son pipeline d'auto-étiquetage millimétrique déployable hors studio. À ce stade, WIYH reste une publication de recherche accompagnée d'un jeu de données et de benchmarks, pas un produit commercialisé ni un déploiement industriel ; son impact dépendra de la mise en ligne effective des données et des plans matériels, ainsi que de la reproductibilité du gain de 8% à 60% sur d'autres tâches que celles testées par les auteurs.

IA physiqueActu
1 source
E-TTS : un nouveau cadre de mise à l'échelle au moment de l'inférence pour la manipulation robotique
Illustration générée par IA
4arXiv cs.RO 

E-TTS : un nouveau cadre de mise à l'échelle au moment de l'inférence pour la manipulation robotique

Des chercheurs présentent sur arXiv (2606.27268, juin 2026) E-TTS, un cadre de mise à l'échelle à l'inférence (test-time scaling) pour la manipulation robotique, applicable en surcouche de modèles vision-language-action (VLA) existants sans réentraînement ni collecte de données supplémentaire. Le framework repose sur deux mécanismes : un échantillonnage conjoint raisonnement-action avec notation par paires, et un tampon d'historique (history buffer) qui stocke les observations passées pour contextualiser les décisions d'action. Contrairement aux méthodes TTS en boucle ouverte, E-TTS intègre du feedback durant l'inférence via un mécanisme de raffinement itératif en boucle fermée, piloté par des vérificateurs vision-langage. Les auteurs rapportent des gains jusqu'à 33,14 % en simulation et 26,62 % en conditions réelles, mesurés sur 4 benchmarks, 6 environnements, 3 morphologies de robots et 4 modèles VLA de base. L'enjeu est de transposer à la robotique ce qui a fonctionné pour les LLMs : amplifier les capacités à l'inférence sans modifier les poids du modèle. Le défi spécifique aux robots est que les tâches sont séquentielles et longues : une observation instantanée ne suffit pas pour choisir la bonne action, contrairement à une requête texte isolée. En partageant un buffer d'historique entre les modules de raisonnement et de vérification d'action, E-TTS comble un angle mort des méthodes TTS précédentes pour l'embodied AI. Le fait que le gain tienne en conditions réelles (26,62 %) et pas seulement en simulation est un signal positif sur le sim-to-real gap, même si les conditions exactes de ces expériences en monde réel méritent examen dans le papier complet. Le test-time scaling a émergé avec les architectures o1 et o3 d'OpenAI et les approches chain-of-thought pour les LLMs, avant d'être progressivement exploré pour les VLA robotiques. E-TTS s'inscrit dans ce mouvement que les auteurs eux-mêmes qualifient d'"early attempts", ce qui situe honnêtement le niveau de maturité. L'architecture modulaire et plug-and-play est conçue pour s'adapter à des VLA variés, ce qui pourrait faciliter l'adoption par des équipes travaillant sur des modèles comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA. Le papier ne mentionne ni déploiement industriel ni partenariat avec un constructeur de robots : il reste une preuve de concept académique dont la validation sur des tâches industrielles réelles (assemblage, palettisation) constituerait l'étape suivante naturelle.

💬 Ce qui change ici, c'est le buffer. Appliquer le test-time scaling à un robot, c'est pas aussi simple qu'à un LLM : un bras qui visse en étape 7 ne peut pas raisonner sur une observation instantanée, il lui faut les étapes précédentes pour contextualiser. Que les gains tiennent à 26 % en conditions réelles et pas seulement en sim, c'est le seul résultat qui compte pour l'instant.

IA physiqueOpinion
1 source