RecherchearXiv cs.RO 22 octobre 2026

AgiBot World Colosseo : une plateforme de manipulation à grande échelle pour des systèmes incarnés intelligents et évolutifs

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

AgiBot, le fabricant chinois de robots humanoïdes, publie la version 5 de l'article arXiv présentant AgiBot World Colosseo, une plateforme de données de manipulation robotique à grande échelle. Le jeu de données réunit plus d'un million de trajectoires couvrant 217 tâches réparties sur cinq scénarios de déploiement, soit, selon les auteurs, un gain d'un ordre de grandeur par rapport aux jeux existants. La collecte suit un pipeline standardisé avec vérification humaine intégrée (human-in-the-loop), et le dispositif s'étend des pinces simples aux mains dextres et aux capteurs visuo-tactiles. Sur cette base, l'équipe présente Genie Operator-1 (GO-1), une politique généraliste qui s'appuie sur des représentations d'actions latentes pour tirer parti de volumes de données hétérogènes. Les politiques pré-entraînées sur ce corpus gagnent en moyenne 30 % par rapport à celles entraînées sur Open X-Embodiment, en conditions connues comme hors distribution. GO-1 dépasse 60 % de réussite sur des tâches complexes de dextérité et d'horizon long, soit 32 points de mieux que l'approche RDT. Le jeu de données, les outils et les modèles sont publiés en open source.

L'enjeu tient d'abord à la donnée. Open X-Embodiment, agrégat de jeux hétérogènes issus de nombreux laboratoires, plafonne en cohérence et en qualité d'annotation, et ce que montre ce travail, c'est qu'un corpus homogène, vérifié et collecté sur un même parc de robots améliore nettement la généralisation. La courbe de performance dite prévisible en fonction du volume de données irait dans le sens d'une loi d'échelle pour la manipulation, hypothèse centrale des approches VLA (vision-langage-action), mais elle reste à confirmer hors du périmètre des auteurs. Pour les intégrateurs et les décideurs industriels, la publication ouvre un socle réutilisable pour affiner des politiques sans repasser par des mois de téléopération. Quelques réserves s'imposent: les résultats sont mesurés sur des tâches et un matériel choisis par AgiBot, un taux de réussite de 60 % reste loin des seuils de fiabilité exigés en production, et le gain de 30 % dépend des protocoles d'évaluation retenus.

Le contexte est celui d'une course à la donnée entre acteurs chinois et américains. AgiBot, dont les humanoïdes ont déjà été présentés lors de précédentes éditions de cette plateforme, ouvre ses données pour attirer une communauté de développeurs, une stratégie proche de celle de Physical Intelligence avec Pi-0 ou de NVIDIA avec GR00T, tandis que Figure (Helix) et Tesla (Optimus) gardent leurs corpus fermés. RDT, le modèle de diffusion de l'université Tsinghua, sert ici de référence. Les prochaines étapes seront la reproduction indépendante des résultats par d'autres laboratoires, y compris européens, et l'extension annoncée vers les mains dextres et le tactile. L'article n'indique pas de calendrier de déploiement commercial.

Dans nos dossiers

AgiBot IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RecherchePaper

1 source

2arXiv cs.RO

Plateforme d'IA incarnée évolutive pour le transfert réel-sim-réel de tâches de manipulation mobile domestique

Une équipe de chercheurs a publié sur arXiv (référence 2606.18646v1) les travaux autour de BestMan, une plateforme logicielle conçue pour boucler le cycle real-to-sim-to-real dans le domaine de la manipulation mobile en environnements domestiques. Le système s'articule autour de trois composants : un module de génération automatique de scènes (ASG) qui reconstruit des environnements simulés à partir d'observations réelles, une architecture d'apprentissage de compétences hybrides évaluable à grande échelle en simulation, et un middleware unifié baptisé HUM (Hardware-agnostic and Unified Middleware) assurant le déploiement sur des manipulateurs mobiles hétérogènes. Il s'agit d'une contribution académique sous forme de preprint, pas d'un produit commercialisé ni d'un déploiement industriel annoncé. L'enjeu central que traite BestMan est le fossé sim-to-real, l'un des verrous les plus persistants de la robotique d'intérieur. La manipulation mobile en environnement non-structuré, c'est-à-dire sur des surfaces encombrées, dans des cuisines ou des entrepôts domestiques sans balisage préalable, reste hors de portée des approches qui nécessitent une reconstruction manuelle et coûteuse des scènes de simulation. Le module ASG automatise cette étape, ce qui réduit le coût d'entrée pour les chercheurs souhaitant tester des stratégies de contrôle. Le middleware HUM, s'il tient ses promesses d'agnosticisme matériel, simplifierait le travail des intégrateurs qui opèrent des flottes de robots hétérogènes : une seule pipeline de simulation pour plusieurs plateformes physiques. L'article revendique des benchmarks standardisés, ce qui manquait cruellement dans le champ de la manipulation mobile, mais les métriques précises de performance (taux de succès, temps de cycle, généralisation à des objets inconnus) ne sont pas détaillées dans l'abstract. BestMan s'inscrit dans une vague de plateformes d'intelligence incarnée visant à industrialiser le pipeline simulation-réel : on pense à Isaac Sim de NVIDIA, à Genesis (plateforme de simulation physique open-source), ou encore aux travaux de Physical Intelligence (pi) autour de Pi-0 qui misent sur les VLA (vision-language-action models) pour généraliser sans retraining massif. Côté européen, des acteurs comme Enchanted Tools (Miroki) ou Wandercraft (Atalante) traitent des problèmes adjacents de transfert sim-réel mais sur des morphologies très différentes. L'équipe derrière BestMan ne précise pas de partenariats industriels ni de calendrier de mise à disposition publique de la plateforme : la prochaine étape logique serait une validation sur plusieurs familles de robots et une ouverture du code pour permettre des benchmarks communautaires comparables.

UEImpact indirect potentiel pour les acteurs européens comme Enchanted Tools ou Wandercraft si la plateforme est rendue publique, mais aucun déploiement ou partenariat européen documenté à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

Système d'exploitation auto-évolutif pour agents incarnés : planification cognitive et exécution physique découplées

Des chercheurs présentent PhyAgentOS, un système d'exploitation pensé spécifiquement pour les agents robotiques incarnés (embodied agents), décrit dans un preprint arXiv (2607.16636v1) publié fin juillet 2026. Le système introduit un "Session-Centered Runtime" qui traite une session complète, et non une action isolée, comme unité minimale d'ordonnancement, de vérification de compatibilité et de collecte de preuves d'exécution. La couche cognitive (planification) est séparée de la couche physique (exécution) via un protocole appelé State-as-a-File, qui matérialise l'état du système sous forme de fichiers Markdown/YAML lisibles et versionnables, sans dépendance de code entre les deux couches. Un module SessionVerifier distingue la fin d'exécution d'une tâche de sa réussite sémantique réelle, avec trois verdicts possibles : succès, échec ou replanification. Les résultats vérifiés alimentent une mémoire épistémique qui capitalise l'expérience sous forme de leçons réutilisables, sans réentraînement du modèle. PhyAgentOS a été testé sur les bancs d'essai Optimus-67, StarDojo et DST-Dojo, validé sur plus de 19 corps robotiques simulés et physiques, et montre des gains de performance sur les benchmarks LIBERO, Calvin et RoboCasa365 avec plusieurs modèles VLA (vision-language-action) différents. L'enjeu dépasse la prouesse technique isolée : les modèles VLA, les modèles du monde et les planificateurs agentiques progressent chacun de leur côté, mais sans abstraction d'exécution commune ni état partagé, ce qui rend leur composition fragile dès qu'on sort du laboratoire. En distinguant explicitement la terminaison d'une action de sa réussite réelle, PhyAgentOS s'attaque directement à l'écart bien documenté entre démonstration et fiabilité en conditions réelles, un problème central pour les intégrateurs qui déploient des flottes de robots en usine ou en entrepôt. Pour un décideur B2B, la promesse n'est pas un nouveau modèle plus performant mais une couche d'infrastructure capable de faire cohabiter différents modèles VLA, de vérifier objectivement leurs sorties et de capitaliser les échecs sans réentraînement coûteux, un point clé pour la maintenabilité à long terme de déploiements robotiques hétérogènes. Cette proposition s'inscrit dans la vague actuelle de modèles VLA généralistes tels que Figure 03, Optimus Gen 3, Pi-0 ou GR00T N2, qui ont démontré des capacités de manipulation impressionnantes en démo mais restent difficiles à orchestrer, vérifier et faire évoluer une fois déployés sur du matériel réel. PhyAgentOS se positionne comme une couche d'infrastructure sous ces modèles plutôt que comme un concurrent direct, avec une architecture de sécurité en couches (préflight, ponts d'action, SafetyGuard, surveillance par heartbeat) et une validation progressive allant des jeux virtuels à la simulation puis au robot physique, en gardant la couche cognitive constante pour isoler les variables. Publié comme preprint arXiv avec le statut "Announce Type: new", ce travail reste à ce stade une contribution de recherche académique plutôt qu'un produit commercial ; les auteurs ne précisent ni calendrier de mise en production ni partenariat industriel à ce jour.

RecherchePaper

1 source

4arXiv cs.RO

TacClaw-Infinity : un jeu de données vision-tactile-langage-action à grande échelle pour la manipulation dextère

TacClaw-Infinity est un jeu de données de manipulation robotique de très grande taille, présenté sur arXiv (2610.20320) sous la forme d'un corpus Vision-Tactile-Langage-Action (VTLA). Il a été collecté avec TacClaw, une interface portable de type UMI (Universal Manipulation Interface) équipée de capteurs tactiles aux bouts des doigts. Elle enregistre de façon synchronisée les images, les signaux tactiles et les trajectoires de l'effecteur, sans qu'aucun robot cible ne soit nécessaire pendant la collecte. La collecte, distribuée dans le monde entier, couvre des domiciles, des laboratoires, des lieux de travail industriels, des commerces et des espaces extérieurs, avec des tâches fournies par des partenaires académiques et industriels. Le corpus dépasse 10 000 heures, 1 million d'épisodes et 1 milliard d'images, pour plus de 1 000 types de tâches. Les auteurs décrivent aussi une chaîne de traitement pour reconstruire les trajectoires, contrôler la qualité multimodale, filtrer selon l'embodiment (le type de robot visé) et annoter de façon structurée : segmentation centrée sur les contacts, description des sous-tâches et ancrage spatial. Côté modèle, ils annoncent un transfert inter-embodiments vers trois robots hétérogènes, sans démonstration propre à chacun. L'intérêt tient à un goulot d'étranglement bien connu : les démonstrations visuelles se multiplient, mais les données tactiles, indispensables aux tâches riches en contacts comme l'insertion, le serrage ou la manipulation d'objets déformables, restent rares et rarement contrôlées en qualité. Si les résultats tiennent, la collecte sans robot réduit fortement le coût par heure de données et permet d'aller chercher la diversité là où elle existe, chez les utilisateurs et dans les ateliers. Le transfert vers trois robots sans données spécifiques irait dans le sens d'une pré-formation réutilisable, à la manière de ce que les VLA (modèles vision-langage-action) font déjà pour la vision seule. Quelques réserves s'imposent toutefois. Il s'agit d'un preprint, et seul le résumé est disponible ici. Il ne donne ni taux de réussite, ni comparaison avec des bases sans tactile, ni précision sur les trois robots et les tâches testées. Il ne dit pas non plus si le jeu de données sera publié en entier ni sous quelle licence. Les chiffres d'échelle sont des volumes bruts : ils ne disent rien de la proportion de données réellement exploitables après filtrage. Ce travail prolonge la lignée des interfaces portables sans robot, popularisées par UMI, et des grands corpus multi-embodiments comme Open X-Embodiment ou DROID, qui restent surtout visuels. Les acteurs des VLA, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, cherchent à étendre leurs modèles au tactile, sans qu'un jeu de données de cette taille soit aujourd'hui largement disponible. Les prochaines étapes à surveiller sont la publication effective du corpus, la reproduction des résultats de transfert par des équipes indépendantes et l'adoption de TacClaw par d'autres laboratoires ou industriels, y compris européens, pour des tâches de précision.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source