Aller au contenu principal
ACE-CaP-0 d'ACE Robotics : des agents IA écrivent du code robot réutilisable, avec 92,1 % de réussiteIllustration générée par IA
IA physiquePandaily 

ACE-CaP-0 d'ACE Robotics : des agents IA écrivent du code robot réutilisable, avec 92,1 % de réussite

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

ACE Robotics, société d'IA embarquée présidée par Wang Xiaogang, cofondateur de SenseTime, a publié ACE-CaP-0, une méthode de recherche dans laquelle un agent d'IA généraliste écrit, teste et affine des programmes de contrôle pour robots, puis les « gèle » en compétences réutilisables qui s'exécutent sans l'agent. L'article est paru sur arXiv le 12 novembre, accompagné d'une page projet, et l'entreprise a communiqué le 13 novembre. Sur huit tâches réelles (insertion d'un chargeur, emballage de pain, dévissage d'un bouchon de bouteille, empilage de gobelets, insertion d'une fleur, rangement de chaussures, entre autres), les programmes figés ont réussi 221 essais sur 240, soit 92,1 %. Sept tâches dépassent 90 % et l'insertion de chargeur atteint 100 %. Le temps d'exécution moyen varie de 0,97 à 2,27 minutes selon la tâche. Les programmes tournent sur la perception et le contrôle propres au robot, sans humain ni agent de codage dans la boucle.

Le dispositif repose sur trois leviers que l'agent active de lui-même. Il peut demander une démonstration : un opérateur guide physiquement les bras du robot, ce qui enregistre vidéo, trajectoires et poses articulaires clés. Il peut construire une simulation de la tâche, uniquement quand il la juge utile, pour explorer et tester des programmes candidats. Enfin, il révise son code à partir des résultats d'exécutions sur le robot réel. Dans les comparaisons des auteurs, la combinaison de démonstrations à la demande et d'une simulation sélective donne les meilleurs résultats.

L'intérêt pour l'industrie tient au compromis entre généralité et coût d'inférence. Les approches VLA (vision-langage-action) appellent un grand modèle à chaque pas de contrôle, ce qui pèse sur la latence et le coût de calcul embarqué. Ici, le raisonnement coûteux est consommé une fois, à l'écriture, puis amorti sur toutes les exécutions : le programme obtenu est inspectable, déterministe dans sa structure et plus simple à valider pour un intégrateur qu'une politique neuronale opaque. Le point dur, que les auteurs reconnaissent, reste le nombre d'essais physiques nécessaires pour fiabiliser le code, d'où l'arbitrage entre démonstration, simulation et retour terrain. Il faut toutefois relativiser : les chiffres proviennent des tests des auteurs, sur un seul montage bimanuel qu'ils ont choisi, sans reproduction indépendante. Avec 30 essais par tâche, les intervalles de confiance restent larges, et rien n'est précisé sur la variabilité des objets, des scènes ou la robustesse hors de ces conditions. Il s'agit d'une recette de recherche, pas d'un produit livré ni d'un déploiement client.

Le travail prolonge l'idée de Code as Policies, qui exprime le comportement du robot sous forme de code exécutable plutôt que d'appels continus à un grand modèle, et s'inscrit dans la stratégie d'ACE Robotics d'associer des modèles généralistes à son modèle du monde Kairos. L'entreprise, qui vient aussi de publier ACE-Brain-0.6, avance dans un champ où se côtoient les politiques end-to-end (Pi-0 de Physical Intelligence, Helix de Figure, GR00T de NVIDIA) et les approches par génération de code ou de programmes. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé. La suite logique sera une validation sur d'autres plateformes et par des tiers, ainsi qu'une mesure du coût réel en démonstrations et en essais physiques pour produire chaque compétence, métrique décisive pour juger de la viabilité économique de la méthode.

À lire aussi

Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA
Illustration générée par IA
1NVIDIA Developer Blog 

Comment entraîner une politique de navigation à cross-embodiment pour robots avec des agents IA

Un article technique intitulé « How to Train a Cross-Embodiment Robot Navigation Policy with AI Agents » présente une méthode pour entraîner des politiques de navigation robotique capables de fonctionner sur plusieurs types de robots, une approche dite « cross-embodiment » reposant sur des agents IA. Le texte distingue navigation et locomotion : la locomotion assure un mouvement stable comme la marche ou l'équilibre, tandis que la navigation doit en continu localiser le robot, interpréter un environnement changeant, choisir un itinéraire et éviter les obstacles pour atteindre un objectif en sécurité. Selon l'article, transférer cette capacité vers un nouveau robot ou un nouvel environnement exige généralement de nouvelles données d'entraînement, de nouveaux assets de simulation et de nouvelles interfaces robot spécifiques, un goulot d'étranglement que la méthode proposée cherche à réduire en confiant à des agents IA la génération ou l'adaptation automatique de ces éléments. Cette approche vise un problème central pour les intégrateurs et laboratoires de robotique : la difficulté de porter une politique de navigation d'un robot ou d'un environnement à un autre sans tout recréer manuellement. Si la génération assistée par IA des données de simulation et des interfaces tient ses promesses, elle pourrait réduire le temps et le coût de déploiement d'un même système de navigation sur des flottes hétérogènes, mobiles ou humanoïdes, un enjeu alors que le secteur cherche à généraliser les modèles vision-langage-action au-delà de la manipulation vers la mobilité autonome. L'article, cependant, ne fournit aucune métrique chiffrée, taux de réussite, temps de cycle, nombre de robots ou de scènes testées, ni de date de disponibilité, ce qui en fait pour l'instant une démonstration méthodologique plutôt qu'un produit prêt à déployer. Cette publication s'inscrit dans la tendance sectorielle à découpler les compétences robotiques, perception, locomotion, navigation, manipulation, de la plateforme matérielle, dans la lignée des efforts autour des modèles génériques de type VLA et de l'entraînement massif en simulation. Le texte source ne précise ni l'organisme à l'origine de la méthode au-delà du titre, ni les robots ou environnements utilisés pour la valider, ni de calendrier de publication d'outils ou de suite associée, laissant ouvertes les questions de reproductibilité et de disponibilité pratique de cette approche.

IA physiquePaper
1 source
NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots
Illustration générée par IA
2Interesting Engineering 

NVIDIA étend LeRobot (open source) avec des outils IA humanoïde pour accélérer le développement des robots

NVIDIA et Hugging Face élargissent leur collaboration autour de LeRobot, la plateforme robotique open source de Hugging Face, avec l'ajout de deux nouveaux outils. Le premier est NVIDIA Isaac GR00T 1.7, présenté par NVIDIA comme son premier modèle de fondation robotique vision-langage-action (VLA) ouvert et commercialement exploitable, conçu pour simplifier le post-entraînement et le déploiement sur différents designs de robots. Le second est NVIDIA Isaac Teleop, un framework open source permettant de collecter des données d'entraînement de haute qualité via des démonstrations humaines avec des dispositifs de contrôle externes, dans un format standardisé et partageable au sein de l'écosystème LeRobot. Un troisième modèle, Cosmos 3, dédié à la génération de données synthétiques et à la simulation d'environnements, sera intégré ultérieurement. Ces annonces s'appuient sur des briques déjà disponibles sur LeRobot, dont un jeu de données ouvert de plus de 350 000 trajectoires robotiques réelles et simulées et 57 millions d'exemples de préhension, ainsi que les outils de simulation Isaac Sim et Isaac Lab, l'environnement Isaac Lab-Arena pour l'entraînement de politiques, et l'intégration du calculateur embarqué Jetson Thor sur le robot humanoïde Reachy 2. NVIDIA a par ailleurs récemment lancé Halos for Robotics, une plateforme de sécurité complète associant matériel, logiciel, capteurs et outils de validation pour les robots autonomes évoluant aux côtés d'humains. Pour l'industrie robotique, l'enjeu affiché est de reproduire pour la robotique la dynamique d'ouverture qui a accéléré le développement en IA logicielle, où le partage de modèles et de jeux de données a fait baisser les coûts d'entrée. NVIDIA met en avant la connexion entre sa communauté de plus de trois millions de développeurs robotiques et les seize millions de développeurs IA de Hugging Face, dans le but de standardiser un flux de travail encore fragmenté, entre collecte de données coûteuse, simulation, puissance de calcul et validation. Si ces chiffres de communauté restent des éléments de communication à prendre avec prudence, l'initiative traduit une tendance de fond: la bascule des modèles VLA de la démonstration marketing vers des briques réutilisables et déployables par des tiers, un test concret de la promesse d'un "sim-to-real" et d'une généralisation multi-robots qui reste à prouver à grande échelle. L'initiative prolonge le partenariat déjà engagé entre les deux entreprises autour de LeRobot et des outils de simulation NVIDIA Isaac, dans un secteur où les modèles fondation pour la robotique se multiplient face à des approches concurrentes comme Pi-0 ou GR00T N2. Les prochaines étapes attendues concernent l'arrivée effective de Cosmos 3 sur la plateforme et l'élargissement du catalogue de robots et de tâches supportés via Isaac Teleop et le jeu de données partagé.

UELe robot humanoïde français Reachy 2 (Pollen Robotics) intègre le calculateur embarqué Jetson Thor de NVIDIA dans le cadre de cet écosystème LeRobot.

IA physiqueActu
1 source
Vidéo : un nouveau modèle d'IA permet aux robots humanoïdes de réussir 90 % des missions complexes
Illustration générée par IA
3Interesting Engineering 

Vidéo : un nouveau modèle d'IA permet aux robots humanoïdes de réussir 90 % des missions complexes

Flexion Robotics a dévoilé Reflect v1.0, une plateforme d'intelligence robotique destinée aux humanoïdes, capable d'exécuter des missions longues et multi-étapes sans intervention humaine pendant l'exécution. Pour illustrer les capacités du système, la société a présenté une démonstration en environnement de bureau : un robot humanoïde reçoit une instruction en langage naturel, récupère un colis de snacks livré au bâtiment, emprunte escaliers et ascenseur, déballe le carton à l'aide d'outils, puis range les articles dans un tiroir désigné. Selon Flexion, l'intégration du reinforcement learning sur plusieurs couches du système a fait passer le taux de complétion end-to-end d'une mission interne à 16 étapes de 38 % à 90 %, contre un modèle supervisé seul. La plateforme gère des charges comprises entre 100 grammes et 3,5 kilogrammes, et le robot est capable de repositionner un colis via des mouvements coordonnés du corps entier, d'opérer un ascenseur, de traverser des escaliers répétés et de contourner des obstacles dynamiques tout en portant des objets. Ce résultat est significatif parce qu'il s'attaque directement au problème de l'autonomie longue durée, considéré comme l'un des verrous majeurs de la robotique humanoïde commerciale. Dans une séquence de tâches, l'accumulation d'erreurs de navigation, de manipulation ou de perception finit statistiquement par faire échouer le système : c'est le "long-horizon failure mode" que les industriels connaissent bien. Reflect v1.0 le traite via un modèle vision-langage (VLM) personnalisé qui fait office de contrôleur de mission, surveille en continu l'avancement, raisonne sur l'environnement et re-planifie à la demande. La couche de mouvement combine des vision-language-action models (VLA) entraînés sur données réelles et des primitives issues du reinforcement learning, tandis qu'un contrôleur corps-entier temps réel assure équilibre et précision des gestes. Pour un COO industriel ou un intégrateur, le signal concret est le suivant : on passe de 38 % à 90 % de succès sur une mission à 16 étapes grâce au RL seul, ce qui suggère que le sim-to-real gap et la fiabilité multi-tâche sont partiellement solubles sans refonte matérielle. Flexion Robotics est une startup relativement récente dans l'écosystème humanoïde, qui se positionne comme fournisseur de couche logicielle agnostique au hardware, à l'image de ce que Apptronik ou 1X cherchent à faire sur leurs propres plateformes. L'article mentionne également ShengShu Technology et son modèle Motubrain, un "cerveau général" combinant perception, raisonnement et action, qui vise le même marché. La concurrence directe inclut Figure (Helix), Physical Intelligence (pi0), Boston Dynamics (Atlas Gen 2) et Tesla (Optimus Gen 3), tous engagés dans une course à l'autonomie longue horizon. Flexion reconnaît que Reflect v1.0 reste limité à des environnements définis, ce qui tempère le chiffre de 90 % : il s'agit d'une évaluation interne sur mission contrôlée, pas d'un déploiement industriel validé en conditions réelles. Les prochaines étapes annoncées concernent l'extension à des environnements moins structurés et la capacité à recevoir des instructions modifiées en cours de mission, deux marqueurs qui, s'ils sont confirmés en production, rapprocheraient Reflect d'une utilisabilité opérationnelle sérieuse.

IA physiqueOpinion
1 source
ACE Robotics associe son modèle du monde Mundo à des compétences auto-améliorantes pour gérer le linge d'un hôtel
Illustration générée par IA
4Pandaily 

ACE Robotics associe son modèle du monde Mundo à des compétences auto-améliorantes pour gérer le linge d'un hôtel

ACE Robotics a mis son modèle de monde Mundo au service d'un flux de travail de blanchisserie hôtelière, selon QbitAI. Le robot collecte les paniers de linge dans les chambres, les achemine jusqu'à la buanderie, lance les lave-linge et sèche-linge, puis rapporte les vêtements. Mundo, présenté le mois dernier par ACE Robotics et le S-Lab de la NTU, transforme des photos de chambres, de couloirs et de la buanderie en jumeau numérique avec lequel un robot peut interagir physiquement, y compris via des propriétés comme la masse des objets et le frottement. Chaque tentative dans ce jumeau génère trajectoires, états de contact et retours visuels qui affinent les politiques du robot avant son arrivée sur site. L'architecture est dite « à double cerveau » : un modèle généraliste dans le cloud, identifié comme GPT-Astra, décompose les tâches, raisonne et explore des stratégies dans Mundo, puis enregistre toute méthode convergée comme compétence réutilisable ; un modèle d'exécution local, embarqué, appelle ces compétences pour les gestes précis. Selon l'entreprise, s'appuyer sur le cloud pour chaque décision temps réel dépassait 30 minutes par cycle complet, contre 18,648 secondes pour le modèle local. L'ordonnanceur BotAgent découpe la tâche en 53 actions atomiques et 14 étapes sémantiques, et agence plus de 200 séquences selon la position des chambres, l'état de l'ascenseur et les files d'attente des machines. Pour le seul déchargement du sèche-linge, ACE annonce 165 passages sur robot réel en 57 heures, 37 propositions d'amélioration et environ 80 versions de compétence. Le temps de cycle se stabilise entre 170 et 210 secondes, et la part de jeans restés dans le tambour passe en moyenne de 48 % à 32 %, avec un meilleur essai à 19 %. L'intérêt tient moins à la performance brute qu'à la méthode. Un taux d'échec moyen de 32 % sur une opération aussi banale que vider un sèche-linge rappelle l'écart persistant entre démonstration et fiabilité industrielle : à ce niveau, aucun exploitant hôtelier ne se passerait de supervision humaine. En revanche, la boucle d'auto-amélioration est instructive pour les intégrateurs. Le modèle cloud diagnostique les échecs à partir de vidéos multicaméras et de journaux capteurs (bascule sur une caméra zénithale quand la caméra de poignet est masquée, ajustement des trajectoires de levée et de l'angle des doigts quand un jean s'accroche), le robot remet seul la scène en état, et une copie séparée du modèle note chaque essai pour permettre un retour arrière. Cela suggère qu'une partie du réglage sur site, aujourd'hui coûteuse en ingénieurs, pourrait être automatisée, et que la séparation entre raisonnement lent dans le cloud et exécution rapide en local est une réponse pragmatique aux contraintes de latence. Il faut toutefois noter que la comparaison 30 minutes contre 18,6 secondes oppose deux modes d'exécution choisis par l'entreprise, sans détail sur le matériel ni la connectivité, et que le temps de cycle ne vaut qu'avec son contexte. Tous les résultats proviennent d'ACE Robotics et n'ont pas été vérifiés de façon indépendante. Rien n'indique non plus un déploiement commercial en exploitation : il s'agit d'une démonstration de flux long, présentée comme premier usage commercial de longue chaîne de Mundo. Côté contexte, ACE Robotics a publié ces derniers mois plusieurs briques, dont le modèle Mundo avec le S-Lab de la NTU et ACE-Brain-0.6, et cherche ici à montrer qu'un modèle de monde sert à autre chose qu'à générer des vidéos. Elle rejoint les acteurs qui misent sur la simulation et les modèles de monde pour entraîner des politiques, comme NVIDIA avec GR00T, ou sur des architectures à deux niveaux comme Helix de Figure, où un système lent planifie et un système rapide exécute. La blanchisserie hôtelière reste un terrain peu disputé par les humanoïdes, davantage occupé par l'automatisation classique. Le président Wang Xiaogang indique que le commerce instantané est le prochain scénario probable, sans calendrier ni client annoncé. Les prochains jalons à surveiller sont un pilote en hôtel avec taux de réussite publié sur l'ensemble de la chaîne, et non sur le seul sèche-linge, ainsi qu'une validation par un tiers.

IA physiqueActu
1 source