Modèles vision-langage-action (VLA) et IA physique : NVIDIA GR00T, Figure Helix, Physical Intelligence π0, Gemini Robotics, OpenVLA, world models Cosmos/Genie.
L'Allen Institute for AI (Ai2) a développé MolmoBot, un modèle de manipulation robotique entraîné entièrement sur des données synthétiques, sans recourir aux démonstrations téléopérées coûteuses utilisées par des projets comme RT-1 de Google DeepMind (130 000 épisodes sur 17 mois). Grâce à leur système MolmoSpaces et au moteur physique MuJoCo sur 100 GPU Nvidia A100, l'équipe a généré 1,8 million de trajectoires d'entraînement, soit un débit 4 fois supérieur à la collecte réelle. Cette approche, selon le CEO Ali Farhadi, vise à démocratiser la robotique en offrant des outils open source à toute la communauté de recherche mondiale.
Niantic Spatial, spin-off d'IA de Niantic (créateur de Pokémon Go), exploite les données massives collectées par ses 500 millions d'utilisateurs pour construire un « world model » destiné à aider les robots de livraison à naviguer avec précision. Par ailleurs, la sonde Perseverance a découvert en juillet 2024 des formations rocheuses prometteuses pour la recherche de vie martienne, mais le programme NASA de retour d'échantillons est aujourd'hui en sursis — laissant potentiellement la Chine prendre la tête de cette course scientifique. En parallèle, Anthropic craint de perdre des milliards de dollars suite à son inscription sur liste noire par le Pentagone, tandis que Microsoft la soutient dans son recours judiciaire.
Cet article traite de l'application de l'intelligence artificielle des robots sur des plateformes embarquées grâce à la collecte de données, le affinage précis du VLA et les optimisations on-device.
UEL'application décrite dans l'article permet aux entreprises françaises et européennes de robotique de développer des systèmes plus efficaces et autonomes grâce à l'amélioration des algorithmes d'IA embarquée, en conformité potentielle avec le futur AI Act, tout en respectant les exigences du RGPD concernant les données collectées et traitées sur appareils.
Le Physical AI, qui décrit les systèmes AI opérant dans le monde réel, gagne en popularité. Des entreprises occidentales comme Nvidia, Arm, Siemens et Google investissent massivement dans cette technologie, créant des plateformes et des semiconducteurs pour robots et véhicules intelligents. En Chine, l'accent est mis sur la construction matérielle de ces robots, avec des entreprises comme Boston Dynamics opérant directement dans des usines comme celle de Hyundai en Géorgie. Une enquête révèle que 58% des dirigeants d'entreprises mondiales utilisent déjà le Physical AI, et ce chiffre monte à 80% pour les plans futurs.
UEL'essor du Physical AI, avec des investissements majeurs de Nvidia, Arm, Siemens, Google, et Boston Dynamics, pose des opportunités et des défis pour les entreprises françaises et européennes dans les secteurs des robotiques et des véhicules intelligents, tout en se conformant aux exigences de la réglementation AI Act et du RGPD.
NVIDIA présente Cosmos Reason 2, une technologie d'IA physique avancée offrant une raisonnement complexe et des capacités d'adaptation améliorées pour les robots et les systèmes de réalité augmentée. Cette innovation vise à permettre aux machines de mieux comprendre et interagir avec leur environnement physique.
LeRobot v0.4.0, une nouvelle version du logiciel open-source pour l'apprentissage des robots, vise à accélérer et à optimiser le développement de systèmes d'IA robotique grâce à des améliorations significatives, notamment une meilleure intégration avec les frameworks OSS existants et une augmentation des capacités d'apprentissage automatique.
UELa mise à jour de LeRobot v0.4.0, développée par la startup française Hugging Face, renforce la position européenne dans la robotique open-source en offrant aux chercheurs et entreprises du continent un outil compétitif pour développer des systèmes d'IA robotique.
Titre: LeRobotDataset:v3.0 apporte des ensembles de données à grande échelle à lerobot Résumé: Cette mise à jour introduit LeRobotDataset:v3.0, un ensemble de données étendu pour lerobot, incluant 100 000 images et 1 million de descriptions. Ce nouveau lot soutient une meilleure compréhension des robots et des environnements par les systèmes d'IA.
UELeRobotDataset:v3.0 améliore la compréhension des systèmes d'IA pour les robots, soutenant potentiellement l'innovation dans les industries manufacturières et de service européennes, tout en respectant les exigences de transparence et de confidentialité des données prévues par le RGPD.
Title: Bras Robotique SO-101 de LeRobot équipé de l'unité de commande post-formation Isaac GR00T N1.5 Résumé: LeRobot a intégré l'unité de commande Isaac GR00T N1.5, un système de contrôle avancé, dans son bras robotique SO-101, offrant une précision et une efficacité accrues grâce à des algorithmes de traitement de l'information optimisés.
UELeRobot, une entreprise française, améliore ses bras robotiques SO-101 avec l'unité de commande post-formation Isaac GR00T N1.5, potentiellement renforçant la compétitivité des industries manufacturières européennes en augmentant la précision et l'efficacité des processus robotiques, tout en respectant les normes du RGPD pour la gestion des données.
La communauté Robot offre des ensembles de données, comparables à ImageNet pour l'intelligence artificielle, pour l'apprentissage automatique des robots. Le projet vise à fournir un grand nombre d'images et de vidéos pour former des algorithmes robustes et fiables pour la vision par ordinateur, la navigation et la manipulation des objets. Ces ensembles de données incluent des scénarios variés pour différents types de robots, telles que les voitures autonomes, les drones et les robots industriels. Le projet est encore en phase de collecte et de mise en œuvre, avec un objectif de publication complète d'ici 2024.
UELe projet LeRobot, en fournissant des ensembles de données pour l'apprentissage des robots, potentiellement renforce la compétitivité des entreprises françaises et européennes dans le secteur de l'IA et de la robotique, en alignement avec le RGPD et l'AI Act, tout en préparant le terrain pour des avancées dans la vision par ordinateur, la navigation et la manipulation des objets pour divers robots, notamment les voitures autonomes et les drones.
LeRobot a créé le plus vaste ensemble de données open-source pour les véhicules autonomes, offrant une mine d'informations pour le développement et la recherche dans ce domaine. Cet ensemble de données, désormais disponible, vise à accélérer les progrès dans la conception et la sécurité des systèmes de conduite autonome.
UEHuggingFace, la licorne française spécialisée en IA open-source, renforce sa position de leader mondial en publiant le plus vaste jeu de données ouvert pour véhicules autonomes, bénéficiant directement aux chercheurs et industriels européens du secteur automobile.
"L'article présente π0 et π0-FAST, des modèles vision-langue-action pour un contrôle robotique général. Ils améliorent les tâches de compréhension et d'action des robots en utilisant des instructions textuelles décrivant les actions à effectuer." Key facts, numbers, and names: π0, π0-FAST, vision-langue-action models, general robot control, improving tasks of understanding and action for robots, using textual instructions for actions.
UELes modèles π0 et π0-FAST, vision-langue-action pour le contrôle robotique général, améliorent les capacités des robots à comprendre et à exécuter des tâches via des instructions textuelles, affectant potentiellement les secteurs de l'industrie manufacturière et de la logistique en France et en Europe en augmentant l'efficacité et la flexibilité des robots utilisés.
