Acquisition de Manus : Meta fait marche arrière suite au blocage chinois

NanoCockpit : un framework applicatif optimisé pour la nanorobotique autonome pilotée par IA

Des chercheurs ont présenté NanoCockpit, un framework logiciel conçu pour optimiser les performances des nano-drones autonomes embarquant des modèles d'intelligence artificielle compacts, appelés TinyML. Ces micro-engins de quelques dizaines de grammes, dont le Bitcraze Crazyflie fait figure de référence dans le domaine, ne disposent que de microcontrôleurs fonctionnant sous la barre des 100 milliwatts. NanoCockpit s'appuie sur une architecture de multitâche par coroutines pour orchestrer simultanément l'acquisition d'images en multi-buffer, le calcul multi-cœur, les échanges de données entre microcontrôleurs et la transmission Wi-Fi. Les expériences menées sur trois applications réelles de nano-robotique ont démontré une latence bout-en-bout idéale, c'est-à-dire sans aucun overhead lié à la sérialisation des tâches, une réduction de 30 % de l'erreur de position moyenne, et un taux de réussite des missions passé de 40 % à 100 %. Ces résultats sont significatifs pour un domaine où chaque milliseconde de latence et chaque milliwatt comptent. En robotique embarquée, une mauvaise gestion des ressources logicielles se traduit directement par une instabilité de vol, des collisions ou des missions avortées. Le fait de passer d'un taux de succès de 40 % à 100 % en modifiant uniquement la couche logicielle, sans toucher au matériel, illustre à quel point l'inefficacité du code peut brider des systèmes physiquement capables. Pour les ingénieurs et chercheurs travaillant sur des applications comme la surveillance, l'inspection industrielle ou la navigation en environnements contraints, NanoCockpit offre un gain de performance immédiat sans surcoût matériel. Le domaine des nano-drones autonomes connaît une accélération rapide, portée par les progrès des modèles TinyML capables de faire tourner de la vision par ordinateur sur des puces minuscules. Jusqu'ici, l'absence de couche logicielle adaptée forçait les développeurs à sous-exploiter les ressources disponibles, créant un goulot d'étranglement artificiel. NanoCockpit s'attaque directement à ce problème en standardisant le pipeline de traitement sur le Crazyflie, la plateforme la plus répandue dans la recherche académique. La prochaine étape logique serait l'adoption de ce framework comme socle commun pour la communauté, ce qui faciliterait la reproductibilité des expériences et accélérerait le transfert vers des applications industrielles réelles.

💬 Passer de 40 % à 100 % de missions réussies juste en changeant la couche logicielle, ça m'a fait lire l'abstract deux fois. Tout le monde se focalisait sur le matériel, les puces, les modèles TinyML, et personne ne s'occupait sérieusement d'orchestrer tout ça proprement sur des microcontrôleurs à 100 milliwatts. Si tu travailles sur de l'embarqué, c'est le genre de truc qu'on attendait depuis un moment.

MolmoAct : implémentation pour le raisonnement spatial 3D, le suivi de trajectoire et la prédiction robotique

Des chercheurs d'AllenAI ont publié MolmoAct, un modèle multimodal de 7 milliards de paramètres conçu pour raisonner dans l'espace tridimensionnel à partir d'observations visuelles. Le modèle, identifié sous la référence allenai/MolmoAct-7B-D-0812, accepte des entrées multi-vues, c'est-à-dire plusieurs images prises sous différents angles, et génère à partir d'instructions en langage naturel trois types de sorties : une estimation de profondeur, une trajectoire visuelle tracée, et des commandes d'action directement exploitables par un système robotique. Un tutoriel d'implémentation complet a été publié pour permettre aux développeurs de reproduire l'ensemble du pipeline dans Google Colab, en s'appuyant sur PyTorch 2.0 ou supérieur, la bibliothèque Transformers en version 4.52, et une infrastructure GPU standard. Ce type de modèle représente un changement de paradigme dans la robotique pilotée par l'IA : plutôt que de séparer la perception visuelle, la compréhension spatiale et la planification motrice dans des modules distincts, MolmoAct intègre ces trois capacités dans un seul réseau neuronal interrogeable en langage humain. Concrètement, un opérateur peut demander au modèle d'atteindre un objet dans une scène complexe, et le système produit directement la séquence d'actions requise, en tenant compte des distances et obstacles perçus dans les images. Pour les équipes travaillant sur des bras robotiques, des drones autonomes ou des systèmes d'assistance, cette architecture réduit considérablement la complexité d'intégration et ouvre la voie à des robots pilotables par des non-spécialistes. MolmoAct s'inscrit dans une vague de modèles dits "action-reasoning" qui cherchent à combler le fossé entre vision par ordinateur et contrôle robotique. AllenAI, l'institut de recherche fondé par Paul Allen et affilié à l'Université de Washington, développe depuis plusieurs années la famille de modèles Molmo, positionnée comme une alternative ouverte aux modèles multimodaux propriétaires de Google ou OpenAI. La publication d'un tutoriel d'implémentation pas-à-pas, avec un code entièrement reproductible et accessible sur des GPUs grand public, traduit une volonté délibérée de démocratiser ces capacités. La prochaine étape naturelle sera l'évaluation de MolmoAct sur des benchmarks robotiques standardisés et son intégration dans des environnements physiques réels, où la robustesse face aux variations d'éclairage et d'occlusion restera le principal défi.

Les modèles d'IA échouent à contrôler les robots sans structures humaines, mais les agents autonomes comblent cet écart

Des chercheurs de Nvidia, de l'UC Berkeley et de Stanford ont publié un nouveau cadre d'évaluation destiné à mesurer systématiquement la capacité des modèles d'IA à contrôler des robots via du code. Leurs résultats sont sans appel : sans abstractions conçues par des humains, c'est-à-dire sans briques logicielles préfabriquées qui simplifient les tâches complexes, même les meilleurs modèles disponibles échouent à piloter efficacement un robot. En revanche, des approches comme le "test-time compute scaling" ciblé, qui consiste à allouer davantage de puissance de calcul au moment de l'inférence plutôt qu'à l'entraînement, permettent de combler significativement cet écart de performance. Ces conclusions ont des implications directes pour l'industrie de la robotique autonome. Elles remettent en question l'idée que les grands modèles de langage peuvent, seuls et sans infrastructure spécialisée, prendre en charge le contrôle bas niveau de machines physiques. Pour les entreprises qui misent sur des robots autonomes dans la logistique, la fabrication ou les services, cela signifie que la conception humaine reste indispensable, du moins à court terme, et que l'autonomie complète exige encore un travail d'ingénierie non négligeable. Ce travail s'inscrit dans une course plus large entre les laboratoires de recherche et les industriels pour rendre les robots véritablement programmables par l'IA. Nvidia, déjà très présent dans l'infrastructure d'entraînement des modèles, cherche à étendre son influence vers la couche applicative de la robotique. L'approche par échafaudage agentique, qui enchaîne des modules spécialisés plutôt que de tout déléguer à un seul modèle, semble aujourd'hui la piste la plus prometteuse pour franchir ce verrou technique.

💬 Sans abstractions humaines, même les meilleurs modèles ratent le contrôle robotique, et ça, c'est pas vraiment une surprise. La vraie info, c'est que l'échafaudage agentique (enchaîner des modules spécialisés plutôt que tout déléguer à un seul modèle) tient mieux ses promesses que le scaling brut à l'entraînement. Reste à voir si ça tient en prod ou si ça reste un beau résultat de labo Stanford.