Accélérer l'agent Qwen3-8B sur Intel® Core™ Ultra avec des modèles draft affinés en profondeur

En Pratique: Évaluation des Agents Utilisant des Outils dans des Environnements du Monde Réel avec OpenEnv

OpenEnv, un cadre de simulation, a été utilisé pour évaluer l'efficacité des agents utilisateurs d'outils dans des environnements réels. Les chercheurs ont testé diverses stratégies d'agents dans des scénarios inspirés de la vie réelle, montrant une amélioration significative des performances grâce à l'adaptation et à l'apprentissage. Des exemples concrets incluent la navigation dans des espaces complexes et la manipulation d'objets pour résoudre des tâches, avec des agents démontrant une capacité à s'adapter à des changements imprévus.

Le nouveau modèle de Google rend les cerveaux robotiques un peu plus intelligents

Google DeepMind a publié cette semaine Gemini Robotics-ER-1.6, un nouveau modèle de vision et de langage conçu pour aider les robots à interpréter leur environnement. Pour illustrer ses capacités, Boston Dynamics, qui dispose d'un accord pour intégrer Gemini dans ses robots humanoïdes, a publié une vidéo de ses robots quadrupèdes utilisant le modèle pour lire un thermomètre lors d'une inspection dans une installation industrielle. Selon les benchmarks internes de Google, les gains restent modestes sur un seul flux caméra : le modèle n'améliore que marginalement la capacité du robot à détecter la fin d'une tâche par rapport aux versions précédentes. En revanche, les performances progressent nettement lorsque le robot exploite plusieurs flux caméra simultanément. C'est précisément là que réside l'enjeu pratique : la majorité des environnements robotiques industriels, qu'il s'agisse d'usines ou d'entrepôts, s'appuient sur plusieurs points de vue combinés, comme une caméra en hauteur et une caméra fixée sur le bras du robot. Le système doit être capable de fusionner ces perspectives pour construire une compréhension cohérente de ce qu'il accomplit et savoir quand la tâche est terminée. Ce lancement s'inscrit dans une course intense entre les grands laboratoires d'IA pour doter les robots d'une intelligence de perception plus robuste. Google DeepMind et Boston Dynamics ont formalisé leur partenariat autour de Gemini pour les robots humanoïdes, signalant une convergence entre les modèles de fondation et la robotique physique. Si les progrès annoncés restent incrémentaux, l'amélioration sur les configurations multi-caméras est directement applicable aux déploiements industriels existants, ce qui pourrait accélérer l'adoption de robots autonomes dans des environnements de travail réels. Les prochaines versions du modèle seront à surveiller pour évaluer si ces gains se traduisent en performances significatives sur des tâches complexes en conditions réelles.

Les modèles d'action universels permettent aux robots de simuler les conséquences avant d'agir

Les World Action Models (WAM) constituent une nouvelle famille de modèles d'IA pour la robotique, documentée dans une étude récente qui recense et organise une centaine de publications scientifiques autour de deux grandes lignes architecturales. Contrairement aux systèmes actuels, ces modèles ne se contentent pas d'associer des mouvements à des images de caméra : ils simulent mentalement les conséquences d'une action avant de l'exécuter, en modélisant comment l'environnement va évoluer. L'enjeu est considérable pour le secteur. Les robots industriels et domestiques actuels restent fragiles face à l'imprévu, car leurs modèles n'ont aucune représentation interne de la physique du monde. Les WAM offrent une capacité de planification proactive : un bras robotique peut anticiper qu'attraper un objet d'une certaine façon le fera basculer, et corriger sa trajectoire avant même de bouger. Cela ouvre la voie à des robots beaucoup plus robustes et adaptables dans des environnements non contrôlés. L'avantage décisif de cette approche réside dans les données d'entraînement : les WAM peuvent apprendre à partir de vidéos ordinaires du monde réel, sans étiquetage des actions robotiques, un type de donnée qui était jusqu'ici quasi inutilisable pour les IA robotiques classiques. Cette propriété lève un verrou majeur, car les vidéos non annotées sont disponibles en quantité massive sur internet. La compétition entre laboratoires de recherche et géants de la tech pour maîtriser ce type de modèle devrait s'intensifier dans les prochains mois.

💬 Ce qui m'intéresse là-dedans, c'est pas le robot qui réfléchit avant de bouger, c'est qu'il peut apprendre à partir de vidéos ordinaires, sans annotation spécifique. Les données robotiques étiquetées coûtent une fortune à produire, les vidéos YouTube non, et il y en a des milliards d'heures. C'est le genre de verrou qui, une fois levé, accélère tout le reste.

Cortex 2.0 : ancrer les modèles du monde dans les déploiements industriels réels

Des chercheurs ont présenté Cortex 2.0, un système de manipulation robotique industrielle qui rompt avec le contrôle réactif au profit d'une architecture de planification basée sur un modèle du monde. Décrit dans un article publié sur arXiv, le système génère plusieurs trajectoires futures candidates dans un espace latent visuel, les évalue selon leur probabilité de succès et leur efficacité, puis sélectionne la meilleure avant d'agir. Évalué sur des plateformes à un bras et deux bras, Cortex 2.0 a été testé sur quatre tâches d'une complexité croissante : saisie et placement d'objets, tri d'articles et de déchets, tri de vis, et déballage de boîtes à chaussures. Les résultats montrent que Cortex 2.0 surpasse systématiquement les modèles Vision-Language-Action (VLA) de dernière génération sur l'ensemble des tâches évaluées. L'avantage est particulièrement net dans les environnements encombrés, avec des occlusions fréquentes et des manipulations à forte contrainte physique, c'est-à-dire précisément les situations où les approches réactives accumulent les erreurs et échouent. Pour l'industrie robotique, cela représente un changement de paradigme concret : des robots capables d'exécuter des séquences d'actions longues de manière fiable, sans nécessiter des environnements strictement contrôlés, ouvrent la voie à un déploiement plus large en logistique, en assemblage ou en tri de matériaux. Les modèles VLA ont marqué une avancée importante ces dernières années en permettant aux robots de généraliser à de nouvelles tâches grâce à leur compréhension du langage et de la vision. Leur faiblesse structurelle reste néanmoins leur caractère réactif : ils optimisent l'action immédiate sans anticiper les conséquences à moyen terme, ce qui les fragilise sur des tâches longues où les erreurs s'accumulent. Cortex 2.0 s'inscrit dans un effort plus large pour doter les robots d'une capacité de planification par simulation, comparable à ce que l'on trouve dans des systèmes comme AlphaGo. Si ces résultats se confirment à plus grande échelle et sur une plus large diversité de tâches, ils pourraient accélérer significativement le déploiement de robots industriels autonomes dans des environnements réels et non scénarisés.