Le contexte est roi : comment Avride utilise des VLM cloud comme filet de sécurité pour les robots de livraison

Comment Generalist utilise des données de démonstration humaine pour l'apprentissage robotique

Generalist, startup robotique valorisée à 2 milliards de dollars, construit ses modèles sur les travaux de recherche "Universal Manipulation Interface" (UMI), publiés par le Toyota Research Institute (TRI), l'université Columbia et l'université Stanford. Cette plateforme de collecte de données s'appuie sur des effecteurs terminaux de type marionnette, maniés par des opérateurs humains et filmés par des caméras GoPro, pour capturer des tâches réelles comme la vaisselle ou la préhension d'objets ; ces démonstrations deviennent ensuite des données d'entraînement pour des modèles fondation destinés aux cobots. En juin 2026, lors du salon Automate au McCormick Center de Chicago, Generalist a montré en direct des bras Universal Robots (UR) pliant et assemblant des boîtes en carton, ainsi que des bras Flexiv réparant des aspirateurs robots. Environ un mois plus tard, l'entreprise publiait un billet de blog intitulé "Towards Machines with a Thousand Hands", détaillant l'usage d'une variété de pinces et d'outils, dont des spatules, sur différents systèmes robotiques. Samantha Castellanos, ingénieure mécanique fondatrice de Generalist, précise que le préhenseur maison ne compte qu'un seul degré de liberté (1 DoF), un choix assumé de simplicité mécanique plutôt que de complexité articulaire. Cette approche interroge l'hypothèse dominante du secteur selon laquelle la performance des modèles VLA (vision-language-action) dépend avant tout de la sophistication du hardware. En misant sur une pince minimaliste et sur le volume de données plutôt que sur la complexité mécanique, Generalist parie que le modèle, plus que la main, constitue l'avantage concurrentiel durable : selon Castellanos, le modèle est "le moat qui va nous différencier des autres." Pour les intégrateurs, la démonstration d'Automate montre qu'un même modèle peut piloter des bras de fournisseurs différents (UR, Flexiv) sur des tâches distinctes, assemblage de cartons d'un côté, réparation d'aspirateurs de l'autre, ce qui suggère une portabilité inter-marques rare en automatisation classique. Ces démonstrations restent toutefois des vitrines de salon en conditions contrôlées, non des déploiements en production : la capacité de récupération en temps réel vantée sur les réseaux sociaux n'a pas été vérifiée indépendamment, et aucun chiffre de temps de cycle, taux de réussite ou volume déployé n'a été communiqué. L'étude UMI, cosignée par des chercheurs de TRI, Columbia et Stanford, avait montré qu'il était possible d'entraîner des cobots à l'autonomie à partir de démonstrations humaines captées hors laboratoire, sans robot physique présent lors de la collecte ; cette recherche académique a rapidement servi de socle à la création de Generalist. L'entreprise évolue dans un secteur de l'IA robotique déjà très capitalisé, plus de 4 milliards de dollars levés cumulativement par ses concurrents : Skild AI (2 milliards), Physical Intelligence (1 milliard), Field AI (300 millions) et RLWRLD (41 millions). Face à cette concurrence, Generalist mise sur la diversité des effecteurs plutôt que sur un bras ou une pince unique, stratégie résumée dans son billet de blog par la formule "des machines aux mille mains." L'entreprise n'a communiqué ni calendrier de déploiement commercial ni client pilote nommé : à ce stade, les démonstrations de juin et juillet 2026 relèvent de la vitrine technologique plutôt que d'un produit livré en série.

Boston Dynamics teste des "chiens robots" pour les livraisons

Boston Dynamics teste actuellement un nouvel accessoire de type tapis roulant fixé sur son robot quadrupède Spot, permettant de transporter des colis directement depuis un véhicule de livraison jusqu'au pas de la porte d'un client, de façon autonome. L'objectif affiché est de réduire la charge de travail des livreurs humains sur le dernier segment du trajet, celui qui va du camion à l'entrée du domicile. Le dispositif a été présenté via une vidéo de démonstration, sans précision sur le payload maximal, l'autonomie ou un calendrier de déploiement commercial. Spot est déjà utilisé pour des inspections industrielles répétitives en usine et a notamment servi à patrouiller sur le site archéologique de Pompéi. Cette expérimentation illustre une limite persistante de l'automatisation de la livraison du dernier kilomètre. Les robots à roues et les drones aériens peinent à franchir des obstacles courants comme des escaliers, des trottoirs encombrés ou des accès non standardisés, un terrain où la locomotion à pattes de Spot pourrait offrir un avantage réel. Pour les intégrateurs et les acteurs de la logistique, ce test reste toutefois à un stade de démonstration et ne prouve pas encore une viabilité économique ou opérationnelle à grande échelle. Boston Dynamics, racheté par Hyundai en 2021, a construit la réputation de Spot sur des usages B2B établis: inspection de sites industriels, surveillance de chantiers, cartographie. L'entreprise explore ici un nouveau marché face à des concurrents comme les drones de livraison ou les robots à roues déployés par des acteurs de la logistique urbaine. Aucun pilote commercial ni partenaire de livraison n'a pour l'instant été annoncé.

G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots

G0.5, publie en aout 2026 sur arXiv (2608.11739), est un modèle Vision-Language-Action (VLA) dont un décodeur transformeur unique génère raisonnement et tokens d'action sous un seul objectif, au lieu de séparer un VLM pré-entraine et un expert d'action entraine a part par flow-matching. Trois briques le rendent tenable a l'échelle d'un modèle de fondation : un tokenizeur d'action apprenable traduisant des actions robotiques hétérogènes dans un vocabulaire commun entre robots, un flux de chaine de pensée natif mêlant décomposition de taches, ancrage des objets et indices d'action, et un module de mémoire visuelle injectant plusieurs secondes d'historique. Pre-entraine sur des jeux de données robotiques et des exemples VQA, G0.5 devance les références sur sept protocoles : 76,7% de réussite en fine-tuning réel sur les robots R1lite et R1pro contre 53,3% pour Pi-0.5 et 24,4% pour GR00T-N1.7, 31,4% au BEHAVIOR Challenge 2025 contre 26,3% et 26,1% pour le vainqueur du concours, 82,5% en transfert zero-shot après post-entrainement sur DROID, ainsi que 98,9% sur LIBERO, 93,3% sur RoboTwin 2.0 et 87,3% sur SimplerEnv-Bridge. Cette fusion compte parce que l'approche dominante du secteur, illustrée par Pi-0.5 (Physical Intelligence) ou GR00T-N1.7 (NVIDIA), traite le VLM comme un simple encodeur de contexte pendant qu'un module sépare décide de l'action. En partageant les mêmes poids entre raisonnement et action, G0.5 suit les instructions plus finement et laisse un prompt piloter la granularité des gestes, l'horizon de tache ou la gestion de scènes hors distribution, sans reentrainement. L'écart de performance en conditions réelles, près du double de Pi-0.5, et la victoire généraliste au BEHAVIOR Challenge face a des politiques spécialisées, appuient empiriquement l'idée qu'un flux autoregressif unique peut tenir a l'échelle. Le travail s'inscrit dans la lignée des VLA ouverte par RT-2 et OpenVLA, prolongée par la famille Pi de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui ont impose le schéma VLM-encodeur plus expert d'action sépare comme standard de facto. G0.5 s'en écarté en misant sur un flux autoregressif unique, un pari qui reste a confirmer au-delà des benchmarks cites. Il s'agit d'une publication de recherche, sans produit commercialise ni déploiement industriel annonces.

Modélisation du monde en contexte pour le contrôle robotique

Des chercheurs ont publié le 25 juin 2026 un preprint arXiv (2606.26025) présentant ICWM (In-Context World Modeling), un cadre d'adaptation pour les modèles Vision-Language-Action (VLA) appliqués à la robotique. Les VLA actuels échouent dès que le contexte d'exécution change - angle de caméra différent, morphologie de robot modifiée - parce qu'ils supposent un contexte fixe, celui rencontré pendant l'entraînement, et nécessitent un fine-tuning intensif en données pour toute nouvelle configuration. ICWM traite l'identification du système comme un problème d'adaptation en contexte : avant d'exécuter une tâche, le robot génère de courtes interactions autonomes agnostiques à la tâche, dont l'historique est injecté dans la fenêtre de contexte du modèle. Celui-ci infère ainsi implicitement la dynamique du système courant - position de caméra, configuration mécanique - sans mise à jour de poids. Les expériences menées en simulation et sur plateformes réelles montrent que ICWM surpasse significativement les baselines VLA standards sur des configurations de caméra inédites. La généralisation des VLA est le verrou principal qui freine le déploiement industriel de la robotique généraliste. Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA), OpenVLA et les modèles Google nécessitent tous du fine-tuning dès qu'on change la disposition d'une caméra ou la morphologie d'un robot, ce qui rend les pilotes industriels coûteux et longs à mettre en place. ICWM attaque ce problème sans modifier les poids du modèle : l'adaptation passe uniquement par le contexte, à l'image de ce que l'In-Context Learning a apporté aux LLMs. Pour un intégrateur ou un COO industriel, cela signifie potentiellement déployer un même modèle sur plusieurs lignes avec des géométries de capteurs différentes, sans pipeline de re-entraînement. La contribution est conceptuellement distincte : là où l'ICL classique spécifie quelle tâche effectuer, ICWM apprend comment le système fonctionne - une couche d'adaptation complémentaire aux approches existantes. Les modèles VLA ont connu une explosion depuis 2024 : RT-2 (Google DeepMind), Pi-0 de Physical Intelligence, GR00T N2 d'NVIDIA présenté à GTC 2025, et plus récemment Helix (Figure AI) illustrent la convergence entre fondations LLM et contrôle moteur. La fragilité aux variations contextuelles - ce qu'on appelle le "demo-to-deployment gap" - reste une critique récurrente formulée notamment par des acteurs européens comme Enchanted Tools ou Wandercraft, qui misent sur des architectures plus déterministes pour des environnements industriels contraints. ICWM s'inscrit dans une tendance plus large : importer les paradigmes d'adaptation du machine learning directement dans la boucle de contrôle robotique, sans passer par un cycle de collecte de données et de re-entraînement. Le preprint ne mentionne ni partenariat industriel, ni code open-source, ni dataset public : il s'agit d'une contribution de recherche pure, sans déploiement commercial annoncé à ce stade.

💬 Le vrai frein au déploiement robotique industriel, ce n'est pas la performance brute des VLA, c'est que la moindre caméra déplacée oblige à relancer un fine-tuning complet. ICWM importe dans la boucle de contrôle la même logique qui a rendu les LLMs flexibles, et si ça tient, c'est un changement de calcul économique pour les intégrateurs européens qui tentent des pilotes. Bon, pour l'instant c'est un preprint sans code ni partenaire industriel, donc on verra.