Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel

IA physique

50 sur 662 articles

Modèles vision-langage-action (VLA) et IA physique : NVIDIA GR00T, Figure Helix, Physical Intelligence π0, Gemini Robotics, OpenVLA, world models Cosmos/Genie.

HumanoïdesIndustrielFR/EU ecosystemeChine/AsieRechercheBusinessExosquelettesRegulationInfrastructureSociete/EthiqueAutre
G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots
1arXiv cs.RO IA physiqueOpinion

G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots

G0.5, publie en aout 2026 sur arXiv (2608.11739), est un modèle Vision-Language-Action (VLA) dont un décodeur transformeur unique génère raisonnement et tokens d'action sous un seul objectif, au lieu de séparer un VLM pré-entraine et un expert d'action entraine a part par flow-matching. Trois briques le rendent tenable a l'échelle d'un modèle de fondation : un tokenizeur d'action apprenable traduisant des actions robotiques hétérogènes dans un vocabulaire commun entre robots, un flux de chaine de pensée natif mêlant décomposition de taches, ancrage des objets et indices d'action, et un module de mémoire visuelle injectant plusieurs secondes d'historique. Pre-entraine sur des jeux de données robotiques et des exemples VQA, G0.5 devance les références sur sept protocoles : 76,7% de réussite en fine-tuning réel sur les robots R1lite et R1pro contre 53,3% pour Pi-0.5 et 24,4% pour GR00T-N1.7, 31,4% au BEHAVIOR Challenge 2025 contre 26,3% et 26,1% pour le vainqueur du concours, 82,5% en transfert zero-shot après post-entrainement sur DROID, ainsi que 98,9% sur LIBERO, 93,3% sur RoboTwin 2.0 et 87,3% sur SimplerEnv-Bridge. Cette fusion compte parce que l'approche dominante du secteur, illustrée par Pi-0.5 (Physical Intelligence) ou GR00T-N1.7 (NVIDIA), traite le VLM comme un simple encodeur de contexte pendant qu'un module sépare décide de l'action. En partageant les mêmes poids entre raisonnement et action, G0.5 suit les instructions plus finement et laisse un prompt piloter la granularité des gestes, l'horizon de tache ou la gestion de scènes hors distribution, sans reentrainement. L'écart de performance en conditions réelles, près du double de Pi-0.5, et la victoire généraliste au BEHAVIOR Challenge face a des politiques spécialisées, appuient empiriquement l'idée qu'un flux autoregressif unique peut tenir a l'échelle. Le travail s'inscrit dans la lignée des VLA ouverte par RT-2 et OpenVLA, prolongée par la famille Pi de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui ont impose le schéma VLM-encodeur plus expert d'action sépare comme standard de facto. G0.5 s'en écarté en misant sur un flux autoregressif unique, un pari qui reste a confirmer au-delà des benchmarks cites. Il s'agit d'une publication de recherche, sans produit commercialise ni déploiement industriel annonces.

1 source
StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables
2arXiv cs.RO 

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu
1 source
World Tokens : renforcer les politiques incarnées grâce à la modélisation du monde à l'entraînement
3arXiv cs.RO 

World Tokens : renforcer les politiques incarnées grâce à la modélisation du monde à l'entraînement

Des chercheurs présentent World Tokens, une architecture de politique incarnée publiée sur arXiv le 13 août 2026 (arXiv:2608.09730), qui greffe aux modèles vision-langage-action (VLA) un module appelé World Adapter. Celui-ci convertit les caractéristiques d'un modèle vision-langage en « world tokens » qui, pendant l'entraînement, conditionnent un débruiteur vidéo prédisant l'évolution de la scène tout en servant de seul contexte visuel à l'expert d'action. Au déploiement, cette branche vidéo est retirée : seuls le VLM, le World Adapter et l'expert d'action restent actifs, sans inférence vidéo en ligne. Avec un backbone de 2 milliards de paramètres et sans pré-entraînement d'action incarnée, le système se hisse au niveau des meilleures méthodes sur LIBERO, établit les meilleures moyennes rapportées sur SIMPLER, et améliore nettement le taux de réussite réel du robot R1 Pro face à une base « action seule » équivalente, à une latence comparable à celle d'un VLA standard. Ce résultat s'attaque à un compromis central du secteur : les VLA classiques comme Pi-0, GR00T N2 ou Helix ignorent la dynamique physique explicite, tandis que les world-action models plus récents la capturent via des modèles vidéo préentraînés coûteux à exécuter dans la boucle de contrôle. En déplaçant cette modélisation du temps d'inférence vers le temps d'entraînement, World Tokens promet aux intégrateurs une compréhension plus fine du monde physique sans alourdir le temps de cycle ni le coût matériel au déploiement. C'est une piste concrète pour réduire l'écart souvent observé entre démonstrations impressionnantes et robustesse en conditions réelles, sans sacrifier la latence nécessaire à un déploiement de flotte à grande échelle. Cette architecture s'inscrit dans la lignée des modèles VLA qui dominent le contrôle des robots manipulateurs et humanoïdes, et dans la vague plus récente des world-action models cherchant à leur ajouter une compréhension causale de la physique. Le papier, publié en cross-listing sur arXiv, reste une contribution de recherche testée sur les bancs d'essai standards LIBERO et SIMPLER ainsi que sur le robot réel R1 Pro, sans laboratoire ni entreprise explicitement rattachés dans le résumé. Les prochaines étapes attendues portent sur des backbones plus larges et davantage de plateformes robotiques réelles avant toute adoption industrielle.

IA physiqueActu
1 source
RLinf-VLA : un cadre unifié et efficace pour l'apprentissage par renforcement des modèles vision-langage-action
4arXiv cs.RO 

RLinf-VLA : un cadre unifié et efficace pour l'apprentissage par renforcement des modèles vision-langage-action

Une équipe de recherche présente RLinf-VLA, un framework unifié et efficace pour l'entraînement par renforcement (RL) de modèles vision-langage-action (VLA), décrit dans un article arXiv (2510.06710, version 3, remplaçant une version antérieure). Le système standardise l'intégration de plusieurs architectures VLA, de différents algorithmes RL et de simulateurs hétérogènes derrière une interface commune, pour permettre comparaisons équitables et reproductibilité. Pour gagner en efficacité, RLinf-VLA introduit une stratégie d'allocation de pipeline fine et hybride, répartissant dynamiquement les ressources entre rendu, inférence et entraînement, ce qui produit un gain de vitesse de 1,61 à 1,88 fois sur le simulateur ManiSkill. Les modèles entraînés avec ce framework atteignent 98,11% de réussite sur 130 tâches du benchmark LIBERO, 97,66% sur 25 tâches ManiSkill, et une moyenne de 84,63% sur six tâches RoboTwin. Pour les laboratoires de robotique et les équipes développant des politiques de manipulation, ce travail répond à un problème concret: jusqu'ici, chaque groupe construisait sa propre pipeline RL+VLA sur mesure, rendant les comparaisons d'architectures et d'algorithmes peu fiables. Un gain de vitesse proche du double affecte directement le coût et la durée des cycles d'entraînement, une étape historiquement gourmande en calcul puisqu'elle combine simulation, inférence et mise à jour de politique en boucle continue. Les taux de réussite proches de la saturation, 98% sur LIBERO, 97,7% sur ManiSkill, montrent que le post-entraînement par renforcement peut pousser des VLA déjà pré-entraînés par imitation vers des performances très élevées sur des benchmarks simulés établis, mais ces résultats restent obtenus en simulation contrôlée et ne préjugent pas d'une généralisation équivalente en conditions réelles. Le contexte est celui d'un basculement plus large dans l'entraînement des modèles VLA, jusque-là dominé par l'apprentissage supervisé à partir de démonstrations, vers des méthodes de post-entraînement par interaction, une trajectoire qui rappelle le rôle du RLHF pour les grands modèles de langage. Les auteurs positionnent explicitement RLinf-VLA comme une réponse à la fragmentation des efforts en RL pour la robotique embarquée, où l'absence de plateforme commune empêchait des comparaisons équitables entre architectures et algorithmes. Au-delà du code, l'article revendique la synthèse d'un ensemble de pratiques efficaces pour l'entraînement RL des VLA, positionnant le framework comme base technique et méthodologique pour la recherche future en intelligence embarquée. Aucune entreprise ni site de déploiement industriel n'est associé à cette publication, qui reste à ce stade une contribution académique validée sur des benchmarks de simulation plutôt qu'un produit déployé.

IA physiqueOpinion
1 source
Nouveau robot humanoïde capable de courir, sauter et danser sur simple commande
5Interesting Engineering 

Nouveau robot humanoïde capable de courir, sauter et danser sur simple commande

Des chercheurs de NVIDIA ont présenté SONIC, un framework de contrôle pour robots humanoïdes capable de générer des mouvements corps entier à partir de plusieurs types d'entrées : téléopération, vidéo, texte ou musique. Plutôt que d'entraîner un contrôleur distinct par compétence, comme c'est la norme dans le secteur, SONIC repose sur une politique unique entraînée sur plus de 100 millions de frames de mouvement, issues d'environ 700 heures de capture de mouvement humain. Le modèle le plus grand compte 42 millions de paramètres, entraîné sur jusqu'à 128 GPU pour un total d'environ 21 000 heures GPU. Le système s'appuie sur un espace de tokens universel : des encodeurs spécialisés traitent le mouvement robotique, le mouvement humain et les commandes hybrides avant de les convertir en tokens quantifiés alimentant un décodeur de contrôle commun. Un planificateur cinématique en temps réel génère des segments de mouvement entre points clés et permet de replanifier en continu, sans réentraînement, pour changer de direction, de vitesse ou de style de déplacement. Déployé sur un robot humanoïde Unitree G1, SONIC a atteint un taux de réussite de 99,2% sur 123 séquences de mouvement réelles, contre 100% en simulation, soit un écart jugé faible entre les deux environnements. Le système a aussi été connecté à un modèle vision-langage-action. Cette approche répond à une limite structurelle du contrôle humanoïde actuel : la plupart des politiques existantes sont des réseaux de neurones relativement compacts, conçus pour une tâche précise, ce qui oblige à ré-ingénierer des objectifs et un entraînement à chaque nouveau comportement. En traitant le suivi de mouvement comme un problème d'apprentissage à grande échelle plutôt que comme une somme de compétences isolées, NVIDIA cherche à démontrer qu'une seule politique peut généraliser à des mouvements jamais vus à l'entraînement, une promesse centrale pour l'autonomie humanoïde généraliste. Pour les intégrateurs et décideurs industriels, l'enjeu dépasse la prouesse technique : un écart sim-to-real limité, associé à une architecture capable d'ingérer indifféremment vidéo, texte ou musique, laisse entrevoir des pipelines de déploiement plus rapides, sans réentraînement coûteux par cas d'usage. Le taux de succès de 99,2% porte toutefois sur un jeu de 123 séquences choisies par les chercheurs eux-mêmes, sans comparaison indépendante ni détail sur la nature exacte des tâches testées, une réserve à garder en tête avant d'en tirer des conclusions générales sur la robustesse en conditions réelles. SONIC s'inscrit dans la stratégie robotique plus large de NVIDIA, qui développe par ailleurs la plateforme de fondation GR00T, dont la version N2, ainsi que les outils de simulation Isaac utilisés pour l'apprentissage sim-to-real. Le champ du contrôle humanoïde généraliste est aussi disputé par Figure AI avec son système Helix, ou par des modèles vision-langage-action comme Pi-0 de Physical Intelligence, qui poursuivent des objectifs similaires de politique unique couvrant un large répertoire de comportements. Contrairement à un produit commercial livré, SONIC reste à ce stade une démonstration de recherche, publiée avec des résultats en simulation et sur un seul robot physique, le Unitree G1. L'équipe NVIDIA indique vouloir en faire une fondation sur laquelle brancher des couches de perception et de raisonnement de plus haut niveau, en vue d'une intégration future avec des modèles vision-langage-action, sans qu'aucun calendrier de déploiement commercial ni partenariat industriel n'ait été communiqué à ce stade.

IA physiqueOpinion
1 source
Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul
6arXiv cs.RO 

Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul

Une équipe de recherche présente Flex-π, un modèle monde-action (WAM) de 6 milliards de paramètres, détaillé dans un article déposé sur arXiv (2608.10860v1). Sa base est une découverte inattendue : l'encodeur VAE gelé, utilisé pour la génération vidéo et l'encodage RGB, retranscrit aussi presque sans perte les cartes de points 3D, sans entraînement dédié. Cela permet de superviser Flex-π sur la géométrie 3D et la sémantique objet-centrée DINO en plus du RGB, sans capteur, pré-entraînement supplémentaire ni surcoût de latence, dans une architecture Mixture-of-Transformers qui débruite conjointement ces signaux et les actions. Un dropout par flux avec renforcement inter-modalités permet à un même checkpoint de tourner du mode action seule jusqu'à la génération jointe complète ; sur des tâches de manipulation bimanuelle dextre et précise en conditions réelles, Flex-π bat les meilleures références de 2 à 7 fois tout en restant plus rapide que π0.5. Ce résultat comble une limite connue des modèles monde, qui prédisent surtout des pixels sans ancrage 3D ni compréhension sémantique des objets, ce qui freinait leur utilité pour la manipulation fine. Flex-π montre qu'un signal géométrique riche peut être extrait gratuitement d'un VAE vidéo déjà entraîné, sans caméra de profondeur ni pipeline 3D dédié, ce qui abaisse la barrière d'entrée pour les équipes de robotique. Sa flexibilité de calcul et son efficacité en démonstrations, avec des gains de 2 à 7x avec moins de données, répondent à deux freins des VLA (vision-language-action) : le coût d'intégration et le coût de collecte de données par tâche. Flex-π reste à ce stade une publication de recherche accompagnée d'un site de démonstration (flex-pi.github.io), sans annonce de produit commercial ni de déploiement industriel. La comparaison directe avec π0.5, le modèle de référence de Physical Intelligence, le positionne dans la course aux modèles vision-langage-action généralistes, aux côtés d'efforts comme GR00T N2 de NVIDIA ou Helix de Figure AI. L'article ne précise ni l'institution porteuse ni de calendrier, et ses résultats reposent sur des benchmarks internes plutôt que sur un déploiement chez un intégrateur tiers.

IA physiqueActu
1 source
Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles
7Pandaily 

Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles

Des chercheurs de l'Université technologique de Nanyang (NTU), de l'Université de Pékin, de HKUST Guangzhou et du Beijing Academy of Artificial Intelligence (BAAI) ont publié Omega-0, un modèle d'action corps entier pour robots humanoïdes. Sur 11 tâches domestiques réelles, il atteint 81,8% de réussite, devançant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Plutôt que de prédire les pixels futurs, Omega-0 prédit des caractéristiques visuelles latentes, à partir desquelles un transformeur de diffusion génère les actions du corps entier. L'entraînement suit trois étapes: un modèle vision-langage-action pré-entraîné via un tokenizer "Whole-Body FAST" qui affine Qwen3-VL-2B-Instruct avec des tokens de point de vue première et troisième personne, un pré-entraînement latent humain-robot inspiré de V-JEPA fusionnant vision, langage et proprioception, puis un affinage sur données domestiques réelles avec chunking temps réel pour la continuité des gestes. L'équipe a bâti pour cela Omega-HOME: 40,3 heures de données réelles, 4827 trajectoires téléopérées et 24 types de tâches, dont la prise d'objets, le nettoyage de surfaces et l'usage d'appareils électroménagers. Le résultat pèse moins que la méthodologie: pour éviter toute contamination, l'équipe a retiré les 11 tâches d'évaluation du jeu de pré-entraînement Omega-HOME, un souci de rigueur rare dans un secteur où les vidéos de démonstration sont souvent sélectionnées après coup. Pour les intégrateurs et décideurs industriels, Omega-0 illustre une approche qui couple prédiction de l'environnement futur et génération d'action corps entier dans un seul modèle, plutôt que de traiter perception, navigation et manipulation comme des sous-systèmes séparés. Le domicile reste la cible la plus difficile pour un humanoïde: il exige une perception continue combinée à une coordination motrice globale, contrairement à l'usine où tâches et environnement sont contrôlés. Un score de 81,8% sur tâches réelles, non simulées, réduit l'écart entre démonstration scénarisée et exécution robuste, sans le combler: les auteurs reconnaissent eux-mêmes que l'autonomie longue durée, l'interaction sécurisée et la généralisation à de nouvelles tâches restent non résolues. Le nom minimaliste du modèle suggère qu'Omega-0 est le premier d'une série, dans la lignée des modèles vision-langage-action qui structurent la recherche humanoïde depuis pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Omega-0 se mesure directement à ces références ainsi qu'à EgoVLA et psi-0, avec un protocole pensé pour limiter les biais de benchmark répandus dans le secteur. Aucun calendrier de commercialisation, de partenariat industriel ou de déploiement pilote n'est communiqué à ce stade: il s'agit d'une publication de recherche académique, pas d'un produit livré ni d'un déploiement réel à grande échelle. Les suites attendues portent vraisemblablement sur l'extension du jeu de données Omega-HOME au-delà de la sphère domestique et sur la validation de l'architecture latente sur d'autres plateformes robotiques, alors que la course humanoïde oppose désormais un nombre croissant de laboratoires universitaires chinois aux groupes commerciaux occidentaux.

IA physiqueOpinion
1 source
AnyCamVLA : adaptation caméra zéro-shot pour des modèles vision-langage-action robustes au point de vue
8arXiv cs.RO 

AnyCamVLA : adaptation caméra zéro-shot pour des modèles vision-langage-action robustes au point de vue

Des chercheurs dévoilent AnyCamVLA (arXiv:2603.05868, version 2), une méthode d'adaptation caméra "zero-shot" pour les modèles vision-langage-action (VLA) de manipulation robotique. Le problème ciblé : un VLA pré-entraîné puis affiné pour un environnement donné perd fortement en performance dès que la caméra change de position, d'angle ou de focale, une situation fréquente en environnement non structuré. Sans nouvelles démonstrations, sans réentraînement de la politique et sans modification d'architecture, le système s'appuie sur un modèle feed-forward de synthèse de nouvelles vues pour reprojeter en temps réel l'image captée vers la configuration caméra utilisée à l'entraînement, en corrigeant à la fois les paramètres intrinsèques et extrinsèques. Sur le benchmark LIBERO, la méthode surpasse les approches concurrentes basées sur l'augmentation de données ou l'ajout de features 3D, et les auteurs rapportent des gains similaires en conditions réelles, y compris avec des caméras tenues à la main en mouvement libre. L'enjeu dépasse la prouesse technique : la fragilité des VLA face au point de vue caméra est l'un des vrais obstacles au déploiement industriel à l'échelle, chaque site ou chaque robot installant ses capteurs différemment. Sans correction, il faut recollecter des données et réentraîner pour chaque configuration, ce qui contredit la promesse d'une politique généraliste entraînée une fois et déployée partout. Une couche plug-and-play compatible avec n'importe quelle politique RGB, sans toucher aux poids du modèle, intéresse directement les intégrateurs cherchant à réduire le coût d'adaptation site par site, l'un des écarts récurrents entre démonstrations VLA en laboratoire et robustesse réelle. Le travail s'inscrit dans la vague de recherche sur les VLA généralistes pour la manipulation, aux côtés de systèmes comme Pi-0, OpenVLA, RT-2 ou GR00T N2, tous confrontés au même écart entre performance en laboratoire et conditions réelles. AnyCamVLA ne propose pas un nouveau VLA mais une brique de correction indépendante du modèle sous-jacent, complémentaire aux efforts d'entraînement multi-vues plutôt que concurrente. La sortie d'une version 2 sur arXiv suggère une itération après retours, mais aucun partenariat industriel, pilote ou intégration produit n'est annoncé à ce stade : il s'agit pour l'instant d'une contribution de recherche validée sur benchmark et en expérimentation réelle limitée.

IA physiqueActu
1 source
HarnessWAM : concilier prédiction et délibération dans les modèles vision-action du monde
9arXiv cs.RO 

HarnessWAM : concilier prédiction et délibération dans les modèles vision-action du monde

HarnessWAM, un framework agentique décrit dans un preprint publié sur arXiv (identifiant 2608.09516), vise à combler ce que ses auteurs nomment le « prédiction-délibération gap » des World Action Models (WAM), ces modèles qui apprennent conjointement la dynamique de l'environnement et la génération d'actions robotiques. Le système ajoute un Task Manager basé sur un modèle vision-langage, chargé de maintenir une croyance de scène ancrée dans l'observation et un graphe de tâches, ainsi qu'une projection des plans en séquences de compétences atomiques compatibles avec les capacités du WAM sous-jacent. Une boucle de rétroaction à deux échelles temporelles associe un estimateur de progression haute fréquence à une délibération aux jalons clés, capable de réviser le plan ou de déclencher une récupération locale après l'échec d'une sous-tâche. Sur le benchmark RoboMemArena, HarnessWAM atteint 59,6% de réussite sur les tâches complètes, 69,9% sur les sous-tâches, et 23,7% sur RoboCerebra Ideal, des résultats présentés comme l'état de l'art. Ce travail cible un point de friction connu du secteur : les WAM actuels, entraînés à prédire et agir sur un horizon court, échouent sur des tâches longues exigeant planification globale, maintien d'état entre étapes et récupération après échec, soit le profil typique attendu d'un robot humanoïde en usine ou en entrepôt. En montrant qu'une couche de gestion d'état externe au modèle, couplée à une décision en boucle fermée, prolonge les capacités de contrôle local des WAM vers une exécution vérifiable et récupérable, l'étude suggère que le goulot d'étranglement des architectures VLA/WAM tient autant à l'orchestration cognitive qu'à la génération d'actions elle-même. Les gains restent toutefois mesurés sur des bancs d'essai spécifiques, sans validation annoncée sur robot physique en environnement industriel réel. HarnessWAM s'inscrit dans la lignée des modèles fondation pour la robotique de type VLA ou WAM, à l'image de GR00T N2, Pi-0 ou Helix, qui génèrent des actions à partir d'observations visuelles et de consignes en langage naturel mais restent structurellement limités à des horizons de prédiction courts. Le framework se présente comme une couche agentique complémentaire plutôt qu'un nouveau backbone, en principe transposable à d'autres WAM sous-jacents. La publication ne mentionne ni partenariat industriel, ni pilote de déploiement, ni acteur européen : il s'agit à ce stade d'une contribution académique évaluée en benchmark, dont la suite logique serait une validation sur plateformes robotiques réelles.

IA physiqueActu
1 source
SLIM-0.5B : apprentissage de représentations latentes prédictives ancrées dans l'action pour la manipulation robotique
10arXiv cs.RO 

SLIM-0.5B : apprentissage de représentations latentes prédictives ancrées dans l'action pour la manipulation robotique

Optimisée pour le contrôle plutôt que pour la richesse visuelle, une nouvelle politique vision-langage-action baptisée SLIM (Self-supervised Latent Interaction Model) vient d'être présentée dans un article publié le 11 août 2026 sur arXiv (arXiv:2608.09771v1). Développée pour la manipulation robotique, SLIM ne compte que 0,5 milliard de paramètres, un ordre de grandeur en dessous des backbones multimodaux massifs habituellement utilisés par les modèles VLA de référence. Le système apprend des représentations latentes ancrées dans l'action, capables à la fois de prédire les transitions futures conditionnées par une action et d'inférer l'action ayant produit un changement observé. L'entraînement repose sur une prédiction de trajectoire masquée auto-supervisée, combinant reconstruction d'action et prédiction de latent futur, le tout porté par une architecture compacte de type Mixture-of-Transformers (MoT) qui modélise les interactions entre latents d'observation et tokens d'action. La génération d'action conditionnée par le langage utilise ensuite le flow matching. Selon les auteurs, SLIM égale ou dépasse des baselines VLA et des modèles monde-action à grande échelle sur des benchmarks en simulation et en conditions réelles, sans pré-entraînement embarqué supplémentaire. L'intérêt pour les intégrateurs et décideurs industriels tient moins à la performance brute qu'à l'efficacité: les auteurs revendiquent une latence d'inférence réduite et une empreinte mémoire GPU nettement plus faible que les architectures VLA massives actuelles. Cela répond directement à une critique récurrente du secteur, à savoir que les backbones multimodaux surdimensionnés consacrent l'essentiel de leur capacité à une sémantique ouverte peu utile au contrôle moteur continu, alors que la manipulation robotique nécessite surtout des représentations compactes des observations, actions et transitions. Si les résultats se confirment au-delà des benchmarks académiques, cela ouvrirait la voie à des politiques VLA déployables sur du matériel embarqué moins coûteux, un enjeu direct pour l'industrialisation des humanoïdes et bras robotiques dont le calcul embarqué reste un goulot d'étranglement économique. SLIM se positionne comme alternative aux modèles monde pixel-level, jugés coûteux car ils prédisent des détails visuels non pertinents pour le contrôle, ainsi qu'aux grandes politiques VLA généralistes du type Pi-0 ou GR00T N2. L'article ne précise pas de partenariat industriel, de date de déploiement pilote ni d'acteur commercial associé: il s'agit à ce stade d'une contribution de recherche publiée en preprint, sans validation industrielle indépendante ni comparaison chiffrée détaillée avec les principales baselines nommées dans le texte.

IA physiqueActu
1 source
Rethink avant d'exécuter : exécution adaptative pour les modèles d'action du monde
11arXiv cs.RO 

Rethink avant d'exécuter : exécution adaptative pour les modèles d'action du monde

Le laboratoire chinois publie un article arXiv (2608.09492) présentant TempoWAM, une méthode qui modifie la façon dont les World Action Models (WAM) exécutent leurs actions robotiques. Un WAM prédit conjointement une séquence d'actions futures et l'évolution de l'environnement, puis le robot exécute un préfixe fixe de cette séquence avant de replanifier. TempoWAM remplace cet horizon d'exécution fixe par un mécanisme adaptatif combinant un Recurrent Progress Monitor, qui estime la progression de la tâche à partir de l'observation courante, de l'instruction, des actions restantes et de l'historique d'exécution, et un Adaptive Execution Protocol qui décide en continu s'il faut replanifier, calibré par un facteur dépendant de la tâche avec adaptation en ligne. Les tests ont été menés sur les bancs d'essai simulés LIBERO et RoboTwin ainsi que sur des tâches réelles avec des robots physiques. Sur robot réel, la méthode réduit de 26,9% le nombre d'inférences du modèle sur les tâches faciles tout en maintenant le taux de succès, et améliore ce taux de 13,3 points sur les tâches difficiles. L'enjeu dépasse le simple gain d'efficacité computationnelle. Les architectures VLA et WAM actuelles (dans la lignée de Pi-0, GR00T N2 ou Helix) souffrent toutes du même compromis: un horizon de replanification court multiplie les appels d'inférence coûteux, un horizon long laisse le robot exécuter des actions devenues obsolètes si l'environnement change en cours de chunk. TempoWAM illustre une tendance de fond dans la recherche robotique 2026: au lieu de chercher des modèles fondation toujours plus gros, les équipes optimisent la couche de contrôle et de décision autour du modèle. Pour les intégrateurs industriels, ce type de mécanisme adaptatif pourrait réduire la latence perçue et la consommation de calcul embarqué, un frein concret au déploiement de robots humanoïdes ou d'AMR pilotés par VLA sur des lignes de production où le temps de cycle compte. Ce travail s'inscrit dans la vague de recherche post-RT-2 et post-Pi-0 sur l'exécution des politiques apprises par imitation à grande échelle, où la question du "chunking" d'actions (taille du segment exécuté avant ré-décision) est devenue un sujet à part entière, distinct de l'entraînement du modèle lui-même. L'article ne précise pas d'affiliation industrielle ni de partenaire matériel identifié, et reste à ce stade une contribution académique évaluée sur bancs de test standards plus une validation robot réel limitée, sans indication de déploiement commercial. Aucun acteur français ou européen n'est mentionné dans cette publication. Les prochaines étapes attendues, non détaillées dans l'abstract, porteraient vraisemblablement sur l'intégration de TempoWAM à des architectures WAM propriétaires déployées en production, un test que seuls les laboratoires disposant de flottes robotiques réelles pourront mener.

IA physiqueOpinion
1 source
VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future
12arXiv cs.RO 

VANE : entraînement fiable en temps de test pour les modèles vision-langage-action par prédiction visuelle future

Des chercheurs publient VANE (arXiv:2608.09448, soumis en aout 2026), une méthode de test-time training (TTT) pour les modèles vision-langage-action (VLA) utilises en manipulation robotique en boucle fermée. Le problème cible: l'adaptation en ligne classique mélange dans un espace de correction unique des ajustements incompatibles entre taches, et modifie les actions suivantes du robot avant même de savoir si la correction précédente était pertinente. VANE conditionne l'adaptation du prompt sur le contexte visuel et langagier courant, puis apprend a partir des conséquences visuelles futures des actions exécutées: les mises a jour candidates sont isolées de la politique active, évaluées sur les observations suivantes, et validées uniquement si les preuves futures les confirment, ce qui rend l'adaptation sélective et réversible. Sur le benchmark SimplerEnv WidowX, VANE améliore le taux de succès moyen de 3,2 points de pourcentage par rapport a la baseline TTT standard. Sur Google Robot en revanche, les gains obtenus au moment du déploiement restent dépendants de la tache et de l'embodiment (le type de robot), signe que la méthode ne généralisé pas uniformément. Pour les intégrateurs et laboratoires qui déploient des politiques VLA en production, ce travail s'attaque a un angle mort connu mais rarement traite proprement: l'adaptation test-time non supervisée peut dégrader silencieusement une politique déjà entraînée, en particulier en manipulation robotique ou une erreur d'action n'est visible qu'après coup. En rendant chaque mise a jour réversible et conditionnée a une preuve visuelle future, VANE propose une alternative aux méthodes TTT qui appliquent les corrections immédiatement et sans garde-fou. Le résultat mitige sur Google Robot est tout aussi instructif que le gain sur WidowX: il confirme que les bénéfices de l'adaptation en ligne ne sont pas garantis d'un robot a l'autre, et que le TTT reste une piste a valider embodiment par embodiment plutôt qu'une solution universelle, un rappel utile face aux discours présentant l'adaptation en temps réel comme un problème déjà résolu pour les VLA. VANE s'inscrit dans la lignée des travaux récents sur le test-time training applique aux politiques VLA de type RT-2, OpenVLA, Pi-0 ou GR00T, qui cherchent a corriger les policies au moment du déploiement sans reentrainement complet. Sa contribution spécifique est de traiter l'adaptation comme un processus a vérifier avant validation plutôt que comme une mise a jour immédiate, une approche qui rejoint les efforts plus larges du secteur pour fiabiliser le passage de la simulation au déploiement réel. Les auteurs testent leur méthode sur deux bancs d'essai standards, SimplerEnv WidowX et Google Robot, mais les résultats contrastes sur ce second environnement suggèrent qu'une validation plus large, sur d'autres plateformes et taches de manipulation, sera nécessaire avant d'envisager une adoption industrielle.

IA physiqueActu
1 source
WA-SpecDec : décodage spéculatif conscient du monde pour les modèles vision-langage-action
13arXiv cs.RO 

WA-SpecDec : décodage spéculatif conscient du monde pour les modèles vision-langage-action

Un preprint arXiv (2608.08725, non revu par les pairs) présente WA-SpecDec, une méthode d'accélération pour les modèles vision-langage-action (VLA) qui pilotent des robots. Ces politiques génèrent les commandes token par token de manière autoregressive, ce qui rend la latence en boucle fermée dépendante des passes successives du modèle cible. Le décodage spéculatif réduit déjà ce cout en vérifiant des blocs de tokens d'action en parallèle, et des travaux récents assouplissent l'acceptation car de petits écarts de token se traduisent souvent par des commandes continues proches. WA-SpecDec injecte, durant le pré-remplissage du VLA, une conscience physique de la scene issue d'un modèle du monde, partagée entre brouillon et vérification. Teste sur trois schémas d'acceptation relâchée de l'état de l'art, il obtient un gain de vitesse de 1,5x a succès équivalent face au décodage spéculatif VLA seul, et réduit de 18,6% en moyenne les échecs proches du contact. Jusqu'ici cette relaxation restait agnostique a la scene: un même écart de token était traite pareillement en espace libre et près d'un contact, alors que le second peut causer une collision ou un échec de prise que le premier n'engendrerait jamais. En rendant l'acceptation sensible au contexte physique, WA-SpecDec maintient un taux de succès plus élevé même sous tolérance assouplie et accepte des préfixes plus longs avant vérification. Pour les intégrateurs qui cherchent a faire tourner des VLA en temps réel, cela suggère un gain de vitesse d'inférence sans sacrifier la fiabilité aux moments critiques de la manipulation, la ou les erreurs coutent le plus cher en sécurité. Le décodage spéculatif vient de l'inférence des grands modèles de langage, ou un modèle léger propose des tokens que le modèle cible valide en bloc; son adaptation aux VLA suit la logique autoregressive de ces politiques, proches par construction des LLM. Les trois schémas d'acceptation relâchée compares dans l'étude ne sont pas nommes individuellement dans le résume publie. A ce stade, WA-SpecDec reste un résultat de recherche en preprint, sans plateforme robotique, entreprise ni date de déploiement associées: une contribution méthodologique évaluée en benchmark contrôle, et non un produit livre ou un pilote industriel annonce.

IA physiqueOpinion
1 source
Vid2WAM : distiller les a priori de diffusion vidéo en modèles d'action du monde
14arXiv cs.RO 

Vid2WAM : distiller les a priori de diffusion vidéo en modèles d'action du monde

Vid2WAM est un nouveau framework de distillation hors ligne pour l'apprentissage de politiques robotiques, décrit dans un preprint publie sur arXiv (arXiv:2608.08558v1). La méthode s'attaque a une limite connue des World Action Models (WAM), ces modèles qui prédisent conjointement la dynamique visuelle future et les actions d'un robot : leur dépendance a des démonstrations expertes couteuses a collecter, qui freine leur passage a l'échelle. Vid2WAM transféré les priors de diffusion vidéo d'un grand modèle fondation vidéo vers un WAM élevé compact, via deux canaux complémentaires. Le premier utilise des projections vidéo futures conditionnées par la tache pour superviser directement la branche de prédiction du modèle élevé. Le second passe par un modèle de dynamique inverse qui reconstruit des pseudo-actions spécifiques a l'embodiment du robot, utilisées pour l'apprentissage de la politique d'action. Une technique nommée "source-aware residual action adaptation" apprend des corrections propres a chaque source de supervision, synthétique ou réelle, autour d'un socle d'action partage, ce qui limite les interférences liées au bruit des pseudo-actions. A l'inférence, le modèle de diffusion vidéo enseignant et le modèle de dynamique inverse sont abandonnes : seul le WAM compact reste déployé, pour un traitement a faible latence. Les auteurs rapportent des expériences en simulation et sur robot réel. Cette approche cible directement le goulot d'étranglement central des modèles VLA (vision-language-action) et des WAM : la rareté des données de démonstration expertes spécifiques a la tache cible. En s'appuyant sur des priors appris a partir de vidéo générique plutôt que sur des trajectoires robot annotées, Vid2WAM cherche a découpler la généralisation a de nouvelles taches du volume de téléopération collecte, un enjeu central pour tout intégrateur voulant déployer un bras ou un humanoïde sur une nouvelle tache sans campagne de collecte couteuse. Jeter le modèle enseignant et le modèle de dynamique inverse a l'inférence est notable : cela vise une politique légère et rapide, condition nécessaire pour du contrôle temps réel, la ou de nombreuses approches VLA a grande échelle restent limitées par la latence. Ce travail s'inscrit dans la lignée des World Action Models et politiques VLA qui, comme GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure, exploitent des données vidéo ou multimodales a grande échelle pour réduire la dépendance a la téléopération. Contrairement a ces systèmes déjà testes chez des clients, Vid2WAM reste au stade de preprint de recherche : aucune institution n'est citée dans le résume, aucun partenariat industriel ni déploiement pilote n'est mentionne, et les chiffres de performance restent a vérifier via une publication complète ou une revue par les pairs. La suite logique serait une évaluation sur des benchmarks standardises et un passage a des modèles fondation vidéo plus grands pour tester les limites de la méthode.

IA physiqueOpinion
1 source
Robots humanoïdes entraînés sur 1 million d'heures de vidéos humaines : jusqu'à 90 % de réussite
15Interesting Engineering 

Robots humanoïdes entraînés sur 1 million d'heures de vidéos humaines : jusqu'à 90 % de réussite

Dyna Robotics, entreprise basée à Redwood City en Californie, a dévoilé DYNA-2, un nouveau modèle de fondation robotique de type « world-action » entraîné sur plus d'un million d'heures de vidéos humaines filmées à la première personne, soit l'équivalent d'environ 170 ans d'expérience continue à l'éveil. Contrairement à l'approche classique reposant sur des données de téléopération collectées manuellement, ce modèle n'a vu aucune donnée robotique pendant sa phase de pré-entraînement. Selon l'entreprise, la seule augmentation de l'échelle de pré-entraînement a permis de faire passer le taux de réussite sur des tâches de fabrication de haute précision de 20 % à 80-90 %. Le modèle s'est aussi montré transférable à des bras robotiques fixes, des prototypes humanoïdes et des mains robotiques dextres : dans un test, 13 minutes de données locales ont suffi pour qu'une paire de mains à cinq doigts apprenne à dévisser le bouchon d'une bouteille. Sur 15 tâches de référence internes, les versions entraînées avec davantage de vidéo humaine ont systématiquement mieux performé, et comparé à DYNA-1, le précédent modèle vision-langage-action de la société, DYNA-2 a atteint 87 % de réussite lors d'un déploiement client sans réglage préalable, contre 46 % pour son prédécesseur. Cette annonce s'attaque frontalement au principal goulot d'étranglement de la robotique généraliste, à savoir la rareté des données d'action collectées par téléopération, jugées non scalables pour viser une intelligence physique générale. En misant sur la vidéo humaine, disponible en quantités quasi illimitées, Dyna affirme qu'un robot peut acquérir une forme d'intuition physique sans dépendre d'un volume massif de données spécifiques à chaque plateforme matérielle, une adaptation à un nouveau robot ou une nouvelle tâche ne nécessitant alors que quelques heures de fine-tuning local. Ces chiffres restent toutefois issus de bancs d'essai internes à l'entreprise, sans validation indépendante ni comparaison publique standardisée avec d'autres modèles généralistes comme Pi-0 ou GR00T N2, ce qui invite à les considérer avec prudence tant qu'un tiers ne les a pas reproduits. Si l'approche se confirme à plus grande échelle, elle déplacerait néanmoins une partie de la course humanoïde du terrain de la collecte téléopérée vers celui du pré-entraînement vidéo massif. Dyna Robotics a été fondée par Lindon Gao, York Yang et Jason Ma, ancien chercheur chez DeepMind, avec le soutien d'investisseurs dont CRV et First Round. L'entreprise exploite déjà commercialement des robots propulsés par DYNA-1 dans des hôtels, des restaurants et des laveries automatiques, ce qui distingue cette annonce d'un simple teaser de laboratoire puisque DYNA-2 vise à succéder à un système déjà en production. Jason Ma justifie cette orientation en rappelant que les données d'action robotique restent rares alors que la vidéo est omniprésente. L'entreprise met aussi en avant une meilleure résilience aux perturbations physiques lors de tâches comme la découpe d'aliments ou le rangement d'un espace de travail, DYNA-2 récupérant seul là où DYNA-1 nécessitait une intervention humaine, avec un gain de 133 % sur les tâches de suivi d'instructions grâce au co-entraînement vidéo. Aucun calendrier de déploiement élargi ni de nouveaux sites pilotes n'a pour l'instant été communiqué.

IA physiqueActu
1 source
Un robot qui apprend à partir de vidéos courtes en 29 secondes : HOST, la nouvelle recette d'IA incarnée de X Square Robot
16Pandaily 

Un robot qui apprend à partir de vidéos courtes en 29 secondes : HOST, la nouvelle recette d'IA incarnée de X Square Robot

Le robot humanoïde chinois X Square Robot a mis en open source HOST, un framework d'apprentissage par vidéo qui permet à un robot de reproduire une tâche dès sa première tentative, après avoir simplement regardé un clip de démonstration de 29 secondes. Sur ce test, HOST atteint un taux de réussite de 62%, contre 38% pour la méthode standard actuelle qui nécessite environ 50 démonstrations expertes et quatre heures de fine-tuning. Le système repose sur deux modules: un module de vision qui reconstruit la scène observée du point de vue du robot, et un module d'action qui calcule la trajectoire articulaire correspondante, le tout aligné par un mécanisme de dynamic time warping qui réduit l'erreur d'alignement d'un facteur dix environ. Fondée fin 2023 à Pékin, X Square Robot a levé plus d'un milliard de yuans sur huit tours de table, avec Meituan Strategic Investment, Alibaba Cloud, Lenovo Capital et Delian Capital parmi ses investisseurs. L'enjeu dépasse la simple prouesse technique: la collecte de données par téléopération, aujourd'hui dominante dans le secteur, repose sur des ingénieurs équipés de casques VR qui pilotent un bras robotique geste par geste, des dizaines de fois, pour chaque tâche. Un robot de collecte coûte plusieurs centaines de milliers de dollars et chaque démonstration peut dépasser cent dollars en coût marginal, un modèle que même les "fabriques de données" en Inde ou les travailleurs à temps partiel des zones rurales chinoises ne parviennent pas à rendre réellement scalable. En inversant la logique, c'est à dire en apprenant à l'inférence plutôt qu'en réentraînant hors ligne sur des données massives, HOST attaque directement ce goulot d'étranglement économique. Si l'approche tient à l'échelle au-delà du benchmark de recherche, elle rebattrait les cartes pour les intégrateurs et décideurs industriels en réduisant drastiquement le coût d'acquisition de nouvelles compétences robotiques, un argument central dans la course actuelle entre laboratoires embodied-AI. Il faut toutefois noter que le chiffre de 62% reste une mesure de recherche sur benchmark, pas une performance de déploiement en conditions réelles, et l'article ne précise pas la diversité des tâches testées ni les conditions d'évaluation. L'approche s'inspire de la théorie cognitive de la simulation, selon laquelle l'humain répète mentalement le résultat visé avant d'agir, une logique que l'équipe chinoise transpose à l'apprentissage robotique en remplaçant l'imitation articulation par articulation par une reconstruction de la scène finale suivie d'un calcul de trajectoire. Le choix de l'open source vise explicitement à capter l'attention des développeurs comme tremplin vers des pilotes en entreprise, une stratégie de positionnement qui s'inscrit dans la compétition plus large entre approches VLA telles que Pi-0, GR00T N2 ou Helix, où la question du passage à l'échelle depuis la démonstration jusqu'au déploiement industriel reste largement ouverte.

IA physiqueOpinion
1 source
AtlasVLA : une modélisation persistante de l'état monde-ego pour les modèles vision-langage-action
17arXiv cs.RO 

AtlasVLA : une modélisation persistante de l'état monde-ego pour les modèles vision-langage-action

Une équipe de recherche présente AtlasVLA, un nouveau framework pour les modèles vision-langage-action (VLA), décrit dans un article publié sur arXiv le 6 août 2026 (arXiv:2608.06729v1). Le système repose sur une architecture à double mémoire: une "4D Persistent World State Memory", qui transforme les observations 2D transitoires en un état spatial global mis à jour en continu via un hachage voxel, et une "Ego-Working State Memory", qui conserve l'historique de l'état du robot et l'avancement de la tâche en cours. Ces deux mémoires conditionnent un transformeur de diffusion (DiT) chargé de générer les actions. Testé sur les bancs d'essai LIBERO, RLBench et sur des tâches réelles, AtlasVLA atteint des performances de pointe en n'utilisant qu'une seule caméra montée au poignet, avec des gains de taux de réussite de 9,4 points sur LIBERO-Long et de 17,5 points sur des tâches réelles à long horizon, comparé à des méthodes de référence multi-caméras. Ce résultat s'attaque à une limite connue des modèles VLA actuels: leur nature réactive, qui pousse les robots à "oublier" un objet dès qu'il sort du champ de la caméra, et à perdre le fil de la progression dans les tâches à plusieurs étapes. Pour les intégrateurs industriels, l'intérêt est concret: obtenir une robustesse comparable à des rigs multi-caméras avec un seul capteur poignet réduit le coût matériel et la complexité de calibration des cellules robotisées. Le résultat remet en question l'hypothèse selon laquelle une couverture visuelle multi-angles serait indispensable pour la manipulation à long horizon, un argument souvent avancé par les fournisseurs de systèmes de vision embarqués. Ces chiffres proviennent toutefois d'un article encore non revu par les pairs, et les conditions précises des essais réels (nombre d'essais, environnements testés) restent à vérifier avant toute généralisation. Le travail s'inscrit dans la lignée des modèles VLA qui ont émergé ces dernières années, de RT-2 à Pi-0 en passant par GR00T N2 ou Helix, tous construits sur un mappage direct image vers action avec peu ou pas de mémoire persistante. AtlasVLA se positionne explicitement contre les approches multi-vues, qu'il dit surpasser de façon nette sur les tâches longues. L'article ne précise pas d'acteur industriel ni de calendrier de déploiement: il s'agit à ce stade d'une contribution de recherche, sans indication de portage vers un produit commercial ou un partenariat avec un fabricant de robots humanoïdes ou de bras manipulateurs.

IA physiqueActu
1 source
Rapide et précis : un système d'inférence VLA adaptatif par sélection de modèle selon l'environnement
18arXiv cs.RO 

Rapide et précis : un système d'inférence VLA adaptatif par sélection de modèle selon l'environnement

Des chercheurs ont publié le 6 août 2026 sur arXiv (référence 2608.06434) EMS (Environment-aware Model Selection), un framework d'inférence pour modèles Vision-Language-Action (VLA). Son architecture combine deux systèmes découplés : un module délibératif de grande taille qui planifie des trajectoires globalement cohérentes pour garantir la réussite des tâches, et un module réactif léger assurant un contrôle en boucle fermée à haute fréquence. Une politique de commutation entraînée par apprentissage par renforcement choisit en temps réel, selon le retour capteur, quel module activer, limitant le recours au module lourd. Sur le benchmark de simulation LIBERO, EMS égale les taux de réussite d'un modèle de référence de grande taille tout en portant la fréquence de contrôle effective à 93,4 Hz, et accélère l'exécution de tâches réelles de manipulation bi-bras sans perte de robustesse. Ce résultat s'attaque à un problème des VLA dits « dual-system », popularisés par des architectures comme Helix (Figure AI) ou π-0 (Physical Intelligence) : jusqu'ici, coupler un module rapide à un module lent imposait un entraînement conjoint de bout en bout qui figeait les deux composants, empêchant de remplacer l'un sans réentraîner l'autre. En rendant les deux systèmes interchangeables, EMS ouvre la voie à une approche modulaire où un intégrateur pourrait associer un planificateur générique à un contrôleur réactif propre à son robot. Pour les équipes qui déploient des VLA en usine ou en entrepôt, la fréquence de contrôle conditionne la fluidité des mouvements : EMS montre qu'il est possible de préserver le raisonnement d'un grand modèle en s'approchant des fréquences d'une boucle robotique classique, sans sacrifier la modularité. L'approche prolonge les architectures VLA « System 1 / System 2 », déjà explorées par NVIDIA avec GR00T N1 ou par les frameworks hiérarchiques de Physical Intelligence et Figure. Contrairement à ces annonces commerciales, EMS reste une prépublication arXiv évaluée surtout en simulation et sur un nombre limité de tâches réelles à deux bras, sans indication sur l'institution des auteurs ni sur le matériel utilisé. Le chiffre de 93,4 Hz, mis en avant comme résultat phare, reste à confirmer sur des plateformes commerciales et face aux systèmes dual-system déjà déployés par les acteurs du secteur.

IA physiqueOpinion
1 source
Tacta Systems vise le travail manufacturier hautement qualifié avec TactaBot
19Robotics Business Review 

Tacta Systems vise le travail manufacturier hautement qualifié avec TactaBot

Tacta Systems a dévoilé la semaine dernière son TactaBot, une plateforme combinant trois éléments : la Tacta Hand, un système de capture de compétences (Skill Capture) et un modèle d'IA baptisé Dexterous Intelligence. La main robotique, disponible en versions à trois ou cinq doigts, offre 15 degrés de liberté (trois par doigt) et peut soulever jusqu'à 25 newtons par doigt, soit environ 2,5 kg par bout de doigt. Elle repose sur une technologie propriétaire appelée Fluidic Tendon : des câbles parcourus par un fluide actionnent des pistons qui déplacent les doigts, sans moteur ni chaleur générée près de la main, ce qui améliorerait la stabilité et la précision par rapport aux mains à câbles classiques. Vikram Pavate, cofondateur et PDG de Tacta, avance une durée de vie mécanique allant jusqu'à 30 millions de cycles, une donnée qu'il reconnaît lui-même limitée puisque les capteurs tactiles des bouts de doigts, eux, sont conçus comme des consommables à remplacer. Ces capteurs, plus petits qu'un grain de sable, ne sont pas basés sur la technologie MEMS et couvrent une plage de pression de 250 à 700 000 pascals avec une précision thermique de 0,1°C. Le gant Tacta Glove, utilisé pour la capture de données, embarque 256 de ces capteurs par doigt combinés à de la capture de mouvement, avec transmission sans fil vers un poste local. L'enjeu que vise Tacta touche un point de blocage identifié depuis longtemps dans la robotique physique : la vision par ordinateur a largement progressé, mais la manipulation fine reste le maillon faible pour automatiser des tâches manufacturières à haute valeur ajoutée, dans un contexte de pénurie de main d'œuvre qualifiée. Pavate souligne aussi un problème structurel pour l'IA physique, contrairement aux modèles de langage qui s'entraînent sur des corpus massifs comme Reddit ou le New York Times, il n'existe aucun équivalent de données réelles pour le toucher, ce que le Skill Capture System cherche justement à combler. Ces annonces restent toutefois à ce stade des caractéristiques techniques communiquées par l'entreprise elle-même, sans déploiement client, pilote industriel ni tarif rendus publics : il s'agit d'un lancement produit, pas encore d'une adoption terrain vérifiable. Tacta Systems a été fondée il y a trois ans, en 2023, avec cette problématique de la dextérité comme pari de départ, dans un secteur où la majorité des robots commerciaux actuels excellent surtout dans la préhension simple et le déplacement d'objets plutôt que dans la manipulation fine nécessitant du retour tactile. En misant sur une architecture hydraulique miniaturisée plutôt que sur des moteurs classiques, l'entreprise se positionne sur un créneau distinct des humanoïdes généralistes, en misant sur la main comme brique technologique autonome, potentiellement intégrable à des bras ou plateformes tierces plutôt que sur un robot complet propriétaire.

IA physiqueActu
1 source
MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées
20arXiv cs.RO 

MMaDA-VLA : un grand modèle vision-langage-action à diffusion, avec instruction et génération multimodales unifiées

Un groupe de chercheurs a mis en ligne une troisième version révisée de MMaDA-VLA, un modèle Vision-Language-Action (VLA) qui convertit observations visuelles et instructions en langage naturel en actions robotiques. À la différence des architectures hiérarchiques ou autorégressives habituelles, ce modèle repose sur une diffusion discrète native et préentraînée, qui unifie compréhension et génération multimodales dans un espace de tokens partagé. Il débruite conjointement une image d'objectif futur et un segment d'actions, ancrant ainsi les décisions du robot dans un résultat visuel prédit, sans passer par un modèle du monde auxiliaire séparé. Ce raffinement parallèle et non ordonné viserait à limiter l'accumulation d'erreurs sur les tâches longues. Sur le benchmark de simulation LIBERO, MMaDA-VLA atteint 98,0% de réussite moyenne ; sur CALVIN, une longueur moyenne de séquence réussie de 4,78. Les auteurs annoncent aussi de bons résultats en conditions réelles, sans détailler la plateforme robotique utilisée. Ce travail répond à un problème connu des VLA : les pipelines hiérarchiques (planificateur puis contrôleur) ou autorégressifs accumulent des erreurs sur les séquences longues et nécessitent souvent des modules annexes pour modéliser la dynamique de l'environnement. En intégrant prédiction visuelle et génération d'actions dans un seul processus de diffusion, MMaDA-VLA supprime ce module séparé et propose une architecture plus compacte. Un score de 98% sur LIBERO est élevé, mais reste un résultat de simulation : il ne garantit pas, à lui seul, un transfert direct vers la manipulation industrielle en environnement réel, même si les auteurs revendiquent des essais physiques concluants. Pour la recherche en robotique, l'apport est avant tout méthodologique. MMaDA-VLA prolonge les travaux sur la diffusion multimodale unifiée de la famille MMaDA, appliqués ici au contrôle robotique. Le champ des VLA s'est structuré ces dernières années autour de modèles comme RT-2, Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA, majoritairement autorégressifs ou hiérarchiques, une lignée que ce travail cherche justement à dépasser. Le fait qu'il s'agisse d'une troisième révision arXiv suggère un affinement continu plutôt qu'un résultat figé. Code et démonstrations sont accessibles via la page projet des auteurs, mais rien n'indique de calendrier de déploiement industriel ni de partenariat avec un fabricant de robots : cette publication relève clairement de la recherche académique, pas du produit commercial.

IA physiqueOpinion
1 source
DFM-VLA : raffinement itératif de l'action pour la manipulation robotique via le Discrete Flow Matching
21arXiv cs.RO 

DFM-VLA : raffinement itératif de l'action pour la manipulation robotique via le Discrete Flow Matching

Des chercheurs ont présenté DFM-VLA, un modèle vision-langage-action (VLA) qui s'attaque à un défaut structurel des systèmes de manipulation robotique actuels : une fois qu'un token d'action est généré, que ce soit par décodage autorégressif ou par diffusion discrète, il reste figé et ne peut plus être corrigé si une erreur précoce faussait la suite. DFM-VLA repose sur le "discrete flow matching", une technique qui modélise un champ de vélocité de probabilité au niveau de chaque token, permettant de raffiner itérativement l'intégralité de la séquence d'actions à chaque étape de génération plutôt que de figer les décisions une par une. Les auteurs testent deux manières de construire ce champ de vélocité : une tête de vélocité auxiliaire ajoutée au modèle, et une formulation guidée par embedding. Pour affiner la précision, l'équipe introduit MAAT (metric-aligned action tokenizer), un tokenizer d'actions conçu pour la logique "grossier vers fin" du flow matching, combiné à une stratégie de décodage en deux étapes. Le papier, publié en quatrième révision sur arXiv (2603.26320), rapporte des expériences sur les benchmarks de manipulation CALVIN, LIBERO et LIBERO-Plus, ainsi que sur des tâches robotiques réelles. Cette approche cible un point de friction bien identifié dans la recherche VLA : les modèles autorégressifs, séquentiels par nature, ne peuvent pas revenir en arrière si un premier token de trajectoire est mal prédit, tandis que les modèles à diffusion discrète, plus parallélisables, souffrent du même verrou une fois les tokens fixés à une itération donnée. En introduisant une correction itérative de la séquence entière, DFM-VLA vise des politiques de manipulation plus robustes face aux erreurs de prédiction en début de séquence, un enjeu direct pour la fiabilité de robots manipulateurs en usine ou en logistique, où une trajectoire mal corrigée se traduit par une prise ratée ou une collision. Pour les intégrateurs et chercheurs, ce travail illustre aussi une tendance de fond : le passage d'architectures de décodage figées vers des mécanismes de raffinement inspirés des modèles de diffusion continue, déjà éprouvés en génération d'image, appliqués ici au contrôle robotique discret. DFM-VLA s'inscrit dans la lignée des VLA à tokenisation discrète d'actions, une famille qui a gagné du terrain depuis les premiers modèles autorégressifs et qui coexiste aujourd'hui avec des approches à diffusion continue comme pi-0. Le choix du flow matching discret, plutôt que la diffusion classique ou l'autorégression pure, vise à combiner vitesse de génération parallèle et possibilité de révision itérative, un compromis que peu d'architectures VLA publiées proposaient jusqu'ici. Les benchmarks retenus, CALVIN et LIBERO notamment, sont des références standard pour évaluer la généralisation des politiques de manipulation à long horizon, ce qui permet une comparaison directe avec les travaux concurrents. Le statut de "replace" sur arXiv signale une quatrième itération du papier depuis sa publication initiale. Les auteurs annoncent la mise à disposition du code et de démonstrations sur leur page projet, sans calendrier précisé pour un éventuel portage vers un déploiement industriel.

IA physiqueActu
1 source
DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations
22arXiv cs.RO 

DyPES-VLA : apprendre des dynamiques partagées et un contrôle spécifique à chaque incarnation pour la manipulation inter-incarnations

Des chercheurs présentent DyPES-VLA, un modèle vision-langage-action (VLA) conçu pour piloter plusieurs types de robots avec une seule politique généraliste plutôt qu'un modèle par robot. L'approche combine deux briques: un objectif de prédiction du futur qui entraîne le modèle vision-langage, sur des données issues de robots hétérogènes, à capturer le mouvement des objets, les contacts et les changements de scène induits par l'interaction; et une tête d'action à mélange d'experts (MoE) propre à chaque robot, qui traduit ces représentations partagées directement dans l'espace de commande natif de chaque machine, sans reformatage manuel préalable des actions. Cette tête MoE partage ses couches d'attention pour les structures temporelles communes aux tâches, tandis que des experts feed-forward dédiés gèrent les contraintes cinématiques propres à chaque embodiment. Résultat annoncé: 98,0% de réussite sur le benchmark LIBERO, 59,25% sur RoboCasa-GR1 et 89,02% sur RoboTwin 2.0, présentés comme état de l'art en simulation comme en conditions réelles. Le sujet touche un vrai goulot d'étranglement pour les intégrateurs et équipes robotique en entreprise: faire tourner un même modèle VLA sur plusieurs plateformes, bras industriels, robots mobiles ou humanoïdes, exige aujourd'hui un travail manuel lourd pour aligner des espaces d'action hétérogènes, ce qui freine la mutualisation des données d'entraînement et le déploiement à grande échelle. Une politique capable de généraliser nativement entre embodiments réduirait ce coût d'ingénierie par robot et rapprocherait l'objectif, poursuivi aussi par les grands laboratoires du secteur, d'un modèle fondation unique pour la manipulation. Reste que les chiffres avancés sont des scores de benchmark académiques: l'écart classique entre performance en simulation ou en laboratoire contrôlé et robustesse en usine ou en entrepôt n'est pas documenté pour ce modèle en particulier. DyPES-VLA s'inscrit dans la vague récente des VLA "cross-embodiment", qui cherche à dépasser les politiques entraînées robot par robot popularisées par RT-2 ou OpenVLA, sur le même terrain que des modèles généralistes déjà déployés en pilote comme Pi-0 de Physical Intelligence ou GR00T N2 de Nvidia. Publié comme nouvelle soumission sur arXiv, le papier ne précise ni affiliation industrielle ni calendrier de déploiement sur robot physique au-delà des évaluations réelles mentionnées dans l'étude: il relève pour l'instant de la recherche amont plutôt que d'un produit prêt à l'emploi. La suite logique pour ce type de travaux consiste généralement à valider l'approche sur davantage de plateformes et de tâches manipulatoires longues avant tout transfert vers un cas d'usage industriel.

IA physiqueOpinion
1 source
Suppression Sticks, la localité est fragile : audit en boucle fermée de la négation de vecteur de tâche dans les politiques VLA
23arXiv cs.RO 

Suppression Sticks, la localité est fragile : audit en boucle fermée de la négation de vecteur de tâche dans les politiques VLA

Une équipe de recherche publie sur arXiv (2608.04692v1) un audit approfondi d'une technique d'édition de modèles appelée « soustraction de vecteur de tâche », appliquée cette fois à des politiques de contrôle robotique multitâches de type VLA (vision-langage-action), en boucle fermée plutôt qu'en évaluation statique. Sur les dix compétences du benchmark LIBERO-Goal, la méthode produit trois régimes distincts : une séparation nette entre la compétence ciblée et les autres pour cinq d'entre elles, une résistance à la suppression pour trois autres, et un effondrement global des performances pour les deux dernières. Même dans les cas « réussis », où le taux de succès de la compétence visée tombe à 0% sur des états de départ inédits, la rétention moyenne des compétences non ciblées ne dépasse pas 52% par rapport à la ligne de base, et chaque édition dégrade au moins une capacité pourtant censée être indépendante. Les chercheurs testent aussi trois architectures de tête d'action (régression continue, tokens discrets, flow-matching) : la séparation propre apparaît sur le panel « Goal » pour ces trois architectures, mais pas sur le panel « Spatial », et un effondrement est observé sur les panels « Object » et « Long-horizon ». La similarité cosinus entre vecteurs de tâche ne permet pas de prédire ces écarts. Ce résultat intéresse directement quiconque envisage l'édition de modèle par arithmétique de vecteurs comme raccourci pour retirer une compétence indésirable ou dangereuse d'une politique robotique sans réentraînement complet, une approche séduisante car rapide et, au moment de l'édition, sans besoin de données ni de calcul de gradient. L'étude montre que l'hypothèse de « localité », selon laquelle soustraire une compétence n'affecte que celle-ci, est fragile en boucle fermée : même dans le meilleur des cas, environ la moitié seulement des capacités non ciblées survit, et deux cas sur dix se soldent par une politique globalement cassée. Pour des intégrateurs ou décideurs qui évalueraient cette technique comme alternative légère à un réentraînement pour patcher une politique embarquée, le message est clair : l'édition n'est pas un remplacement sûr par défaut. Plus préoccupant, une sonde de réapprentissage montre que la compétence supposément supprimée peut resurgir facilement, ce qui indique un simple masquage comportemental plutôt qu'un effacement certifié, un point important pour toute revendication de sécurité ou de conformité fondée sur ce type d'édition. L'arithmétique de vecteurs de tâche, qui consiste à ajouter ou soustraire dans l'espace des poids la différence entre un modèle finetuné et son modèle de base, avait déjà été étudiée sur des modèles de texte ou de vision. Ce travail est l'un des premiers à la tester spécifiquement sur des politiques VLA en contrôle robotique en boucle fermée, à l'aide de LIBERO-Goal, une suite de benchmarks structurée en panels Goal, Spatial, Object et Long-horizon, et sur plusieurs familles de têtes d'action. Les auteurs comparent aussi la méthode à des bases de référence « retain-aware » fondées sur le gradient, plus coûteuses en données et en calcul mais potentiellement plus fiables. Ils appellent la communauté à adopter des protocoles d'évaluation combinant systématiquement cible et contrôle en boucle fermée, plutôt qu'un simple taux de succès sur la compétence visée, pour juger correctement la localité des futures méthodes d'édition de modèles embarqués.

IA physiquePaper
1 source
Curiosity-Diffuser : un modèle de diffusion guidé par la curiosité pour plus de fiabilité
24arXiv cs.RO 

Curiosity-Diffuser : un modèle de diffusion guidé par la curiosité pour plus de fiabilité

Des chercheurs ont publié une version révisée (arXiv:2503.14833v2) de l'article "Curiosity-Diffuser: Curiosity Guide Diffusion Models for Reliability", qui propose une méthode pour réduire les hallucinations comportementales des politiques d'imitation basées sur des modèles de diffusion conditionnels, un cadre courant en commande robotique par apprentissage. Le mécanisme repose sur un module de curiosité de type Random Network Distillation (RND), qui évalue si le comportement généré s'écarte des données d'entraînement, puis guide la diffusion via un classifieur pour minimiser cette curiosité et limiter la surgénéralisation lors de l'inférence. Les auteurs introduisent aussi une métrique de fiabilité peu coûteuse en calcul, mesurant la similarité entre trajectoires générées et jeu de données d'origine. La méthode a été testée en simulation et lors d'expériences physiques sur plusieurs scénarios, avec un gain de performance et des comportements plus proches des démonstrations d'entraînement. Le code est disponible sur GitHub (CarlDegio/Curiosity-Diffuser). L'enjeu ici n'est pas la performance brute d'une tâche mais la fiabilité des politiques neuronales, point sensible pour tout déploiement robotique réel. Les modèles de diffusion et, plus largement, les architectures VLA séduisent par leur capacité à générer des trajectoires complexes, mais leur instabilité face à des situations hors distribution freine leur adoption industrielle: une hallucination comportementale sur un bras ou un robot mobile ne signifie pas seulement un échec de tâche, mais potentiellement un mouvement dangereux. En combinant un mécanisme de réduction du risque et une métrique standardisée pour le quantifier, ce travail s'attaque à l'écart entre démonstrations en laboratoire et robustesse en conditions réelles, un sujet que surveillent de près intégrateurs et responsables sécurité avant de valider des politiques d'apprentissage pour des applications critiques. Ce papier s'inscrit dans la lignée des diffusion policies, devenues une alternative populaire aux politiques d'imitation classiques en manipulation robotique, et dans le débat plus large sur la généralisation des modèles VLA à grande échelle. Il s'agit d'une contribution académique republiée en version révisée, sans association à un fabricant identifié dans l'article. Le code ouvert laisse la porte à une reprise par d'autres équipes de recherche, mais aucun calendrier de déploiement industriel n'est mentionné: à ce stade, un jalon méthodologique plutôt qu'une brique prête pour la production.

IA physiquePaper
1 source
Xiaomi rend open source son modèle fondation pour l'IA incarnée, Xiaomi-Robotics-1
25TechNode 

Xiaomi rend open source son modèle fondation pour l'IA incarnée, Xiaomi-Robotics-1

Xiaomi a annoncé le 5 août l'ouverture en open source de son modèle fondateur d'IA incarnée Xiaomi-Robotics-1, dévoilé en juillet comme solution « prête à l'emploi », en publiant le pipeline complet, du post-entraînement sur robot réel jusqu'au déploiement, avec le code des évaluations de référence. Le modèle a été pré-entraîné sur plus de 100 000 heures de données UMI puis post-entraîné sur plus de 10 000 heures de données cross-embodiment, collectées sur différentes plateformes robotiques. La publication comprend les liens vers le projet, le dépôt GitHub et la page Hugging Face. Cette ouverture s'inscrit dans la course aux modèles fondateurs pour la robotique, censés généraliser des compétences de manipulation sur plusieurs types de robots plutôt que nécessiter un modèle par plateforme, et elle abaisse la barrière d'entrée pour les laboratoires et intégrateurs qui veulent tester des politiques cross-embodiment sans constituer eux-mêmes des jeux de données à cette échelle. Ce choix de l'open source, plutôt qu'une simple démonstration produit, met à l'épreuve une promesse encore débattue dans le secteur : que les modèles génériques de manipulation passent réellement à l'échelle, au-delà des démonstrations sélectionnées. Le groupe chinois, connu pour son électronique grand public et ses véhicules électriques, avait déjà affiché ses ambitions robotiques avec l'humanoïde CyberOne dévoilé en 2022, et rejoint désormais la course aux modèles fondateurs, aux côtés d'autres laboratoires chinois et internationaux qui multiplient ce type d'annonces depuis un an. Il s'agit ici d'une brique logicielle mise à disposition de la communauté, sans calendrier de déploiement industriel précisé : la suite dépendra de l'adoption du modèle par des équipes tierces sur leurs propres robots, seul vrai test de sa capacité de généralisation au-delà des données d'entraînement de Xiaomi.

UELes laboratoires et intégrateurs européens peuvent librement tester ce modèle open source pour leurs propres robots, mais aucun déploiement ni partenariat français ou européen n'est mentionné.

IA physiqueActu
1 source
Structure-Aware Robust Fine-Tuning : défendre les robots vision-langage-action contre le détournement de l'attention physique
26arXiv cs.RO 

Structure-Aware Robust Fine-Tuning : défendre les robots vision-langage-action contre le détournement de l'attention physique

Des chercheurs publient sur arXiv (2608.03231v1) une attaque baptisée AGSD (Attention-Guided Semantic Disruption) : un patch adversarial imprimable, optimisé par Expectation-over-Transformation pour rester efficace sous différents angles et éclairages, qui détourne vers lui-même l'attention conditionnée par l'action des politiques Vision-Language-Action (VLA), au détriment des régions pertinentes pour la tâche. Sur le benchmark de manipulation LIBERO, ce patch fait grimper le taux d'échec du modèle OpenVLA à 100%. Face à cette menace, les auteurs proposent SARF (Structure-Aware Robust Fine-Tuning), une défense qui ne réentraîne que l'encodeur visuel via trois mécanismes (ancrage de features, correction de l'attention critique pour la politique, cohérence géométrique guidée par le langage), sans aucun surcoût en inférence. SARF ramène le taux d'échec sous attaque entre 14,2% et 56,8% selon les suites de tâches (28,6% en moyenne), tout en préservant les performances en conditions normales. Sur un bras manipulateur réel PiPER, le taux de succès sous attaque passe de 23,0% à 65,0% grâce à cette défense. Cette étude révèle une faille de sécurité physique largement absente des benchmarks habituels des modèles VLA, ces politiques génériques censées piloter bras industriels, AMR et humanoïdes à partir d'instructions en langage naturel. Qu'un simple autocollant imprimé fasse chuter le taux de réussite à zéro, et que l'attaque transfère entre tâches et architectures différentes, suggère une vulnérabilité structurelle plutôt qu'un défaut isolé d'OpenVLA. Pour les intégrateurs et décideurs B2B qui envisagent des déploiements sur ligne de production ou en environnement partagé avec des humains, l'évaluation de la robustesse adversariale physique devient aussi nécessaire que les tests classiques de précision ou de temps de cycle. L'absence de surcoût en inférence fait de SARF une piste de mitigation réaliste pour des systèmes déjà contraints en latence. OpenVLA, cible principale de l'étude, compte parmi les politiques vision-language-action open source les plus utilisées depuis 2024, aux côtés de modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure. LIBERO sert de référence standard pour évaluer la généralisation des politiques de manipulation en simulation, et ce travail prolonge une littérature déjà ancienne sur les patchs adversariaux physiques en vision par ordinateur, longtemps étudiés contre les systèmes de conduite autonome, désormais transposée aux politiques robotiques génériques. Les auteurs ne mentionnent aucun partenariat industriel ni calendrier de déploiement : il s'agit d'une contribution de recherche en sécurité, publiée en amont de toute adoption commerciale à grande échelle des VLA sur des lignes de production.

UEAucune entreprise ou institution française/européenne n'est citée, mais tout intégrateur européen envisageant un déploiement de politiques VLA en environnement industriel ou partagé avec des humains devrait intégrer ce type de test de robustesse adversariale physique.

IA physiqueActu
1 source
Multi-vue avec champs de caméra unifiés : représentations orientées action, façonnées par la géométrie, pour des politiques VLA multi-caméras en RGB seul
27arXiv cs.RO 

Multi-vue avec champs de caméra unifiés : représentations orientées action, façonnées par la géométrie, pour des politiques VLA multi-caméras en RGB seul

Le champ multi-caméras unifié, une piste pour réduire les échecs de préhension des robots VLA Une équipe de recherche propose MVUCF (Multi-View Unified Camera Fields), une méthode d'entraînement pour les modèles Vision-Language-Action (VLA) qui pilotent des bras et robots humanoïdes à partir d'images. L'idée : construire, uniquement pendant l'entraînement, un champ latent partagé entre plusieurs caméras et orienté vers l'action. Deux objectifs guident cet entraînement, l'un force le modèle à retrouver la profondeur métrique à partir d'une requête de coordonnées, l'autre aligne les représentations internes qui observent un même point physique depuis des caméras différentes. Une fois cette « injection géométrique » réalisée, les têtes auxiliaires de profondeur et de calibration sont supprimées : au déploiement, le robot ne traite plus que du RGB brut, sans capteur de profondeur ni coût de calcul additionnel. Testée sur le modèle GR00T-N1.6 de NVIDIA, la méthode atteint 98,9 % de réussite sur le benchmark LIBERO, gagne 22,4 points sur la version durcie LIBERO-Plus, et améliore de 23,3 points le taux de succès sur six tâches RoboTwin réparties en trois familles : toucher, déplacer-et-poser, et interaction de contact. Des essais sur humanoïde réel confirment l'effet en conditions RGB seules. L'intérêt pour l'industrie tient au problème que MVUCF cible directement : les VLA multi-caméras actuels se contentent le plus souvent de concaténer les tokens de chaque vue, ce qui laisse la représentation de l'action pauvre en profondeur métrique et incohérente d'une caméra à l'autre, un défaut critique pour les tâches riches en contact (saisie, insertion, manipulation sous occlusion) où le bras doit estimer une distance précise à l'objet. En forçant une géométrie cohérente pendant l'entraînement tout en gardant un déploiement purement RGB, l'approche évite le compromis habituel entre précision spatiale et coût matériel (caméras de profondeur, calibration multi-caméras embarquée). C'est un signal utile pour les intégrateurs qui cherchent à fiabiliser des politiques VLA sur des tâches de manipulation fine sans alourdir la pile de perception embarquée, et un argument dans le débat sur la maturité réelle des VLA au-delà des démonstrations en environnement contrôlé. Ce travail s'inscrit dans la vague de modèles VLA généralistes lancée par des familles comme GR00T (NVIDIA), Pi-0 (Physical Intelligence) ou Helix (Figure), où la généralisation en manipulation robotique progresse vite mais où la gestion fiable de plusieurs points de vue reste un point faible documenté. En s'appuyant spécifiquement sur GR00T-N1.6 comme base d'évaluation, les auteurs positionnent MVUCF comme un module d'entraînement générique, potentiellement transposable à d'autres architectures VLA, plutôt que comme un nouveau modèle concurrent. L'article, publié sur arXiv début août 2026, ne précise pas de calendrier de déploiement industriel ni de partenaire matériel ; les résultats sur humanoïde réel restent présentés comme une preuve de concept plutôt qu'un système prêt à être intégré en production.

IA physiqueOpinion
1 source
Passage sémantique ancré pour une généralisation robuste des instructions dans les modèles vision-langage-action
28arXiv cs.RO 

Passage sémantique ancré pour une généralisation robuste des instructions dans les modèles vision-langage-action

Des chercheurs ont publié le 2 août 2026 sur arXiv un article intitulé « Grounded Semantic Re-Binding for Robust Instruction Generalization in Vision-Language-Action Models », qui s'attaque à un défaut connu des modèles Vision-Language-Action (VLA) utilisés en manipulation robotique : leurs performances s'effondrent dès qu'une instruction canonique est simplement reformulée, même sans changement de sens. Les auteurs montrent que la cause n'est pas un manque de compréhension sémantique, que les modèles capturent correctement en interne, mais un problème architectural : l'encodage conjoint des observations visuelles dynamiques et du texte introduit des décalages de features qui perturbent la politique d'action en aval. Pour corriger ce goulot d'étranglement, l'équipe propose Grounded Semantic Re-binding (GSR), une méthode qui extrait séparément la sémantique de la tâche et les features visuelles natives avant de les fusionner, puis entraîne un expert d'action entièrement réinitialisé à partir de démonstrations canoniques uniquement, sans données de paraphrase supplémentaires. Sur le benchmark LIBERO-Para, GSR améliore le taux de réussite jusqu'à 44,6 points. La méthode permet aussi à des modèles légers d'égaler des baselines massivement mises à l'échelle, et pousse l'état de l'art à un score PRIDE record de 70,4, devançant le modèle Xiaomi-Robotics-0 récemment introduit. Les chercheurs présentent également ParaVLA, un modèle nativement découplé de seulement 0,33 milliard de paramètres, quasi insensible à la reformulation des instructions. Pour l'industrie robotique, ce résultat remet en cause un réflexe devenu standard : face à la fragilité des VLA aux reformulations, la réponse habituelle est d'empiler davantage de données d'entraînement, une approche coûteuse en calcul et en collecte de démonstrations. En identifiant la cause comme structurelle plutôt que statistique, GSR ouvre la voie à des modèles plus compacts et robustes sans scaling brut, un enjeu direct pour les intégrateurs qui déploient des VLA en environnement réel, où un opérateur ne formule jamais deux fois une consigne exactement de la même façon. Qu'un modèle de 0,33 milliard de paramètres rivalise avec des systèmes bien plus massifs interroge aussi l'hypothèse dominante selon laquelle la robustesse sémantique des VLA dépend mécaniquement de la taille du modèle ou du corpus d'entraînement. Les VLA, qui combinent perception visuelle, compréhension du langage et génération de commandes, sont devenus l'architecture de référence pour la manipulation robotique généraliste, portée notamment par des modèles comme Pi-0 ou GR00T N2. Leur fragilité face aux reformulations reste un point faible documenté, généralement traité par scaling de données plutôt que par correction architecturale. En se comparant explicitement à Xiaomi-Robotics-0, modèle pré-entraîné à grande échelle récemment mis en avant, les auteurs positionnent GSR comme une alternative frugale à la course au gigantisme. Le papier, disponible en preprint sur arXiv (2608.02497), reste pour l'instant une contribution de recherche évaluée en simulation ; sa validation sur des déploiements robotiques réels déterminera sa portée pratique au-delà du laboratoire.

IA physiqueActu
1 source
Cloud-Edge Collaboratif Latence-Tolérant : des Modèles Vision-Langage-Action à Spécialisation Représentationnelle Émergente
29arXiv cs.RO 

Cloud-Edge Collaboratif Latence-Tolérant : des Modèles Vision-Langage-Action à Spécialisation Représentationnelle Émergente

Des chercheurs publient le 1er août 2026 sur arXiv (2608.00569v1) CloudEdgeVLA, une architecture qui résout un conflit systémique dans le déploiement de modèles Vision-Language-Action (VLA) à plusieurs milliards de paramètres sur des robots mobiles : le raisonnement sémantique tourne mieux sur GPU cloud, mais le contrôle en boucle fermée doit répondre localement malgré la latence et la gigue réseau. Le système sépare les rôles : un VLA cloud encode les observations retardées en caractéristiques de tâche à variation lente, tandis qu'une tête légère côté edge combine la dernière caractéristique cloud disponible avec la vision locale en temps réel. L'entraînement associe des images actuelles et des images retardées aléatoirement à la même action cible, forçant la représentation cloud à préserver l'information de haut niveau pendant que le chemin edge fournit les corrections sensibles à l'état. Résultat mesuré sur les quatre suites du benchmark LIBERO : CloudEdgeVLA conserve entre 63,8 % et 78,0 % de taux de succès avec une fenêtre de délai uniforme de 40 pas, contre au maximum 6,4 % pour la référence VLASH et 3,0 % pour les approches à chemin unique testées. Pour l'industrie robotique, ce résultat s'attaque directement à l'écart entre démonstration et réalité qui limite le déploiement de VLA lourds : jusqu'ici, faire grossir un modèle cloud pour de meilleures performances sémantiques dégradait la réactivité du contrôle dès que le réseau introduisait du délai ou de la gigue. En traitant le désalignement temporel comme un problème d'apprentissage de représentation plutôt que par une synchronisation bloquante ou des règles de planification explicites, CloudEdgeVLA ouvre une voie où les modèles cloud peuvent continuer de croître pendant que le calcul embarqué reste léger, un enjeu direct pour les intégrateurs qui doivent équiper des flottes de robots avec du matériel de bord limité. Le travail s'inscrit dans la lignée des politiques hiérarchiques et asynchrones existantes, dont les auteurs notent qu'elles améliorent le débit mais laissent les représentations du chemin lent arriver périmées ou nécessitent des indices de délai explicites. La comparaison avec VLASH, cité comme référence, situe l'apport dans la continuité de la recherche récente sur le contrôle robotique distribué cloud-edge. L'article ne mentionne pas de partenaire industriel ni de calendrier de déploiement réel, ce qui en fait pour l'instant une contribution de recherche évaluée en simulation sur LIBERO, sans validation encore rapportée sur du matériel physique.

IA physiqueActu
1 source
SelfWAM : un modèle unifié d'action et du monde auto-fondé pour le contrôle rapide de robots
30arXiv cs.RO 

SelfWAM : un modèle unifié d'action et du monde auto-fondé pour le contrôle rapide de robots

Une nouvelle publication arXiv (2608.00725v1) présente SelfWAM, un modèle unifié de type "World Action Model" (WAM) conçu pour le contrôle rapide de robots manipulateurs. Contrairement aux WAM classiques qui prédisent les observations futures uniquement à partir du prompt de tâche et du contexte visuel, ce qui les pousse à capturer une progression générique de la tâche plutôt que les conséquences précises de l'action exécutée, SelfWAM s'appuie sur une architecture Mixture-of-Transformers (MoT) spécialisée par modalité. Elle prédit simultanément trois éléments: l'action à exécuter, les images RGB futures conditionnées par cette action, et des masques de silhouette du robot lui-même. Pendant l'entraînement conjoint, le modèle laisse la branche vidéo attendre une copie "propre" de l'action démontrée, ce qui transforme cette branche en modèle des conséquences spécifiques à chaque action, sans ralentir le chemin d'inférence rapide dédié uniquement à l'action. Les auteurs ajoutent des objectifs spécifiques au prompt pour la prédiction des masques du robot, une supervision qui retire les détails d'apparence et concentre l'apprentissage sur les changements visuels directement liés au mouvement du bras. Les tests sur le benchmark RoboTwin 2.0 et sur des tâches de manipulation en conditions réelles montrent des prédictions plus sensibles à l'action et une amélioration des performances de la politique de contrôle, sans dégrader la vitesse d'inférence. Pour le secteur, ce travail s'attaque à un problème connu des modèles vision-langage-action (VLA): la difficulté à faire coïncider prédiction visuelle et effet réel de l'action, un écart qui limite souvent le transfert entre simulation et monde réel. En couplant explicitement la prédiction future à une action "propre" et à la silhouette du robot, SelfWAM cherche à combler ce fossé sans sacrifier la latence, un compromis central pour tout déploiement industriel où le temps de cycle compte. Il s'agit ici d'une publication de recherche déposée sur arXiv, sans produit commercial ni déploiement annoncé: SelfWAM s'inscrit dans la lignée des World Action Models qui gagnent du terrain comme alternative aux politiques purement réactives, en misant sur une modélisation conjointe action-observation pour améliorer la généralisation des robots manipulateurs.

IA physiqueActu
1 source
FlowPilot : modélisation monde-action en temps réel pour la navigation agile de drones
31arXiv cs.RO 

FlowPilot : modélisation monde-action en temps réel pour la navigation agile de drones

Des chercheurs présentent FlowPilot, un modèle compact de navigation temps réel pour drones, fonctionnant entièrement à bord à partir d'un flux de profondeur. Contrairement aux pipelines classiques qui reconstruisent une carte locale avant d'optimiser une trajectoire, ou aux politiques bout-en-bout sans prédiction de scène, FlowPilot débruite conjointement les observations de profondeur futures et les trajectoires exécutables via du flow matching. L'architecture associe un mélange de transformeurs à double flux, où un expert vidéo et un expert action partagent l'attention pour s'informer mutuellement. Au déploiement, seul le flux d'action est actif : le système produit une trajectoire paramétrée en polynômes de Bernstein de degré 7, l'état courant fixant les points de contrôle initiaux et le réseau prédisant cinq points libres, garantissant une continuité C² avec vitesse, accélération et jerk en forme close. Le modèle est entraîné sur une pyramide de données à trois niveaux (simulation haut débit, simulation photoréaliste, données réelles embarquées). En simulation, il surpasse les méthodes d'apprentissage et d'optimisation concurrentes face à un encombrement croissant et des vitesses jusqu'à 8 m/s. Sur un quadricoptère physique, le pipeline perception-action complet tourne en moins de 18 ms sur un Jetson Orin NX, avec des vols jusqu'à 5,5 m/s en intérieur encombré et en forêt, sans assistance extérieure. Cette démonstration cible un point de friction connu de l'autonomie aérienne : l'écart entre performance en simulation et robustesse réelle en environnement encombré à haute vitesse. En fusionnant prédiction de scène et génération de trajectoire dans un seul modèle plutôt qu'en deux étages séparés, FlowPilot transpose à l'aérien une logique de "world-action model" jusqu'ici surtout explorée en manipulation robotique au sol. Le budget de calcul, 18 ms de bout en bout sur du matériel embarqué léger, intéresse directement les intégrateurs d'inspection industrielle ou de logistique par drone, où poids et consommation du calculateur restent contraignants. L'écart entre les 8 m/s simulés et les 5,5 m/s atteints en vol réel rappelle toutefois que la validation reste celle d'un seul papier académique, sans comparaison indépendante ni déploiement commercial. Ce travail s'inscrit dans la recherche sur la navigation de drones par apprentissage, où les approches oscillent entre cartographie-puis-optimisation et politiques bout-en-bout. Les modèles par flow matching, popularisés récemment en génération d'image et en robotique de manipulation à l'image des politiques VLA telles que Pi-0 ou GR00T N2, sont ici transposés à la navigation aérienne pour produire des trajectoires lisses et dynamiquement réalisables. Publié sur arXiv fin juillet 2026 en prépublication non relue par les pairs, l'article ne mentionne aucune affiliation industrielle ni calendrier commercial. Les suites attendues porteraient sur l'extension à des vitesses et environnements plus variés, et sur une comparaison indépendante face aux meilleures méthodes de navigation par optimisation déjà déployées sur drones commerciaux.

IA physiqueActu
1 source
Regarde où ça compte : affinement visuel adaptatif pour les modèles vision-langage-action
32arXiv cs.RO 

Regarde où ça compte : affinement visuel adaptatif pour les modèles vision-langage-action

Des chercheurs publient AtVLA (arXiv:2608.02197v1), une méthode qui améliore la précision spatiale des modèles vision-langage-action (VLA) utilisés en robotique de manipulation. Le constat de départ : les encodeurs visuels des VLA souffrent des mêmes artefacts d'attention déjà documentés dans les Vision Transformers génériques, où une partie de l'information spatiale utile (position des objets, profondeur, géométrie locale) se disperse dans des tokens de patch peu informatifs faute de capacité suffisante dans les tokens globaux. AtVLA insère des tokens de registre apprenables dans l'encodeur visuel, entraînés de bout en bout sur des données embarquées, qui absorbent cette information spatiale et libèrent une attention plus propre sur les tokens de patch restants. La méthode ajoute ensuite un raffinement local déclenché par incertitude : le modèle génère plusieurs séquences d'actions candidates, mesure leur désaccord, et seulement quand l'incertitude est élevée, identifie et recadre la zone pertinente pour la ré-encoder en haute résolution. Résultat mesuré sur trois bancs d'essai (LIBERO, SimplerEnv, et un benchmark réel monocaméra) : le taux de réussite sur LIBERO passe de 94,2 % à 98,4 %, et surtout en conditions réelles de 46,5 % à 69,0 %. Le recadrage n'est déclenché que sur environ 30 % des étapes, pour un surcoût de calcul limité à 1,4-1,6 fois le modèle de base. Le saut de performance en conditions réelles (+22,5 points) est le chiffre qui compte : il touche directement l'écart classique entre démonstrations en simulation et fiabilité sur le terrain, un problème central pour tout intégrateur qui veut déployer un VLA sur des tâches de préhension fine ou de contact précis. C'est une contribution de recherche, pas un produit ni un déploiement commercial : aucun robot ni entreprise n'est associé à cette publication. Le travail s'appuie sur la littérature existante sur les artefacts d'attention des Vision Transformers (les fameux "registres" identifiés par Meta AI en 2023) et l'applique pour la première fois au contexte des politiques d'action robotique, dans la lignée des architectures VLA type Pi-0, GR00T N2 ou OpenVLA. Aucune feuille de route de déploiement industriel n'est annoncée à ce stade.

IA physiqueActu
1 source
FreqNav : routage fréquentiel par étapes pour la navigation aérienne vision-langage orientée objets
33arXiv cs.RO 

FreqNav : routage fréquentiel par étapes pour la navigation aérienne vision-langage orientée objets

Un papier arXiv (2608.00970v1) présente FreqNav, un framework léger de navigation aérienne guidée par le langage pour des drones devant localiser et se poser précisément sur une cible décrite en langage naturel. Le problème identifié est que les méthodes VLN existantes traitent les tokens visuels de façon identique tout au long du vol, alors que les besoins perceptifs évoluent : exploration initiale centrée sur les basses fréquences (structure spatiale globale) puis, à l'approche, bascule vers les hautes fréquences (détails fins de la cible). FreqNav répond à ce constat via trois briques sous budget de calcul fixe : un Frequency Token Router qui réalloue dynamiquement les tokens visuels entre composantes fréquentielles selon la phase de vol, un Phase-dépendent Grounding Module qui ancre l'évidence visuelle par supervision explicite, et un Diffusion Transformer qui prédit des trajectoires continues pour le contrôle en boucle fermée. Les auteurs rapportent des performances supérieures aux méthodes de référence, avec une inférence environ 3 fois plus rapide, et des tests en conditions réelles pour valider l'approche au-delà de la simulation. L'intérêt principal ici est l'efficacité computationnelle plutôt que la performance brute : un gain de 3x en vitesse d'inférence à budget de calcul constant est significatif pour l'embarqué sur drone, où puissance de calcul et latence sont des contraintes dures pour le contrôle en temps réel. Cela s'inscrit dans une préoccupation centrale du secteur VLA (vision-language-action) : la plupart des modèles massifs fonctionnent bien en simulation ou sur serveur déporté mais restent difficiles à faire tourner en boucle fermée sur du matériel embarqué limité. Une architecture qui adapte dynamiquement l'allocation de ressources visuelles selon le contexte de la tâche, plutôt que de traiter tous les tokens uniformément, est une piste concrète pour réduire ce fossé entre démonstration et déploiement réel, en particulier pour les drones d'inspection industrielle ou de recherche-sauvetage où l'autonomie longue portée et la précision d'atterrissage comptent. Ce travail s'inscrit dans la lignée des recherches VLN (vision-and-language navigation) qui étendent aux drones les progrès obtenus en manipulation robotique avec les modèles VLA génériques. Il ne s'agit pas d'un produit commercial ni d'une annonce industrielle mais d'une contribution académique publiée sur arXiv, avec du code et des expériences reproductibles a priori plutôt qu'un déploiement à grande échelle. La mention de tests "real-world" dans l'abstract reste à interpréter avec prudence tant que les conditions exactes (nombre de vols, environnements, taux de réussite détaillé) ne sont pas précisées dans le corps du papier. Les prochaines étapes attendues pour ce type de recherche sont la publication du code, des comparaisons plus larges avec d'autres architectures de routing fréquentiel ou de VLA aérien, et une éventuelle reprise par des acteurs industriels du drone si les gains d'efficacité se confirment à plus grande échelle.

IA physiqueActu
1 source
HapticVLA : manipulation riche en contacts via un modèle vision-langage-action sans détection tactile à l'inférence
34arXiv cs.RO 

HapticVLA : manipulation riche en contacts via un modèle vision-langage-action sans détection tactile à l'inférence

HapticVLA, décrit dans un article arXiv (2603.15257v2, republié) sans affiliation académique précisée, propose une architecture vision-langage-action capable de manipulation en contact riche sans capteur tactile embarqué au moment de l'inférence. La méthode se déroule en deux étapes couplées. D'abord, un module baptisé SA-RWFM (Safety-Aware Reward-Weighted Flow Matching) entraîne un expert d'action par flow matching à partir de récompenses tactiles précalculées, qui pénalisent une force de préhension excessive et des trajectoires de saisie sous-optimales. Ensuite, la Distillation Tactile (TD) transfère cette capacité vers un VLA classique : un token tactile compact, issu du modèle SA-RWFM, sert de cible d'apprentissage à un VLA étudiant qui doit le prédire uniquement à partir de la vision et de l'état du robot. Résultat annoncé sur des expériences réelles : un taux de réussite moyen de 86,7 %, supérieur à celui de VLA de référence, y compris des versions disposant d'un vrai retour tactile pendant l'inférence. L'intérêt pratique tient au coût et à la reproductibilité. Les capteurs tactiles dédiés renchérissent le matériel et compliquent le transfert d'un comportement appris d'une plateforme robotique à une autre. Si l'approche tient sur d'autres tâches et d'autres bras, elle affaiblirait une hypothèse répandue dans le secteur, celle qu'un retour haptique direct est indispensable pour un contrôle fin de la force de préhension sur des objets fragiles ou déformables. Pour les intégrateurs industriels, cela ouvrirait la voie à des lignes de préhension contact-riche moins instrumentées, donc moins chères à déployer et à maintenir. Il s'agit toutefois d'un résultat de recherche publié sur arXiv, pas d'un produit commercialisé ni d'un déploiement industriel annoncé. Le papier s'inscrit dans la vague actuelle des modèles VLA généralistes pour la manipulation, aux côtés de GR00T N2 de NVIDIA, Pi-0 de Physical Intelligence ou Helix de Figure, qui cherchent tous à réduire la dépendance à des capteurs spécialisés tout en préservant une manipulation fine. Aucune date de disponibilité ni partenariat industriel n'est mentionné dans l'abstract, la validation reste donc circonscrite au cadre expérimental décrit.

IA physiqueActu
1 source
Robot mobile : téléopération corps entier pour un modèle VLA conscient du panorama
35arXiv cs.RO 

Robot mobile : téléopération corps entier pour un modèle VLA conscient du panorama

Une équipe de recherche présente PanoVLA, une politique vision-langage-action (VLA) conçue pour la manipulation mobile bimanuelle, accompagnée d'un système de téléopération corps entier piloté via une interface VR unique. Ce système permet de contrôler simultanément la base mobile à roues et les deux bras robotiques d'un robot bimanuel, et a servi à constituer un jeu de données réel de 5,5 heures de démonstrations multimodales. PanoVLA s'appuie sur une architecture Mixture-of-Transformers intégrant des modules dédiés d'encodage et de fusion panoramique, qui combinent les observations à 360 degrés avec les instructions en langage naturel et l'état du robot pour générer les actions. Sur quatre tâches réelles de manipulation mobile, le système atteint un taux moyen de complétion des étapes de 91,3 % et un taux de réussite de bout en bout de 73,4 %, des résultats nettement supérieurs à ceux des modèles de référence limités à une vue caméra locale, selon les auteurs (arXiv:2608.02257v1). Ce travail cible un verrou technique central de la robotique humanoïde et mobile: les politiques VLA actuelles reposent presque toujours sur des caméras embarquées à champ de vision restreint, ce qui limite la compréhension spatiale globale nécessaire pour naviguer et manipuler dans des environnements ouverts et multi-étapes. En démontrant qu'une observation panoramique améliore mesurablement la performance en boucle fermée, l'étude apporte un argument concret dans le débat sur le passage à l'échelle des VLA au-delà des démonstrations en laboratoire vers des tâches réalistes. Elle souligne aussi un goulot d'étranglement souvent sous-estimé: la collecte de données de téléopération corps entier de haute qualité, coûteuse et complexe à coordonner entre bras et base mobile, reste un facteur limitant autant que l'architecture du modèle lui-même. Le papier s'inscrit dans la lignée des travaux récents sur les politiques génératives pour la manipulation robotique, aux côtés d'approches comme Pi-0 ou GR00T N2, mais se distingue par son focus sur la manipulation mobile bimanuelle plutôt que sur des bras fixes ou humanoïdes bipèdes. Les auteurs ne précisent pas de calendrier de déploiement industriel; il s'agit à ce stade d'une contribution de recherche évaluée en conditions réelles mais limitées, sans partenaire industriel ni site de déploiement mentionné.

IA physiqueActu
1 source
DreamTrajectory : génération d'action guidée par trajectoire avec alignement sur un modèle du monde pour la manipulation mobile
36arXiv cs.RO 

DreamTrajectory : génération d'action guidée par trajectoire avec alignement sur un modèle du monde pour la manipulation mobile

Des chercheurs présentent DreamTrajectory, un nouveau framework de manipulation mobile guidée par le langage, décrit dans un article publié sur arXiv (référence 2608.01381v1). Le système s'attaque à deux limites des politiques Vision-Language-Action (VLA) actuelles : celles-ci associent directement les observations à des blocs d'actions pour l'ensemble du corps du robot, sans plan de mouvement explicite dans l'espace de la tâche, ce qui rend imprécise la coordination entre base mobile et bras ; de plus, elles exécutent ces blocs en boucle ouverte, sans vérifier si les actions réalisent effectivement le mouvement prévu, laissant s'accumuler erreurs de contrôle et contacts non modélisés. DreamTrajectory répond à ces deux limites avec deux composants : un expert d'action unique qui prédit conjointement une trajectoire de l'effecteur terminal au niveau de l'intention et un bloc d'actions pour tout le corps, et un modèle du monde léger dédié à la trajectoire, qui prédit la trajectoire qu'induirait un bloc d'actions candidat, couplé à une procédure de recherche-prédiction-notation exécutée au moment du test pour sélectionner le candidat le plus fidèle à la trajectoire planifiée. Sur le benchmark MS-HAB, le guidage par trajectoire fait grimper le taux de réussite moyen de 32,3% à 47,5%, et le raffinement au moment du test le porte à 54,8%, avec les gains les plus marqués sur les tâches à contact riche impliquant des objets articulés. Sur trois tâches de manipulation mobile en conditions réelles, les taux de réussite atteignent respectivement 63,3%, 81,7% et 90,0%. Ces résultats visent un point de friction concret pour les intégrateurs de robots mobiles à bras articulé : la manipulation mobile combine un espace d'action bien plus vaste que la manipulation à base fixe, et les politiques VLA actuelles peinent justement sur les tâches où le contact avec des objets articulés (portes, tiroirs, poignées) exige une coordination fine entre déplacement et geste. Un gain de plus de 15 points de réussite grâce au seul ajout d'un plan de trajectoire explicite, puis de 7 points supplémentaires via une vérification au moment de l'exécution, suggère que l'écart entre mouvement planifié et mouvement réalisé, souvent invoqué comme frein au passage du prototype au déploiement réel, peut être réduit sans réentraîner le modèle de base. Reste que ces chiffres proviennent d'un benchmark simulé et de trois tâches réelles seulement, un périmètre restreint qui appelle prudence avant d'en tirer des conclusions sur la généralisation à d'autres morphologies ou environnements. Le travail s'inscrit dans la lignée des architectures VLA récentes (Pi-0, GR00T N2, Helix) qui cherchent à combler l'écart entre perception, langage et action pour des robots généralistes, mais cible spécifiquement la manipulation mobile, moins mature que la manipulation à bras fixe sur table. L'approche par modèle du monde pour vérifier une action avant exécution rejoint une tendance plus large du secteur à ajouter une boucle de correction au moment du test plutôt que de tout miser sur l'apprentissage en amont. L'article ne précise pas de calendrier de déploiement industriel ni de partenariat commercial ; il s'agit à ce stade d'un résultat de recherche, dont la prochaine étape logique serait une validation sur davantage de plateformes robotiques et de tâches réelles.

IA physiqueOpinion
1 source
Gemini Robotics 2, selon Google DeepMind, permet un contrôle complet du corps
37Robotics Business Review 

Gemini Robotics 2, selon Google DeepMind, permet un contrôle complet du corps

DeepMind a dévoilé la semaine dernière Gemini Robotics 2, la nouvelle version de son modèle vision-langage-action (VLA), avec pour ajout principal le contrôle du corps entier des robots humanoïdes, là où la version précédente se limitait au haut du corps pour des tâches sur table. Sur le robot Apollo 2 d'Apptronik, le modèle traduit une instruction en langage naturel, comme « mettre l'arrosoir dans le bac vert de l'étagère du bas », en une séquence complète : le robot marche jusqu'à la table, saisit l'objet, se déplace vers l'étagère et le pose précisément à l'endroit demandé. Côté préhension fine, Gemini Robotics 2 pilote la main SharpaWave à cinq doigts et 22 degrés de liberté (DOF) montée sur Apollo 2, capable de nouer une corde ou de fermer un sachet zippé, ainsi que des pinces parallèles à deux doigts standard sur une plateforme Franka Duo pour des tâches d'emballage dense. DeepMind publie en parallèle deux modèles complémentaires : Gemini Robotics ER 2, un modèle de raisonnement incarné (VLM) qui sert de « cerveau » de haut niveau, communique avec les humains, observe l'environnement et coordonne des tâches multi-étapes de plusieurs minutes, y compris entre plusieurs robots ; et Gemini Robotics On-Device 2, une version optimisée pour tourner localement sur les robots et s'adapter à un nouveau corps robotique en quelques heures de données seulement, selon DeepMind. ER 2 est disponible sur Google AI Studio et en accès anticipé privé sur la plateforme Gemini Enterprise Agent, tandis que le VLA et la version on-device restent réservés à des partenaires triés sur le volet. Cette annonce marque une étape notable dans la course aux robots humanoïdes généralistes, dominée jusqu'ici par des démonstrations spectaculaires mais rarement suivies de déploiements réels. En unifiant navigation, manipulation bimanuelle et dextérité fine sous un seul modèle capable de s'adapter à différents corps robotiques (Apollo 2, Franka Duo) en quelques heures plutôt qu'en mois de réentraînement, DeepMind s'attaque directement à l'un des goulots d'étranglement du secteur : le fossé entre une démo réussie en labo et un système fiable en environnement réel. Le fait que Gemini Robotics ER 2 gère l'auto-correction en cas d'échec d'une étape et la généralisation à des situations nouvelles répond à une critique récurrente des VLA actuels, souvent fragiles dès qu'ils sortent de leur distribution d'entraînement. DeepMind reconnaît toutefois que la vitesse de mouvement reste un axe de progrès, une nuance qui tempère l'enthousiasme habituel des communiqués du secteur et rappelle que la robustesse à l'échelle industrielle n'est pas encore acquise. Le premier Gemini Robotics, lancé plus tôt dans l'année, avait déjà démontré la capacité du modèle multimodal de Google à piloter une action physique réelle, mais restait cantonné à des manipulations de table. Cette itération s'inscrit dans une compétition de plus en plus dense entre modèles VLA généralistes, face notamment à Figure avec Helix, Physical Intelligence avec Pi-0, ou NVIDIA avec GR00T N2, chacun cherchant à prouver qu'un seul modèle peut piloter des corps robotiques variés sans réentraînement spécifique par tâche. L'accès restreint aux early-access partners suggère que DeepMind privilégie pour l'instant une validation contrôlée avant une ouverture plus large, sans calendrier de déploiement commercial annoncé à ce stade.

IA physiqueOpinion
1 source
Gemini Robotics 2, le nouveau modèle de Google DeepMind
38IEEE Spectrum Robotics 

Gemini Robotics 2, le nouveau modèle de Google DeepMind

Le déploiement Google DeepMind vient de dévoiler Gemini Robotics 2, une couche d'intelligence destinée à piloter des robots plus adaptables, testée dès son annonce sur des démonstrations de premiers pas et de contrôle corporel complet. Le système ajoute une dextérité avancée et une capacité de collaboration entre plusieurs robots, mais sans chiffres précis de payload, DOF ou temps de cycle publiés à ce stade, il s'agit encore d'une démonstration technologique plutôt que d'un produit commercial daté. Cette édition de Video Friday, compilée par IEEE Spectrum, réunit aussi plusieurs autres publications de la semaine dans le secteur robotique : Agility Robotics a partagé une feuille de route, Unitree a montré de nouvelles capacités de ses robots, et Hello Robot a présenté Stretch 4.0, un robot à un bras et trois roues conçu pour naviguer dans un environnement domestique de façon sûre. Cette accumulation d'annonces reflète l'intensité de la course à l'humanoïde et aux robots polyvalents en 2026 : les grands laboratoires d'IA comme Google DeepMind cherchent à s'imposer comme fournisseurs de la couche cognitive générique pour une multitude de plateformes robotiques, plutôt que de se limiter à un seul matériel. Pour les intégrateurs et décideurs B2B, la multiplication de ces modèles de contrôle (à l'image de Pi-0 ou GR00T N2 chez d'autres acteurs) signale une bascule progressive vers des architectures VLA (vision-langage-action) mutualisées, capables en théorie d'équiper des robots aux morphologies variées. Reste que la démonstration de "premiers pas" par Gemini Robotics 2 est, comme souvent dans ce type d'annonces, une vitrine soigneusement sélectionnée : l'écart entre démonstration contrôlée et déploiement réel en usine ou à domicile demeure la question centrale que ces vidéos ne tranchent pas. Le reste de la sélection hebdomadaire illustre la diversité des approches actuelles : des chercheurs du General Robotics Lab ont développé une main robotique à 21 degrés de liberté capable d'exprimer des "ombres" dynamiques via une peau souple, tandis que Disney Research explore le transfert de mouvement d'humains vers des robots quadrupèdes. Le laboratoire RAD de l'USC travaille avec la NASA à l'entraînement de robots-chiens pour l'exploration planétaire, sur Mars et la Lune. IEEE Spectrum rappelle aussi les origines du secteur en évoquant WABOT-1, souvent considéré comme le premier robot humanoïde japonais, développé par le Takanishi Lab, marquant le chemin parcouru depuis jusqu'aux systèmes actuels comme celui de Sunday Robotics, montré ici pliant du linge à vitesse accélérée.

IA physiqueActu
1 source
Refonte de la trajectoire par apprentissage par renforcement : REFINE-DP affine le contrôle locomoteur-manipulateur des humanoïdes
39arXiv cs.RO 

Refonte de la trajectoire par apprentissage par renforcement : REFINE-DP affine le contrôle locomoteur-manipulateur des humanoïdes

Traduction et synthèse de l'article demandée : Des chercheurs présentent REFINE-DP, un framework qui combine une diffusion policy (DP) pour la planification de mouvement avec un contrôleur d'apprentissage par renforcement pour la loco-manipulation humanoïde. L'approche s'attaque à un problème connu : quand une DP est entraînée hors ligne par démonstrations puis déployée sur un robot, elle reste découplée du contrôleur de loco-manipulation, ce qui dégrade le suivi de commande et provoque un décalage de distribution qui s'accumule au fil des tâches. Plutôt que de multiplier les démonstrations, une stratégie prohibitivement coûteuse pour un système humanoïde à haute dimension, REFINE-DP affine simultanément le planificateur DP via un gradient de politique de diffusion basé sur PPO et le contrôleur RL, afin que ce dernier suive la distribution de commandes évolutive du planificateur. Testé sur des tâches de franchissement de porte et de transport d'objets sur de longs horizons, le système atteint plus de 90% de taux de réussite en simulation, y compris sur des cas hors distribution absents des données d'entraînement, et s'exécute en conditions réelles sans recourir à des informations d'état privilégiées. Le résultat cible un point de friction bien identifié dans la robotique humanoïde actuelle : les diffusion policies apprises par imitation fonctionnent bien en démonstration mais se dégradent vite en déploiement réel, les erreurs de suivi de commande s'accumulant tâche après tâche. En couplant explicitement planification et contrôle plutôt qu'en les entraînant séparément, REFINE-DP s'attaque directement à l'écart démo/réalité que beaucoup de laboratoires contournent en multipliant les données de démonstration, une stratégie vite hors de prix à l'échelle d'un corps humanoïde complet. Pour les intégrateurs et équipes R&D qui évaluent des piles VLA ou DP pour la loco-manipulation, ce travail suggère qu'un affinage par renforcement ciblé peut améliorer la fiabilité sans multiplier le volume de téléopération nécessaire, un argument économique important tant que la collecte de démonstrations humanoïdes reste rare et coûteuse. REFINE-DP s'inscrit dans une lignée de travaux cherchant à combiner apprentissage par imitation et apprentissage par renforcement pour la robotique humanoïde, un terrain déjà exploré par des approches vision-language-action comme Pi-0 ou GR00T N2, mais avec un accent particulier sur le couplage planificateur-contrôleur plutôt que sur l'échelle des données. Le papier, publié sur arXiv (identifiant 2603.13707, version de remplacement), reste à ce stade une validation en simulation et sur un seul robot humanoïde de laboratoire, sans nom de plateforme commerciale ni annonce de déploiement industriel. La suite logique pour ce type de travaux consiste généralement à étendre les tâches testées, valider sur plusieurs plateformes matérielles, et voir si des acteurs commerciaux du secteur, américains ou européens comme Wandercraft ou Enchanted Tools, intègrent ces techniques de fine-tuning par RL dans leurs propres piles de contrôle.

IA physiqueActu
1 source
Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace
40arXiv cs.RO 

Fluidifier la génération de mondes : Enfold intègre son calcul dans des représentations prédictives pour un contrôle incarné efficace

Des chercheurs présentent Enfold, une méthode qui transfère le calcul effectué par les modèles génératifs de "monde" (world models) dans une représentation prédite directement à partir de l'observation présente et de l'instruction en langage naturel, sans générer de vidéo future à chaque étape. Pendant l'entraînement, les états intermédiaires produits par le générateur lorsqu'il transforme une trajectoire future bruitée en séquence cohérente supervisent un encodeur qui ne voit que le présent. Cette représentation conditionne ensuite la génération future et alimente des têtes de contrôle spécifiques à la tâche, sans que les gradients de tâche ne modifient l'encodeur. Au déploiement, le système n'exécute plus du tout le générateur: seule la représentation prédite pilote l'action. Testée sur les benchmarks LIBERO et RoboTwin2.0 ainsi que sur des tâches robot réel, l'approche réduit la latence d'action d'un facteur 3,7 par rapport à la référence Fast-WAM, et la variante Enfold-Flash atteint un facteur 10,1. L'enjeu est concret pour la robotique: les modèles VLA (vision-language-action) adossés à des world models génératifs impressionnent en démonstration mais restent souvent trop lents pour un contrôle temps réel, car ils doivent générer explicitement une trajectoire future à chaque cycle de décision. En montrant qu'il est possible d'internaliser ce calcul dans une représentation compacte inférée depuis le seul présent, sans dégrader le contrôle, les auteurs s'attaquent à l'écart classique entre démonstration et déploiement réel qui freine l'adoption de ces architectures chez les intégrateurs. La représentation apprise filtre en outre les variations sans intérêt et privilégie les changements qui se déploient sur un horizon long, exactement ce dont un robot a besoin pour anticiper une tâche plutôt que réagir image par image. Signal encourageant: quand un humain modifie la scène en cours d'exécution, la continuation générée et les actions exécutées s'adaptent, ce qui exclut un simple rejeu de trajectoire figée. Enfold s'inscrit dans la lignée des travaux sur les world models appliqués au contrôle robotique, dont WAM sert ici de référence de comparaison, une famille d'approches popularisée par des systèmes comme Pi-0 ou GR00T N2 mais généralement pénalisée par le coût de calcul du générateur à l'inférence. En déplaçant ce coût vers l'entraînement et en ne conservant au déploiement qu'une représentation légère, les auteurs ouvrent une piste pour rapprocher ces architectures des cadences de contrôle réelles, préalable à tout déploiement industriel à grande échelle. Les résultats restent toutefois issus de simulation et d'un nombre limité de tâches réelles, une validation plus large sur cas d'usage industriels constituant la suite logique.

IA physiqueActu
1 source
TurboVLA : un modèle vision-langage-action en temps réel à 32 Hz sur RTX 4090 avec moins d'1 Go de VRAM
41arXiv cs.RO 

TurboVLA : un modèle vision-langage-action en temps réel à 32 Hz sur RTX 4090 avec moins d'1 Go de VRAM

Une équipe de recherche présente TurboVLA, un nouveau modèle vision-langage-action (VLA) capable de tourner à 32 Hz sur une carte grand public RTX 4090, avec moins d'1 Go de VRAM utilisée à l'inférence. Publié sur arXiv fin juillet 2026, le travail propose une architecture radicalement allégée : plutôt que de faire transiter les observations visuelles par un grand modèle de langage avant de les décoder en actions (le schéma classique V→L→A des VLA actuels), TurboVLA encode séparément l'image et l'instruction textuelle, les fait interagir via un mécanisme bidirectionnel léger, puis prédit directement des séquences d'actions continues avec un petit décodeur (V+L→A). Résultat chiffré sur le benchmark de manipulation LIBERO : 97,7% de taux de réussite moyen, avec seulement 0,2 milliard de paramètres, 31,2 ms de latence d'inférence et 0,9 Go de VRAM sur RTX 4090. Le code est disponible sur GitHub (H-EmbodVis/TurboVLA). L'intérêt pour l'industrie robotique tient moins à la performance brute qu'à l'efficacité : la plupart des VLA compétitifs (Pi-0, GR00T N2, Helix) s'appuient sur des LLM de plusieurs milliards de paramètres, coûteux à faire tourner en temps réel sur du matériel embarqué. En atteignant un score comparable ou supérieur avec un modèle cent fois plus petit et une inférence tenant sur une carte de jeu grand public, TurboVLA questionne l'hypothèse selon laquelle un grand modèle de langage est nécessaire pour connecter perception et action. Pour les intégrateurs et équipes robotique, cela ouvre la voie à des politiques VLA déployables sur du edge compute limité, sans datacenter dédié à l'inférence. Le papier s'inscrit dans la vague de recherche sur les modèles VLA compacts qui a suivi la démonstration de la faisabilité de l'apprentissage par imitation à grande échelle (RT-2, OpenVLA, puis Pi-0 et GR00T). À ce stade, TurboVLA reste un résultat de recherche validé uniquement en simulation sur LIBERO, sans démonstration publiée de déploiement sur robot physique ni partenariat industriel annoncé ; la prochaine étape naturelle serait une validation sim-to-real sur plateforme réelle.

IA physiqueActu
1 source
AgiBot WITA-Omni domine le classement mondial DailyOmni, devant Google Gemini, ByteDance Doubao et Alibaba Qwen en compréhension multimodale incarnée
42Pandaily 

AgiBot WITA-Omni domine le classement mondial DailyOmni, devant Google Gemini, ByteDance Doubao et Alibaba Qwen en compréhension multimodale incarnée

AgiBot a annoncé que son modèle multimodal maison WITA-Omni Preview a obtenu un score de 85,21 sur le classement DailyOmni, se plaçant devant Alibaba Qwen, Google Gemini, ByteDance Doubao et NVIDIA, avec la première place sur six des huit indicateurs évalués. Ce benchmark mesure la capacité à traiter simultanément des signaux audio et visuels en environnement réel : alignement audio-visuel (86,13), raisonnement temporel sur des événements (84,64), raisonnement croisé multimodal (85,06), ainsi que les meilleurs scores sur des tâches de compréhension vidéo de 30 et 60 secondes. Contrairement aux modèles multimodaux généralistes conçus pour l'interaction avec du contenu numérique, WITA-Omni est construit dès l'origine pour l'interaction incarnée, où un robot doit comprendre, répondre et agir dans un environnement physique en temps réel. Son architecture, baptisée Thinker-Talker-Actor, remplace le pipeline séquentiel classique (reconnaissance vocale, compréhension sémantique, génération de réponse, synthèse vocale, puis action) par trois modules exécutés en parallèle sur une même ligne temporelle : Thinker pour le raisonnement multimodal, Talker pour la génération de parole en flux continu, et Actor pour les gestes et expressions faciales. Le module Actor reçoit à la fois l'état sémantique de Thinker et les variables latentes audio de Talker, ce qui synchronise les mouvements du robot avec le rythme, les pauses, l'emphase et le ton émotionnel de la parole. Cette annonce mérite d'être lue avec prudence : il s'agit d'un score de benchmark communiqué par AgiBot lui-même, sans validation indépendante ni accès public au modèle à ce stade, et la comparaison porte sur des systèmes multimodaux généralistes (Gemini, Doubao, Qwen) plutôt que sur des concurrents directement spécialisés dans l'incarnation robotique. Cela dit, si les chiffres se confirment, l'enjeu dépasse le simple classement technique. La suppression de la latence cumulative du pipeline séquentiel classique et la synchronisation geste-parole-expression touchent directement un problème concret pour les intégrateurs : la crédibilité des interactions humain-robot dans des environnements non contrôlés, au-delà de l'usine. Pour les décideurs B2B du secteur, cela illustre une thèse qu'AgiBot pousse activement : les entreprises d'IA incarnée peuvent surpasser les modèles généralistes adaptés après coup en optimisant directement pour les contraintes du monde réel, plutôt qu'en pariant sur la seule taille ou qualité générale du modèle. Ce résultat s'inscrit dans une stratégie plus large chez AgiBot, qui avait déjà revendiqué la première place du classement WorldArena avec son modèle du monde Genie Envisioner-Sim 2.0. L'entreprise chinoise, l'un des acteurs majeurs de la course aux robots humanoïdes aux côtés de Figure, Unitree ou Fourier Intelligence, construit ainsi une pile en trois piliers : WITA-Omni pour l'interaction, un modèle du monde pour la compréhension physique, et le matériel robotique pour l'action. Sur ce terrain de l'interaction multimodale synchronisée, encore peu disputé frontalement par les géants généralistes chinois et américains, AgiBot cherche à se positionner comme référence avant que la compétition ne s'intensifie, à mesure que les robots humanoïdes quittent les usines pour des espaces sociaux non structurés où la coordination entre parole et geste devient un critère de différenciation aussi important que la dextérité physique elle-même.

IA physiqueOpinion
1 source
Ce robot muni d'une pince gonflée de café peut saisir des objets fragiles sans capteurs complexes
43Interesting Engineering 

Ce robot muni d'une pince gonflée de café peut saisir des objets fragiles sans capteurs complexes

Un préhenseur robotique fait d'un ballon de baudruche rempli de café moulu illustre une approche low-cost pour manipuler des objets de formes variées sans caméra ni capteur sophistiqué. Le principe, documenté depuis 2010 par des chercheurs de Cornell, de l'université de Chicago et d'iRobot, repose sur le jamming granulaire : la membrane souple, une fois pressée contre un objet, voit son air aspiré par une pompe à vide, ce qui fait passer le café moulu d'un état fluide et meuble à une masse rigide qui épouse la forme de l'objet. Cette contraction de volume, inférieure à 0,5 %, suffit à verrouiller le grain et à générer une prise ferme, maintenue tant que l'air ne revient pas dans le sac. Le dispositif a démontré sa capacité à soulever des charges plusieurs fois supérieures à son propre poids et à saisir des objets aussi disparates que des ciseaux, des ampoules, des œufs crus, des rouleaux de ruban adhésif, des blocs de bois, des ressorts, des bouchons d'oreille en mousse ou des amortisseurs, sans programmation spécifique à chaque forme. L'intérêt pour l'industrie tient à la simplicité du système : sans caméra ni capteur de force, les coûts et la complexité logicielle chutent fortement, tout en gardant une fiabilité correcte. Parce que la force de préhension se répartit sur une large surface de contact plutôt que sur des doigts rigides, les objets fragiles risquent moins d'être endommagés, un atout net face aux pinces mécaniques classiques. Des versions industrielles existent déjà sur des lignes de convoyage où les produits varient beaucoup en forme et en taille, un cas d'usage typique en logistique et en e-commerce où le préhenseur universel reste un problème ouvert. Cette approche ne prétend pas remplacer les pinces de précision pour la production de masse homogène, mais elle offre une alternative crédible pour la manutention de flux hétérogènes à moindre coût, un segment où le rapport prix-polyvalence prime sur la performance brute. Le concept de préhenseur à jamming granulaire remonte à des travaux académiques de 2010 associant Cornell, l'université de Chicago et iRobot, et continue depuis à susciter de l'intérêt pour sa robustesse. Le choix du café moulu n'est pas anodin : sa forme irrégulière et la variabilité de la taille de ses grains permettent un verrouillage plus efficace que des billes de verre, qui jament moins bien, ou que le sable, qui produit un effet comparable mais alourdit inutilement le système. Les limites demeurent sur les objets très lisses ou plats, plus difficiles à saisir par ce principe. Les chercheurs explorent désormais de nouveaux matériaux souples et des designs à sacs multiples, en vue de préhenseurs plus grands et plus capables pour des applications industrielles et de service futures.

IA physiquePaper
1 source
Tacta Systems dévoile une main robotique dotée d'IA pour la fabrication à haute valeur ajoutée
44Robotics & Automation News 

Tacta Systems dévoile une main robotique dotée d'IA pour la fabrication à haute valeur ajoutée

Tacta Systems, une entreprise de robotique jusqu'ici discrète, a dévoilé une plateforme conçue pour apporter aux robots industriels une dextérité et un sens du toucher proches de ceux de la main humaine. Son premier produit, TactaBot, associe une main robotique, un système portable de capture de gestes (wearable skill capture) destiné à enregistrer les mouvements d'opérateurs humains, et un moteur d'intelligence artificielle chargé de transformer ces données en compétences manipulables par le robot. L'entreprise vise trois secteurs prioritaires : l'électronique, les infrastructures liées à l'IA (data centers, serveurs) et l'automobile, des environnements où les tâches fines d'assemblage restent aujourd'hui difficiles à automatiser. Cette annonce s'inscrit dans une course plus large autour de la manipulation dextre, considérée comme le principal verrou technique des robots humanoïdes et des bras industriels avancés, bien plus que la locomotion. Si les mains robotiques capables de saisir des objets existent depuis longtemps, reproduire la finesse tactile nécessaire à des gestes de précision, comme le montage de composants électroniques, reste un défi non résolu à grande échelle. L'approche par capture de gestes humains plutôt que par simulation pure rejoint une tendance déjà explorée par d'autres acteurs du secteur pour accélérer l'apprentissage. Le communiqué de Tacta Systems reste pour l'instant peu détaillé sur les spécifications techniques (degrés de liberté, charge utile, temps de cycle) et sur un éventuel calendrier de déploiement chez des clients industriels. Il s'agit à ce stade d'une présentation de plateforme plutôt que d'un produit commercialisé ou déployé en usine, et la validation en conditions réelles reste à démontrer. Note : l'extrait source fourni est tronqué et ne contient pas de chiffres précis (financement, DOF, dates de lancement), je n'en ai donc inventé aucun. Si tu as le lien complet ou plus de texte, je peux affiner le résumé.

IA physiqueActu
1 source
HiFi-UMI : des politiques de manipulation déployables apprises uniquement à partir de données UMI haute fidélité
45arXiv cs.RO 

HiFi-UMI : des politiques de manipulation déployables apprises uniquement à partir de données UMI haute fidélité

Une équipe de recherche a présenté HiFi-UMI, un système portable de capture de démonstrations manipulatoires sans robot, conçu pour atteindre une précision de 3 mm au niveau du poignet dans l'espace de travail local, sans infrastructure de suivi externe. Le dispositif, monté sur la tête de l'opérateur, combine du SLAM stéréo-inertiel hors ligne, un calcul natif (et non reconstruit) de la pose relative entre les deux pinces, un déclencheur GPIO partagé à la microseconde et deux caméras grand angle par main couvrant environ 200 degrés. À partir de ce corpus, les chercheurs démontrent un post-entraînement "zéro robot réel" : une politique entraînée uniquement sur des données HiFi-UMI, déployée directement sur un robot physique, égale les performances d'une téléopération réelle sur trois architectures différentes, StarVLA-QwenPI, OpenPI-pi_0.5 et LingBot-VA, avec des écarts de taux de réussite de -2,5, +3,1 et -0,6 point de pourcentage. La politique la plus performante atteint 85 % sur une tâche d'insertion de précision. Un pré-entraînement sur 4 000 heures issues du même corpus réduit de 41 % l'erreur d'action sur dix tâches inédites et ajoute 18,1 points de réussite supplémentaires pour StarVLA-QwenPI. Les auteurs publient HiFi-UMI-2K, 2 000 heures de démonstrations synchronisées à la microseconde et validées par rejeu en simulation. Ce résultat s'attaque directement à un goulot d'étranglement central de l'apprentissage par imitation en robotique : la téléopération réelle est précise mais coûteuse à faire passer à l'échelle, tandis que la capture "sans robot" de type UMI scale facilement mais servait jusqu'ici surtout au pré-entraînement, avec un ancrage réel systématique en aval. Si la fidélité des données de capture suffit vraiment à supprimer cet ancrage, cela change la logique de coûts pour tout intégrateur ou laboratoire cherchant à entraîner des politiques VLA sans multiplier les heures de téléopération sur robot physique, un poste de dépense important dans la course humanoïde et manipulatoire actuelle. Il faut toutefois noter que les gains varient selon l'architecture (un des trois modèles recule légèrement) et que le chiffre de 85 % porte sur une seule tâche de précision, ce qui appelle à la prudence avant de généraliser. Le principe UMI (Universal Manipulation Interface), popularisé ces dernières années comme alternative légère à la téléopération robotique classique, souffrait jusqu'ici d'un déficit de fidélité géométrique justifiant son cantonnement au pré-entraînement. HiFi-UMI s'inscrit dans la lignée des travaux sur les modèles vision-langage-action (VLA) et sur les modèles monde-action, dans un paysage où Physical Intelligence (Pi-0), NVIDIA (GR00T N2) ou Figure (Helix) investissent aussi sur la généralisation de politiques manipulatoires. La publication ouverte du jeu de données HiFi-UMI-2K devrait permettre à la communauté de vérifier indépendamment ces résultats et d'étendre l'approche à d'autres tâches et robots.

UELa publication ouverte du jeu de données HiFi-UMI-2K peut indirectement bénéficier aux laboratoires de recherche européens en robotique, mais aucun acteur français ou européen n'est implique dans ces travaux.

IA physiqueActu
1 source
CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal
46arXiv cs.RO 

CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal

Des chercheurs présentent CycleVLA, un système qui dote les modèles Vision-Language-Action (VLA) d'une capacité d'autocorrection proactive, c'est à dire anticiper un échec avant qu'il ne se produise plutôt que le corriger après coup comme le font les approches existantes. L'architecture combine trois briques : un VLA conscient de sa progression qui repère les points de transition critiques entre sous-tâches, là où les échecs surviennent le plus souvent, un prédicteur d'échec basé sur un VLM qui déclenche un retour en arrière ciblé (subtask backtracking) dès qu'un risque est détecté, et une stratégie de test-time scaling fondée sur le décodage à risque bayésien minimal (Minimum Bayes Risk, MBR) pour améliorer les chances de réussite lors des tentatives suivantes. Sur les bancs d'essai en simulation LIBERO et LIBERO-Plus, CycleVLA dépasse le modèle de référence pi-0.5 et améliore les taux de réussite sur des politiques VLA de maturité variable, des modèles sous-entraînés aux versions pleinement convergées. Sur robot réel, le système atteint un taux de réussite moyen de 91% sur trois tâches de manipulation, dont une exigeant une grande précision et deux à horizon long. Des tests de robustesse avec perturbations injectées manuellement, comme l'échange d'un objet distracteur à l'emplacement attendu pendant que la vraie cible est déplacée en cours d'exécution, montrent que CycleVLA corrige environ 80% des échecs provoqués artificiellement. Ce travail s'attaque à un point faible connu des VLA en conditions réelles : la plupart des systèmes actuels ne réagissent qu'après l'échec constaté, ce qui coûte du temps et de la fiabilité en environnement industriel ou domestique. Démontrer une correction proactive, avant la manifestation complète de l'erreur, constitue un argument concret pour rapprocher les démonstrations en simulation des déploiements réels, un écart qui reste l'un des principaux freins à l'adoption des VLA par les intégrateurs robotiques. CycleVLA s'inscrit dans la lignée des travaux récents sur la détection et la correction d'échecs pour les modèles de type VLA, aux côtés de références comme GR00T N2 ou Helix, et se positionne explicitement contre pi-0.5 dans ses comparaisons de performance. Les auteurs présentent leur travail comme une réplique (replace) sur arXiv, signe d'une itération après une première version, et mettent à disposition une page projet dédiée avec démonstrations vidéo pour documenter les résultats sur robot réel.

IA physiqueActu
1 source
πR²: politiques de flux réactives en temps réel
47arXiv cs.RO 

πR²: politiques de flux réactives en temps réel

Des chercheurs présentent πR² (Reactive Real-time Flow Policies), une méthode qui rend les politiques de manipulation robotique par flow matching capables de réagir en temps réel aux données sensorielles, sans sacrifier la taille des modèles ni la prédiction multi-actions. Le problème identifié : les politiques actuelles à base d'"action chunking" (comme GR00T ou Pi-0) génèrent des séquences d'actions en boucle ouverte via de multiples étapes de débruitage sur de gros backbones, ce qui les rend trop lentes pour replanifier fréquemment ; les actions engagées deviennent obsolètes avant d'être exécutées. πR² s'appuie sur le "diffusion forcing" à échéancier de bruit par position et introduit deux mécanismes : un canal rapide de proprioception rafraîchi à chaque tick, découplé d'un canal lent de features vision-langage mis à jour de façon asynchrone, et un échéancier de flow adaptatif à la latence qui traite les actions en cours comme contrainte d'inpainting et n'émet qu'une seule étape de débruitage par appel. Appliqué par fine-tuning à GR00T-N1.7 sur une plateforme réelle xArm6 avec main XHand, πR² replanifie environ 4 fois plus vite que la politique de base, à environ 25Hz sur un GPU A5000, avec une observation fraîche prise en compte toutes les 40 millisecondes. Les auteurs rapportent des gains de taux de réussite allant jusqu'à 23% en simulation et 30% en conditions réelles face à la meilleure référence testée. Pour l'industrie de la manipulation robotique, ce travail s'attaque à un angle mort connu des politiques VLA (vision-language-action) génératives : la démonstration en environnement contrôlé masque souvent une latence de contrôle incompatible avec des tâches dynamiques (objets en mouvement, contacts imprévus, correction de trajectoire). En dissociant la fréquence de mise à jour proprioceptive de celle, plus coûteuse, de la perception visuo-langagière, πR² propose une piste concrète pour combler l'écart entre boucle ouverte et contrôle réactif sans reconstruire les backbones existants ni renoncer à leur expressivité. C'est un signal utile pour les intégrateurs qui évaluent des plateformes comme GR00T pour des applications nécessitant du contact fin ou de la réactivité, un terrain où les chunks figés posent problème. Le travail s'inscrit dans la lignée du diffusion forcing, une technique de génération séquentielle par bruitage différencié selon la position, ici adaptée au contrôle robotique. Il se positionne face aux grandes familles de politiques VLA actuelles telles que GR00T N1.7 de NVIDIA (utilisé comme base pour les expériences), Pi-0 de Physical Intelligence ou Helix de Figure, toutes construites sur le même compromis entre taille de backbone et latence. Les auteurs présentent πR² comme une modification légère, applicable par fine-tuning à une politique déjà entraînée plutôt que par un réentraînement complet, ce qui en facilite l'adoption potentielle. Le papier, publié en préprint sur arXiv, reste à ce stade une contribution de recherche testée en laboratoire sur un bras xArm6 et une main XHand, sans indication de déploiement industriel ni de partenaire commercial annoncé.

IA physiqueActu
1 source
MIT dévoile un modèle qui réduit les délais de réaction de 30 fois pour des mouvements robotiques plus rapides
48Interesting Engineering 

MIT dévoile un modèle qui réduit les délais de réaction de 30 fois pour des mouvements robotiques plus rapides

Des chercheurs du MIT ont développé une nouvelle méthode baptisée VLASH, qui permet aux robots pilotés par des modèles vision-langage-action (VLA) de planifier leur prochaine séquence de mouvements pendant qu'ils exécutent encore la précédente, en anticipant leur position future plutôt qu'en attendant la fin du geste en cours pour ré-observer l'environnement. Cette seule modification réduit le délai de réaction de plus de 30 fois en supprimant la pause habituelle entre deux blocs d'actions. Une technique complémentaire, la quantification d'action, regroupe des mouvements suivant une même trajectoire en blocs plus larges ; elle réduit légèrement la précision mais accélère l'exécution des tâches de deux à trois fois. L'équipe a aussi conçu une méthode d'augmentation des données d'entraînement qui réorganise les données existantes pour diviser par cinq le temps d'entraînement, sans surcoût de calcul. En simulation, VLASH produit systématiquement des mouvements plus rapides sans perte de précision de manœuvre. Sur robots physiques, les gains se confirment sur des tâches de prise-dépose, d'empilement et de tri : dans une démonstration, un robot triant des cubes colorés a été deux fois plus rapide que les systèmes de référence, avec 90% de précision, un score équivalent à la meilleure méthode conventionnelle testée. Le système gère aussi des activités très dynamiques comme le tennis de table ou le Whack-a-Mole. Cette avancée cible un goulot d'étranglement connu du déploiement des VLA, de plus en plus utilisés comme "cerveau" des robots pour interpréter leur environnement et générer des actions physiques : le coût de calcul de l'inférence introduit des délais qui rendent les robots lents et saccadés face aux changements de leur environnement, un frein concret pour les intégrateurs visant des environnements dynamiques. Doubler la vitesse d'exécution sans matériel supplémentaire ni entraînement plus long change la donne économique. C'est un signal utile pour la course actuelle aux VLA généralistes (Pi-0, GR00T N2, Helix, ou les modèles embarqués dans des humanoïdes comme Figure 03 ou Optimus) : la latence d'inférence reste un frein réel à la fluidité mise en avant dans les vidéos de démonstration, et des optimisations logicielles comme celle-ci pourraient compter autant que la taille des modèles. Les chercheurs évoquent aussi des applications en recherche et sauvetage, où la réactivité aux changements est critique. Le travail s'inscrit dans les recherches du MIT sur l'intégration des VLA en robotique physique, un domaine où les grands laboratoires (Physical Intelligence, NVIDIA, Figure AI, Tesla) misent surtout sur des modèles plus lourds pour gérer perception et planification. VLASH prend l'angle inverse : restructurer le cycle observation-planification-exécution plutôt que changer le modèle. Aucun acteur français ou européen n'est cité dans ces travaux, qui restent à ce stade un résultat académique validé en simulation et sur quelques démonstrations en laboratoire, sans partenariat industriel ni calendrier commercial annoncés. La prochaine étape pour l'équipe consiste à combiner VLASH avec des modèles de monde génératifs capables de prédire l'évolution de l'environnement, et non plus seulement l'état futur du robot.

IA physiqueActu
1 source
Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique
49arXiv cs.RO 

Robotique par imitation autorégressive : un VLM incarné unifié pour l'action robotique

Des chercheurs présentent GenieReasoner, un modèle Vision-Langage-Action (VLA) conçu pour combler l'écart entre raisonnement sémantique et précision d'exécution motrice chez les robots généralistes. L'équipe introduit d'abord ERIQ (Embodied Reasoning Intelligence Quotient), un benchmark de plus de 6 000 paires question-réponse couvrant quatre dimensions du raisonnement incarné, qui permet d'évaluer séparément la capacité de raisonnement d'un modèle et sa capacité à agir. Cette évaluation découplée révèle une corrélation forte entre le score de raisonnement d'un modèle et sa capacité de généralisation en tâche réelle. Pour traduire ce raisonnement en gestes précis, les auteurs développent FACT, un tokenizer d'actions basé sur le flow matching, qui convertit des trajectoires de contrôle continues en séquences discrètes tout en préservant une reconstruction fidèle du mouvement. GenieReasoner, le modèle final, optimise conjointement raisonnement et action dans un espace unifié et surpasse, selon les auteurs, les approches à action continue comme les approches à action discrète existantes sur des tâches de manipulation en conditions réelles. L'enjeu dépasse la simple performance sur un jeu de tests: c'est le compromis raisonnement-précision, souvent cité comme le principal frein à la généralisation des VLA hors laboratoire, que ce travail cherche à quantifier puis à résoudre. Pour les intégrateurs et équipes R&D en robotique, disposer d'un benchmark comme ERIQ offre un outil de diagnostic pour repérer si un modèle échoue par manque de compréhension sémantique de la scène ou par imprécision motrice, deux problèmes qui appellent des solutions très différentes. Les résultats annoncés restent toutefois issus des auteurs eux-mêmes, sans validation tierce indépendante à ce stade. Ce travail s'inscrit dans la lignée des modèles VLA à grande échelle type Pi-0 ou GR00T N2, qui cherchent tous à unifier compréhension du langage, de la vision et génération d'actions robotiques dans une seule architecture. La tokenisation discrète des actions, plutôt que leur régression continue, est une piste explorée par plusieurs laboratoires pour rapprocher l'entraînement des VLA de celui des grands modèles de langage. Le code et les détails du projet sont disponibles sur la page dédiée des auteurs; les prochaines étapes attendues portent sur l'extension du benchmark ERIQ et des tests sur une plus grande diversité de plateformes robotiques.

IA physiqueActu
1 source
VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs
50arXiv cs.RO 

VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs

Des chercheurs du MIT Han Lab publient VLASH, une méthode d'inférence asynchrone pour les modèles Vision-Language-Action (VLA) qui vise à résoudre le problème de latence de réaction sur les robots. Aujourd'hui, la plupart des VLA fonctionnent en mode synchrone : le robot suspend son action pendant que le modèle calcule la suivante, ce qui crée des à-coups visibles et l'empêche de réagir aux changements de son environnement pendant l'exécution. L'inférence asynchrone permettait déjà d'agir et de calculer en parallèle, mais générait un décalage temporel entre l'état prédit et l'état réel au moment de l'exécution, provoquant de l'instabilité. VLASH corrige ce décalage en projetant l'état futur du robot à partir du chunk d'action précédent, sans changement d'architecture ni surcoût de calcul. Les auteurs annoncent une réduction de la latence de réaction jusqu'à 11,8 fois par rapport à l'inférence synchrone, une précision supérieure à toutes les méthodes asynchrones existantes, et, combinée à une quantification des actions, une accélération de 1,5 à 2 fois du temps de complétion des tâches avec une perte de précision minime. Le code est disponible sur GitHub (mit-han-lab/vlash). Pour l'industrie robotique, cette avancée s'attaque directement à un goulot d'étranglement connu des VLA à l'échelle : leur difficulté à gérer des tâches rapides et dynamiques, un point faible régulièrement cité face aux approches de contrôle classiques. En améliorant un modèle existant comme π0.5 sans le réentraîner ni alourdir son architecture, VLASH illustre une voie d'optimisation logicielle low-cost pour rendre les VLA déployables sur des cas d'usage à haute cadence, un enjeu clé pour les intégrateurs qui cherchent à sortir ces modèles du seul cadre de la démonstration en laboratoire. Les auteurs démontrent concrètement ce gain sur des tâches exigeant une réaction fine et rapide, comme jouer au ping-pong ou au jeu de la taupe, des scénarios où l'inférence synchrone échoue purement et simplement. Ce travail s'inscrit dans une course plus large autour des VLA temps réel, aux côtés de modèles comme GR00T N2, Pi-0 ou Helix, où la latence de contrôle devient un critère de différenciation aussi important que la précision des gestes.

IA physiqueActu
1 source