Aller au contenu principal

Dossier Physical Intelligence — π0

1954 articles

Physical Intelligence et la famille π0 : modèles fondation cross-embodiment, transfert de compétences entre robots, levées Lux Capital et OpenAI Startup Fund.

1Robotics & Automation News IndustrielActu

Teradyne Robotics et Sereact s'associent pour développer des solutions d'IA physique pour le commerce de détail et la logistique

Teradyne Robotics et Sereact ont annoncé un partenariat associant la plateforme d'IA physique de Sereact aux robots collaboratifs (cobots) de Universal Robots, filiale de Teradyne. Les applications visées sont le commerce de détail, la logistique et la manufacture, plus précisément des opérations réelles jusqu'ici difficiles à automatiser. Le communiqué ne donne ni payload, ni temps de cycle, ni nombre de sites, ni calendrier, ni prix. Il s'agit donc d'une annonce de partenariat commercial, sans déploiement client chiffré ni produit conjoint livré à ce stade. Pour les intégrateurs et les responsables d'exploitation, l'intérêt tient à la répartition des rôles. Le matériel cobot est déjà éprouvé et largement installé, tandis que la couche logicielle d'IA, qui gère la perception et la préhension d'objets variés et non structurés, reste le point de blocage des applications de picking et de manipulation hors cadre. Si l'intégration fonctionne, elle abaisserait le coût de programmation et d'adaptation pour des références changeantes. Seuls des chiffres de taux de prise réussie, de cadence et de disponibilité sur site client permettront de trancher entre promesse et réalité industrielle. Sereact est une start-up allemande basée à Stuttgart, spécialisée dans les modèles d'IA pour la manipulation robotique, ce qui donne une visibilité européenne à ce rapprochement avec Universal Robots, d'origine danoise. Teradyne Robotics regroupe Universal Robots et les robots mobiles autonomes MiR. Le groupe cherche à enrichir son offre logicielle face à des concurrents qui misent sur des modèles de fondation pour la manipulation, comme Physical Intelligence ou Covariant. Les pilotes et jalons commerciaux restent à annoncer.

UEPartenariat associant la start-up allemande Sereact et Universal Robots (Danemark), renforçant l'offre européenne de cobots dotés d'IA physique pour la logistique et la manufacture.

1 source
2arXiv cs.RO 

TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche

TOPS (Task-Oriented Priors and Schedules), publié sur arXiv par une équipe de recherche, propose d'adapter deux composantes des politiques robotiques à base de flow matching sans toucher à l'architecture du réseau: la distribution source du bruit et le calendrier d'interpolation vers les actions expertes. Les politiques actuelles de manipulation multi-tâches conditionnées par le langage partagent en général un prior gaussien unique et un chemin de transport linéaire commun à toutes les tâches. TOPS construit à la place des sources multimodales propres à chaque tâche, issues de séquences d'actions expertes « inversées », ce qui permet à l'instruction en langage naturel de choisir le point de départ de la génération. Guidé par l'écart de covariance entre source et cible, le calendrier ralentit la transition vers les actions expertes au début du débruitage, puis l'accélère plus tard dans les directions qui demandent une expansion. Sous un modèle d'extrémité gaussien, les auteurs montrent que cet ajustement abaisse une borne supérieure du risque de prédiction de vitesse. Sur LIBERO-10, avec une seule étape d'intégration, le taux de succès passe de 53,44 % à 69,67 % face au Flow Matching standard à dix étapes, pour un temps d'inférence réduit à environ un sixième. En conditions réelles, l'ouverture du tiroir supérieur passe de 20 % à 80 % de réussite. Pour les équipes qui déploient des politiques VLA (vision-langage-action), l'intérêt est double: la méthode améliore la fiabilité et divise le coût d'inférence, deux contraintes centrales pour des robots qui doivent tourner en temps réel sur du matériel embarqué. Elle suggère aussi qu'une part des échecs des politiques généralistes vient moins de la capacité du réseau que du choix du point de départ et de la trajectoire de génération, un levier peu coûteux puisqu'il ne demande aucun changement d'architecture. Les gains ont été mesurés sur LIBERO, LIBERO-Plus (perturbations) et CALVIN (changement d'environnement), avec une meilleure efficacité en données, et ils se transfèrent à la politique à grande échelle π0.5 dans les quatre configurations testées. Il faut toutefois rester prudent: ce sont des benchmarks de simulation, le comparatif avec un FM à dix étapes met en regard des budgets de calcul différents, et le test réel, impressionnant en relatif (20 % à 80 %), porte sur une tâche isolée dont le nombre d'essais n'est pas précisé dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée en puissance des politiques génératives à base de flow matching, popularisées par la famille π0 de Physical Intelligence, qui ont remplacé en partie la diffusion pour la commande d'actions. Les benchmarks LIBERO et CALVIN sont devenus des références pour comparer les politiques multi-tâches, au prix d'une saturation progressive qui pousse vers des variantes plus exigeantes comme LIBERO-Plus. TOPS rejoint un courant qui cherche à améliorer ces politiques par des priors et des schedules mieux adaptés plutôt que par davantage de paramètres ou de données. La suite logique serait une validation sur davantage de tâches réelles, des plateformes variées et des modèles plus récents, ainsi qu'une évaluation de la robustesse quand la tâche demandée sort de la distribution d'entraînement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
3arXiv cs.RO 

Transfert d'incarnation mimétique de l'interaction humain-humanoïde à partir de vidéos en conditions réelles

Des chercheurs présentent HumiTransfer, un cadre logiciel qui convertit des vidéos « sauvages » d'interactions entre deux humains (câlins, danse, poignées de main) en interactions physiquement plausibles entre un humain et un robot humanoïde. Le pipeline reconstruit d'abord le mouvement 3D humain en imposant une cohérence des contacts pied-sol. Il transfère ensuite l'un des deux participants vers le robot cible grâce à une modélisation de l'interaction, qui pondère les directions relatives entre articulations et les décalages anatomiques afin de préserver les relations inter-corps essentielles. Une optimisation post-retargeting impose enfin équilibre, contact et évitement des collisions. Appliqué à 1 200 vidéos, ce processus a produit environ 500 000 frames d'interactions, réunies dans le jeu de données HumiMimic, pour deux plateformes: l'Unitree R1 Edu (26 DOF) et le HighTorque Mini-hi (23 DOF). Les auteurs affirment une meilleure fidélité de mouvement, une meilleure préservation des relations entre corps et une plus grande précision des contacts que les méthodes de référence. Ils montrent aussi que HumiMimic permet d'entraîner des modèles de génération de mouvements où le robot réagit à un partenaire humain, et valident l'exécutabilité physique sur des robots réels. L'enjeu dépasse le simple retargeting. La plupart des travaux sur les humanoïdes visent la locomotion ou la manipulation en solo, tandis que l'interaction physique rapprochée avec une personne reste un domaine où les données manquent. La télé-opération est coûteuse à grande échelle et la simulation reproduit mal le contact avec un humain. Exploiter des vidéos existantes comme source de démonstrations réduit nettement ce goulot d'étranglement. Le fait que la méthode s'applique à deux morphologies distinctes est un signal utile pour les intégrateurs: une même base de données peut alimenter plusieurs plateformes. Il faut toutefois rester prudent. Il s'agit d'un preprint (arXiv) dont les comparaisons sont réalisées par les auteurs, et la taille du jeu de données (environ 500 000 frames, soit quelques heures de mouvement) reste modeste face aux corpus utilisés pour les modèles vision-langage-action. Les résultats sur robots réels attestent la faisabilité du mouvement, pas une interaction robuste et sûre autour d'une personne, ni des performances en conditions industrielles ou de service. Ce travail s'inscrit dans la lignée des méthodes de retargeting et d'imitation de mouvements humains pour humanoïdes, qui ont gagné en maturité avec la baisse du prix de plateformes comme celles d'Unitree ou de HighTorque, devenues des standards académiques. Il complète les modèles de fondation pour humanoïdes développés par des acteurs comme NVIDIA (GR00T), Figure (Helix) ou Physical Intelligence (Pi-0), qui se concentrent surtout sur la manipulation. L'étape suivante logique est de mesurer la réactivité en boucle fermée à un partenaire réel, avec des garanties de sécurité, avant d'envisager des usages d'accompagnement, de santé ou de divertissement. Aucun calendrier de déploiement commercial n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
4arXiv cs.RO 

BiDex-100 : un banc d'essai complet pour la manipulation dextre bimanuelle sur plus de 100 tâches en simulation

BiDex-100, un nouveau banc d'essai en simulation publié sur arXiv par l'équipe Robbyant Research, cible la manipulation bimanuelle dextre, c'est-à-dire l'usage coordonné de deux mains robotiques à nombreux degrés de liberté (DOF). Il regroupe 106 tâches réparties selon cinq axes de capacités : généralisation, suivi d'instructions, démonstrations limitées, longs horizons et mémoire. Chaque tâche existe aussi en variante hors domaine, avec des modifications visuelles et spatiales contrôlées, afin de mesurer la robustesse. Le benchmark prend en charge deux embodiments (morphologies robotiques) et fournit 8 080 démonstrations téléopérées dont le succès a été validé, soit 6,25 millions de trames. Les auteurs évaluent sept modèles VLA (Vision-Language-Action) récents selon un protocole unifié, et établissent ainsi des références par capacité, par robustesse et par efficacité en données. Les noms des modèles testés et leurs scores ne figurent pas dans le résumé. L'intérêt tient à un déficit de mesure. La plupart des évaluations de VLA se concentrent sur des pinces parallèles ou des scènes à un seul bras, si bien que les capacités réelles de ces modèles avec des mains à haute dimensionnalité restent mal caractérisées. Un banc d'essai qui sépare la mémoire, le long horizon et la frugalité en données permet de savoir où un modèle échoue, plutôt que de se contenter d'un taux de succès global. La paire tâche/variante hors domaine s'attaque directement à l'écart entre démonstration et réalité, car elle teste si une politique survit à un simple changement d'apparence ou de position. Pour un intégrateur ou un décideur B2B, cela offre un critère de comparaison plus exploitable que des vidéos choisies. Il faut toutefois rester prudent : il s'agit d'une simulation, et rien ne garantit que les classements se transfèrent au matériel réel, ni que les démonstrations téléopérées représentent la variabilité d'un site industriel. Le contexte est celui d'une course aux mains dextres et aux modèles d'action généralistes, portée par des acteurs comme Figure avec Helix, Tesla avec Optimus, NVIDIA avec GR00T ou Physical Intelligence avec Pi-0. Chacun annonce des progrès en dextérité, mais selon des protocoles propres et rarement comparables. Des suites existantes comme RoboTwin, centrée sur la bimanualité, ou LIBERO, orientée tâches de table, ont servi de références, mais pas pour des mains à nombreux DOF. Cette version 2 de l'article remplace une première soumission, et le site du projet est hébergé par Robbyant Research. La suite dépendra de l'adoption de BiDex-100 par d'autres laboratoires et de la publication de résultats sur robots physiques.

RecherchePaper
1 source
5arXiv cs.RO 

Récupérer pour agir : recherche de graphes de primitives de mouvement pour une exécution robuste des modèles VLA

Des chercheurs proposent Retrieve to Act (R2A), un cadre de « test-time scaling » destiné à renforcer la robustesse des politiques Vision-Language-Action (VLA) face aux décalages visuels hors distribution, sans réentraîner le modèle de base. Le principe consiste à structurer les démonstrations réussies du jeu d'entraînement en un graphe hors ligne de primitives de mouvement spatio-temporelles. À l'inférence, un réseau de neurones sur graphe (GNN) dépendant de la requête localise l'exécution en cours dans ce graphe et récupère les primitives futures compatibles. Ces priors géométriques sont ensuite fusionnés avec les actions prédites par la VLA figée grâce à un mécanisme de gating appris, dimension par dimension, qui corrige les trajectoires spatiales erronées tout en préservant la réactivité locale de la politique. Les tests portent sur trois architectures, GR00T N1.7, π0.5 et StableVLA. Les gains absolus de taux de réussite atteignent jusqu'à +12 points en simulation (benchmarks LIBERO-Plus et RoboTwin2.0-Plus) et +40 points en déploiement réel, sans aucun finetuning des politiques. L'intérêt tient à l'angle d'attaque. Les méthodes de test-time existantes cherchent à supprimer les indices visuels parasites. R2A contourne le problème en considérant que l'expérience d'entraînement de la politique contient déjà des informations cinématiques propres, non affectées par les perturbations de l'image. Pour un intégrateur, cela répond à une faiblesse bien connue des VLA : une bonne généralisation sémantique qui s'effondre dès que l'éclairage, l'arrière-plan ou la disposition de la scène changent par rapport à la démo. Le fait que le module s'applique à trois politiques différentes sans les modifier est un argument de praticabilité, car il se superpose à un modèle déjà validé. Les réserves sont nettes : l'écart entre +12 points en simulation et +40 points en réel suggère des conditions de test réelles peu détaillées, et l'abstract ne donne ni taux de base, ni nombre d'essais, ni tâches, ni coût de calcul ou latence ajoutés par la récupération dans le graphe. Il s'agit d'un préprint (arXiv), sans produit ni déploiement industriel. Ces travaux s'inscrivent dans un contexte où les politiques généralistes (la famille GR00T de NVIDIA, π0.5 de Physical Intelligence) dominent la recherche, tandis que la fragilité face aux perturbations contextuelles motive des benchmarks dédiés comme LIBERO-Plus et RoboTwin2.0-Plus. R2A relève de l'approche par récupération, qui exploite les données d'entraînement au moment de l'exécution plutôt que de renforcer les encodeurs visuels ou de multiplier les données d'augmentation. Une limite probable est sa dépendance à la couverture des démonstrations : une tâche absente du graphe offre peu de primitives exploitables. La page projet est disponible à l'adresse retrieve2act.github.io/r2a. Il faudra surveiller la reproduction par d'autres équipes, la diffusion du code et des tests sur des robots et des tâches plus variés avant de juger de la portée réelle de la méthode.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
6arXiv cs.RO 

RynnWorld-Latent : un modèle du monde inter-embodiments conditionné par des actions latentes universelles

RynnWorld-Latent est un modèle de monde vidéo cross-embodiment, présenté sur arXiv (2610.36791v1) et construit sur les « actions latentes » ancrées en 3D introduites par RynnLAM. Ces actions servent d'interface de conditionnement commune, ce qui permet de pré-entraîner un même modèle sur des vidéos d'interactions humaines, des démonstrations de robots et des rollouts de simulation, sans espace d'action natif partagé. L'architecture repose sur un transformeur vidéo pré-entraîné. Elle combine des tokens d'action globaux et une voie locale initialisée à l'identité, qui aligne les actions sur les latents vidéo futurs. Le pré-entraînement couvre 23 jeux de données, soit environ 553,5 millions d'images, puis le modèle est adapté à des robots cibles par post-entraînement. Deux routes de génération de données sont proposées. La téléopération numérique utilise les commandes du robot cible pour produire des démonstrations action-vidéo. La synthèse par actions latentes transfère un mouvement source vers une première image éditée, puis associe le rollout obtenu à de fausses actions robot retargetées. Les auteurs annoncent de meilleures métriques de prédiction vidéo sur des benchmarks publics et sur deux plateformes robotiques réelles. L'intérêt tient au verrou que ce travail vise : les embodiments utilisent des espaces d'action incompatibles, et les vidéos humaines, très abondantes, n'ont aucune étiquette de contrôle. Une représentation latente unifiée permettrait d'exploiter ces volumes sans reconvertir chaque jeu de données. Pour un intégrateur ou une équipe R&D, la promesse est de réduire le coût des démonstrations réelles en les complétant par des données synthétiques contrôlables. Les résultats vont dans ce sens : la mi-formation synthétique améliore les taux de succès des politiques sur LIBERO et LIBERO-Plus, et les deux routes de génération dépassent l'entraînement sur démonstrations réelles seules en conditions réelles. Il faut toutefois rester prudent : il s'agit d'un papier académique, sans produit ni déploiement industriel, et les gains sont mesurés « dans les réglages évalués », sur un nombre limité de plateformes. LIBERO reste un benchmark de simulation, et l'action following est démontrée surtout de façon qualitative. Le papier ne résout donc pas à lui seul le fossé sim-to-real. Ce travail s'inscrit dans la montée des modèles de monde pour la robotique, aux côtés de l'écosystème RynnLAM et d'approches concurrentes comme GR00T de NVIDIA ou les efforts de Physical Intelligence autour de Pi-0, qui cherchent aussi à mutualiser des données hétérogènes. L'idée d'actions latentes apprises à partir de vidéos sans étiquettes fait déjà l'objet de plusieurs travaux. L'apport ici est l'échelle du pré-entraînement et le couplage avec la génération de données pour politiques. La suite dépendra de la publication éventuelle du code et des poids, et de validations sur davantage de robots et de tâches longues, avant tout transfert vers des lignes de production.

RecherchePaper
1 source
7arXiv cs.RO 

De 12 à 200 démonstrations : comment ACT, Diffusion Policy, SmolVLA et $\pi_{0.5}$ passent à l'échelle sur un bras low-cost

Des chercheurs ont comparé quatre politiques d'apprentissage par imitation très répandues (ACT, Diffusion Policy, SmolVLA et π0.5) sur une tâche unique de pick-and-place avec objets distracteurs, réalisée avec un bras SO-101 à bas coût. Chaque politique a été entraînée avec une recette fixe sur des sous-ensembles imbriqués de 12, 25, 50, 100 et 200 démonstrations téléopérées, puis testée sur un jeu fixe de placements d'objets, soit 1 340 épisodes notés répartis en 126 blocs. ACT, entraîné from scratch, passe de 1 succès sur 40 épisodes avec 12 démonstrations à 37 sur 40 avec 100. π0.5, avec fine-tuning de l'action expert, domine quand les données sont rares (16 sur 40 à 12 démonstrations, 28 sur 40 à 25) puis plafonne autour de 70 %. À partir de 100 démonstrations, ACT prend l'avantage, d'une marge que l'étude ne parvient pas à trancher. SmolVLA et Diffusion Policy culminent près de 50 %. Le résultat le plus parlant pour un intégrateur tient aux échecs de démarrage et aux choix de recette. Le bras de SmolVLA ne bouge jamais dans 47 % des épisodes, et Diffusion Policy ne démarre presque jamais tant qu'une phase d'inactivité initiale n'est pas retirée des démonstrations. Pour π0.5, la recette compte plus que le volume de données : l'adaptation low-rank (LoRA) réussit 4 épisodes sur 110, contre 130 sur 200 pour le fine-tuning de l'action expert. Les auteurs décomposent chaque épisode en quatre étapes (démarrage, atteinte de la balle, transport, dépose). Avec ACT, plus de données déplace d'abord les échecs de l'atteinte vers la saisie, puis les fait disparaître, alors que ceux de π0.5 restent concentrés sur la saisie. Le message pratique est qu'un grand modèle pré-entraîné ne garantit pas de meilleurs résultats qu'un petit modèle bien alimenté, et qu'une bonne partie de la performance dépend de détails de préparation des données. Cette étude arrive alors que les politiques VLA (vision-langage-action) se multiplient et que les comparaisons sur matériel réel restent rares. Beaucoup de résultats publiés reposent sur peu d'épisodes. Les auteurs mesurent ce problème : un bloc de dix épisodes est une mesure faible, puisque le même checkpoint testé deux fois diffère en moyenne de 2 succès sur 10. Ils séparent cette variance de celle liée aux seeds et ont audité le scoring humain à partir des enregistrements articulaires et vidéo. Une limite importante demeure : la durée d'entraînement étant fixée pour chaque recette, la quantité de données et le nombre de passages sur ces données varient ensemble. Les auteurs précisent quelles conclusions résistent à ce biais et lesquelles non. Il s'agit d'un seul bras, d'une seule tâche et d'un seul opérateur, ce qui limite la portée des conclusions pour des déploiements industriels.

RecherchePaper
1 source
8arXiv cs.RO 

RoboAuto : recherche autonome de programmes robotiques grâce à une compréhension physique multi-niveaux

RoboAuto, un framework décrit dans un preprint arXiv (2610.36533), propose de structurer la recherche automatique de programmes robotiques autour de trois niveaux de compréhension physique : l'objet, la scène et l'interaction. Il s'inscrit dans le paradigme Code-as-Policy, où un agent LLM génère, exécute et raffine des programmes modulaires et éditables. Le système repose sur trois briques : une base de connaissances hiérarchique, qui associe compétences exécutables et savoirs centrés sur l'objet (affordances, relations spatiales, effets des actions), apprise à partir de données incarnées et de résolutions de tâches en ligne ; un ancrage de scène, qui identifie les objets pertinents et calcule les grandeurs critiques pour l'action ; et une planification en plusieurs étapes, où l'agent conçoit ses propres expériences pour vérifier que chaque étape produit l'effet attendu et pour départager des hypothèses concurrentes. Les auteurs annoncent 89,1 % de succès sur les tâches courtes de LIBERO-PRO, et plus du double du taux moyen d'ASPIRE sur LIBERO-PRO Long et LIBERO-Plus, sur cinq familles de benchmarks au total. Sur trois tâches longues de précision en conditions réelles, RoboAuto dépasserait aussi ASPIRE et π0.5. L'intérêt tient au diagnostic : la plupart des méthodes de recherche de programmes affinent leur code à partir du seul retour d'exécution (succès ou échec), sans comprendre pourquoi une interaction échoue. En faisant raisonner l'agent sur la physique et en le laissant tester ses hypothèses, RoboAuto vise des programmes plus robustes aux variations de scène, ce que mesurent justement les variantes PRO et Plus de LIBERO. Autre résultat notable pour les intégrateurs : la base de connaissances se transfère d'un simulateur et d'une plateforme à l'autre, et la performance croît avec sa taille. Cela suggère un actif capitalisable, plutôt qu'une politique à réentraîner pour chaque cellule. Il faut toutefois rester prudent : seules trois tâches réelles sont citées, sans précision sur le nombre d'essais, les temps de cycle ni la plateforme, et LIBERO reste un benchmark de simulation de table. Ce travail prolonge la ligne Code-as-Policy, concurrente des VLA (vision-langage-action) de bout en bout comme π0.5 de Physical Intelligence, que les auteurs prennent pour référence réelle, et d'ASPIRE, autre méthode de recherche de programmes. Il s'agit d'un preprint v1, non relu par les pairs ; aucun produit, pilote industriel ni calendrier de déploiement n'est annoncé. La page projet (roboauto-ai.github.io) doit permettre de juger la reproductibilité. Les prochaines étapes à surveiller : la publication du code et de la base de connaissances, des tests sur davantage de plateformes réelles, et une comparaison directe avec les VLA récents sur des tâches longues.

RecherchePaper
1 source
VLA-HWBench : où passe le temps quand les modèles VLA tournent sur du matériel embarqué
9arXiv cs.RO 

VLA-HWBench : où passe le temps quand les modèles VLA tournent sur du matériel embarqué

Une étude publiée sur arXiv sous le nom VLA-HWBench évalue 18 modèles VLA (vision-langage-action) open source sur deux plateformes embarquées: le NVIDIA Jetson AGX Thor et l'AMD Ryzen AI Max+ PRO 395. Elle teste plusieurs backends d'inférence, officiels et alternatifs, et découpe chaque appel en sept étapes, là où les travaux antérieurs en distinguaient au maximum trois. Le constat principal est que la stratégie de génération d'actions pèse plus que la taille du modèle. Elle domine la latence dans 14 des 19 configurations testées sur Jetson. L'écart de latence atteint un facteur 82 sur Jetson et 157 sur AMD, et le nombre de paramètres explique au plus 15 % de la variance. Les modèles qui produisent de longs blocs d'actions (action chunks) en quelques pas de flow matching tiennent la cadence du contrôle. Ceux qui décodent token par token n'y arrivent pas. La fusion de noyaux (kernel fusion) combinée à des poids en 4 bits est l'optimisation la plus efficace. Elle rend π0.5 et GR00T N1.7 de 2,6 à 2,9 fois plus rapides que PyTorch avec torch.compile, mais elle n'existe que pour ces deux modèles et seulement sur Jetson. Pour les intégrateurs et les responsables techniques, ces résultats déplacent le choix d'un modèle. Les scores de réussite de tâche publiés dans la plupart des articles disent peu de chose sur la faisabilité d'un déploiement embarqué, et un modèle plus petit n'est pas forcément plus rapide s'il génère ses actions de façon séquentielle. L'optimisation déplace aussi le goulot d'étranglement. Sur GR00T N1.7, le prétraitement CPU passe de 12 % à 39 % de la durée d'un appel une fois le reste accéléré. Après optimisation, la bande passante mémoire ne limite sur Jetson que les étapes traitant peu de tokens, comme le débruitage. Le logiciel limite toutes les autres, des noyaux non fusionnés au prétraitement sériel sur le CPU hôte. Une partie de l'écart entre démonstration et exploitation réelle tient donc à la pile logicielle plus qu'au silicium. Les auteurs en tirent des recommandations: peu d'itérations de génération d'actions, une fusion de noyaux et des poids basse précision étendus à davantage de modèles et de plateformes, et un matériel doté d'une forte bande passante mémoire et d'un CPU hôte rapide. Les VLA tournent de plus en plus à bord des robots, où la latence d'inférence contraint directement le contrôle en boucle fermée. Les benchmarks existants couvrent peu de stratégies de génération d'actions et comparent rarement les optimisations sur les mêmes modèles. Le Jetson AGX Thor représente l'offre embarquée de NVIDIA pour la robotique, et l'AMD Ryzen AI Max+ PRO 395 une alternative x86 à mémoire unifiée. Le fait que seuls π0.5 (Physical Intelligence) et GR00T N1.7 (NVIDIA) disposent d'une voie optimisée, et seulement sur Jetson, souligne l'avance de l'écosystème NVIDIA et le retard logiciel du reste du champ. Il s'agit d'une étude académique de mesure, sans produit ni déploiement associé. La suite logique serait de porter ces optimisations vers d'autres modèles et d'autres plateformes.

RecherchePaper
1 source
EXE : préentraînement égocentrique inter-morphologies via des actions latentes factorisées pour les modèles VLA
10arXiv cs.RO 

EXE : préentraînement égocentrique inter-morphologies via des actions latentes factorisées pour les modèles VLA

Des chercheurs proposent EXE, un cadre de préentraînement « cross-embodiment » égocentrique décrit dans un preprint arXiv (2610.33685, première version, non évalué par les pairs). L'idée est d'apprendre, à partir de vidéos de manipulation humaine filmées à la première personne, une représentation latente d'actions « factorisée » qui sépare deux composantes. La première regroupe les primitives de manipulation communes aux mains humaines et aux robots (atteindre, saisir, placer). La seconde isole les signaux propres à l'humain, liés à sa cinématique. Le politique robotique de type VLA (Vision-Language-Action) hérite ainsi d'une sémantique de manipulation généralisable, sans être biaisé par les mouvements typiquement humains. Selon les auteurs, le même préentraînement profite à des pinces parallèles comme à des mains dextres. Les gains sont rapportés par rapport à une base sans préentraînement sur RoboTwin 2.0 et RoboCasa GR1 (deux bancs d'essai en simulation), ainsi que sur des tâches réelles. Le résumé ne donne ni chiffres, ni nombre de tâches, ni taille des jeux de données. L'enjeu est la pénurie de données robotiques, principal goulot d'étranglement des VLA. Les vidéos égocentriques humaines sont abondantes, variées et riches en intention sémantique, mais l'écart d'incarnation (embodiment gap) rend leur exploitation délicate. Si la factorisation tient ses promesses, elle offre aux intégrateurs et aux équipes de R&D une voie moins coûteuse que la téléopération à grande échelle pour amorcer des politiques généralistes. Elle viserait aussi à réutiliser un même socle sur des effecteurs différents, ce qui compte pour les constructeurs qui déclinent plusieurs mains ou pinces. Il faut toutefois rester prudent : « gains constants » sans amplitude ne dit rien sur l'ampleur de l'effet. Une partie de la validation passe par la simulation, et la robustesse en conditions industrielles (variabilité, cadence, fiabilité) n'est pas établie à ce stade. Ce travail s'inscrit dans une tendance bien identifiée : exploiter les vidéos humaines pour contourner le coût de la collecte robotique, via des actions latentes apprises sans étiquettes, des estimations de poses de mains ou des gants et caméras portés. Plusieurs acteurs de l'humanoïde et des modèles de fondation robotique, dont NVIDIA avec GR00T, Physical Intelligence avec Pi-0 ou Figure avec Helix, ont déjà évoqué le recours à des données humaines à grande échelle. EXE se distingue par la séparation explicite des signaux partagés et spécifiques. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec ces approches, et des évaluations sur davantage de robots physiques et de tâches longues.

IA physiquePaper
1 source
Qu'apporte réellement la modélisation du monde à l'apprentissage des actions robotiques ?
11arXiv cs.RO 

Qu'apporte réellement la modélisation du monde à l'apprentissage des actions robotiques ?

Une étude publiée sur arXiv (2610.34593) examine ce qu'apporte réellement la prédiction vidéo du futur aux World Action Models (WAMs), ces modèles qui combinent anticipation visuelle et apprentissage d'actions robotiques. Les auteurs ont mené des ablations contrôlées de la perte de prédiction vidéo dans deux familles de modèles, FastWAM et OpenWAM, en gardant fixes l'architecture, l'initialisation, les données d'entraînement robot et le nombre de pas. Sur des tâches déjà vues et en conditions propres, la supervision prédictive augmente le taux de succès de 24,38 points pour FastWAM et de 72,91 points pour OpenWAM. Un regroupement des trajectoires montre que le taux de succès progresse au sein de plusieurs grands clusters, y compris quand leur fréquence change peu. Les gains ne tiennent donc pas seulement à un changement de répartition des comportements. Les auteurs ont aussi ajouté la prédiction vidéo comme objectif auxiliaire à π0.5. Un Transformer léger, utilisé uniquement à l'entraînement, fait passer le succès de 82,94 % à 89,19 %. Le résultat est à double tranchant pour les équipes qui évaluent ces approches. D'un côté, la prédiction vidéo apparaît comme une supervision auxiliaire efficace, et son bénéfice ne dépend pas d'un grand transformeur de diffusion vidéo (DiT) préentraîné dans le cadre testé. Cela réduit le coût d'inférence, puisque le prédicteur disparaît au déploiement. De l'autre, l'étude distingue nettement meilleure exécution sur tâches familières et transfert fiable. Sur des tâches inédites, les améliorations varient selon les modèles et les tâches. Sous randomisation de l'environnement, les deux modèles affichent de faibles taux de succès, sans avantage constant de la supervision prédictive. Pour un intégrateur, c'est un rappel que les gains mesurés en conditions contrôlées ne garantissent pas la robustesse en site réel. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA), où l'on cherche à greffer une compréhension dynamique du monde sur des politiques d'action comme π0.5. Les approches concurrentes reposent souvent sur de lourds modèles vidéo préentraînés, ce que cette étude relativise. Il s'agit d'une publication de recherche, pas d'un produit ni d'un déploiement, et les environnements d'évaluation restent ceux des auteurs. La suite logique serait de tester si des objectifs auxiliaires plus riches, ou des données plus variées, comblent l'écart de généralisation que l'article met en évidence.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Splatting gaussien 3D aligné sur le robot pour une atteinte précise avec des politiques VLA à caméra au poignet
12arXiv cs.RO 

Splatting gaussien 3D aligné sur le robot pour une atteinte précise avec des politiques VLA à caméra au poignet

Des chercheurs proposent un pipeline de génération de données fondé sur le 3D Gaussian Splatting (3DGS) pour adapter des politiques VLA (vision-langage-action) équipées d'une simple caméra de poignet. La méthode reconstruit l'espace de travail réel en 3DGS, puis restitue des observations de caméra de poignet depuis des poses alignées sur le robot. Ces images sont associées à des trajectoires d'approche lisses et structurées, ce qui fournit une supervision visuo-motrice pour le fine-tuning. L'équipe ajoute un vérificateur d'atteinte conditionné par l'instruction, qui estime la proximité de la cible et déclenche l'arrêt avant tout contact physique. Testé sur le démontage de cartes mères avec le modèle π0.5, le système atteint 80,0 % de réussite d'atteinte précise sur trois cibles avec 1 500 trajectoires générées, contre 58,7 % avec 150 démonstrations téléopérées. La capture humaine active a duré moins de 10 minutes, et aucune caméra latérale externe n'a été nécessaire. Ce résultat s'attaque à l'un des principaux goulets d'étranglement du VLA : le coût de collecte de données, surtout quand la précision de positionnement de l'effecteur et l'alignement entre caméra et action sont critiques. Le démontage de déchets électroniques est un cas difficile, avec des composants denses, visuellement similaires, souvent fins ou réfléchissants. Les jumeaux numériques complets y sont impraticables, faute de maillages d'objets et de modèles de contact fiables. Le 3DGS contourne ce verrou en s'appuyant sur la scène réelle plutôt que sur une simulation physique. Pour les intégrateurs, l'intérêt est de remplacer des heures de téléopération par quelques minutes de capture. Les limites sont nettes : l'étude ne couvre que la phase d'approche, avant contact, sur une seule tâche et trois cibles. Le démontage proprement dit (dévissage, extraction, manipulation) n'est pas traité. Il s'agit d'un preprint arXiv, sans validation indépendante ni déploiement industriel, et la comparaison porte sur un seul jeu de 150 démonstrations, dont la qualité peut peser sur l'écart. Ces travaux s'inscrivent dans la recherche de méthodes de génération de données synthétiques ou semi-synthétiques pour les VLA, entre simulation physique complète, augmentation d'images et reconstruction neuronale de scènes réelles. Le 3DGS, déjà répandu en reconstruction et en rendu, est ici utilisé pour produire des vues cohérentes avec la géométrie du robot. π0.5, de Physical Intelligence, sert de modèle de base, ce qui reflète son rôle de référence ouverte pour l'adaptation en aval. Les suites logiques sont l'extension aux phases de contact, la généralisation à d'autres cartes et la validation en conditions de tri réel. Aucun calendrier de pilote n'est annoncé, mais le site du projet (PrecisionReach-GS) est public.

RecherchePaper
1 source
RoboDuo : tentative, vérification et récupération atomique par le code pour les modèles vision-langage-action (VLA)
13arXiv cs.RO 

RoboDuo : tentative, vérification et récupération atomique par le code pour les modèles vision-langage-action (VLA)

RoboDuo, un framework décrit dans une prépublication arXiv (2610.34108), propose de corriger les échecs des modèles Vision-Language-Action (VLA) sur les tâches longues en utilisant du code comme interface. Un agent de code rédige un programme qui laisse d'abord un VLA « full-task » tenter l'ensemble de la tâche, puis vérifie si elle est achevée. En cas d'échec, un second VLA, dit « atomique », exécute les étapes restantes. L'agent n'émet aucune action: il choisit seulement quel VLA exécuter, ce qui permet d'envelopper un VLA existant sans toucher à ses poids. Pour entraîner le VLA atomique et l'agent (qui doit savoir juger l'achèvement d'une tâche), les auteurs ont construit trois jeux de données, LIBERO-Atomic, LIBERO-Code et LIBERO-Judge, tous dérivés d'un unique ensemble de démonstrations LIBERO. Sur les benchmarks LIBERO et LIBERO-PRO, RoboDuo améliore de façon constante X-VLA et π0.5, avec les gains les plus marqués sur les tâches à long horizon. Sur un robot réel, il récupère des exécutions échouées d'un VLA gelé. Le résumé ne fournit ni taux de réussite chiffrés ni détail sur la plateforme physique ou le nombre d'essais. L'intérêt tient à un constat que beaucoup d'intégrateurs connaissent: un VLA exécute une instruction sans vérifier qu'elle est accomplie, si bien qu'une étape manquée dans une séquence longue ruine toute la tâche, sans que le système s'en aperçoive. RoboDuo traite ce point par une boucle fermée de vérification et de reprise, sans réentraîner le modèle principal, ce qui réduit le coût d'adoption pour qui a déjà investi dans un VLA. L'idée de s'appuyer sur le fait qu'un épisode raté est souvent partiellement réussi, et que les étapes restantes sont des compétences atomiques réutilisables, est pragmatique. En revanche, la validation reste essentiellement en simulation, sur des benchmarks de manipulation sur table, et la démonstration réelle semble limitée. Elle ne dit rien de la fiabilité du juge d'achèvement en conditions industrielles (faux positifs, latence, occlusions), ni du temps de cycle ajouté par la tentative suivie d'un contrôle puis d'une reprise. Ce travail s'inscrit dans la tendance à superviser les VLA par des couches de planification ou de vérification, à côté des architectures à deux systèmes comme Helix de Figure ou GR00T, et des approches où un modèle de langage génère du code de contrôle. Il se distingue en laissant le VLA principal intact et en limitant l'agent à un rôle d'aiguillage. Les modèles améliorés, X-VLA et π0.5 de Physical Intelligence, sont des références ouvertes, ce qui facilite la reproduction. Les suites logiques seraient des tests sur des tâches plus longues et plus variées, hors LIBERO, avec des mesures de temps de cycle et de taux de reprise sur plusieurs plateformes, ainsi qu'une confrontation à d'autres méthodes de détection d'échec et de récupération.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions
14arXiv cs.RO 

Passage à l'échelle de la manipulation dextre par préentraînement de représentations d'actions

Une équipe de chercheurs propose ARPG (Action Representation Pretraining and Generation), une méthode qui sépare explicitement l'apprentissage des représentations d'actions de la génération d'actions pour la manipulation dextre. Dans un premier temps, un encodeur de représentation d'actions est pré-entraîné sur des données de manipulation humaine à grande échelle. Il est ensuite figé, puis un modèle génératif compact de 130 millions de paramètres apprend les distributions d'actions conditionnées par la tâche, directement dans l'espace de représentation de l'encodeur. Les auteurs annoncent des résultats de pointe sur le benchmark DexJoCo. Sur la manipulation dextre bimanuelle, le taux de succès moyen passe de 10,1 % pour π0.5 à 44,7 %. Des expériences de passage à l'échelle montrent aussi qu'une couverture plus large des comportements humains améliore les performances en aval. Il s'agit d'un travail de recherche publié sur arXiv, sans produit ni déploiement associé. L'enjeu tient au goulot d'étranglement que le secteur rencontre sur la dextérité. Le pré-entraînement massif en vision, langage et vidéo a nettement amélioré la perception et la généralisation des modèles de manipulation. La génération d'actions complexes reste en revanche limitée par la rareté des démonstrations robotiques, qui doivent servir à apprendre à la fois la représentation des actions et leur distribution selon la tâche. En déplaçant le premier problème vers des données humaines, bien plus abondantes, ARPG suggère que la représentation d'actions constitue une dimension de passage à l'échelle indépendante, distincte de la taille du modèle ou du volume de démonstrations robot. Pour les intégrateurs et les équipes R&D, c'est une piste pour réduire le coût de collecte de téléopération. Un backbone de 130 millions de paramètres, très inférieur aux VLA de plusieurs milliards, pourrait aussi faciliter l'inférence embarquée. Une prudence s'impose toutefois : les chiffres proviennent d'un benchmark, probablement en simulation, et d'un article non encore évalué par les pairs. Le gain de 10,1 % à 44,7 % reste à confirmer sur matériel réel, et le taux de succès absolu demeure sous la barre de fiabilité qu'exige un usage industriel. Ce travail s'inscrit dans la course aux modèles généralistes de type VLA (vision-langage-action), dont π0.5 de Physical Intelligence sert ici de référence. Plusieurs acteurs exploitent déjà des vidéos et données humaines pour compenser le manque de données robotiques, notamment autour de GR00T chez NVIDIA ou de Helix chez Figure. Le texte ne précise ni code ni poids publiés, ni calendrier de validation sur robot physique. La suite logique serait des tests sur mains dextres réelles et une évaluation face à d'autres VLA récents. Il faudra aussi vérifier si la tendance se poursuit avec des corpus humains plus vastes et plus variés.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Couplage de l'horizon d'exécution et de la profondeur d'échantillonnage dans les politiques VLA à flow matching
15arXiv cs.RO 

Couplage de l'horizon d'exécution et de la profondeur d'échantillonnage dans les politiques VLA à flow matching

Une équipe de chercheurs publie sur arXiv (2610.32102) une étude sur les politiques VLA (Vision-Language-Action) à flow matching, qui génèrent des trajectoires continues pour la manipulation robotique. Elle examine deux réglages de déploiement habituellement traités séparément : la profondeur du solveur numérique (le nombre de pas d'intégration du flux) et l'horizon d'exécution (le nombre d'actions jouées en boucle ouverte avant de replanifier). Les auteurs observent une inversion de signe systématique. Une intégration grossière dégrade la précision quand le robot replanifie très souvent, mais améliore nettement la réussite des tâches quand il s'engage sur un horizon long. Leur explication géométrique : la troncature numérique resserre la dispersion latérale des actions autour d'un centroïde de trajectoire invariant. Elle agit comme un régularisateur implicite qui limite la dérive cumulée en boucle ouverte. Les tests couvrent LIBERO, RoboTwin 2.0 et un bras Franka réel, sur les backbones π0, π0.5 et GR00T. La méthode, sans réentraînement ni modification d'architecture, donne selon eux un meilleur taux de succès avec une latence d'inférence très réduite. Le résumé ne chiffre toutefois ni le gain de succès ni la baisse de latence. L'enjeu est opérationnel. Les déploiements de VLA règlent d'ordinaire le nombre de pas du solveur au maximum pour préserver la fidélité, et choisissent l'horizon pour absorber la latence. Si le couplage décrit se confirme, un intégrateur peut réduire le coût de calcul par action sans réentraîner, ce qui compte pour les robots embarqués aux GPU limités. Le résultat contredit aussi l'idée que plus d'étapes de débruitage donne toujours une meilleure politique. Prudence néanmoins : il s'agit d'un préprint non évalué par les pairs, et rien n'indique la robustesse sur des tâches longues, dynamiques ou contraintes en force, au-delà des benchmarks et d'un seul bras réel. Ce travail s'inscrit dans l'effort pour rendre les VLA à flow matching exploitables en temps réel, après π0 et π0.5 de Physical Intelligence et GR00T de NVIDIA. Les approches concurrentes visent la même latence par la distillation, le few-step sampling ou le découpage en actions (action chunking), mais elles demandent généralement un réentraînement. L'intérêt ici est un réglage au déploiement seulement. Une page projet est annoncée, et la prochaine étape logique serait une validation sur d'autres plateformes, notamment des humanoïdes et des tâches de manipulation fine, avant toute adoption industrielle.

RecherchePaper
1 source
FocusVLA : routage dynamique des vues guidé par l'intention future pour les modèles vision-langage-action (VLA)
16arXiv cs.RO 

FocusVLA : routage dynamique des vues guidé par l'intention future pour les modèles vision-langage-action (VLA)

FocusVLA, un framework présenté sur arXiv (2610.31423), cible un défaut des modèles vision-langage-action (VLA) pour la manipulation robotique. Ces modèles unifient perception visuelle, compréhension du langage et génération d'actions, et utilisent couramment plusieurs caméras (vue globale et vue poignet) pour mieux observer objets, effecteur et relations spatiales. Les auteurs constatent que les VLA existants exploitent mal cette complémentarité: la politique s'appuie de façon persistante sur la vue poignet et ne rééquilibre pas la dépendance global/local selon les phases de la tâche (approche, saisie, placement). FocusVLA ajoute un routage dynamique des vues. Un module prédit l'intention d'interaction future à partir de l'historique des actions, puis cette prédiction pilote la pondération des vues pendant la génération d'actions. Sur le benchmark simulé RoboTwin 2.0, le taux de succès moyen progresse de 10,10 points de pourcentage par rapport à la meilleure référence, π0.5 de Physical Intelligence. En évaluation réelle, le succès passe de 71,7 % à 85,0 %, soit un gain de 13,3 points sur π0.5. Les auteurs précisent que les modules de prédiction d'intention et de routage s'intègrent à des cadres VLA existants sans modifier leur architecture centrale. L'intérêt tient moins au score qu'au diagnostic. Beaucoup de systèmes déployés ajoutent des caméras en supposant que le modèle saura s'en servir. Ce travail suggère que ce n'est pas le cas: une politique qui se repose sur la caméra poignet est plus fragile quand l'objet est occlus, que la pose globale compte ou que la scène change. Pour un intégrateur, cela renvoie à la robustesse hors démonstration, là où les échecs se concentrent aux transitions entre phases. Le caractère modulaire est aussi un point pratique: un greffon compatible avec des VLA existants peut être testé sans réentraîner une architecture entière, ce qui réduit le coût d'expérimentation. Il faut toutefois lire les chiffres avec prudence. Le test réel n'est pas décrit ici (nombre de tâches, d'essais, de robots), et un écart de 13,3 points sur un échantillon restreint peut avoir une marge d'incertitude importante. Il s'agit d'un preprint, sans validation indépendante ni déploiement industriel annoncé. Ce travail s'inscrit dans la lignée des VLA généralistes, dont π0 puis π0.5 sont devenus des références de comparaison académique, aux côtés d'approches comme GR00T de NVIDIA ou Helix de Figure. La course porte désormais sur la fiabilité et l'utilisation efficace des entrées multimodales, plus seulement sur l'échelle des données. RoboTwin 2.0, benchmark bimanuel en simulation, sert de terrain d'évaluation courant. La suite logique serait une validation sur d'autres backbones que π0.5, des tâches plus longues et des tests multi-sites. Aucun calendrier de pilote ou de commercialisation n'est mentionné, et le résumé ne cite pas de partenaire industriel européen.

RecherchePaper
1 source
AgiBot World Colosseo : une plateforme de manipulation à grande échelle pour des systèmes incarnés intelligents et évolutifs
17arXiv cs.RO 

AgiBot World Colosseo : une plateforme de manipulation à grande échelle pour des systèmes incarnés intelligents et évolutifs

AgiBot, le fabricant chinois de robots humanoïdes, publie la version 5 de l'article arXiv présentant AgiBot World Colosseo, une plateforme de données de manipulation robotique à grande échelle. Le jeu de données réunit plus d'un million de trajectoires couvrant 217 tâches réparties sur cinq scénarios de déploiement, soit, selon les auteurs, un gain d'un ordre de grandeur par rapport aux jeux existants. La collecte suit un pipeline standardisé avec vérification humaine intégrée (human-in-the-loop), et le dispositif s'étend des pinces simples aux mains dextres et aux capteurs visuo-tactiles. Sur cette base, l'équipe présente Genie Operator-1 (GO-1), une politique généraliste qui s'appuie sur des représentations d'actions latentes pour tirer parti de volumes de données hétérogènes. Les politiques pré-entraînées sur ce corpus gagnent en moyenne 30 % par rapport à celles entraînées sur Open X-Embodiment, en conditions connues comme hors distribution. GO-1 dépasse 60 % de réussite sur des tâches complexes de dextérité et d'horizon long, soit 32 points de mieux que l'approche RDT. Le jeu de données, les outils et les modèles sont publiés en open source. L'enjeu tient d'abord à la donnée. Open X-Embodiment, agrégat de jeux hétérogènes issus de nombreux laboratoires, plafonne en cohérence et en qualité d'annotation, et ce que montre ce travail, c'est qu'un corpus homogène, vérifié et collecté sur un même parc de robots améliore nettement la généralisation. La courbe de performance dite prévisible en fonction du volume de données irait dans le sens d'une loi d'échelle pour la manipulation, hypothèse centrale des approches VLA (vision-langage-action), mais elle reste à confirmer hors du périmètre des auteurs. Pour les intégrateurs et les décideurs industriels, la publication ouvre un socle réutilisable pour affiner des politiques sans repasser par des mois de téléopération. Quelques réserves s'imposent: les résultats sont mesurés sur des tâches et un matériel choisis par AgiBot, un taux de réussite de 60 % reste loin des seuils de fiabilité exigés en production, et le gain de 30 % dépend des protocoles d'évaluation retenus. Le contexte est celui d'une course à la donnée entre acteurs chinois et américains. AgiBot, dont les humanoïdes ont déjà été présentés lors de précédentes éditions de cette plateforme, ouvre ses données pour attirer une communauté de développeurs, une stratégie proche de celle de Physical Intelligence avec Pi-0 ou de NVIDIA avec GR00T, tandis que Figure (Helix) et Tesla (Optimus) gardent leurs corpus fermés. RDT, le modèle de diffusion de l'université Tsinghua, sert ici de référence. Les prochaines étapes seront la reproduction indépendante des résultats par d'autres laboratoires, y compris européens, et l'extension annoncée vers les mains dextres et le tactile. L'article n'indique pas de calendrier de déploiement commercial.

RecherchePaper
1 source
VLA-Rolling : moins d'étapes de débruitage et un meilleur contrôle grâce à la réutilisation adaptative des actions
18arXiv cs.RO 

VLA-Rolling : moins d'étapes de débruitage et un meilleur contrôle grâce à la réutilisation adaptative des actions

Des chercheurs proposent VLA-Rolling, un cadre d'inférence léger qui accélère les modèles vision-langage-action (VLA) à flow matching sans réentraîner le modèle sous-jacent, laissé gelé. Ces modèles génèrent un « chunk » d'actions en débruitant itérativement un bruit gaussien (10 étapes en configuration native), mais n'exécutent qu'un court préfixe avant de replanifier avec de nouvelles observations. Le reste du chunk, la « queue d'actions », est jeté et le chunk suivant repart de zéro. VLA-Rolling réutilise cette queue en trois temps: héritage de la queue, estimation d'une confiance par action, puis raffinement guidé par cette confiance via un rebruitage partiel et une allocation adaptative du budget de débruitage. Testé sur π0.5, SmolVLA, X-VLA et MolmoAct2, avec les benchmarks LIBERO, MetaWorld, LIBERO-Plus et RoboTwin 2.0, le dispositif réduit le coût d'inférence dans les 16 paires modèle-benchmark, jusqu'à 1,48 fois plus vite, et améliore le taux de réussite dans 14 d'entre elles, jusqu'à 15,08 points de pourcentage. L'intérêt tient à une observation simple: la queue écartée conserve une part du travail de débruitage et constitue un point de départ meilleur que le bruit pur. Initialisée ainsi, elle égale ou dépasse la base native à 10 étapes avec moins d'étapes. Le budget optimal variant fortement d'un échantillon à l'autre, une réduction uniforme serait sous-optimale, d'où la logique adaptative. Pour les intégrateurs, le gain vise un goulot réel: la latence d'inférence et la fluidité du contrôle en boucle fermée, sans coût de réentraînement et compatible avec plusieurs architectures. Le fait que la vitesse et la précision progressent ensemble est notable, car ces deux axes s'opposent d'ordinaire. Il faut toutefois relativiser: le speedup maximal de 1,48x est modeste, il porte sur le coût d'inférence du chunk d'actions et non sur la latence bout en bout, et les résultats viennent uniquement de benchmarks simulés. Rien n'indique encore un comportement équivalent sur robot physique, en présence de perturbations, de contacts ou d'une dynamique changeante. Ce travail s'inscrit dans l'effort général pour rendre les VLA exploitables en temps réel, après la généralisation du flow matching popularisé par la famille π0 de Physical Intelligence, et à côté des pistes de distillation, de réduction d'étapes ou de modèles compacts comme SmolVLA. L'approche est complémentaire de ces méthodes, puisqu'elle agit à l'inférence sur des modèles existants. Il s'agit d'une prépublication arXiv (v2) accompagnée d'une page projet, sans produit ni déploiement commercial annoncé. La suite logique serait une validation sur matériel réel, des mesures de latence de bout en bout et un test sur des tâches longues où la queue d'actions risque de devenir obsolète.

RecherchePaper
1 source
GPT-6-Astra a-t-il atteint l'intelligence incarnée ?
19arXiv cs.RO 

GPT-6-Astra a-t-il atteint l'intelligence incarnée ?

Un rapport technique publié sur arXiv (2610.22471) évalue GPT-6-Astra, un modèle généraliste, sur des tâches de manipulation et de navigation robotique. Les auteurs l'ont testé sur 12 benchmarks couvrant la manipulation sur table, les humanoïdes, les plateformes mobiles et les mains dextres. Le protocole est unifié. Il autorise l'apprentissage en contexte (ICL) à partir des démonstrations du jeu d'entraînement et augmente fortement le nombre d'étapes d'exécution. Les auteurs parlent de performances « sans précédent », mais le résumé ne donne aucun score chiffré. Ils testent aussi un montage agentique en boucle fermée. GPT-6-Astra y joue le raisonneur de haut niveau (« System 2 ») et pilote un contrôleur bas niveau (« System 1 ») comme π0.5. Cette coordination est jugée coûteuse mais efficace. Enfin, des essais ont été menés sur 8 configurations de robots réels. Le verdict des auteurs est nuancé : le modèle a « largement franchi le seuil de la compétence incarnée », mais pas celui d'une intelligence incarnée pratique. Pour un intégrateur ou un COO, l'écart entre benchmark et terrain est le point central. Les démonstrations robot nécessaires à l'ICL sont chères à collecter. Et l'on ne peut pas compenser un taux de succès insuffisant par des exécutions plus longues, car les contraintes physiques l'interdisent. Les résultats de benchmark reposent en outre sur un protocole favorable : démonstrations in-domain et budget d'étapes élargi. Ils disent donc peu de la performance en déploiement. Les auteurs listent cinq chantiers : généralité de l'ICL, coût et temps d'exécution, vérification de l'état physique, récupération après échec irréversible, et préservation de la progression sur de longs horizons. Cette architecture à deux niveaux prolonge la séparation raisonnement/contrôle déjà utilisée par Helix de Figure, GR00T de NVIDIA ou les modèles de Physical Intelligence, ici avec un modèle généraliste placé au-dessus d'un VLA existant. Elle remet en cause l'approche d'un modèle spécialisé par tâche et par morphologie. Les auteurs esquissent aussi un prototype de benchmark de nouvelle génération. Ses tâches viennent de besoins réels, il ne fournit aucune démonstration in-domain, et une horloge continue de tourner pendant que l'agent délibère. Il s'agit d'un travail de recherche, sans produit commercialisé, sans pilote annoncé et sans acteur européen identifié. La suite dépendra de la réduction du coût et de la latence, ainsi que de la reproduction indépendante de ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
MambaAct : des experts d'action Mamba efficaces pour les modèles vision-langage-action (VLA) à flow matching
20arXiv cs.RO 

MambaAct : des experts d'action Mamba efficaces pour les modèles vision-langage-action (VLA) à flow matching

MambaAct est une architecture proposée dans un preprint arXiv (2610.22951) qui vise le principal goulot d'étranglement des modèles vision-langage-action (VLA) à flow-matching, comme π0.5 : le coût d'inférence. Dans ces modèles, l'expert d'action, un module transformer chargé de produire les commandes motrices, est évalué à chaque étape du débruitage itératif. Les auteurs conservent l'encodeur de préfixe vision-langage préentraîné de π0.5 et remplacent l'expert d'action par un module Mamba (modèle à espace d'états) compact, dix fois plus petit. Un « Context Compressor » léger condense les tokens du VLM en un signal de conditionnement unique, qui module chaque bloc Mamba et remplace les cross-attentions répétées au niveau des tokens. Les résultats annoncés : une latence de débruitage réduite de 64,8 % sur le benchmark LIBERO et de 58,8 % en déploiement réel, avec un gain moyen de 1,08 point de pourcentage de réussite sur LIBERO, mesuré sur trois seeds de fine-tuning indépendants. Les gains se maintiennent sur LIBERO-Plus et sur des tâches réelles. Le code et les poids sont publics sur GitHub. L'intérêt est d'abord pratique. Les VLA à flow-matching offrent de bonnes performances de manipulation généraliste, mais leur latence limite le contrôle temps réel, surtout sur du matériel embarqué à budget de calcul contraint. Réduire l'expert d'action d'un facteur dix sans perte de performance suggère qu'une grande partie de ses paramètres est redondante pour la tâche de modélisation d'actions, et que le vrai savoir sémantique réside dans le préfixe VLM. Pour un intégrateur ou un décideur industriel, cela ouvre la voie à des politiques plus rapides ou à des cadences de contrôle plus élevées sur des GPU modestes. Des précautions s'imposent toutefois : LIBERO est un benchmark de simulation relativement saturé, un gain de 1 point reste modeste, et l'article ne détaille pas ici la diversité ni le volume des tâches réelles. La réduction de latence ne porte aussi que sur le débruitage, pas sur la latence de bout en bout, où l'encodeur VLM garde un poids important. Ce travail s'inscrit dans la course à l'efficience des VLA, après π0 et π0.5 de Physical Intelligence, qui ont popularisé l'expert d'action à flow-matching, et face à d'autres pistes comme la distillation en peu d'étapes, la quantification ou les têtes d'action plus légères. L'usage de Mamba, déjà exploré en vision et en langage pour sa complexité linéaire, est ici transposé aux séquences d'actions bruitées. La suite logique serait une validation sur des plateformes variées, des séquences plus longues et des comparaisons directes avec d'autres méthodes d'accélération, ainsi qu'une mesure de la latence totale sur robot embarqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)
21arXiv cs.RO 

REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)

REKI, un modèle vision-langage-action (VLA) de 2,4 milliards de paramètres, est présenté dans un preprint arXiv (octobre 2026) par le laboratoire français Kyutai. Il est pré-entraîné exclusivement sur des données publiques: un mélange sélectionné de données robotiques, de vidéos égocentriques d'humains et de données vision-langage. L'architecture associe un modèle vision-langage (VLM) à un « action expert » à flow-matching, qui génère les actions. Les auteurs ajoutent une mémoire: quelques jetons de registre dans l'action expert résument la sortie du VLM à chaque image et restent dans son cache. Selon eux, cette mémoire coûte très peu en calcul, améliore le taux de réussite en simulation comme sur robots réels, et rend les oscillations entre poses environ quatre fois plus rares. Sur les benchmarks LIBERO-Plus, RoboTwin Clean2Rand et RoboCasa365, REKI n'est devancé que par des modèles environ deux fois plus gros. Le code complet (curation des données, entraînement, inférence, évaluation, déploiement) et tous les poids, pré-entraînés et affinés, sont publiés sur GitHub. Pour les intégrateurs et les équipes R&D, l'intérêt tient à l'efficacité plus qu'au score brut. Un VLA de 2,4 milliards de paramètres demande bien moins de calcul à l'entraînement et à l'inférence que les modèles de grande taille, ce qui facilite l'exécution embarquée et l'itération. Le résultat suggère aussi qu'un corpus entièrement public suffit pour approcher l'état de l'art, ce qui relativise l'avantage des jeux de données propriétaires de téléopération. Le problème que vise la mémoire, les oscillations entre poses, est un défaut courant des politiques qui ne voient que l'instant présent, et le corriger à faible coût compte pour la fiabilité en conditions réelles. Il faut toutefois rester prudent: les gains sont mesurés surtout en simulation, les essais sur robots réels sont décrits sans chiffres dans le résumé, et les benchmarks ne garantissent pas la robustesse en production. Le « nouveau front de Pareto » est une revendication des auteurs, non validée de façon indépendante. Kyutai, laboratoire de recherche à but non lucratif basé à Paris et connu pour ses travaux en IA vocale, s'aventure ici dans la robotique avec une politique ouverte et reproductible, ce qui donne de la visibilité à l'écosystème européen. REKI se place face aux VLA ouverts comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, souvent plus volumineux ou dépendants de données partiellement fermées. La publication de l'ensemble de la chaîne, jusqu'au déploiement, permet à d'autres équipes de la reproduire et de l'étendre. La suite dépendra de validations indépendantes, de tests sur davantage de plateformes physiques et de la capacité de la communauté à enrichir la mémoire à registres vers des horizons temporels plus longs.

UELe laboratoire parisien Kyutai publie un VLA ouvert et reproductible (code et poids), utilisable par les équipes R&D et intégrateurs français et européens et qui renforce la visibilité de l'écosystème européen en IA physique.

FR/EU ecosystemeOpinion
1 source
AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle
22arXiv cs.RO 

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix. L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %. Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ARC : une méthode de raisonnement pour les modèles fondation en robotique
23arXiv cs.RO 

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action
24arXiv cs.RO 

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile
25arXiv cs.RO 

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

Des chercheurs présentent VOMMI (Visual-Odometry-Conditioned Mobile Manipulation Interface), un cadre de collecte de démonstrations portables et d'apprentissage pour la manipulation mobile, publié sur arXiv. Le système synchronise une vue « corps » et une vue « main » en RGB pour capturer à la fois le contexte de navigation et les interactions locales avec les objets, sans calibration de correspondance cinématique entre humain et robot. Deux briques techniques le composent. R2-VO affine hors ligne les trajectoires de démonstration à partir d'ancres géométriques parcimonieuses, puis produit des tokens de mouvement local causaux sur plusieurs horizons de prédiction. Un adaptateur résiduel par groupes d'actions injecte ces tokens uniquement dans la branche de base mobile du modèle vision-langage-action (VLA). Les expériences reposent sur 500 trajectoires portables par tâche, dont 75 réservées à l'évaluation RGB-VO, et sur 200 démonstrations robot servant de référence. La politique post-entraînée uniquement sur données portables affiche une erreur de vitesse de base inférieure de 18,2 % à celle d'une politique entraînée sur démonstrations robot, avec une précision de translation de l'effecteur comparable. La reconstruction hors ligne réduit l'erreur de trajectoire absolue de 24,6 % en moyenne pour les flux corps et main, par rapport au meilleur point de comparaison évalué pour chaque flux. Sur trois tâches réelles, le système complet gagne 8,3 points de succès moyen face à OpenPI 0.5. Pour les intégrateurs et les équipes data, l'enjeu est le coût de collecte. La téléopération et les dispositifs spécialisés bardés de capteurs restent le goulot d'étranglement des politiques de manipulation mobile, et une capture portable, sans robot et avec une simple caméra RGB, élargirait fortement le volume de démonstrations accessible. Le résultat le plus parlant est l'erreur de vitesse de base : la navigation est précisément la dimension où l'odométrie visuelle brute dérive et où l'on pouvait craindre que des données humaines transfèrent mal. Ici, elles font mieux que les données robot sur cette métrique, ce qui suggère que le conditionnement par mouvement visuel compense le défaut de supervision. Il faut toutefois rester prudent : le gain de 8,3 points sur OpenPI 0.5 est modeste, mesuré sur seulement trois tâches, et les travaux ne précisent pas la nature des tâches ni les intervalles de confiance dans ce résumé. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Le contexte est celui de la pénurie de données pour l'intelligence incarnée. Des interfaces portables comme UMI ont montré qu'on pouvait collecter des démonstrations de manipulation sans robot, mais elles se limitent surtout à la manipulation de table, sans la composante de déplacement de la base. VOMMI étend cette logique à la manipulation mobile, en s'appuyant sur la famille de politiques OpenPI (basée sur Pi-0) comme référence. Les acteurs concurrents du côté des VLA, dont Physical Intelligence, Figure avec Helix ou Nvidia avec GR00T, misent eux aussi sur des corpus massifs mêlant vidéo humaine et données robot. Les suites logiques seraient une validation sur davantage de tâches et de morphologies de robots, ainsi qu'une mesure du compromis entre volume de données portables et qualité de reconstruction hors ligne.

RecherchePaper
1 source
StructRL : apprentissage par renforcement structuré en ligne pour les tâches vision-langage-action à long horizon
26arXiv cs.RO 

StructRL : apprentissage par renforcement structuré en ligne pour les tâches vision-langage-action à long horizon

Des chercheurs d'Amazon proposent StructRL, un cadre d'apprentissage par renforcement (RL) en ligne destiné à améliorer les modèles vision-langage-action (VLA) sur des tâches longues, c'est-à-dire celles qui exigent plusieurs manipulations dépendantes à partir d'une seule consigne. La méthode découpe chaque tâche en sous-tâches vérifiables. Elle n'accorde une récompense intermédiaire qu'une fois les sous-tâches prérequises accomplies, puis module cette récompense selon le rythme d'achèvement. Les tests portent sur deux bancs d'essai, RoboCasa365 et LIBERO-Long, avec deux modèles de base, GR00T-N1.5 de NVIDIA et pi 0.5 de Physical Intelligence. Selon les auteurs, StructRL dépasse de façon constante les méthodes de RL en ligne auxquelles il est comparé. Le résumé ne donne pas de taux de réussite chiffrés, et le code est publié sur le dépôt GitHub d'Amazon Science. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Ce résultat vise un point faible connu des VLA. Ces modèles fonctionnent correctement sur des manipulations courtes, mais leurs performances se dégradent quand les étapes s'enchaînent, car une erreur précoce compromet toute la suite. La plupart des approches de RL en ligne ne récompensent qu'à la réussite complète de la tâche. Ce signal est très rare et ne distingue pas un échec immédiat d'une séquence presque réussie. En structurant la supervision autour de sous-tâches dont l'accomplissement se vérifie, StructRL donne un gradient exploitable sans recourir à un modèle de récompense appris, plus fragile. Pour un intégrateur, l'enjeu est concret : les tâches utiles en cuisine, en logistique ou en assemblage sont presque toujours longues. Cela suggère aussi que le post-entraînement par RL, et pas seulement l'imitation, pourrait devenir l'étape qui fait passer un VLA de la démonstration à la fiabilité. Il faut toutefois rester prudent. Les évaluations se font en simulation, et le cadre suppose qu'on puisse définir et détecter automatiquement chaque sous-tâche. C'est simple dans un simulateur, beaucoup moins dans un atelier réel, où il faut des capteurs ou des vérificateurs fiables. Le passage au monde physique reste donc à démontrer. Le travail s'inscrit dans une tendance déjà visible : affiner des modèles généralistes comme GR00T ou la famille pi par RL, face à des approches concurrentes fondées sur des modèles de récompense appris ou sur des démonstrations supplémentaires. La suite logique sera de tester la méthode sur robot réel et sur d'autres architectures de VLA.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Au-delà de l'importance des tokens : préserver les échafaudages spatiaux pour une inférence VLA efficace
27arXiv cs.RO 

Au-delà de l'importance des tokens : préserver les échafaudages spatiaux pour une inférence VLA efficace

Une équipe de chercheurs propose GeoScaffold, une méthode d'élagage (pruning) des tokens visuels pour les modèles vision-langage-action (VLA), qui ne demande aucun réentraînement. Le travail, publié sur arXiv (2609.36967), part d'un constat : les stratégies existantes retiennent des tokens visuels individuels selon leur pertinence sémantique pour la tâche, sans tenir compte de l'information spatiale que la manipulation exige. Pour tester cette limite, les auteurs construisent une référence volontairement simple, « Stride », qui échantillonne uniformément les tokens sur la séquence visuelle aplatie en une dimension, soit un élagage purement géométrique. Sur pi 0.5 et le benchmark de simulation LIBERO, GeoScaffold conserve seulement 20 % des tokens visuels tout en maintenant un taux de succès moyen de 93,2 %, avec une accélération de 1,78 fois de la phase de prefill par rapport au modèle non élagué. Le résultat le plus instructif tient au comportement de Stride. À certains taux d'élagage, cette méthode naïve dépasse l'élagage sémantique et l'élagage aléatoire, mais elle s'effondre dès que le budget de tokens baisse légèrement. Les auteurs l'expliquent par le « rayon de couverture spatiale », c'est-à-dire le plus grand angle mort créé dans l'image par l'ensemble des tokens conservés, et ils observent une forte corrélation entre ce rayon et le succès des tâches. Pour les équipes qui cherchent à faire tourner des VLA sur du calcul embarqué, le message est clair : choisir les tokens « importants » ne suffit pas, il faut aussi préserver l'échafaudage géométrique de la scène. Cela remet en cause l'idée, héritée de la vision par ordinateur généraliste, que la pertinence sémantique suffit à guider la compression pour le contrôle robotique. Le gain reste modeste sur le prefill, et il est mesuré uniquement en simulation. Aucune validation sur robot réel, latence de bout en bout ou consommation n'est annoncée dans le résumé. GeoScaffold découpe chaque image en régions spatiales, répartit le budget de tokens entre régions selon des poids de pertinence pour la tâche, puis choisit à l'intérieur de chaque région des tokens « d'échafaudage » par échantillonnage du point le plus éloigné (farthest point sampling), afin de réduire le rayon de couverture local. Il s'inscrit dans une série de travaux sur l'accélération des VLA, dont pi 0.5 de Physical Intelligence est ici le modèle de référence, et qui cherchent à réduire le coût d'inférence sans repasser par l'entraînement. LIBERO reste un banc d'essai en simulation, dont les scènes sont plus régulières que celles d'un site industriel, ce qui limite la portée des 93,2 % annoncés. La suite logique serait un test sur d'autres architectures VLA et sur matériel réel, mais aucun calendrier n'est communiqué.

RecherchePaper
1 source
Plans rapides, actions fidèles : combler l'écart entre planification et exécution dans les modèles VLA hiérarchiques
28arXiv cs.RO 

Plans rapides, actions fidèles : combler l'écart entre planification et exécution dans les modèles VLA hiérarchiques

Une équipe de recherche publie sur arXiv (2609.30833) une étude sur les systèmes hiérarchiques vision-langage-action (VLA), où un planificateur vision-langage pilote un module d'action bas niveau. Sur un pipeline de waypoints adapté du modèle Pi-0.5 de Physical Intelligence, le décodage token par token (Token-AR) du planificateur exige jusqu'à 57 passes du modèle vision-langage par plan, un coût incompatible avec le temps réel ; effacer les points d'arrivée des trajectoires ne dégrade quasiment pas le taux de réussite. La solution proposée, un décodage par blocs (Block-AR) combiné à une modulation d'objectif normalisée (NGM), fait tomber ce nombre de passes de 57 à 8 sur le benchmark LIBERO et divise par 8,7 la latence sur un robot bimanuel Rokae, tandis que le taux de réussite sur LIBERO-Long grimpe de 91,0% à 96,2% et la moyenne des quatre suites de 95,85% à 98,45%. Ce travail met en lumière un angle mort des architectures VLA hiérarchiques, popularisées par des modèles comme GR00T N2 de NVIDIA ou Helix de Figure : la course actuelle privilégie les capacités du planificateur, alors que l'étude situe le véritable goulot d'étranglement dans l'articulation entre plan et exécution. Que des plans tronqués ou peu exploités n'affectent pas les performances contredit l'idée qu'une planification plus détaillée garantit plus de fiabilité. Pour les intégrateurs, la latence des VLM reste le principal frein à un déploiement en cadence réelle ; la diviser par plus de huit sans perte de précision, avec un gain de près de trois points sur les tâches longues, indique qu'un contrôle temps réel est atteignable sans sacrifier le raisonnement vision-langage. Le pipeline de référence s'appuie sur Pi-0.5, le modèle VLA hiérarchique de Physical Intelligence, dont l'approche par waypoints s'inscrit dans le même courant que GR00T N2 (NVIDIA) ou Helix (Figure). Il s'agit d'une contribution de recherche algorithmique, validée en simulation sur LIBERO et testée sur un bras bimanuel Rokae, non d'un produit commercialisé ni d'un déploiement industriel. Sans calendrier d'intégration à une plateforme commerciale annoncé, la publication vise à documenter une méthode reproductible pour réduire le coût de calcul des VLA hiérarchiques tout en renforçant la fidélité entre plan et action, une piste que d'autres laboratoires travaillant sur des architectures similaires pourraient reprendre.

RechercheOpinion
1 source
Sorties anticipées découplées : allocation de calcul adaptée à la tâche dans les VLA à flow-matching
29arXiv cs.RO 

Sorties anticipées découplées : allocation de calcul adaptée à la tâche dans les VLA à flow-matching

Une équipe de recherche propose une méthode pour réduire le coût de calcul des modèles VLA à flow matching, qui combinent un backbone vision-langage préentraîné avec un action expert générant des actions robotiques continues. Publiée sur arXiv le 25 septembre 2026 (2609.29382), l'approche traite comme réglables indépendamment trois leviers : la profondeur du backbone, celle de l'action expert et le nombre d'étapes de denoising, via de légers modules "Exit Transformers" insérés à des profondeurs intermédiaires et entraînés par distillation, associés à un mécanisme de synthèse de cache KV qui reconstruit les clés et valeurs des couches sautées. Le surcoût en paramètres reste minime, +2,1% pour SmolVLA et +4,1% pour π0.5, sans réentraînement complet. Sur LIBERO et Meta-World, la configuration conjointe des trois leviers réduit la latence de 79,2%, le calcul en FLOPs de 31,8%, et améliore le taux de réussite moyen de 5,6%. L'apport principal n'est pas seulement le gain de vitesse : c'est la démonstration que le budget de calcul optimal dépend de la tâche, certaines bénéficiant d'un backbone raccourci, d'autres d'un action expert raccourci ou de moins d'étapes de denoising, ces leviers ayant des effets complémentaires plutôt que redondants. C'est une piste directement exploitable pour les intégrateurs cherchant à faire tourner des politiques VLA sur du matériel embarqué à puissance limitée, sans réentraînement coûteux. Améliorer simultanément vitesse et taux de réussite contredit l'hypothèse habituelle d'un compromis strict entre précision et rapidité, un point qui intéresse les décideurs évaluant le passage des VLA généralistes du prototype au produit industriel. Jusqu'ici, les méthodes existantes pour accélérer les VLA à flow matching se limitaient à sauter des couches du backbone ou à réduire les étapes de débruitage, sans toucher à la profondeur de l'action expert, le composant qui génère les actions du robot. Les auteurs comblent cette lacune en traitant les trois axes conjointement. La méthode est validée sur SmolVLA, modèle compact open source de l'équipe LeRobot de Hugging Face, cofondée par des Français, et sur π0.5, de la lignée des modèles Pi de Physical Intelligence. Il s'agit d'une contribution de recherche évaluée en simulation, sans partenaire industriel ni calendrier de déploiement annoncé.

UESmolVLA, l'un des deux modèles valides par cette méthode, est développe par l'équipe LeRobot de Hugging Face, cofondée par des chercheurs français, ce qui relie indirectement cette avancée a l'écosystème européen de la robotique open source.

RecherchePaper
1 source
HarnessPAI : un harnais évolutif pour l'IA physique
30arXiv cs.RO 

HarnessPAI : un harnais évolutif pour l'IA physique

Une équipe liée au projet Darwin Agent a publié le 25 septembre 2026 sur arXiv (2609.29166) HarnessPAI, un framework agnostique au modèle et à la morphologie qui pilote les modèles d'action physique via du code exécutable. Le système sépare deux échelles : pendant un rollout, un programme fixe vérifie l'exécution en boucle ouverte ; entre les rollouts, il évolue en boucle fermée et transforme les échecs en compétences réutilisables grâce au retour d'exécution. Testé sur des bras de bureau, des robots domestiques, un aspirateur robot et un agent marcheur à pattes, HarnessPAI améliore les modèles d'action purs et les baselines "code-as-policy" sans réentraînement : +61,6 points sur Pi-0.5 sur LIBERO-PRO, +27,2 points sur WorldDreamer sur les tâches atomiques de RoboCasa. Une fois le programme convergé, aucune délibération LLM en ligne n'est nécessaire ; il sert aussi de collecteur de données expertes bon marché, et réentraîner Pi-0.5 sur ces données relève son taux de réussite de 38,8 points sur LIBERO-PRO. Ces résultats contredisent l'hypothèse dominante selon laquelle la performance en robotique physique dépend avant tout de modèles d'action plus puissants : l'entraînement standard de ces modèles peut au contraire éroder les capacités de perception et de raisonnement nécessaires à un comportement robuste, rendant même des modèles forts vulnérables aux perturbations de scène et aux tâches longues. Pour les intégrateurs et chercheurs, cela suggère qu'un harnais exécutable et piloté par le retour d'expérience peut être aussi déterminant que le modèle lui-même, et qu'il offre une voie moins coûteuse pour collecter des données d'entraînement sans téléopération massive. HarnessPAI s'inscrit dans les efforts visant à combler l'écart entre démonstrations et déploiement réel des modèles vision-langage-action, dans un paysage dominé par Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI ; l'étude compare directement son approche à Pi-0.5 et à WorldDreamer, la positionnant comme complémentaire plutôt que concurrente. Il s'agit pour l'instant d'une publication de recherche, sans annonce de déploiement industriel ni de partenaire commercial identifié : les auteurs présentent ces résultats comme une preuve de concept sur plusieurs plateformes robotiques, ouvrant la voie à des systèmes intégrant perception, raisonnement et action de manière vérifiable.

IA physiquePaper
1 source
La gaussienne suffit : les priors par flow matching n'aident pas lors du fine-tuning de grands modèles de comportement
31arXiv cs.RO 

La gaussienne suffit : les priors par flow matching n'aident pas lors du fine-tuning de grands modèles de comportement

Une étude publiée sur arXiv en septembre 2026 (2609.27070) montre que remplacer le prior gaussien standard des politiques de diffusion ou de flow-matching par un prior non gaussien, plus proche de la distribution cible, n'améliore pas le fine-tuning de grands modèles de comportement (Large Behavior Models) préentraînés. Les auteurs testent trois modèles, LBM 1.0 du Toyota Research Institute, Pi-0.5 de Physical Intelligence et GR00T N1.5 de NVIDIA, sur plus de 100 000 essais en simulation couvrant plus de 40 tâches et deux plateformes, ainsi que 1250 essais sur matériel réel portant sur cinq tâches de manipulation bimanuelle. Dans quasiment tous les cas, le prior non gaussien produit des résultats statistiquement indiscernables, voire pires, que le prior gaussien classique; un éventuel avantage n'apparaît que pour de très faibles fractions de données de fine-tuning. Ce résultat contredit l'hypothèse répandue selon laquelle un prior appris, plus proche de la cible, apporterait un gain supplémentaire lors du fine-tuning de modèles préentraînés, un bénéfice pourtant bien établi à l'entraînement from scratch. Pour les intégrateurs qui bâtissent leurs déploiements sur des modèles vision-language-action génériques, l'étude suggère que l'effort d'ingénierie compte moins sur le design du bruit d'entrée que sur l'entraînement de l'encodeur: les politiques fine-tunées convergent vers des actions similaires quel que soit le prior, alors que leurs embeddings divergent fortement du préentraînement. Une ablation du taux d'apprentissage confirme que l'entraînement de l'encodeur reste le facteur dominant de la performance finale, loin devant le choix du prior. L'étude s'inscrit dans la vague de modèles génériques de manipulation robotique préentraînés sur de larges corpus de démonstrations, à l'image de LBM (Toyota Research Institute), de la famille Pi de Physical Intelligence (Pi-0, Pi-0.5) ou de GR00T (NVIDIA). Les gains procurés par des priors non gaussiens n'avaient jusqu'ici été démontrés qu'à l'entraînement from scratch; ce travail est le premier à tester leur transfert au paradigme dominant de la robotique généraliste en 2026, le fine-tuning de fondations préentraînées. Les auteurs concluent en identifiant des pistes pour déterminer dans quelles conditions, notamment à très faible volume de données cibles, un prior appris pourrait malgré tout apporter un bénéfice.

UELes intégrateurs européens qui fine-tunent des modèles VLA génériques (LBM, Pi-0.5, GR00T) peuvent appliquer ces conclusions pour prioriser l'entrainement de l'encodeur plutôt que le design du prior.

RecherchePaper
1 source
Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises
32arXiv cs.RO 

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine. L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle. Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

RecherchePaper
1 source
StarVLA-α : réduire la complexité des systèmes vision-langage-action
33arXiv cs.RO 

StarVLA-α : réduire la complexité des systèmes vision-langage-action

Une équipe de recherche présente StarVLA-α, un modèle de référence pour les systèmes Vision-Language-Action (VLA) en robotique, dans une preprint arXiv (2604.11757, version 2) accompagnée d'un code annoncé sur github.com/starVLA/starVLA. Le modèle réduit volontairement la complexité architecturale et applique le même pipeline minimal sur quatre benchmarks standards du secteur : LIBERO, SimplerEnv, RoboTwin et RoboCasa. Sa version généraliste unique dépasse de 20 % le modèle Pi-0.5 (π0.5) sur RoboChallenge, un benchmark public évalué en conditions réelles et non en simulation. Les auteurs ont réévalué plusieurs choix de conception clés : stratégie de modélisation de l'action, pré-entraînement spécifique au robot et ingénierie d'interface. Ce résultat contredit une hypothèse répandue dans la course aux VLA, selon laquelle la performance exige un empilement d'astuces d'ingénierie et des architectures toujours plus complexes. En montrant qu'un backbone VLM (vision-language model) solide combiné à un design minimal suffit à dépasser un modèle reconnu comme Pi-0.5 sur un test en conditions réelles, l'étude remet en question la course à la complexité qui domine le secteur. Pour les intégrateurs et les laboratoires de recherche, l'intérêt est concret : une base simple, reproductible et compétitive réduit le coût d'entrée pour tester de nouvelles idées sans reproduire des pipelines propriétaires. Cela suggère aussi que le goulot d'étranglement des VLA tient moins à l'architecture qu'à la qualité du backbone et des données d'entraînement. Le champ des VLA s'est fragmenté depuis l'arrivée de modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, associé au robot Figure 03, chacun avec ses propres choix d'architecture et de données, rendant les comparaisons difficiles. StarVLA-α se positionne en contrepoint académique, en isolant les axes de conception pour permettre une analyse contrôlée plutôt qu'une surenchère d'ingénierie propre à chaque benchmark. Il s'agit d'une contribution de recherche et non d'un produit commercial ou d'un déploiement industriel : le code n'était pas encore public au moment de la publication, seule une adresse GitHub était annoncée. Les auteurs présentent StarVLA-α comme un point de départ pour de futurs travaux sur les VLA, sans partenariat industriel ni calendrier de déploiement annoncé.

RechercheOpinion
1 source
Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor
34Pandaily 

Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor

Infinigence AI, en collaboration avec des équipes de l'université Tsinghua et de Shanghai Jiao Tong University, a mis en open source APXInf, un moteur d'inférence conçu pour faire fonctionner des modèles de robotique embarquée directement sur l'appareil, sans passer par le cloud, afin de fermer localement la boucle percevoir-décider-agir. Le code est disponible sur GitHub sous RLinf/APXinf-robo, avec un runtime écrit en Rust et des bindings Python, ciblant les cartes Jetson de NVIDIA ainsi que des GPU de bureau. Selon Infinigence et les relais du média chinois QbitAI, le chiffre phare est une latence d'inférence de bout en bout ramenée de 278 ms à moins de 26 ms pour le modèle PI 0.5 en FP8 sur une carte Jetson Thor, soit environ 38,46 Hz, une réduction d'un facteur 10 par rapport à la version non optimisée prise comme référence. Cette performance reposerait sur des optimisations de pipeline, de graphe de calcul, de noyaux de calcul (kernels) et de quantification, complétées par une fusion de kernels CUDA assistée par un agent baptisé Agent4Kernel. Le support initial couvre les modèles PI 0.5 et WALL-OSS, sur Jetson Orin, Jetson Thor et GeForce RTX 4090. Pour l'industrie robotique, cette annonce s'adresse directement aux intégrateurs et aux équipes R&D confrontées au fossé entre modèles vision-langage-action (VLA) impressionnants en démonstration et contrôle stable et réactif sur robot réel. En ciblant explicitement le "dernier kilomètre" entre un modèle VLA capable et un contrôle embarqué fiable, Infinigence répond à une critique récurrente du secteur: la latence cloud rend beaucoup de VLA inutilisables pour du contrôle temps réel en environnement industriel. Le choix architectural, un runtime Rust minimal pour la sécurité mémoire et la stabilité sur de longues durées, plutôt qu'une simple optimisation de vitesse de pointe, cible les déploiements industriels continus plutôt que les démonstrations ponctuelles. Toutefois, le chiffre de latence doit être lu avec prudence: il concerne un modèle et une configuration matérielle précis, et Infinigence lui-même invite les équipes à reproduire ces mesures sur leurs propres checkpoints et contraintes de puissance, ce qui suggère que la portabilité de la performance à d'autres modèles ou tailles de batch n'est pas garantie. APXInf s'inscrit dans la continuité de RLinf, la pile d'entraînement par apprentissage par renforcement déjà développée par Infinigence, étendant ainsi son écosystème open source de la phase de post-entraînement vers le déploiement embarqué, avec une compatibilité de service annoncée avec OpenPI. La feuille de route évoquée inclut de nouveaux portages de modèles VLA, VLM et de modèles du monde (des travaux liés à Qwen et à la famille GR00T sont déjà mentionnés), une optimisation au format nvfp4, des backends AMD, ainsi que des backends d'inférence et des systèmes d'exploitation robotiques domestiques chinois. Le projet se positionne ainsi face aux piles d'inférence propriétaires ou semi-fermées des acteurs occidentaux du VLA, en misant sur l'ouverture du code comme argument de diffusion auprès des intégrateurs.

UELes intégrateurs et équipes R&D européennes en robotique peuvent tester cet outil open source pour réduire la latence d'inférence VLA embarquée sur leurs propres plateformes Jetson.

IA physiqueActu
1 source
IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action
35arXiv cs.RO 

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu
1 source
Pilotage de politique par proxy
36arXiv cs.RO 

Pilotage de politique par proxy

Les chercheurs à l'origine de l'article "Proxy Policy Steering" présentent une méthode d'adaptation à l'inférence pour les politiques robotiques généralistes, publiée sur arXiv (arXiv:2609.09148v2). La technique, baptisée PPS, entraîne deux petites politiques proxy en parallèle d'un modèle de base gelé : une "proxy de référence" reproduit le comportement du modèle de base sur les observations de la tâche cible, tandis qu'une "proxy de tâche", initialisée à partir de la première, capture comment ce comportement évolue sous supervision spécifique à la tâche. La différence calibrée entre ces deux proxys, dans l'espace des vitesses, vient orienter le processus de débruitage du modèle de base à chaque étape, sans jamais modifier ses paramètres. Testée sur 8 tâches de manipulation en conditions réelles et 4 en simulation, PPS améliore le taux de réussite du modèle pi-0.5, considéré comme référence actuelle du secteur, de 53 points de pourcentage en moyenne, avec des gains sur des tâches que ce modèle échouait systématiquement auparavant. Cette approche répond à un problème central pour l'industrie robotique : comment spécialiser un modèle généraliste entraîné sur des données massives à une nouvelle tâche, avec peu de démonstrations, sans dégrader ses capacités générales ni nécessiter un réentraînement complet. Contrairement au fine-tuning LoRA, aux politiques résiduelles ou aux spécialistes entraînés from scratch, PPS ne touche pas aux poids du modèle de base et ne requiert que ses prédictions de vitesse en sortie, ce qui la rend applicable même sans accès à ses paramètres internes, un atout pour des intégrateurs qui déploieraient des modèles propriétaires fermés. Le maintien des comportements de récupération après échec, jamais démontrés explicitement dans les données de spécialisation, illustre que la méthode préserve les priors larges du modèle plutôt que de les écraser, un problème récurrent des méthodes d'adaptation classiques. Le travail s'inscrit dans la lignée des modèles vision-langage-action (VLA) génériques comme pi-0 et sa version 0.5, GR00T N2 de NVIDIA ou Helix de Figure, tous confrontés au même goulot d'étranglement du déploiement : la généralisation en démonstration ne garantit pas la performance sur une tâche industrielle précise. PPS se positionne comme alternative aux méthodes de steering à l'inférence existantes et au fine-tuning paramétrique, en comparant ses résultats empiriquement contre ces baselines. L'article ne précise pas de partenaire industriel, de calendrier de déploiement ni de coût de licence associé, ce qui situe la contribution au stade de recherche méthodologique plutôt que de produit prêt à l'intégration.

IA physiqueActu
1 source
MINERVA : quelle taille minimale pour une politique de manipulation qui résout LIBERO ?
37arXiv cs.RO 

MINERVA : quelle taille minimale pour une politique de manipulation qui résout LIBERO ?

Publiée le 4 septembre 2026 sur arXiv (2609.03715v1), l'étude MINERVA mesure la taille de modèle réellement nécessaire pour résoudre LIBERO, le benchmark de manipulation aujourd'hui dominé par des modèles vision-langage-action (VLA) de plusieurs milliards de paramètres. Sa politique de 0,54 million de paramètres atteint 95,1% de réussite sur 2 000 essais répartis sur les quatre suites standard de LIBERO, à seulement 2,4 points du résultat rapporté pour pi-0.5 de LeRobot, avec 7 700 fois moins de paramètres. Les performances plafonnent vers 1 million de paramètres et s'effondrent sous 250 000. La régression L1 directe égale le flow matching tout en étant jusqu'à 3,8 fois plus rapide sur GPU, et sur simple CPU portable, sans GPU, la politique replanifie chaque pas de contrôle en 5 à 9 millisecondes, 113 fois plus vite que SmolVLA et 1 400 fois plus vite que pi-0.5. Sur LIBERO-90 (89 tâches), le même protocole obtient 94,6%, mais chute à 46-56% face aux perturbations de LIBERO-Plus, avec une robustesse quasi nulle aux variations photométriques. Ce résultat bouscule l'idée dominante selon laquelle la manipulation robotique exige des VLA à l'échelle des grands modèles de langage: un réseau 7 700 fois plus petit que pi-0.5 approche ses performances, signe que le plancher de capacité requis par LIBERO est très bas. Une permutation des identifiants de tâche montre que le conditionnement par instruction sert surtout à sélectionner une tâche mémorisée: changer seulement ce mappage ramène le taux de réussite près du hasard, ce qui interroge ce que le benchmark mesure vraiment. Pour les intégrateurs, une inférence en quelques millisecondes sur simple CPU ouvre la voie à des contrôleurs embarqués bon marché, tandis que la fragilité aux perturbations photométriques rappelle qu'un score élevé sur benchmark ne garantit pas la robustesse en conditions réelles. Le travail s'inscrit dans une course à l'échelle menée par des VLA généralistes comme pi-0 et pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure AI ou SmolVLA de Hugging Face, cité ici comme référence de politique compacte. LIBERO, benchmark de manipulation devenu standard depuis 2023, sert de terrain de comparaison, mais son biais vers la mémorisation des tâches, mis au jour par MINERVA, questionne sa validité comme mesure de généralisation. Les auteurs appellent à une conception de politiques consciente de la capacité et à des stratégies de distillation pour produire des modèles robotiques efficaces au déploiement, plutôt qu'à une simple course au nombre de paramètres.

RecherchePaper
1 source
WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action
38arXiv cs.RO 

WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action

Un article publié le 3 septembre 2026 sur arXiv (2609.03681) présente WISE, une méthode de post-entraînement pour les modèles VLA (Vision-Language-Action) en robotique manipulatrice. Plutôt que d'affiner ces politiques par démonstrations d'experts coûteuses ou par renforcement en conditions réelles, risqué et onéreux, WISE s'appuie sur un modèle du monde pour imaginer et évaluer des comportements candidats, mais seulement aux états jugés critiques pour l'interaction, sur des horizons courts et multi-vues afin de limiter la dérive de prédiction. Testée sur les modèles Pi-0 et Pi-0.5 de Physical Intelligence, la méthode réduit le temps de calcul GPU d'environ 80% par rapport à une imagination exhaustive, tout en améliorant les performances sur un éventail de tâches de manipulation. Des évaluations en conditions réelles confirment des gains de robustesse et de généralisation face à des changements de distribution. Le résultat s'attaque à un frein connu à l'usage des modèles du monde en robotique: leur coût de calcul et l'accumulation d'erreurs sur de longs horizons de simulation en limitaient jusqu'ici l'intérêt pratique face au renforcement réel. En montrant qu'une imagination sélective et bornée conserve l'essentiel du gain de performance pour un cinquième du coût GPU d'une approche complète, WISE offre aux équipes de recherche appliquée un argument économique pour intégrer ces modèles dans leurs pipelines de fine-tuning sans les risques du reinforcement learning physique. Le travail apporte aussi une preuve empirique que des architectures VLA généralistes comme Pi-0 peuvent gagner en robustesse sans démonstrations supplémentaires, un point clé pour les décideurs qui évaluent le passage du laboratoire au déploiement industriel fiable. Ce travail s'inscrit dans la lignée des recherches récentes sur les modèles du monde en robotique, dans un paysage où NVIDIA (GR00T N2) ou Figure AI (Helix) explorent aussi des architectures VLA généralistes, mais en ciblant ici spécifiquement l'efficacité du post-entraînement plutôt que la génération de comportements bout-en-bout. La méthode a été validée sur Pi-0 et Pi-0.5, les bases VLA développées par Physical Intelligence. Il s'agit à ce stade d'un article de recherche, sans annonce de produit commercial, de partenariat industriel ni de calendrier de déploiement; la suite attendue serait son intégration dans des pipelines de fine-tuning propriétaires ou sa reproduction indépendante sur d'autres architectures pour confirmer les gains annoncés.

IA physiqueOpinion
1 source
Savoir quand s'arrêter : le découpage adaptatif d'actions via la dynamique interne d'attention croisée dans les VLA
39arXiv cs.RO 

Savoir quand s'arrêter : le découpage adaptatif d'actions via la dynamique interne d'attention croisée dans les VLA

Des chercheurs publient sur arXiv (arXiv:2609.00908v1) une méthode nommée "adaptive action chunking" pour les architectures Vision-Language-Action (VLA), les modèles qui traduisent image et langage en séquences d'actions robotiques. Le chunking d'actions est une pratique standard dans ces frameworks : plutôt que de prédire une action à la fois, le modèle génère un bloc d'actions consécutives à exécuter en boucle ouverte avant la prochaine inférence. Le problème identifié est que des blocs courts obligent à des inférences fréquentes et provoquent des oscillations, tandis que des blocs longs se désynchronisent de l'état réel observé par le robot. La méthode proposée exploite les poids d'attention croisée action-observation déjà calculés en interne par l'"action expert" du modèle : quand l'horizon de prédiction s'allonge, cette attention se disperse et son entropie grimpe vers un plateau, signal corrélé à une hausse de l'erreur de prédiction. Un mécanisme de troncature sans entraînement supplémentaire détecte ce plateau et ajuste dynamiquement la longueur du bloc exécuté, avec un surcoût de calcul jugé négligeable. Testée sur les modèles pi-0.5 et X-VLA, sur les bancs d'essai RoboTwin 2.0 et LIBERO ainsi que sur trois tâches de manipulation réelles, l'approche améliore le taux de succès moyen par rapport aux méthodes à horizon fixe et aux baselines adaptatives existantes, tout en conservant un contrôle en boucle fermée efficace. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement pratique plutôt qu'à une prouesse de démonstration : la latence d'inférence des VLA reste un frein au déploiement temps réel, et le chunking est le compromis habituel entre réactivité et coût de calcul. Une méthode qui rend ce compromis dynamique, sans réentraînement ni capteur supplémentaire, intéresse directement les intégrateurs qui doivent faire tourner des VLA sur du matériel embarqué à budget de calcul limité. Cela nuance aussi le récit selon lequel il suffirait d'agrandir les modèles ou les jeux de données de démonstration : ici, le gain vient d'une meilleure exploitation du signal déjà présent dans le modèle, pas d'un nouvel entraînement. Ce papier s'inscrit dans la lignée des travaux récents sur les architectures VLA telles que pi-0 (et sa variante pi-0.5) et X-VLA, qui cherchent à généraliser l'exécution de tâches de manipulation robotique à partir d'entrées multimodales. L'évaluation combine des simulateurs académiques standards, RoboTwin 2.0 et LIBERO, avec des tâches réelles, ce qui distingue cette contribution des simples démonstrations vidéo. Aucun partenaire industriel ni date de déploiement commercial n'est mentionné : il s'agit d'une contribution de recherche méthodologique, publiée en septembre 2026, dont l'adoption dépendra de son intégration dans des piles VLA existantes par les laboratoires ou entreprises qui développent ces modèles.

RechercheOpinion
1 source
AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif
40arXiv cs.RO 

AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif

Des chercheurs ont publié fin août 2026 sur arXiv (référence 2608.29208v1) une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, baptisée AdaVLA. Les VLA, construits à partir de modèles vision-langage (VLM), souffrent d'un coût de calcul élevé qui freine leur déploiement embarqué et empêche des réponses en temps réel aux changements d'environnement. Contrairement aux techniques d'accélération existantes, qui nécessitent souvent un fine-tuning ou un accès aux données d'entraînement, rarement disponibles pour des raisons de confidentialité ou de propriété industrielle, AdaVLA fonctionne en ligne et sans données d'entraînement. La méthode introduit une métrique dérivée de la courbure de la trajectoire de flow matching pour estimer la confiance du modèle dans la génération d'action à chaque étape d'inférence. Cette métrique permet de réduire dynamiquement le nombre d'étapes d'inférence et d'ajuster le taux d'élagage des couches MLP via une évaluation d'importance calculée efficacement. Testée sur le benchmark LIBERO avec un module embarqué Jetson AGX Orin, la méthode obtient une accélération de 1,87x pour le modèle pi-0.5 et de 2,24x pour X-VLA, avec une dégradation jugée négligeable des taux de réussite des tâches. Les auteurs indiquent avoir aussi validé la robustesse de leur approche sur des tâches robotiques réelles avec SmolVLA, un modèle VLA compact développé par Hugging Face. Pour les intégrateurs et les équipes robotique, ce travail cible un goulot d'étranglement précis et jusqu'ici peu traité : la plupart des efforts d'accélération des VLA portent sur le coût d'inférence du VLM, la partie perception et raisonnement, et non sur le processus itératif de résolution d'équation différentielle propre au flow matching, qui génère les actions du robot. Si ces résultats se confirment à plus grande échelle, une méthode sans réentraînement ni accès aux données change la donne pour le déploiement en production, car elle peut s'appliquer à des modèles propriétaires sans toucher au pipeline d'entraînement, un frein courant chez les fournisseurs commerciaux de VLA. Cela conforte aussi l'idée que le flow matching, déjà présenté comme alternative plus légère aux modèles de diffusion classiques pour le contrôle robotique, peut être compressé davantage sans réentraînement lourd, un argument clé pour l'embarqué face aux contraintes de latence et d'énergie des humanoïdes et bras robotiques actuels. AdaVLA s'inscrit dans la vague de modèles VLA apparue avec des architectures comme pi-0 et sa variante pi-0.5, développées par Physical Intelligence, X-VLA, ou SmolVLA, conçu par Hugging Face, qui exploitent des VLM pré-entraînés à l'échelle d'internet pour doter les robots de capacités de raisonnement multimodal. Le flow matching s'est imposé ces derniers mois comme alternative aux processus de diffusion standards pour générer des trajectoires d'action, mais restait coûteux en inférence du fait des multiples étapes de résolution ODE. L'article, encore un simple dépôt arXiv non revu par les pairs à ce stade, ne précise ni calendrier d'intégration industrielle ni partenariat annoncé avec un fabricant de robots, et ses résultats reposent sur un seul jeu de benchmarks simulés complété par des essais réels limités sur SmolVLA. La suite logique, non détaillée dans le résumé des auteurs, serait une validation sur des VLA plus volumineux ou multi-tâches et sur du matériel robotique commercial plus large que le seul Jetson AGX Orin utilisé pour les tests.

IA physiqueOpinion
1 source
Vidéo : Hugging Face dévoile un minirobot en forme de canard capable de marcher, apprendre et patiner
41Interesting Engineering 

Vidéo : Hugging Face dévoile un minirobot en forme de canard capable de marcher, apprendre et patiner

Hugging Face a présenté Microduck, un petit robot bipède open source en forme de canard, développé avec l'entreprise française Pollen Robotics. Vendu 399 dollars, l'appareil doit commencer à être livré avant Noël 2026. Haut de 25 centimètres pour un poids inférieur à 800 grammes, Microduck embarque 15 moteurs, une caméra, un petit capteur de profondeur et deux centrales inertielles (IMU). Son bec articulé lui permet de saisir des objets, combinant locomotion et manipulation simple. Le robot sait marcher, s'asseoir, s'accroupir, se relever après une chute et même faire du roller skate. Il est livré avec des comportements pré-entraînés utilisables via une manette de jeu ou en suivant un point laser, mais ceux-ci ne sont qu'un point de départ : le logiciel complet (contrôle, simulation, apprentissage par renforcement, transfert sim-to-real) est publié en open source via deux dépôts distincts, l'un pour le SDK et le pilotage du robot, l'autre dédié à l'entraînement par renforcement. Ce lancement illustre une approche différente de la course aux humanoïdes dominée par des acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence (Pi-0) : plutôt que viser des déploiements industriels à grande échelle, Hugging Face et Pollen Robotics misent sur l'accessibilité pour démocratiser l'expérimentation en IA physique. La taille réduite et la légèreté de Microduck rendent l'apprentissage par renforcement praticable sur un bureau ou en salle de classe, un processus coûteux et risqué sur des robots de taille humaine. La capacité de récupération après chute réduit aussi le besoin d'intervention manuelle entre deux essais, un point pratique souvent sous-estimé dans les démonstrations de recherche. Pour les intégrateurs et chercheurs, l'intérêt réside moins dans les prouesses physiques du robot que dans l'accès à une pile logicielle complète et ouverte pour tester le transfert simulation-vers-réel, un défi toujours non résolu de façon fiable en robotique malgré les progrès des modèles VLA à grande échelle. Ce lancement s'inscrit dans l'expansion des efforts robotiques de Hugging Face, qui cherche à étendre son modèle open source au-delà du logiciel vers le matériel physique, après d'autres initiatives de plateformes robotiques low-cost. Pollen Robotics, société française déjà connue pour ses travaux en robotique open source, apporte son expertise en conception matérielle et logicielle à ce projet. Microduck se positionne aussi comme un outil pour l'expérimentation multi-robots, avec des scénarios évoqués comme des courses ou du football entre plusieurs unités, permettant d'étudier la robotique multi-agents sans recourir à des robots humanoïdes coûteux. Le produit reste pour l'instant au stade de l'annonce, avec une commercialisation effective attendue d'ici la fin de l'année, et son adoption réelle par la communauté des développeurs et chercheurs déterminera si cette approche accessible peut réellement accélérer la recherche en apprentissage physique.

UEPollen Robotics, entreprise française, co-développe le matériel et le logiciel de Microduck avec Hugging Face, renforçant la place de la France dans la robotique open source accessible.

FR/EU ecosystemeActu
1 source
Réfléchir uniquement quand c'est nécessaire : contrôle par autorité de prompt pour une intervention sélective en mode lent dans la manipulation VLA
42arXiv cs.RO 

Réfléchir uniquement quand c'est nécessaire : contrôle par autorité de prompt pour une intervention sélective en mode lent dans la manipulation VLA

Un article publié sur arXiv (référence 2608.23224v1) documente un phénomène baptisé effondrement de forme du prompt dans le pilotage de robots par des modèles vision-langage-action (VLA). Ajouter du texte récupéré au prompt d'une politique VLA gelée, sans réentraînement, fait chuter le taux de réussite moyen de 92,47 % à 3,00 % sur 500 états testés, un ajout dénué de sens mais de longueur équivalente échouant tout aussi complètement. Les auteurs introduisent TOWN-VLA, une interface qui sépare la génération de texte candidat de l'autorisation de modifier l'entrée de la politique : une règle fixe n'autorise qu'une instruction compacte canonique, sinon le prompt original est restauré à l'identique, un contrat respecté sur les 900 routes auditées (525 restaurations vérifiées par empreinte, 375 prompts autorisés préservant la tâche). Sur l'évaluation LIBERO-Plus (grille 4x7, 10 030 épisodes par méthode), le taux de réussite passe de 69,5 % à 73,1 %, avec des gains sur les six axes de perturbation et les quatre suites testées. Sur un bras physique PiPER piloté par un checkpoint gelé du modèle π0.5, il grimpe de 52,7 % à 78,7 % sur 150 essais par méthode (p=3,16x10^-6). Ce résultat vise une pratique répandue : l'augmentation par récupération de contexte sur un modèle gelé, sans réentraînement coûteux, est perçue comme un moyen sûr d'enrichir une politique VLA en production. Or un texte sémantiquement vide provoque le même échec total qu'un texte informatif, preuve que c'est la forme de l'instruction, et non son contenu, qui domine l'exécution, un angle mort pour les intégrateurs qui supposent qu'ajouter du contexte ne peut que rester neutre ou aider. Pour les décideurs évaluant des piles VLA prêtes à l'emploi, ce travail plaide pour une couche de contrôle d'autorité sur les prompts, séparée du modèle de génération, avant tout déploiement réel. Le travail s'appuie sur un modèle gelé de la famille pi-zero (π0.5), développée par Physical Intelligence, ce qui positionne TOWN-VLA comme une couche de contrôle générique plutôt qu'un modèle concurrent d'architectures comme GR00T N2 de NVIDIA ou Helix de Figure AI. Les auteurs indiquent que la prochaine étape est une calibration d'admission sans oracle, signe que le système reste, à ce stade, un résultat de recherche audité en simulation et sur un bras robotique isolé, sans déploiement industriel ni pilote commercial annoncé.

RecherchePaper
1 source
Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action
43arXiv cs.RO 

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu
1 source
G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots
44arXiv cs.RO 

G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots

G0.5, publie en aout 2026 sur arXiv (2608.11739), est un modèle Vision-Language-Action (VLA) dont un décodeur transformeur unique génère raisonnement et tokens d'action sous un seul objectif, au lieu de séparer un VLM pré-entraine et un expert d'action entraine a part par flow-matching. Trois briques le rendent tenable a l'échelle d'un modèle de fondation : un tokenizeur d'action apprenable traduisant des actions robotiques hétérogènes dans un vocabulaire commun entre robots, un flux de chaine de pensée natif mêlant décomposition de taches, ancrage des objets et indices d'action, et un module de mémoire visuelle injectant plusieurs secondes d'historique. Pre-entraine sur des jeux de données robotiques et des exemples VQA, G0.5 devance les références sur sept protocoles : 76,7% de réussite en fine-tuning réel sur les robots R1lite et R1pro contre 53,3% pour Pi-0.5 et 24,4% pour GR00T-N1.7, 31,4% au BEHAVIOR Challenge 2025 contre 26,3% et 26,1% pour le vainqueur du concours, 82,5% en transfert zero-shot après post-entrainement sur DROID, ainsi que 98,9% sur LIBERO, 93,3% sur RoboTwin 2.0 et 87,3% sur SimplerEnv-Bridge. Cette fusion compte parce que l'approche dominante du secteur, illustrée par Pi-0.5 (Physical Intelligence) ou GR00T-N1.7 (NVIDIA), traite le VLM comme un simple encodeur de contexte pendant qu'un module sépare décide de l'action. En partageant les mêmes poids entre raisonnement et action, G0.5 suit les instructions plus finement et laisse un prompt piloter la granularité des gestes, l'horizon de tache ou la gestion de scènes hors distribution, sans reentrainement. L'écart de performance en conditions réelles, près du double de Pi-0.5, et la victoire généraliste au BEHAVIOR Challenge face a des politiques spécialisées, appuient empiriquement l'idée qu'un flux autoregressif unique peut tenir a l'échelle. Le travail s'inscrit dans la lignée des VLA ouverte par RT-2 et OpenVLA, prolongée par la famille Pi de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui ont impose le schéma VLM-encodeur plus expert d'action sépare comme standard de facto. G0.5 s'en écarté en misant sur un flux autoregressif unique, un pari qui reste a confirmer au-delà des benchmarks cites. Il s'agit d'une publication de recherche, sans produit commercialise ni déploiement industriel annonces.

IA physiqueOpinion
1 source
StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables
45arXiv cs.RO 

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu
1 source
RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire
46arXiv cs.RO 

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

RechercheActu
1 source
Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles
47Pandaily 

Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles

Des chercheurs de l'Université technologique de Nanyang (NTU), de l'Université de Pékin, de HKUST Guangzhou et du Beijing Academy of Artificial Intelligence (BAAI) ont publié Omega-0, un modèle d'action corps entier pour robots humanoïdes. Sur 11 tâches domestiques réelles, il atteint 81,8% de réussite, devançant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Plutôt que de prédire les pixels futurs, Omega-0 prédit des caractéristiques visuelles latentes, à partir desquelles un transformeur de diffusion génère les actions du corps entier. L'entraînement suit trois étapes: un modèle vision-langage-action pré-entraîné via un tokenizer "Whole-Body FAST" qui affine Qwen3-VL-2B-Instruct avec des tokens de point de vue première et troisième personne, un pré-entraînement latent humain-robot inspiré de V-JEPA fusionnant vision, langage et proprioception, puis un affinage sur données domestiques réelles avec chunking temps réel pour la continuité des gestes. L'équipe a bâti pour cela Omega-HOME: 40,3 heures de données réelles, 4827 trajectoires téléopérées et 24 types de tâches, dont la prise d'objets, le nettoyage de surfaces et l'usage d'appareils électroménagers. Le résultat pèse moins que la méthodologie: pour éviter toute contamination, l'équipe a retiré les 11 tâches d'évaluation du jeu de pré-entraînement Omega-HOME, un souci de rigueur rare dans un secteur où les vidéos de démonstration sont souvent sélectionnées après coup. Pour les intégrateurs et décideurs industriels, Omega-0 illustre une approche qui couple prédiction de l'environnement futur et génération d'action corps entier dans un seul modèle, plutôt que de traiter perception, navigation et manipulation comme des sous-systèmes séparés. Le domicile reste la cible la plus difficile pour un humanoïde: il exige une perception continue combinée à une coordination motrice globale, contrairement à l'usine où tâches et environnement sont contrôlés. Un score de 81,8% sur tâches réelles, non simulées, réduit l'écart entre démonstration scénarisée et exécution robuste, sans le combler: les auteurs reconnaissent eux-mêmes que l'autonomie longue durée, l'interaction sécurisée et la généralisation à de nouvelles tâches restent non résolues. Le nom minimaliste du modèle suggère qu'Omega-0 est le premier d'une série, dans la lignée des modèles vision-langage-action qui structurent la recherche humanoïde depuis pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Omega-0 se mesure directement à ces références ainsi qu'à EgoVLA et psi-0, avec un protocole pensé pour limiter les biais de benchmark répandus dans le secteur. Aucun calendrier de commercialisation, de partenariat industriel ou de déploiement pilote n'est communiqué à ce stade: il s'agit d'une publication de recherche académique, pas d'un produit livré ni d'un déploiement réel à grande échelle. Les suites attendues portent vraisemblablement sur l'extension du jeu de données Omega-HOME au-delà de la sphère domestique et sur la validation de l'architecture latente sur d'autres plateformes robotiques, alors que la course humanoïde oppose désormais un nombre croissant de laboratoires universitaires chinois aux groupes commerciaux occidentaux.

IA physiqueOpinion
1 source
Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2
48Interesting Engineering 

Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2

Google a présenté Gemini Robotics 2, un modèle conçu pour piloter des robots humanoïdes dans leur intégralité, marche, flexion, équilibre et manipulation d'objets inclus, avec la capacité de coordonner plusieurs machines et de s'adapter à différents corps robotiques après seulement quelques heures d'entraînement. Le système s'accompagne de deux modèles complémentaires, Gemini Robotics ER 2, dédié au raisonnement de haut niveau, et Gemini Robotics On-Device 2, exécuté localement sans connexion cloud. Lors des démonstrations, le modèle a piloté l'Apollo 2 d'Apptronik pour ramasser un arrosoir, traverser une pièce et le poser sur une étagère basse, et le même checkpoint a également fonctionné sur d'autres plateformes comme le Franka Duo. Google évoque aussi des gains de dextérité: les mains à cinq doigts d'Apollo 2 peuvent nouer un sac poubelle, refermer un sachet Ziploc ou dévisser une ampoule, tandis que sur des pinces industrielles à deux doigts le modèle réalise des insertions précises et de la manipulation d'outils. ER 2 est disponible via Google AI Studio et en prévisualisation privée sur la Gemini Enterprise Agent Platform, le modèle vision-langage-action et la version embarquée restant réservés à des partenaires en accès anticipé. Google a également introduit ASIMOV-Agentic, un benchmark de sécurité évaluant si un robot refuse une action dangereuse, détecte l'incertitude ou sollicite une aide humaine. Ce saut du pilotage de bras isolés au contrôle corporel complet est significatif pour l'industrie: la plupart des humanoïdes actuels restent limités à des tâches répétitives programmées, et la promesse d'un même modèle transférable d'une morphologie à l'autre avec moins de 200 exemples d'entraînement collectés en quelques heures s'attaque directement au problème du sim-to-real et du coût d'intégration, un point clé pour les industriels qui hésitent encore à déployer ces machines à grande échelle. Il faut toutefois noter que les métriques avancées, plusieurs minutes de tâches enchaînant des centaines de décisions, proviennent de démonstrations contrôlées et que le déploiement reste cantonné à des partenaires triés sur le volet: on est encore loin d'un produit généralisé sur le terrain. Cette annonce prolonge Gemini Robotics, lancé plus tôt dans l'année et limité à la manipulation sur table, en l'étendant au mouvement corporel complet. Elle intervient dans un paysage où Figure AI développe son propre modèle Helix, Tesla avance sur Optimus, Physical Intelligence mise sur Pi-0 et NVIDIA sur GR00T N2, chacun cherchant à imposer son architecture VLA comme standard pour les humanoïdes de nouvelle génération. Apptronik, partenaire de longue date de Google pour Apollo, reste pour l'instant le principal terrain de test visible de cette technologie, dont l'ouverture à d'autres intégrateurs dépendra des retours de ce programme d'accès anticipé.

HumanoïdesOpinion
1 source
TiPToP : un système modulaire de manipulation robotique en vocabulaire ouvert, capable de planifier
49arXiv cs.RO 

TiPToP : un système modulaire de manipulation robotique en vocabulaire ouvert, capable de planifier

TiPToP, un système modulaire de manipulation robotique présenté dans un article arXiv (2603.09971), combine des modèles de fondation pré-entraînés avec un planificateur de tâches et de mouvements (TAMP) accéléré par GPU pour exécuter des consignes directement à partir d'images RGB et de langage naturel, sans aucune donnée d'entraînement robotique spécifique. Le système se déploie sur une configuration DROID standard en moins d'une heure et s'adapte à de nouvelles morphologies de robot avec un effort minimal. Les chercheurs l'ont comparé à Pi-0.5-DROID, un modèle vision-langage-action (VLA) affiné sur 350 heures de démonstrations, sur deux installations DROID réelles (dont une opérée par une équipe externe) ainsi qu'en simulation. TiPToP y obtient un taux de réussite moyen supérieur et un temps d'exécution plus rapide. Sur le benchmark MolmoSpaces, il se classe premier sur les tâches de préhension simple et de préhension-et-placement parmi les méthodes n'ayant pas été entraînées sur des données de la même distribution. Le code et le site du projet sont disponibles en libre accès (tiptop-robot.github.io). Ce résultat pèse dans un débat central du secteur : celui de l'approche VLA de bout en bout, gourmande en démonstrations réelles, face à des architectures modulaires combinant perception, planification et exécution séparées. En battant un VLA entraîné sur 350 heures de téléopération sans utiliser de données robot du tout, TiPToP suggère que la planification symbolique appuyée sur des modèles de fondation généralistes peut rivaliser, voire dépasser, l'apprentissage bout-en-bout sur des tâches de manipulation courantes. Pour les intégrateurs et équipes de recherche en robotique, l'argument de déploiement en moins d'une heure sur du matériel standard, sans collecte de données propriétaire, change potentiellement le calcul coût/bénéfice face aux VLA qui nécessitent des semaines de téléopération avant le moindre test. L'atout de traçabilité des échecs par composant, propre à la modularité, est aussi un argument pratique pour le débogage industriel, souvent absent des architectures VLA monolithiques. Le projet s'inscrit dans la lignée des travaux combinant TAMP classique et modèles de fondation, à mesure que des benchmarks comme MolmoSpaces et le protocole DROID (plateforme de collecte et d'évaluation partagée entre laboratoires) se standardisent pour comparer objectivement les approches. Les résultats restent toutefois auto-rapportés par les auteurs, sur un nombre limité de configurations matérielles, et demandent confirmation par des équipes tierces indépendantes à plus grande échelle avant de trancher définitivement le débat modulaire contre bout-en-bout.

RecherchePaper
1 source
CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal
50arXiv cs.RO 

CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal

Des chercheurs présentent CycleVLA, un système qui dote les modèles Vision-Language-Action (VLA) d'une capacité d'autocorrection proactive, c'est à dire anticiper un échec avant qu'il ne se produise plutôt que le corriger après coup comme le font les approches existantes. L'architecture combine trois briques : un VLA conscient de sa progression qui repère les points de transition critiques entre sous-tâches, là où les échecs surviennent le plus souvent, un prédicteur d'échec basé sur un VLM qui déclenche un retour en arrière ciblé (subtask backtracking) dès qu'un risque est détecté, et une stratégie de test-time scaling fondée sur le décodage à risque bayésien minimal (Minimum Bayes Risk, MBR) pour améliorer les chances de réussite lors des tentatives suivantes. Sur les bancs d'essai en simulation LIBERO et LIBERO-Plus, CycleVLA dépasse le modèle de référence pi-0.5 et améliore les taux de réussite sur des politiques VLA de maturité variable, des modèles sous-entraînés aux versions pleinement convergées. Sur robot réel, le système atteint un taux de réussite moyen de 91% sur trois tâches de manipulation, dont une exigeant une grande précision et deux à horizon long. Des tests de robustesse avec perturbations injectées manuellement, comme l'échange d'un objet distracteur à l'emplacement attendu pendant que la vraie cible est déplacée en cours d'exécution, montrent que CycleVLA corrige environ 80% des échecs provoqués artificiellement. Ce travail s'attaque à un point faible connu des VLA en conditions réelles : la plupart des systèmes actuels ne réagissent qu'après l'échec constaté, ce qui coûte du temps et de la fiabilité en environnement industriel ou domestique. Démontrer une correction proactive, avant la manifestation complète de l'erreur, constitue un argument concret pour rapprocher les démonstrations en simulation des déploiements réels, un écart qui reste l'un des principaux freins à l'adoption des VLA par les intégrateurs robotiques. CycleVLA s'inscrit dans la lignée des travaux récents sur la détection et la correction d'échecs pour les modèles de type VLA, aux côtés de références comme GR00T N2 ou Helix, et se positionne explicitement contre pi-0.5 dans ses comparaisons de performance. Les auteurs présentent leur travail comme une réplique (replace) sur arXiv, signe d'une itération après une première version, et mettent à disposition une page projet dédiée avec démonstrations vidéo pour documenter les résultats sur robot réel.

IA physiqueActu
1 source