Aller au contenu principal

Dossier Physical Intelligence — π0

1975 articles

Physical Intelligence et la famille π0 : modèles fondation cross-embodiment, transfert de compétences entre robots, levées Lux Capital et OpenAI Startup Fund.

Astra peut-il résoudre RoboMME sans exploser le budget ?
1arXiv cs.RO RecherchePaper

Astra peut-il résoudre RoboMME sans exploser le budget ?

Sur le benchmark RoboMME, consacré aux tâches de manipulation exigeant de la mémoire (retrouver un objet avant occlusion, respecter l'ordre d'une séquence démontrée), un système à trois niveaux atteint 79,13 % de réussite par épisode. Il combine GPT-6 Astra comme planificateur (« Système 2 »), qui choisit un sous-objectif ancré dans l'historique visuel stocké, une politique vision-langage-action π0.5 (« Système 1 ») qui exécute ce sous-objectif, et un moniteur Qwen3-VL-4B fine-tune (« Système 1.5 »). Ce dernier vérifie après chaque segment d'actions si le sous-objectif est terminé. L'instruction est conservée jusqu'à ce que le moniteur signale l'achèvement ou qu'un événement propre à la tâche survienne, pendant que la politique continue d'agir sur les nouvelles observations. Le coût moyen est de 3,63 appels à Astra et de 80,84 secondes par épisode. Le score dépasse de 34,62 points la meilleure référence publiée sans oracle, et reste 4,95 points sous GroundSG+Oracle, une configuration qui fournit à la politique bas niveau des sous-objectifs vérité terrain. L'intérêt tient au compromis entre capacité de raisonnement et coût. Appeler un grand modèle de vision-langage avant chaque segment d'action est lent et cher, ce qui interdit en pratique tout déploiement cadencé. En ramenant les appels à moins de quatre par épisode, les auteurs montrent qu'un planificateur lourd peut être sollicité de façon parcimonieuse, un petit modèle de 4 milliards de paramètres assurant la surveillance continue. Le résultat suggère aussi que le goulot d'étranglement des VLA sur les tâches à mémoire se situe moins dans l'exécution que dans le raisonnement sur l'historique. L'écart de seulement 4,95 points avec l'oracle indique que la qualité des sous-objectifs générés est proche du plafond atteignable avec cette politique. Pour un intégrateur, c'est un argument en faveur d'architectures hiérarchiques plutôt que de politiques monolithiques à contexte long. Quelques réserves s'imposent : il s'agit d'un benchmark, vraisemblablement en simulation, et 80 secondes par épisode restent un temps de cycle peu compatible avec des cadences industrielles. Le chiffre ne dit rien non plus de la robustesse hors benchmark ni du coût financier réel des appels à Astra, malgré le titre qui le promet. Ce travail s'inscrit dans la lignée des architectures « double système » popularisées par des modèles comme Helix de Figure ou GR00T, où un module lent délibère et un module rapide contrôle. Ici, π0.5 de Physical Intelligence sert d'exécutant, et l'ajout d'un étage intermédiaire de monitoring répond à la question de savoir quand relancer le planificateur. RoboMME pose un problème que les politiques réactives traitent mal, d'où l'écart de près de 35 points avec les meilleures bases non oracle. La suite logique consiste à tester le système sur robot réel, à mesurer la latence et le coût en conditions de production, et à comparer cette approche à des politiques dotées d'une mémoire native. Il s'agit d'une publication de recherche (preprint arXiv, v1) : aucun produit ni déploiement n'est annoncé.

1 source
π-StepNFT : un espace plus large exige des pas plus fins dans l'apprentissage par renforcement en ligne pour les VLA à base de flux
2arXiv cs.RO 

π-StepNFT : un espace plus large exige des pas plus fins dans l'apprentissage par renforcement en ligne pour les VLA à base de flux

Des chercheurs publient π-StepNFT, un cadre d'apprentissage par renforcement (RL) en ligne conçu pour les modèles VLA (vision-langage-action) à flux, c'est-à-dire ceux qui génèrent leurs actions par débruitage multi-étapes, comme π0 et π0.5 de Physical Intelligence. Sur le benchmark de simulation LIBERO, et à partir d'initialisations communes obtenues par fine-tuning supervisé sur très peu de démonstrations, la méthode fait passer le taux de succès moyen de π0 de 57,6 % à 92,0 %, et celui de π0.5 de 77,1 % à 94,0 %. Sur ManiSkill, elle obtient le meilleur succès moyen parmi les approches RL comparées sur cinq tests visuels perturbés, exclusivement utilisés à l'évaluation. Aucune donnée de robot réel n'est rapportée dans le résumé. Le verrou technique est précis. Dans ces modèles, la vraisemblance de l'action finale n'est pas calculable directement, ce qui complique les méthodes de gradient de politique classiques. Les auteurs identifient un décalage entre exploration et supervision : l'échantillonnage par équation différentielle stochastique (SDE) explore un espace de transitions locales plus large, alors que le signal d'apprentissage, dérivé de la sortie finale débruitée, n'exploite pas les transitions adjacentes réellement observées. π-StepNFT traite chaque transition SDE comme une unité de supervision. Il classe des branches de vitesse « positive » et « négative » en miroir grâce à des erreurs de transition normalisées par la variance, puis convertit le retour des déroulements en mises à jour locales de la vitesse, sans jamais calculer la vraisemblance de l'action finale. L'enjeu pour le secteur est de savoir si le RL en ligne peut s'appliquer sans artifice aux VLA à flux, aujourd'hui dominants dans les modèles de fondation robotiques, plutôt que de s'arrêter à l'imitation. Un gain de 34 points sur π0 à partir d'un départ peu supervisé suggère que le goulot d'étranglement tient à l'algorithme, pas seulement aux données. Les tests visuels perturbés de ManiSkill vont dans le sens d'une meilleure robustesse, mais restent de la simulation, et l'écart entre benchmark et atelier reste entier. LIBERO est de surcroît un banc proche de la saturation pour les modèles récents, ce qui invite à la prudence sur la portée des 92 à 94 %. Pour les intégrateurs, le signal utile est la perspective d'adapter une politique à un site avec moins de démonstrations humaines, à condition que cela se vérifie sur matériel réel. Ce travail s'inscrit dans la montée du RL post-entraînement pour les VLA, face à des approches qui contournent la vraisemblance par des heuristiques ou des politiques résiduelles. Physical Intelligence a ouvert la voie avec π0 et π0.5, tandis que NVIDIA (GR00T), Figure (Helix) et d'autres explorent leurs propres boucles d'amélioration. Les prochaines étapes à surveiller sont la validation sur robots physiques, la comparaison aux méthodes concurrentes sur des tâches longues et le coût réel en échantillons de l'apprentissage en ligne. Une page de projet accompagne cette version révisée (v3) de l'article.

IA physiqueOpinion
1 source
De 12 à 200 démonstrations : comment ACT, Diffusion Policy, SmolVLA et $\pi_{0.5}$ passent à l'échelle sur un bras low-cost
3arXiv cs.RO 

De 12 à 200 démonstrations : comment ACT, Diffusion Policy, SmolVLA et $\pi_{0.5}$ passent à l'échelle sur un bras low-cost

Des chercheurs ont comparé quatre politiques d'apprentissage par imitation très répandues (ACT, Diffusion Policy, SmolVLA et π0.5) sur une tâche unique de pick-and-place avec objets distracteurs, réalisée avec un bras SO-101 à bas coût. Chaque politique a été entraînée avec une recette fixe sur des sous-ensembles imbriqués de 12, 25, 50, 100 et 200 démonstrations téléopérées, puis testée sur un jeu fixe de placements d'objets, soit 1 340 épisodes notés répartis en 126 blocs. ACT, entraîné from scratch, passe de 1 succès sur 40 épisodes avec 12 démonstrations à 37 sur 40 avec 100. π0.5, avec fine-tuning de l'action expert, domine quand les données sont rares (16 sur 40 à 12 démonstrations, 28 sur 40 à 25) puis plafonne autour de 70 %. À partir de 100 démonstrations, ACT prend l'avantage, d'une marge que l'étude ne parvient pas à trancher. SmolVLA et Diffusion Policy culminent près de 50 %. Le résultat le plus parlant pour un intégrateur tient aux échecs de démarrage et aux choix de recette. Le bras de SmolVLA ne bouge jamais dans 47 % des épisodes, et Diffusion Policy ne démarre presque jamais tant qu'une phase d'inactivité initiale n'est pas retirée des démonstrations. Pour π0.5, la recette compte plus que le volume de données : l'adaptation low-rank (LoRA) réussit 4 épisodes sur 110, contre 130 sur 200 pour le fine-tuning de l'action expert. Les auteurs décomposent chaque épisode en quatre étapes (démarrage, atteinte de la balle, transport, dépose). Avec ACT, plus de données déplace d'abord les échecs de l'atteinte vers la saisie, puis les fait disparaître, alors que ceux de π0.5 restent concentrés sur la saisie. Le message pratique est qu'un grand modèle pré-entraîné ne garantit pas de meilleurs résultats qu'un petit modèle bien alimenté, et qu'une bonne partie de la performance dépend de détails de préparation des données. Cette étude arrive alors que les politiques VLA (vision-langage-action) se multiplient et que les comparaisons sur matériel réel restent rares. Beaucoup de résultats publiés reposent sur peu d'épisodes. Les auteurs mesurent ce problème : un bloc de dix épisodes est une mesure faible, puisque le même checkpoint testé deux fois diffère en moyenne de 2 succès sur 10. Ils séparent cette variance de celle liée aux seeds et ont audité le scoring humain à partir des enregistrements articulaires et vidéo. Une limite importante demeure : la durée d'entraînement étant fixée pour chaque recette, la quantité de données et le nombre de passages sur ces données varient ensemble. Les auteurs précisent quelles conclusions résistent à ce biais et lesquelles non. Il s'agit d'un seul bras, d'une seule tâche et d'un seul opérateur, ce qui limite la portée des conclusions pour des déploiements industriels.

RecherchePaper
1 source
TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche
4arXiv cs.RO 

TOPS : remodeler la source et le transport du flux pour la manipulation robotique multitâche

TOPS (Task-Oriented Priors and Schedules), publié sur arXiv par une équipe de recherche, propose d'adapter deux composantes des politiques robotiques à base de flow matching sans toucher à l'architecture du réseau: la distribution source du bruit et le calendrier d'interpolation vers les actions expertes. Les politiques actuelles de manipulation multi-tâches conditionnées par le langage partagent en général un prior gaussien unique et un chemin de transport linéaire commun à toutes les tâches. TOPS construit à la place des sources multimodales propres à chaque tâche, issues de séquences d'actions expertes « inversées », ce qui permet à l'instruction en langage naturel de choisir le point de départ de la génération. Guidé par l'écart de covariance entre source et cible, le calendrier ralentit la transition vers les actions expertes au début du débruitage, puis l'accélère plus tard dans les directions qui demandent une expansion. Sous un modèle d'extrémité gaussien, les auteurs montrent que cet ajustement abaisse une borne supérieure du risque de prédiction de vitesse. Sur LIBERO-10, avec une seule étape d'intégration, le taux de succès passe de 53,44 % à 69,67 % face au Flow Matching standard à dix étapes, pour un temps d'inférence réduit à environ un sixième. En conditions réelles, l'ouverture du tiroir supérieur passe de 20 % à 80 % de réussite. Pour les équipes qui déploient des politiques VLA (vision-langage-action), l'intérêt est double: la méthode améliore la fiabilité et divise le coût d'inférence, deux contraintes centrales pour des robots qui doivent tourner en temps réel sur du matériel embarqué. Elle suggère aussi qu'une part des échecs des politiques généralistes vient moins de la capacité du réseau que du choix du point de départ et de la trajectoire de génération, un levier peu coûteux puisqu'il ne demande aucun changement d'architecture. Les gains ont été mesurés sur LIBERO, LIBERO-Plus (perturbations) et CALVIN (changement d'environnement), avec une meilleure efficacité en données, et ils se transfèrent à la politique à grande échelle π0.5 dans les quatre configurations testées. Il faut toutefois rester prudent: ce sont des benchmarks de simulation, le comparatif avec un FM à dix étapes met en regard des budgets de calcul différents, et le test réel, impressionnant en relatif (20 % à 80 %), porte sur une tâche isolée dont le nombre d'essais n'est pas précisé dans le résumé. Il s'agit d'un résultat de recherche, pas d'un produit ni d'un déploiement. Ce travail s'inscrit dans la montée en puissance des politiques génératives à base de flow matching, popularisées par la famille π0 de Physical Intelligence, qui ont remplacé en partie la diffusion pour la commande d'actions. Les benchmarks LIBERO et CALVIN sont devenus des références pour comparer les politiques multi-tâches, au prix d'une saturation progressive qui pousse vers des variantes plus exigeantes comme LIBERO-Plus. TOPS rejoint un courant qui cherche à améliorer ces politiques par des priors et des schedules mieux adaptés plutôt que par davantage de paramètres ou de données. La suite logique serait une validation sur davantage de tâches réelles, des plateformes variées et des modèles plus récents, ainsi qu'une évaluation de la robustesse quand la tâche demandée sort de la distribution d'entraînement.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VLA-HWBench : où passe le temps quand les modèles VLA tournent sur du matériel embarqué
5arXiv cs.RO 

VLA-HWBench : où passe le temps quand les modèles VLA tournent sur du matériel embarqué

Une étude publiée sur arXiv sous le nom VLA-HWBench évalue 18 modèles VLA (vision-langage-action) open source sur deux plateformes embarquées: le NVIDIA Jetson AGX Thor et l'AMD Ryzen AI Max+ PRO 395. Elle teste plusieurs backends d'inférence, officiels et alternatifs, et découpe chaque appel en sept étapes, là où les travaux antérieurs en distinguaient au maximum trois. Le constat principal est que la stratégie de génération d'actions pèse plus que la taille du modèle. Elle domine la latence dans 14 des 19 configurations testées sur Jetson. L'écart de latence atteint un facteur 82 sur Jetson et 157 sur AMD, et le nombre de paramètres explique au plus 15 % de la variance. Les modèles qui produisent de longs blocs d'actions (action chunks) en quelques pas de flow matching tiennent la cadence du contrôle. Ceux qui décodent token par token n'y arrivent pas. La fusion de noyaux (kernel fusion) combinée à des poids en 4 bits est l'optimisation la plus efficace. Elle rend π0.5 et GR00T N1.7 de 2,6 à 2,9 fois plus rapides que PyTorch avec torch.compile, mais elle n'existe que pour ces deux modèles et seulement sur Jetson. Pour les intégrateurs et les responsables techniques, ces résultats déplacent le choix d'un modèle. Les scores de réussite de tâche publiés dans la plupart des articles disent peu de chose sur la faisabilité d'un déploiement embarqué, et un modèle plus petit n'est pas forcément plus rapide s'il génère ses actions de façon séquentielle. L'optimisation déplace aussi le goulot d'étranglement. Sur GR00T N1.7, le prétraitement CPU passe de 12 % à 39 % de la durée d'un appel une fois le reste accéléré. Après optimisation, la bande passante mémoire ne limite sur Jetson que les étapes traitant peu de tokens, comme le débruitage. Le logiciel limite toutes les autres, des noyaux non fusionnés au prétraitement sériel sur le CPU hôte. Une partie de l'écart entre démonstration et exploitation réelle tient donc à la pile logicielle plus qu'au silicium. Les auteurs en tirent des recommandations: peu d'itérations de génération d'actions, une fusion de noyaux et des poids basse précision étendus à davantage de modèles et de plateformes, et un matériel doté d'une forte bande passante mémoire et d'un CPU hôte rapide. Les VLA tournent de plus en plus à bord des robots, où la latence d'inférence contraint directement le contrôle en boucle fermée. Les benchmarks existants couvrent peu de stratégies de génération d'actions et comparent rarement les optimisations sur les mêmes modèles. Le Jetson AGX Thor représente l'offre embarquée de NVIDIA pour la robotique, et l'AMD Ryzen AI Max+ PRO 395 une alternative x86 à mémoire unifiée. Le fait que seuls π0.5 (Physical Intelligence) et GR00T N1.7 (NVIDIA) disposent d'une voie optimisée, et seulement sur Jetson, souligne l'avance de l'écosystème NVIDIA et le retard logiciel du reste du champ. Il s'agit d'une étude académique de mesure, sans produit ni déploiement associé. La suite logique serait de porter ces optimisations vers d'autres modèles et d'autres plateformes.

RecherchePaper
1 source
GPT-6-Astra a-t-il atteint l'intelligence incarnée ?
6arXiv cs.RO 

GPT-6-Astra a-t-il atteint l'intelligence incarnée ?

Un rapport technique publié sur arXiv (2610.22471) évalue GPT-6-Astra, un modèle généraliste, sur des tâches de manipulation et de navigation robotique. Les auteurs l'ont testé sur 12 benchmarks couvrant la manipulation sur table, les humanoïdes, les plateformes mobiles et les mains dextres. Le protocole est unifié. Il autorise l'apprentissage en contexte (ICL) à partir des démonstrations du jeu d'entraînement et augmente fortement le nombre d'étapes d'exécution. Les auteurs parlent de performances « sans précédent », mais le résumé ne donne aucun score chiffré. Ils testent aussi un montage agentique en boucle fermée. GPT-6-Astra y joue le raisonneur de haut niveau (« System 2 ») et pilote un contrôleur bas niveau (« System 1 ») comme π0.5. Cette coordination est jugée coûteuse mais efficace. Enfin, des essais ont été menés sur 8 configurations de robots réels. Le verdict des auteurs est nuancé : le modèle a « largement franchi le seuil de la compétence incarnée », mais pas celui d'une intelligence incarnée pratique. Pour un intégrateur ou un COO, l'écart entre benchmark et terrain est le point central. Les démonstrations robot nécessaires à l'ICL sont chères à collecter. Et l'on ne peut pas compenser un taux de succès insuffisant par des exécutions plus longues, car les contraintes physiques l'interdisent. Les résultats de benchmark reposent en outre sur un protocole favorable : démonstrations in-domain et budget d'étapes élargi. Ils disent donc peu de la performance en déploiement. Les auteurs listent cinq chantiers : généralité de l'ICL, coût et temps d'exécution, vérification de l'état physique, récupération après échec irréversible, et préservation de la progression sur de longs horizons. Cette architecture à deux niveaux prolonge la séparation raisonnement/contrôle déjà utilisée par Helix de Figure, GR00T de NVIDIA ou les modèles de Physical Intelligence, ici avec un modèle généraliste placé au-dessus d'un VLA existant. Elle remet en cause l'approche d'un modèle spécialisé par tâche et par morphologie. Les auteurs esquissent aussi un prototype de benchmark de nouvelle génération. Ses tâches viennent de besoins réels, il ne fournit aucune démonstration in-domain, et une horloge continue de tourner pendant que l'agent délibère. Il s'agit d'un travail de recherche, sans produit commercialisé, sans pilote annoncé et sans acteur européen identifié. La suite dépendra de la réduction du coût et de la latence, ainsi que de la reproduction indépendante de ces résultats.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)
7arXiv cs.RO 

REKI : enregistrer les connaissances dans les modèles vision-langage-action (VLA)

REKI, un modèle vision-langage-action (VLA) de 2,4 milliards de paramètres, est présenté dans un preprint arXiv (octobre 2026) par le laboratoire français Kyutai. Il est pré-entraîné exclusivement sur des données publiques: un mélange sélectionné de données robotiques, de vidéos égocentriques d'humains et de données vision-langage. L'architecture associe un modèle vision-langage (VLM) à un « action expert » à flow-matching, qui génère les actions. Les auteurs ajoutent une mémoire: quelques jetons de registre dans l'action expert résument la sortie du VLM à chaque image et restent dans son cache. Selon eux, cette mémoire coûte très peu en calcul, améliore le taux de réussite en simulation comme sur robots réels, et rend les oscillations entre poses environ quatre fois plus rares. Sur les benchmarks LIBERO-Plus, RoboTwin Clean2Rand et RoboCasa365, REKI n'est devancé que par des modèles environ deux fois plus gros. Le code complet (curation des données, entraînement, inférence, évaluation, déploiement) et tous les poids, pré-entraînés et affinés, sont publiés sur GitHub. Pour les intégrateurs et les équipes R&D, l'intérêt tient à l'efficacité plus qu'au score brut. Un VLA de 2,4 milliards de paramètres demande bien moins de calcul à l'entraînement et à l'inférence que les modèles de grande taille, ce qui facilite l'exécution embarquée et l'itération. Le résultat suggère aussi qu'un corpus entièrement public suffit pour approcher l'état de l'art, ce qui relativise l'avantage des jeux de données propriétaires de téléopération. Le problème que vise la mémoire, les oscillations entre poses, est un défaut courant des politiques qui ne voient que l'instant présent, et le corriger à faible coût compte pour la fiabilité en conditions réelles. Il faut toutefois rester prudent: les gains sont mesurés surtout en simulation, les essais sur robots réels sont décrits sans chiffres dans le résumé, et les benchmarks ne garantissent pas la robustesse en production. Le « nouveau front de Pareto » est une revendication des auteurs, non validée de façon indépendante. Kyutai, laboratoire de recherche à but non lucratif basé à Paris et connu pour ses travaux en IA vocale, s'aventure ici dans la robotique avec une politique ouverte et reproductible, ce qui donne de la visibilité à l'écosystème européen. REKI se place face aux VLA ouverts comme Pi-0 de Physical Intelligence ou GR00T de NVIDIA, souvent plus volumineux ou dépendants de données partiellement fermées. La publication de l'ensemble de la chaîne, jusqu'au déploiement, permet à d'autres équipes de la reproduire et de l'étendre. La suite dépendra de validations indépendantes, de tests sur davantage de plateformes physiques et de la capacité de la communauté à enrichir la mémoire à registres vers des horizons temporels plus longs.

UELe laboratoire parisien Kyutai publie un VLA ouvert et reproductible (code et poids), utilisable par les équipes R&D et intégrateurs français et européens et qui renforce la visibilité de l'écosystème européen en IA physique.

FR/EU ecosystemeOpinion
1 source
AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle
8arXiv cs.RO 

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix. L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %. Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ARC : une méthode de raisonnement pour les modèles fondation en robotique
9arXiv cs.RO 

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action
10arXiv cs.RO 

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Un correcteur appris fait-il mieux qu'un simple repli ? Résultats avec un VLA gelé
11arXiv cs.RO 

Un correcteur appris fait-il mieux qu'un simple repli ? Résultats avec un VLA gelé

Une étude publiée sur arXiv (2610.06921) examine si un correcteur appris, déployé à l'exécution sur une politique vision-langage-action (VLA) gelée, apporte réellement plus qu'une simple action de repli. Les auteurs testent π0.5, le modèle de Physical Intelligence, laissé inchangé, sur quatre tâches du benchmark de simulation RoboTwin. Pour chaque graine de test, ils apparient un rollout sans correction et un rollout avec correction. Ils ajoutent un témoin placebo: une seconde exécution de la politique de base avec la même graine. Sur 3 888 épisodes appariés, le pipeline complet augmente le taux de succès de 13,5 points de pourcentage sur la tâche « beat block hammer » (intervalle à 95 % de +9,4 à +17,7). Les trois autres tâches ne montrent aucun gain détectable au poids de correction déployé. Parmi les épisodes de base en échec sur la tâche réactive, 43,2 % réussissent à la simple relance, contre 63,5 % après correction. Ces chiffres relativisent la notion de « sauvetage ». Près de la moitié des échecs récupérés par le correcteur auraient été récupérés par la seule variabilité stochastique de la politique. Un intégrateur qui mesure un correcteur contre une exécution unique surestime donc son apport. L'efficacité dépend aussi fortement de la tâche: un mécanisme de récupération qui améliore nettement un cas peut être neutre sur les autres. La décision d'intervenir ne peut pas être fixée une fois pour toutes. Le protocole (placebo apparié, intervalles par grappes de graines, règles de comparaison prédéfinies) est lui-même réutilisable pour évaluer les couches de sécurité et de récupération autour des VLA. Sur le plan comparatif, un déclencheur à instant fixe, associé à un retour scripté vers une configuration articulaire antérieure, produit un gain net sur deux séries d'essais. Aucune différence n'est détectée avec le pipeline appris, même si le critère d'équivalence prédéfini n'est pas respecté de façon constante. Une simple pause et un contrôle à action constante n'apportent pas de gains comparables. Le résultat ne démontre donc pas que la complexité apprise est inutile, mais qu'elle n'est pas prouvée. Les limites sont nettes: l'étude est menée en simulation, sur quatre tâches et une seule politique. Elle s'inscrit dans la course aux VLA généralistes (π0.5, Helix, GR00T), où la fiabilité à l'exécution, plutôt que le réentraînement, devient un enjeu de déploiement. Un retrait simple et un placebo apparié devraient servir de référence minimale avant d'investir dans des correcteurs appris.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile
12arXiv cs.RO 

VOMMI : collecte et exploitation de démonstrations portables pour la manipulation mobile

Des chercheurs présentent VOMMI (Visual-Odometry-Conditioned Mobile Manipulation Interface), un cadre de collecte de démonstrations portables et d'apprentissage pour la manipulation mobile, publié sur arXiv. Le système synchronise une vue « corps » et une vue « main » en RGB pour capturer à la fois le contexte de navigation et les interactions locales avec les objets, sans calibration de correspondance cinématique entre humain et robot. Deux briques techniques le composent. R2-VO affine hors ligne les trajectoires de démonstration à partir d'ancres géométriques parcimonieuses, puis produit des tokens de mouvement local causaux sur plusieurs horizons de prédiction. Un adaptateur résiduel par groupes d'actions injecte ces tokens uniquement dans la branche de base mobile du modèle vision-langage-action (VLA). Les expériences reposent sur 500 trajectoires portables par tâche, dont 75 réservées à l'évaluation RGB-VO, et sur 200 démonstrations robot servant de référence. La politique post-entraînée uniquement sur données portables affiche une erreur de vitesse de base inférieure de 18,2 % à celle d'une politique entraînée sur démonstrations robot, avec une précision de translation de l'effecteur comparable. La reconstruction hors ligne réduit l'erreur de trajectoire absolue de 24,6 % en moyenne pour les flux corps et main, par rapport au meilleur point de comparaison évalué pour chaque flux. Sur trois tâches réelles, le système complet gagne 8,3 points de succès moyen face à OpenPI 0.5. Pour les intégrateurs et les équipes data, l'enjeu est le coût de collecte. La téléopération et les dispositifs spécialisés bardés de capteurs restent le goulot d'étranglement des politiques de manipulation mobile, et une capture portable, sans robot et avec une simple caméra RGB, élargirait fortement le volume de démonstrations accessible. Le résultat le plus parlant est l'erreur de vitesse de base : la navigation est précisément la dimension où l'odométrie visuelle brute dérive et où l'on pouvait craindre que des données humaines transfèrent mal. Ici, elles font mieux que les données robot sur cette métrique, ce qui suggère que le conditionnement par mouvement visuel compense le défaut de supervision. Il faut toutefois rester prudent : le gain de 8,3 points sur OpenPI 0.5 est modeste, mesuré sur seulement trois tâches, et les travaux ne précisent pas la nature des tâches ni les intervalles de confiance dans ce résumé. Il s'agit d'un résultat de laboratoire, sans déploiement industriel. Le contexte est celui de la pénurie de données pour l'intelligence incarnée. Des interfaces portables comme UMI ont montré qu'on pouvait collecter des démonstrations de manipulation sans robot, mais elles se limitent surtout à la manipulation de table, sans la composante de déplacement de la base. VOMMI étend cette logique à la manipulation mobile, en s'appuyant sur la famille de politiques OpenPI (basée sur Pi-0) comme référence. Les acteurs concurrents du côté des VLA, dont Physical Intelligence, Figure avec Helix ou Nvidia avec GR00T, misent eux aussi sur des corpus massifs mêlant vidéo humaine et données robot. Les suites logiques seraient une validation sur davantage de tâches et de morphologies de robots, ainsi qu'une mesure du compromis entre volume de données portables et qualité de reconstruction hors ligne.

RecherchePaper
1 source
StructRL : apprentissage par renforcement structuré en ligne pour les tâches vision-langage-action à long horizon
13arXiv cs.RO 

StructRL : apprentissage par renforcement structuré en ligne pour les tâches vision-langage-action à long horizon

Des chercheurs d'Amazon proposent StructRL, un cadre d'apprentissage par renforcement (RL) en ligne destiné à améliorer les modèles vision-langage-action (VLA) sur des tâches longues, c'est-à-dire celles qui exigent plusieurs manipulations dépendantes à partir d'une seule consigne. La méthode découpe chaque tâche en sous-tâches vérifiables. Elle n'accorde une récompense intermédiaire qu'une fois les sous-tâches prérequises accomplies, puis module cette récompense selon le rythme d'achèvement. Les tests portent sur deux bancs d'essai, RoboCasa365 et LIBERO-Long, avec deux modèles de base, GR00T-N1.5 de NVIDIA et pi 0.5 de Physical Intelligence. Selon les auteurs, StructRL dépasse de façon constante les méthodes de RL en ligne auxquelles il est comparé. Le résumé ne donne pas de taux de réussite chiffrés, et le code est publié sur le dépôt GitHub d'Amazon Science. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. Ce résultat vise un point faible connu des VLA. Ces modèles fonctionnent correctement sur des manipulations courtes, mais leurs performances se dégradent quand les étapes s'enchaînent, car une erreur précoce compromet toute la suite. La plupart des approches de RL en ligne ne récompensent qu'à la réussite complète de la tâche. Ce signal est très rare et ne distingue pas un échec immédiat d'une séquence presque réussie. En structurant la supervision autour de sous-tâches dont l'accomplissement se vérifie, StructRL donne un gradient exploitable sans recourir à un modèle de récompense appris, plus fragile. Pour un intégrateur, l'enjeu est concret : les tâches utiles en cuisine, en logistique ou en assemblage sont presque toujours longues. Cela suggère aussi que le post-entraînement par RL, et pas seulement l'imitation, pourrait devenir l'étape qui fait passer un VLA de la démonstration à la fiabilité. Il faut toutefois rester prudent. Les évaluations se font en simulation, et le cadre suppose qu'on puisse définir et détecter automatiquement chaque sous-tâche. C'est simple dans un simulateur, beaucoup moins dans un atelier réel, où il faut des capteurs ou des vérificateurs fiables. Le passage au monde physique reste donc à démontrer. Le travail s'inscrit dans une tendance déjà visible : affiner des modèles généralistes comme GR00T ou la famille pi par RL, face à des approches concurrentes fondées sur des modèles de récompense appris ou sur des démonstrations supplémentaires. La suite logique sera de tester la méthode sur robot réel et sur d'autres architectures de VLA.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
Au-delà de l'importance des tokens : préserver les échafaudages spatiaux pour une inférence VLA efficace
14arXiv cs.RO 

Au-delà de l'importance des tokens : préserver les échafaudages spatiaux pour une inférence VLA efficace

Une équipe de chercheurs propose GeoScaffold, une méthode d'élagage (pruning) des tokens visuels pour les modèles vision-langage-action (VLA), qui ne demande aucun réentraînement. Le travail, publié sur arXiv (2609.36967), part d'un constat : les stratégies existantes retiennent des tokens visuels individuels selon leur pertinence sémantique pour la tâche, sans tenir compte de l'information spatiale que la manipulation exige. Pour tester cette limite, les auteurs construisent une référence volontairement simple, « Stride », qui échantillonne uniformément les tokens sur la séquence visuelle aplatie en une dimension, soit un élagage purement géométrique. Sur pi 0.5 et le benchmark de simulation LIBERO, GeoScaffold conserve seulement 20 % des tokens visuels tout en maintenant un taux de succès moyen de 93,2 %, avec une accélération de 1,78 fois de la phase de prefill par rapport au modèle non élagué. Le résultat le plus instructif tient au comportement de Stride. À certains taux d'élagage, cette méthode naïve dépasse l'élagage sémantique et l'élagage aléatoire, mais elle s'effondre dès que le budget de tokens baisse légèrement. Les auteurs l'expliquent par le « rayon de couverture spatiale », c'est-à-dire le plus grand angle mort créé dans l'image par l'ensemble des tokens conservés, et ils observent une forte corrélation entre ce rayon et le succès des tâches. Pour les équipes qui cherchent à faire tourner des VLA sur du calcul embarqué, le message est clair : choisir les tokens « importants » ne suffit pas, il faut aussi préserver l'échafaudage géométrique de la scène. Cela remet en cause l'idée, héritée de la vision par ordinateur généraliste, que la pertinence sémantique suffit à guider la compression pour le contrôle robotique. Le gain reste modeste sur le prefill, et il est mesuré uniquement en simulation. Aucune validation sur robot réel, latence de bout en bout ou consommation n'est annoncée dans le résumé. GeoScaffold découpe chaque image en régions spatiales, répartit le budget de tokens entre régions selon des poids de pertinence pour la tâche, puis choisit à l'intérieur de chaque région des tokens « d'échafaudage » par échantillonnage du point le plus éloigné (farthest point sampling), afin de réduire le rayon de couverture local. Il s'inscrit dans une série de travaux sur l'accélération des VLA, dont pi 0.5 de Physical Intelligence est ici le modèle de référence, et qui cherchent à réduire le coût d'inférence sans repasser par l'entraînement. LIBERO reste un banc d'essai en simulation, dont les scènes sont plus régulières que celles d'un site industriel, ce qui limite la portée des 93,2 % annoncés. La suite logique serait un test sur d'autres architectures VLA et sur matériel réel, mais aucun calendrier n'est communiqué.

RecherchePaper
1 source
Plans rapides, actions fidèles : combler l'écart entre planification et exécution dans les modèles VLA hiérarchiques
15arXiv cs.RO 

Plans rapides, actions fidèles : combler l'écart entre planification et exécution dans les modèles VLA hiérarchiques

Une équipe de recherche publie sur arXiv (2609.30833) une étude sur les systèmes hiérarchiques vision-langage-action (VLA), où un planificateur vision-langage pilote un module d'action bas niveau. Sur un pipeline de waypoints adapté du modèle Pi-0.5 de Physical Intelligence, le décodage token par token (Token-AR) du planificateur exige jusqu'à 57 passes du modèle vision-langage par plan, un coût incompatible avec le temps réel ; effacer les points d'arrivée des trajectoires ne dégrade quasiment pas le taux de réussite. La solution proposée, un décodage par blocs (Block-AR) combiné à une modulation d'objectif normalisée (NGM), fait tomber ce nombre de passes de 57 à 8 sur le benchmark LIBERO et divise par 8,7 la latence sur un robot bimanuel Rokae, tandis que le taux de réussite sur LIBERO-Long grimpe de 91,0% à 96,2% et la moyenne des quatre suites de 95,85% à 98,45%. Ce travail met en lumière un angle mort des architectures VLA hiérarchiques, popularisées par des modèles comme GR00T N2 de NVIDIA ou Helix de Figure : la course actuelle privilégie les capacités du planificateur, alors que l'étude situe le véritable goulot d'étranglement dans l'articulation entre plan et exécution. Que des plans tronqués ou peu exploités n'affectent pas les performances contredit l'idée qu'une planification plus détaillée garantit plus de fiabilité. Pour les intégrateurs, la latence des VLM reste le principal frein à un déploiement en cadence réelle ; la diviser par plus de huit sans perte de précision, avec un gain de près de trois points sur les tâches longues, indique qu'un contrôle temps réel est atteignable sans sacrifier le raisonnement vision-langage. Le pipeline de référence s'appuie sur Pi-0.5, le modèle VLA hiérarchique de Physical Intelligence, dont l'approche par waypoints s'inscrit dans le même courant que GR00T N2 (NVIDIA) ou Helix (Figure). Il s'agit d'une contribution de recherche algorithmique, validée en simulation sur LIBERO et testée sur un bras bimanuel Rokae, non d'un produit commercialisé ni d'un déploiement industriel. Sans calendrier d'intégration à une plateforme commerciale annoncé, la publication vise à documenter une méthode reproductible pour réduire le coût de calcul des VLA hiérarchiques tout en renforçant la fidélité entre plan et action, une piste que d'autres laboratoires travaillant sur des architectures similaires pourraient reprendre.

RechercheOpinion
1 source
Sorties anticipées découplées : allocation de calcul adaptée à la tâche dans les VLA à flow-matching
16arXiv cs.RO 

Sorties anticipées découplées : allocation de calcul adaptée à la tâche dans les VLA à flow-matching

Une équipe de recherche propose une méthode pour réduire le coût de calcul des modèles VLA à flow matching, qui combinent un backbone vision-langage préentraîné avec un action expert générant des actions robotiques continues. Publiée sur arXiv le 25 septembre 2026 (2609.29382), l'approche traite comme réglables indépendamment trois leviers : la profondeur du backbone, celle de l'action expert et le nombre d'étapes de denoising, via de légers modules "Exit Transformers" insérés à des profondeurs intermédiaires et entraînés par distillation, associés à un mécanisme de synthèse de cache KV qui reconstruit les clés et valeurs des couches sautées. Le surcoût en paramètres reste minime, +2,1% pour SmolVLA et +4,1% pour π0.5, sans réentraînement complet. Sur LIBERO et Meta-World, la configuration conjointe des trois leviers réduit la latence de 79,2%, le calcul en FLOPs de 31,8%, et améliore le taux de réussite moyen de 5,6%. L'apport principal n'est pas seulement le gain de vitesse : c'est la démonstration que le budget de calcul optimal dépend de la tâche, certaines bénéficiant d'un backbone raccourci, d'autres d'un action expert raccourci ou de moins d'étapes de denoising, ces leviers ayant des effets complémentaires plutôt que redondants. C'est une piste directement exploitable pour les intégrateurs cherchant à faire tourner des politiques VLA sur du matériel embarqué à puissance limitée, sans réentraînement coûteux. Améliorer simultanément vitesse et taux de réussite contredit l'hypothèse habituelle d'un compromis strict entre précision et rapidité, un point qui intéresse les décideurs évaluant le passage des VLA généralistes du prototype au produit industriel. Jusqu'ici, les méthodes existantes pour accélérer les VLA à flow matching se limitaient à sauter des couches du backbone ou à réduire les étapes de débruitage, sans toucher à la profondeur de l'action expert, le composant qui génère les actions du robot. Les auteurs comblent cette lacune en traitant les trois axes conjointement. La méthode est validée sur SmolVLA, modèle compact open source de l'équipe LeRobot de Hugging Face, cofondée par des Français, et sur π0.5, de la lignée des modèles Pi de Physical Intelligence. Il s'agit d'une contribution de recherche évaluée en simulation, sans partenaire industriel ni calendrier de déploiement annoncé.

UESmolVLA, l'un des deux modèles valides par cette méthode, est développe par l'équipe LeRobot de Hugging Face, cofondée par des chercheurs français, ce qui relie indirectement cette avancée a l'écosystème européen de la robotique open source.

RecherchePaper
1 source
HarnessPAI : un harnais évolutif pour l'IA physique
17arXiv cs.RO 

HarnessPAI : un harnais évolutif pour l'IA physique

Une équipe liée au projet Darwin Agent a publié le 25 septembre 2026 sur arXiv (2609.29166) HarnessPAI, un framework agnostique au modèle et à la morphologie qui pilote les modèles d'action physique via du code exécutable. Le système sépare deux échelles : pendant un rollout, un programme fixe vérifie l'exécution en boucle ouverte ; entre les rollouts, il évolue en boucle fermée et transforme les échecs en compétences réutilisables grâce au retour d'exécution. Testé sur des bras de bureau, des robots domestiques, un aspirateur robot et un agent marcheur à pattes, HarnessPAI améliore les modèles d'action purs et les baselines "code-as-policy" sans réentraînement : +61,6 points sur Pi-0.5 sur LIBERO-PRO, +27,2 points sur WorldDreamer sur les tâches atomiques de RoboCasa. Une fois le programme convergé, aucune délibération LLM en ligne n'est nécessaire ; il sert aussi de collecteur de données expertes bon marché, et réentraîner Pi-0.5 sur ces données relève son taux de réussite de 38,8 points sur LIBERO-PRO. Ces résultats contredisent l'hypothèse dominante selon laquelle la performance en robotique physique dépend avant tout de modèles d'action plus puissants : l'entraînement standard de ces modèles peut au contraire éroder les capacités de perception et de raisonnement nécessaires à un comportement robuste, rendant même des modèles forts vulnérables aux perturbations de scène et aux tâches longues. Pour les intégrateurs et chercheurs, cela suggère qu'un harnais exécutable et piloté par le retour d'expérience peut être aussi déterminant que le modèle lui-même, et qu'il offre une voie moins coûteuse pour collecter des données d'entraînement sans téléopération massive. HarnessPAI s'inscrit dans les efforts visant à combler l'écart entre démonstrations et déploiement réel des modèles vision-langage-action, dans un paysage dominé par Pi-0 et Pi-0.5 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI ; l'étude compare directement son approche à Pi-0.5 et à WorldDreamer, la positionnant comme complémentaire plutôt que concurrente. Il s'agit pour l'instant d'une publication de recherche, sans annonce de déploiement industriel ni de partenaire commercial identifié : les auteurs présentent ces résultats comme une preuve de concept sur plusieurs plateformes robotiques, ouvrant la voie à des systèmes intégrant perception, raisonnement et action de manière vérifiable.

IA physiquePaper
1 source
La gaussienne suffit : les priors par flow matching n'aident pas lors du fine-tuning de grands modèles de comportement
18arXiv cs.RO 

La gaussienne suffit : les priors par flow matching n'aident pas lors du fine-tuning de grands modèles de comportement

Une étude publiée sur arXiv en septembre 2026 (2609.27070) montre que remplacer le prior gaussien standard des politiques de diffusion ou de flow-matching par un prior non gaussien, plus proche de la distribution cible, n'améliore pas le fine-tuning de grands modèles de comportement (Large Behavior Models) préentraînés. Les auteurs testent trois modèles, LBM 1.0 du Toyota Research Institute, Pi-0.5 de Physical Intelligence et GR00T N1.5 de NVIDIA, sur plus de 100 000 essais en simulation couvrant plus de 40 tâches et deux plateformes, ainsi que 1250 essais sur matériel réel portant sur cinq tâches de manipulation bimanuelle. Dans quasiment tous les cas, le prior non gaussien produit des résultats statistiquement indiscernables, voire pires, que le prior gaussien classique; un éventuel avantage n'apparaît que pour de très faibles fractions de données de fine-tuning. Ce résultat contredit l'hypothèse répandue selon laquelle un prior appris, plus proche de la cible, apporterait un gain supplémentaire lors du fine-tuning de modèles préentraînés, un bénéfice pourtant bien établi à l'entraînement from scratch. Pour les intégrateurs qui bâtissent leurs déploiements sur des modèles vision-language-action génériques, l'étude suggère que l'effort d'ingénierie compte moins sur le design du bruit d'entrée que sur l'entraînement de l'encodeur: les politiques fine-tunées convergent vers des actions similaires quel que soit le prior, alors que leurs embeddings divergent fortement du préentraînement. Une ablation du taux d'apprentissage confirme que l'entraînement de l'encodeur reste le facteur dominant de la performance finale, loin devant le choix du prior. L'étude s'inscrit dans la vague de modèles génériques de manipulation robotique préentraînés sur de larges corpus de démonstrations, à l'image de LBM (Toyota Research Institute), de la famille Pi de Physical Intelligence (Pi-0, Pi-0.5) ou de GR00T (NVIDIA). Les gains procurés par des priors non gaussiens n'avaient jusqu'ici été démontrés qu'à l'entraînement from scratch; ce travail est le premier à tester leur transfert au paradigme dominant de la robotique généraliste en 2026, le fine-tuning de fondations préentraînées. Les auteurs concluent en identifiant des pistes pour déterminer dans quelles conditions, notamment à très faible volume de données cibles, un prior appris pourrait malgré tout apporter un bénéfice.

UELes intégrateurs européens qui fine-tunent des modèles VLA génériques (LBM, Pi-0.5, GR00T) peuvent appliquer ces conclusions pour prioriser l'entrainement de l'encodeur plutôt que le design du prior.

RecherchePaper
1 source
Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises
19arXiv cs.RO 

Actions vision-langage sécurisées par Poisson pour la sécurité corporelle complète des politiques apprises

Une équipe de recherche en robotique a publié en septembre 2026 sur arXiv un article décrivant VLPSA (Vision-Language-Poisson-Safe Actions), un filtre de sécurité destiné aux politiques Vision-Language-Action (VLA) qui ne garantissent aujourd'hui aucune évitement de collision fiable, en particulier hors des distributions d'entraînement. Le système synthétise en ligne, à partir des données de perception, des fonctions de sécurité de Poisson (PSF), converties en fonction barrière de contrôle (CBF) appliquée via un filtre CBF-QP sur l'ensemble du corps du robot et sur tout objet saisi, traité comme une extension du dernier lien articulaire. Pour tenir le temps réel tout en gardant une résolution spatiale fine dans les zones critiques de la tâche, VLPSA combine deux résolutions de cette PSF grâce à des compositions booléennes de CBF. Testé sur le benchmark SafeLIBERO face à plusieurs méthodes de filtrage de sécurité existantes, VLPSA obtient le meilleur taux d'évitement de collision du lot: il fait passer ce taux de 23,1% pour la politique de base pi-0.5 à 91,2%, tout en dépassant le taux de réussite des tâches de cette même politique de base. Le système a aussi été déployé sur un bras robotique Franka FR3 dans des scènes encombrées avec obstacles dynamiques et interférence humaine. L'intérêt principal tient au fait que VLPSA agit comme une surcouche de sécurité sans nécessiter de réentraînement de la politique VLA sous-jacente, un point sensible pour les intégrateurs qui déploient des modèles génériques de manipulation dans des environnements industriels non contrôlés. Le résultat contredit l'hypothèse selon laquelle renforcer la sécurité dégraderait mécaniquement la performance de la tâche: ici, sécurité et taux de réussite progressent simultanément. Cela apporte une réponse concrète à un angle mort connu des modèles VLA génériques, souvent démontrés dans des environnements scénarisés mais fragiles face à des obstacles imprévus ou des humains dans la boucle. Le travail s'inscrit dans la lignée des recherches sur les politiques VLA génériques de manipulation, dont pi-0.5 sert ici de politique de référence, et dans le champ plus large des fonctions barrière de contrôle appliquées à la robotique de sécurité. Les auteurs comparent VLPSA à d'autres baselines de filtrage de sécurité sans les nommer précisément dans le résumé, et les prochaines étapes annoncées concernent l'extension des déploiements réels au-delà du Franka FR3 testé.

RecherchePaper
1 source
StarVLA-α : réduire la complexité des systèmes vision-langage-action
20arXiv cs.RO 

StarVLA-α : réduire la complexité des systèmes vision-langage-action

Une équipe de recherche présente StarVLA-α, un modèle de référence pour les systèmes Vision-Language-Action (VLA) en robotique, dans une preprint arXiv (2604.11757, version 2) accompagnée d'un code annoncé sur github.com/starVLA/starVLA. Le modèle réduit volontairement la complexité architecturale et applique le même pipeline minimal sur quatre benchmarks standards du secteur : LIBERO, SimplerEnv, RoboTwin et RoboCasa. Sa version généraliste unique dépasse de 20 % le modèle Pi-0.5 (π0.5) sur RoboChallenge, un benchmark public évalué en conditions réelles et non en simulation. Les auteurs ont réévalué plusieurs choix de conception clés : stratégie de modélisation de l'action, pré-entraînement spécifique au robot et ingénierie d'interface. Ce résultat contredit une hypothèse répandue dans la course aux VLA, selon laquelle la performance exige un empilement d'astuces d'ingénierie et des architectures toujours plus complexes. En montrant qu'un backbone VLM (vision-language model) solide combiné à un design minimal suffit à dépasser un modèle reconnu comme Pi-0.5 sur un test en conditions réelles, l'étude remet en question la course à la complexité qui domine le secteur. Pour les intégrateurs et les laboratoires de recherche, l'intérêt est concret : une base simple, reproductible et compétitive réduit le coût d'entrée pour tester de nouvelles idées sans reproduire des pipelines propriétaires. Cela suggère aussi que le goulot d'étranglement des VLA tient moins à l'architecture qu'à la qualité du backbone et des données d'entraînement. Le champ des VLA s'est fragmenté depuis l'arrivée de modèles comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, associé au robot Figure 03, chacun avec ses propres choix d'architecture et de données, rendant les comparaisons difficiles. StarVLA-α se positionne en contrepoint académique, en isolant les axes de conception pour permettre une analyse contrôlée plutôt qu'une surenchère d'ingénierie propre à chaque benchmark. Il s'agit d'une contribution de recherche et non d'un produit commercial ou d'un déploiement industriel : le code n'était pas encore public au moment de la publication, seule une adresse GitHub était annoncée. Les auteurs présentent StarVLA-α comme un point de départ pour de futurs travaux sur les VLA, sans partenariat industriel ni calendrier de déploiement annoncé.

RechercheOpinion
1 source
Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor
21Pandaily 

Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor

Infinigence AI, en collaboration avec des équipes de l'université Tsinghua et de Shanghai Jiao Tong University, a mis en open source APXInf, un moteur d'inférence conçu pour faire fonctionner des modèles de robotique embarquée directement sur l'appareil, sans passer par le cloud, afin de fermer localement la boucle percevoir-décider-agir. Le code est disponible sur GitHub sous RLinf/APXinf-robo, avec un runtime écrit en Rust et des bindings Python, ciblant les cartes Jetson de NVIDIA ainsi que des GPU de bureau. Selon Infinigence et les relais du média chinois QbitAI, le chiffre phare est une latence d'inférence de bout en bout ramenée de 278 ms à moins de 26 ms pour le modèle PI 0.5 en FP8 sur une carte Jetson Thor, soit environ 38,46 Hz, une réduction d'un facteur 10 par rapport à la version non optimisée prise comme référence. Cette performance reposerait sur des optimisations de pipeline, de graphe de calcul, de noyaux de calcul (kernels) et de quantification, complétées par une fusion de kernels CUDA assistée par un agent baptisé Agent4Kernel. Le support initial couvre les modèles PI 0.5 et WALL-OSS, sur Jetson Orin, Jetson Thor et GeForce RTX 4090. Pour l'industrie robotique, cette annonce s'adresse directement aux intégrateurs et aux équipes R&D confrontées au fossé entre modèles vision-langage-action (VLA) impressionnants en démonstration et contrôle stable et réactif sur robot réel. En ciblant explicitement le "dernier kilomètre" entre un modèle VLA capable et un contrôle embarqué fiable, Infinigence répond à une critique récurrente du secteur: la latence cloud rend beaucoup de VLA inutilisables pour du contrôle temps réel en environnement industriel. Le choix architectural, un runtime Rust minimal pour la sécurité mémoire et la stabilité sur de longues durées, plutôt qu'une simple optimisation de vitesse de pointe, cible les déploiements industriels continus plutôt que les démonstrations ponctuelles. Toutefois, le chiffre de latence doit être lu avec prudence: il concerne un modèle et une configuration matérielle précis, et Infinigence lui-même invite les équipes à reproduire ces mesures sur leurs propres checkpoints et contraintes de puissance, ce qui suggère que la portabilité de la performance à d'autres modèles ou tailles de batch n'est pas garantie. APXInf s'inscrit dans la continuité de RLinf, la pile d'entraînement par apprentissage par renforcement déjà développée par Infinigence, étendant ainsi son écosystème open source de la phase de post-entraînement vers le déploiement embarqué, avec une compatibilité de service annoncée avec OpenPI. La feuille de route évoquée inclut de nouveaux portages de modèles VLA, VLM et de modèles du monde (des travaux liés à Qwen et à la famille GR00T sont déjà mentionnés), une optimisation au format nvfp4, des backends AMD, ainsi que des backends d'inférence et des systèmes d'exploitation robotiques domestiques chinois. Le projet se positionne ainsi face aux piles d'inférence propriétaires ou semi-fermées des acteurs occidentaux du VLA, en misant sur l'ouverture du code comme argument de diffusion auprès des intégrateurs.

UELes intégrateurs et équipes R&D européennes en robotique peuvent tester cet outil open source pour réduire la latence d'inférence VLA embarquée sur leurs propres plateformes Jetson.

IA physiqueActu
1 source
IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action
22arXiv cs.RO 

IMLE-VLA : génération d'actions en une seule étape pour les modèles vision-langage-action

Publié sur arXiv (2609.10915), IMLE-VLA remplace la tête d'action itérative des politiques vision-langage-action (VLA) par un générateur en une seule étape, entraîné via l'estimation conditionnelle du maximum de vraisemblance implicite (cIMLE). Appliqué au modèle π0.5, il fait passer la fréquence d'inférence de 15 Hz à 55 Hz, soit un facteur 3,67, et jusqu'à 11 fois le débit d'action. Sur le benchmark LIBERO, qui couvre 40 tâches, IMLE-VLA atteint 98,0% de réussite moyenne, le meilleur score et la plus haute fréquence d'inférence parmi les méthodes comparées. Sous les perturbations du test LIBERO-plus, il conserve la robustesse de π0.5 alors que les autres approches se dégradent nettement. Sur un bras Franka Emika Panda, quatre tâches en conditions réelles montrent un jerk réduit de 2,2 à 3,0 fois et un temps d'inférence par épisode divisé par 3,9 à 6,6 par rapport à π0.5 seul. Le problème visé est bien identifié dans le secteur: les têtes d'action entraînées par diffusion ou flow matching, comme celle de π0.5, exigent un échantillonnage multi-étapes (jusqu'à 10 pas d'Euler), ce qui produit un mouvement saccadé du robot et ralentit l'exécution des tâches. Pour les intégrateurs et équipes robotique qui déploient des bras ou des humanoïdes pilotés par des modèles de fondation, la latence d'inférence conditionne directement la fluidité et la sécurité du contrôle en temps réel. En montrant qu'un générateur à étape unique peut couvrir la multimodalité de l'action sans tomber dans l'effondrement de mode des têtes de régression classiques, IMLE-VLA remet en cause l'idée reçue selon laquelle l'échantillonnage itératif serait indispensable pour préserver la généralisation des politiques VLA à grande échelle. Ce travail s'inscrit dans la lignée des VLA construits sur des backbones vision-langage préentraînés, avec π0.5 comme base de comparaison. Il s'agit d'une contribution académique et non d'un produit commercial: code et vidéos de démonstration sont publiés sur le site du projet à des fins de reproductibilité, sans annonce de déploiement industriel ni de pilote client. Présentée comme générique, la méthode cIMLE pourrait en principe s'appliquer à d'autres têtes d'action par diffusion ou flow matching utilisées ailleurs dans le secteur, ce qui ouvre la voie à des tests sur d'autres politiques VLA et d'autres plateformes robotiques, au-delà du seul bras Franka Emika Panda utilisé pour cette validation.

RechercheActu
1 source
Pilotage de politique par proxy
23arXiv cs.RO 

Pilotage de politique par proxy

Les chercheurs à l'origine de l'article "Proxy Policy Steering" présentent une méthode d'adaptation à l'inférence pour les politiques robotiques généralistes, publiée sur arXiv (arXiv:2609.09148v2). La technique, baptisée PPS, entraîne deux petites politiques proxy en parallèle d'un modèle de base gelé : une "proxy de référence" reproduit le comportement du modèle de base sur les observations de la tâche cible, tandis qu'une "proxy de tâche", initialisée à partir de la première, capture comment ce comportement évolue sous supervision spécifique à la tâche. La différence calibrée entre ces deux proxys, dans l'espace des vitesses, vient orienter le processus de débruitage du modèle de base à chaque étape, sans jamais modifier ses paramètres. Testée sur 8 tâches de manipulation en conditions réelles et 4 en simulation, PPS améliore le taux de réussite du modèle pi-0.5, considéré comme référence actuelle du secteur, de 53 points de pourcentage en moyenne, avec des gains sur des tâches que ce modèle échouait systématiquement auparavant. Cette approche répond à un problème central pour l'industrie robotique : comment spécialiser un modèle généraliste entraîné sur des données massives à une nouvelle tâche, avec peu de démonstrations, sans dégrader ses capacités générales ni nécessiter un réentraînement complet. Contrairement au fine-tuning LoRA, aux politiques résiduelles ou aux spécialistes entraînés from scratch, PPS ne touche pas aux poids du modèle de base et ne requiert que ses prédictions de vitesse en sortie, ce qui la rend applicable même sans accès à ses paramètres internes, un atout pour des intégrateurs qui déploieraient des modèles propriétaires fermés. Le maintien des comportements de récupération après échec, jamais démontrés explicitement dans les données de spécialisation, illustre que la méthode préserve les priors larges du modèle plutôt que de les écraser, un problème récurrent des méthodes d'adaptation classiques. Le travail s'inscrit dans la lignée des modèles vision-langage-action (VLA) génériques comme pi-0 et sa version 0.5, GR00T N2 de NVIDIA ou Helix de Figure, tous confrontés au même goulot d'étranglement du déploiement : la généralisation en démonstration ne garantit pas la performance sur une tâche industrielle précise. PPS se positionne comme alternative aux méthodes de steering à l'inférence existantes et au fine-tuning paramétrique, en comparant ses résultats empiriquement contre ces baselines. L'article ne précise pas de partenaire industriel, de calendrier de déploiement ni de coût de licence associé, ce qui situe la contribution au stade de recherche méthodologique plutôt que de produit prêt à l'intégration.

IA physiqueActu
1 source
MINERVA : quelle taille minimale pour une politique de manipulation qui résout LIBERO ?
24arXiv cs.RO 

MINERVA : quelle taille minimale pour une politique de manipulation qui résout LIBERO ?

Publiée le 4 septembre 2026 sur arXiv (2609.03715v1), l'étude MINERVA mesure la taille de modèle réellement nécessaire pour résoudre LIBERO, le benchmark de manipulation aujourd'hui dominé par des modèles vision-langage-action (VLA) de plusieurs milliards de paramètres. Sa politique de 0,54 million de paramètres atteint 95,1% de réussite sur 2 000 essais répartis sur les quatre suites standard de LIBERO, à seulement 2,4 points du résultat rapporté pour pi-0.5 de LeRobot, avec 7 700 fois moins de paramètres. Les performances plafonnent vers 1 million de paramètres et s'effondrent sous 250 000. La régression L1 directe égale le flow matching tout en étant jusqu'à 3,8 fois plus rapide sur GPU, et sur simple CPU portable, sans GPU, la politique replanifie chaque pas de contrôle en 5 à 9 millisecondes, 113 fois plus vite que SmolVLA et 1 400 fois plus vite que pi-0.5. Sur LIBERO-90 (89 tâches), le même protocole obtient 94,6%, mais chute à 46-56% face aux perturbations de LIBERO-Plus, avec une robustesse quasi nulle aux variations photométriques. Ce résultat bouscule l'idée dominante selon laquelle la manipulation robotique exige des VLA à l'échelle des grands modèles de langage: un réseau 7 700 fois plus petit que pi-0.5 approche ses performances, signe que le plancher de capacité requis par LIBERO est très bas. Une permutation des identifiants de tâche montre que le conditionnement par instruction sert surtout à sélectionner une tâche mémorisée: changer seulement ce mappage ramène le taux de réussite près du hasard, ce qui interroge ce que le benchmark mesure vraiment. Pour les intégrateurs, une inférence en quelques millisecondes sur simple CPU ouvre la voie à des contrôleurs embarqués bon marché, tandis que la fragilité aux perturbations photométriques rappelle qu'un score élevé sur benchmark ne garantit pas la robustesse en conditions réelles. Le travail s'inscrit dans une course à l'échelle menée par des VLA généralistes comme pi-0 et pi-0.5 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure AI ou SmolVLA de Hugging Face, cité ici comme référence de politique compacte. LIBERO, benchmark de manipulation devenu standard depuis 2023, sert de terrain de comparaison, mais son biais vers la mémorisation des tâches, mis au jour par MINERVA, questionne sa validité comme mesure de généralisation. Les auteurs appellent à une conception de politiques consciente de la capacité et à des stratégies de distillation pour produire des modèles robotiques efficaces au déploiement, plutôt qu'à une simple course au nombre de paramètres.

RecherchePaper
1 source
WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action
25arXiv cs.RO 

WISE : ordonnancement de l'imagination guidé par un modèle du monde pour un post-entraînement efficace des modèles vision-langage-action

Un article publié le 3 septembre 2026 sur arXiv (2609.03681) présente WISE, une méthode de post-entraînement pour les modèles VLA (Vision-Language-Action) en robotique manipulatrice. Plutôt que d'affiner ces politiques par démonstrations d'experts coûteuses ou par renforcement en conditions réelles, risqué et onéreux, WISE s'appuie sur un modèle du monde pour imaginer et évaluer des comportements candidats, mais seulement aux états jugés critiques pour l'interaction, sur des horizons courts et multi-vues afin de limiter la dérive de prédiction. Testée sur les modèles Pi-0 et Pi-0.5 de Physical Intelligence, la méthode réduit le temps de calcul GPU d'environ 80% par rapport à une imagination exhaustive, tout en améliorant les performances sur un éventail de tâches de manipulation. Des évaluations en conditions réelles confirment des gains de robustesse et de généralisation face à des changements de distribution. Le résultat s'attaque à un frein connu à l'usage des modèles du monde en robotique: leur coût de calcul et l'accumulation d'erreurs sur de longs horizons de simulation en limitaient jusqu'ici l'intérêt pratique face au renforcement réel. En montrant qu'une imagination sélective et bornée conserve l'essentiel du gain de performance pour un cinquième du coût GPU d'une approche complète, WISE offre aux équipes de recherche appliquée un argument économique pour intégrer ces modèles dans leurs pipelines de fine-tuning sans les risques du reinforcement learning physique. Le travail apporte aussi une preuve empirique que des architectures VLA généralistes comme Pi-0 peuvent gagner en robustesse sans démonstrations supplémentaires, un point clé pour les décideurs qui évaluent le passage du laboratoire au déploiement industriel fiable. Ce travail s'inscrit dans la lignée des recherches récentes sur les modèles du monde en robotique, dans un paysage où NVIDIA (GR00T N2) ou Figure AI (Helix) explorent aussi des architectures VLA généralistes, mais en ciblant ici spécifiquement l'efficacité du post-entraînement plutôt que la génération de comportements bout-en-bout. La méthode a été validée sur Pi-0 et Pi-0.5, les bases VLA développées par Physical Intelligence. Il s'agit à ce stade d'un article de recherche, sans annonce de produit commercial, de partenariat industriel ni de calendrier de déploiement; la suite attendue serait son intégration dans des pipelines de fine-tuning propriétaires ou sa reproduction indépendante sur d'autres architectures pour confirmer les gains annoncés.

IA physiqueOpinion
1 source
Savoir quand s'arrêter : le découpage adaptatif d'actions via la dynamique interne d'attention croisée dans les VLA
26arXiv cs.RO 

Savoir quand s'arrêter : le découpage adaptatif d'actions via la dynamique interne d'attention croisée dans les VLA

Des chercheurs publient sur arXiv (arXiv:2609.00908v1) une méthode nommée "adaptive action chunking" pour les architectures Vision-Language-Action (VLA), les modèles qui traduisent image et langage en séquences d'actions robotiques. Le chunking d'actions est une pratique standard dans ces frameworks : plutôt que de prédire une action à la fois, le modèle génère un bloc d'actions consécutives à exécuter en boucle ouverte avant la prochaine inférence. Le problème identifié est que des blocs courts obligent à des inférences fréquentes et provoquent des oscillations, tandis que des blocs longs se désynchronisent de l'état réel observé par le robot. La méthode proposée exploite les poids d'attention croisée action-observation déjà calculés en interne par l'"action expert" du modèle : quand l'horizon de prédiction s'allonge, cette attention se disperse et son entropie grimpe vers un plateau, signal corrélé à une hausse de l'erreur de prédiction. Un mécanisme de troncature sans entraînement supplémentaire détecte ce plateau et ajuste dynamiquement la longueur du bloc exécuté, avec un surcoût de calcul jugé négligeable. Testée sur les modèles pi-0.5 et X-VLA, sur les bancs d'essai RoboTwin 2.0 et LIBERO ainsi que sur trois tâches de manipulation réelles, l'approche améliore le taux de succès moyen par rapport aux méthodes à horizon fixe et aux baselines adaptatives existantes, tout en conservant un contrôle en boucle fermée efficace. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement pratique plutôt qu'à une prouesse de démonstration : la latence d'inférence des VLA reste un frein au déploiement temps réel, et le chunking est le compromis habituel entre réactivité et coût de calcul. Une méthode qui rend ce compromis dynamique, sans réentraînement ni capteur supplémentaire, intéresse directement les intégrateurs qui doivent faire tourner des VLA sur du matériel embarqué à budget de calcul limité. Cela nuance aussi le récit selon lequel il suffirait d'agrandir les modèles ou les jeux de données de démonstration : ici, le gain vient d'une meilleure exploitation du signal déjà présent dans le modèle, pas d'un nouvel entraînement. Ce papier s'inscrit dans la lignée des travaux récents sur les architectures VLA telles que pi-0 (et sa variante pi-0.5) et X-VLA, qui cherchent à généraliser l'exécution de tâches de manipulation robotique à partir d'entrées multimodales. L'évaluation combine des simulateurs académiques standards, RoboTwin 2.0 et LIBERO, avec des tâches réelles, ce qui distingue cette contribution des simples démonstrations vidéo. Aucun partenaire industriel ni date de déploiement commercial n'est mentionné : il s'agit d'une contribution de recherche méthodologique, publiée en septembre 2026, dont l'adoption dépendra de son intégration dans des piles VLA existantes par les laboratoires ou entreprises qui développent ces modèles.

RechercheOpinion
1 source
AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif
27arXiv cs.RO 

AdaVLA : accélération sans entraînement des modèles vision-langage-action par flow matching adaptatif

Des chercheurs ont publié fin août 2026 sur arXiv (référence 2608.29208v1) une méthode d'accélération sans réentraînement pour les modèles Vision-Language-Action (VLA) reposant sur le flow matching, baptisée AdaVLA. Les VLA, construits à partir de modèles vision-langage (VLM), souffrent d'un coût de calcul élevé qui freine leur déploiement embarqué et empêche des réponses en temps réel aux changements d'environnement. Contrairement aux techniques d'accélération existantes, qui nécessitent souvent un fine-tuning ou un accès aux données d'entraînement, rarement disponibles pour des raisons de confidentialité ou de propriété industrielle, AdaVLA fonctionne en ligne et sans données d'entraînement. La méthode introduit une métrique dérivée de la courbure de la trajectoire de flow matching pour estimer la confiance du modèle dans la génération d'action à chaque étape d'inférence. Cette métrique permet de réduire dynamiquement le nombre d'étapes d'inférence et d'ajuster le taux d'élagage des couches MLP via une évaluation d'importance calculée efficacement. Testée sur le benchmark LIBERO avec un module embarqué Jetson AGX Orin, la méthode obtient une accélération de 1,87x pour le modèle pi-0.5 et de 2,24x pour X-VLA, avec une dégradation jugée négligeable des taux de réussite des tâches. Les auteurs indiquent avoir aussi validé la robustesse de leur approche sur des tâches robotiques réelles avec SmolVLA, un modèle VLA compact développé par Hugging Face. Pour les intégrateurs et les équipes robotique, ce travail cible un goulot d'étranglement précis et jusqu'ici peu traité : la plupart des efforts d'accélération des VLA portent sur le coût d'inférence du VLM, la partie perception et raisonnement, et non sur le processus itératif de résolution d'équation différentielle propre au flow matching, qui génère les actions du robot. Si ces résultats se confirment à plus grande échelle, une méthode sans réentraînement ni accès aux données change la donne pour le déploiement en production, car elle peut s'appliquer à des modèles propriétaires sans toucher au pipeline d'entraînement, un frein courant chez les fournisseurs commerciaux de VLA. Cela conforte aussi l'idée que le flow matching, déjà présenté comme alternative plus légère aux modèles de diffusion classiques pour le contrôle robotique, peut être compressé davantage sans réentraînement lourd, un argument clé pour l'embarqué face aux contraintes de latence et d'énergie des humanoïdes et bras robotiques actuels. AdaVLA s'inscrit dans la vague de modèles VLA apparue avec des architectures comme pi-0 et sa variante pi-0.5, développées par Physical Intelligence, X-VLA, ou SmolVLA, conçu par Hugging Face, qui exploitent des VLM pré-entraînés à l'échelle d'internet pour doter les robots de capacités de raisonnement multimodal. Le flow matching s'est imposé ces derniers mois comme alternative aux processus de diffusion standards pour générer des trajectoires d'action, mais restait coûteux en inférence du fait des multiples étapes de résolution ODE. L'article, encore un simple dépôt arXiv non revu par les pairs à ce stade, ne précise ni calendrier d'intégration industrielle ni partenariat annoncé avec un fabricant de robots, et ses résultats reposent sur un seul jeu de benchmarks simulés complété par des essais réels limités sur SmolVLA. La suite logique, non détaillée dans le résumé des auteurs, serait une validation sur des VLA plus volumineux ou multi-tâches et sur du matériel robotique commercial plus large que le seul Jetson AGX Orin utilisé pour les tests.

IA physiqueOpinion
1 source
Vidéo : Hugging Face dévoile un minirobot en forme de canard capable de marcher, apprendre et patiner
28Interesting Engineering 

Vidéo : Hugging Face dévoile un minirobot en forme de canard capable de marcher, apprendre et patiner

Hugging Face a présenté Microduck, un petit robot bipède open source en forme de canard, développé avec l'entreprise française Pollen Robotics. Vendu 399 dollars, l'appareil doit commencer à être livré avant Noël 2026. Haut de 25 centimètres pour un poids inférieur à 800 grammes, Microduck embarque 15 moteurs, une caméra, un petit capteur de profondeur et deux centrales inertielles (IMU). Son bec articulé lui permet de saisir des objets, combinant locomotion et manipulation simple. Le robot sait marcher, s'asseoir, s'accroupir, se relever après une chute et même faire du roller skate. Il est livré avec des comportements pré-entraînés utilisables via une manette de jeu ou en suivant un point laser, mais ceux-ci ne sont qu'un point de départ : le logiciel complet (contrôle, simulation, apprentissage par renforcement, transfert sim-to-real) est publié en open source via deux dépôts distincts, l'un pour le SDK et le pilotage du robot, l'autre dédié à l'entraînement par renforcement. Ce lancement illustre une approche différente de la course aux humanoïdes dominée par des acteurs comme Figure, Tesla (Optimus) ou Physical Intelligence (Pi-0) : plutôt que viser des déploiements industriels à grande échelle, Hugging Face et Pollen Robotics misent sur l'accessibilité pour démocratiser l'expérimentation en IA physique. La taille réduite et la légèreté de Microduck rendent l'apprentissage par renforcement praticable sur un bureau ou en salle de classe, un processus coûteux et risqué sur des robots de taille humaine. La capacité de récupération après chute réduit aussi le besoin d'intervention manuelle entre deux essais, un point pratique souvent sous-estimé dans les démonstrations de recherche. Pour les intégrateurs et chercheurs, l'intérêt réside moins dans les prouesses physiques du robot que dans l'accès à une pile logicielle complète et ouverte pour tester le transfert simulation-vers-réel, un défi toujours non résolu de façon fiable en robotique malgré les progrès des modèles VLA à grande échelle. Ce lancement s'inscrit dans l'expansion des efforts robotiques de Hugging Face, qui cherche à étendre son modèle open source au-delà du logiciel vers le matériel physique, après d'autres initiatives de plateformes robotiques low-cost. Pollen Robotics, société française déjà connue pour ses travaux en robotique open source, apporte son expertise en conception matérielle et logicielle à ce projet. Microduck se positionne aussi comme un outil pour l'expérimentation multi-robots, avec des scénarios évoqués comme des courses ou du football entre plusieurs unités, permettant d'étudier la robotique multi-agents sans recourir à des robots humanoïdes coûteux. Le produit reste pour l'instant au stade de l'annonce, avec une commercialisation effective attendue d'ici la fin de l'année, et son adoption réelle par la communauté des développeurs et chercheurs déterminera si cette approche accessible peut réellement accélérer la recherche en apprentissage physique.

UEPollen Robotics, entreprise française, co-développe le matériel et le logiciel de Microduck avec Hugging Face, renforçant la place de la France dans la robotique open source accessible.

FR/EU ecosystemeActu
1 source
Réfléchir uniquement quand c'est nécessaire : contrôle par autorité de prompt pour une intervention sélective en mode lent dans la manipulation VLA
29arXiv cs.RO 

Réfléchir uniquement quand c'est nécessaire : contrôle par autorité de prompt pour une intervention sélective en mode lent dans la manipulation VLA

Un article publié sur arXiv (référence 2608.23224v1) documente un phénomène baptisé effondrement de forme du prompt dans le pilotage de robots par des modèles vision-langage-action (VLA). Ajouter du texte récupéré au prompt d'une politique VLA gelée, sans réentraînement, fait chuter le taux de réussite moyen de 92,47 % à 3,00 % sur 500 états testés, un ajout dénué de sens mais de longueur équivalente échouant tout aussi complètement. Les auteurs introduisent TOWN-VLA, une interface qui sépare la génération de texte candidat de l'autorisation de modifier l'entrée de la politique : une règle fixe n'autorise qu'une instruction compacte canonique, sinon le prompt original est restauré à l'identique, un contrat respecté sur les 900 routes auditées (525 restaurations vérifiées par empreinte, 375 prompts autorisés préservant la tâche). Sur l'évaluation LIBERO-Plus (grille 4x7, 10 030 épisodes par méthode), le taux de réussite passe de 69,5 % à 73,1 %, avec des gains sur les six axes de perturbation et les quatre suites testées. Sur un bras physique PiPER piloté par un checkpoint gelé du modèle π0.5, il grimpe de 52,7 % à 78,7 % sur 150 essais par méthode (p=3,16x10^-6). Ce résultat vise une pratique répandue : l'augmentation par récupération de contexte sur un modèle gelé, sans réentraînement coûteux, est perçue comme un moyen sûr d'enrichir une politique VLA en production. Or un texte sémantiquement vide provoque le même échec total qu'un texte informatif, preuve que c'est la forme de l'instruction, et non son contenu, qui domine l'exécution, un angle mort pour les intégrateurs qui supposent qu'ajouter du contexte ne peut que rester neutre ou aider. Pour les décideurs évaluant des piles VLA prêtes à l'emploi, ce travail plaide pour une couche de contrôle d'autorité sur les prompts, séparée du modèle de génération, avant tout déploiement réel. Le travail s'appuie sur un modèle gelé de la famille pi-zero (π0.5), développée par Physical Intelligence, ce qui positionne TOWN-VLA comme une couche de contrôle générique plutôt qu'un modèle concurrent d'architectures comme GR00T N2 de NVIDIA ou Helix de Figure AI. Les auteurs indiquent que la prochaine étape est une calibration d'admission sans oracle, signe que le système reste, à ce stade, un résultat de recherche audité en simulation et sur un bras robotique isolé, sans déploiement industriel ni pilote commercial annoncé.

RecherchePaper
1 source
Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action
30arXiv cs.RO 

Agir avec intention : distiller l'intention comportementale pour les modèles vision-langage-action

Publié le 25 août 2026 sur arXiv (référence 2608.23478), un article de recherche présente INDI (Intention Distillation), une méthode d'entraînement pour les décodeurs d'action des modèles Vision-Language-Action (VLA) en robotique, dominés aujourd'hui par le clonage de comportement, qui indique la commande démontrée sans expliciter l'objectif poursuivi. Pendant l'entraînement, un VLM enseignant figé interprète chaque segment démontré à partir de l'observation, de l'instruction, d'un résumé d'action et de la vidéo d'exécution ; le VLA déployé récupère cette représentation d'intention à une couche intermédiaire du décodeur. Sur le benchmark SimplerEnv-Bridge, le modèle GR00T-N1.7 passe de 64,3 % à 84,7 % de réussite ; sur RoboCasa Kitchen, sa baseline progresse de 64,1 % à 70,3 %, avec des gains similaires relevés sur Pi-0.5. En conditions réelles, le taux de réussite moyen grimpe de 62,0 % à 68,7 %, avec un bond de jusqu'à 12 points de pourcentage sur les tâches à horizon long. Ces résultats visent une limite structurelle connue du clonage de comportement, qui capture le geste démontré mais pas la raison d'être du comportement, ce qui dégrade la généralisation sur les tâches longues ou multi-étapes. Le fait que les gains les plus marqués apparaissent justement sur ces tâches à horizon long est significatif pour les intégrateurs, car c'est là que les pipelines VLA actuels échouent le plus souvent hors démonstration scénarisée. La méthode ne requiert ni capteur ni collecte de données additionnelle : elle exploite des signaux déjà disponibles via un VLM enseignant utilisé seulement à l'entraînement, sans surcoût d'inférence au déploiement, et reste transposable à d'autres architectures VLA. Le travail prolonge des approches qui enrichissaient le clonage de comportement avec des frames futures, des observations latentes ou des trajectoires, jugées insuffisantes car elles captent une réalisation du futur, non l'objectif sémantique partagé du comportement. INDI est testé sur des modèles VLA de référence déjà largement utilisés, GR00T-N1.7 et Pi-0.5, ce qui en fait une couche d'entraînement complémentaire plutôt qu'un modèle concurrent. La publication reste à ce stade un article arXiv sans revue par les pairs formelle ni annonce de déploiement industriel ; la communauté robotique attend désormais une reproduction indépendante des résultats et une extension à d'autres familles de VLA.

RechercheActu
1 source
G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots
31arXiv cs.RO 

G0.5 : un flux autorégressif unique pour le raisonnement et l'action des robots

G0.5, publie en aout 2026 sur arXiv (2608.11739), est un modèle Vision-Language-Action (VLA) dont un décodeur transformeur unique génère raisonnement et tokens d'action sous un seul objectif, au lieu de séparer un VLM pré-entraine et un expert d'action entraine a part par flow-matching. Trois briques le rendent tenable a l'échelle d'un modèle de fondation : un tokenizeur d'action apprenable traduisant des actions robotiques hétérogènes dans un vocabulaire commun entre robots, un flux de chaine de pensée natif mêlant décomposition de taches, ancrage des objets et indices d'action, et un module de mémoire visuelle injectant plusieurs secondes d'historique. Pre-entraine sur des jeux de données robotiques et des exemples VQA, G0.5 devance les références sur sept protocoles : 76,7% de réussite en fine-tuning réel sur les robots R1lite et R1pro contre 53,3% pour Pi-0.5 et 24,4% pour GR00T-N1.7, 31,4% au BEHAVIOR Challenge 2025 contre 26,3% et 26,1% pour le vainqueur du concours, 82,5% en transfert zero-shot après post-entrainement sur DROID, ainsi que 98,9% sur LIBERO, 93,3% sur RoboTwin 2.0 et 87,3% sur SimplerEnv-Bridge. Cette fusion compte parce que l'approche dominante du secteur, illustrée par Pi-0.5 (Physical Intelligence) ou GR00T-N1.7 (NVIDIA), traite le VLM comme un simple encodeur de contexte pendant qu'un module sépare décide de l'action. En partageant les mêmes poids entre raisonnement et action, G0.5 suit les instructions plus finement et laisse un prompt piloter la granularité des gestes, l'horizon de tache ou la gestion de scènes hors distribution, sans reentrainement. L'écart de performance en conditions réelles, près du double de Pi-0.5, et la victoire généraliste au BEHAVIOR Challenge face a des politiques spécialisées, appuient empiriquement l'idée qu'un flux autoregressif unique peut tenir a l'échelle. Le travail s'inscrit dans la lignée des VLA ouverte par RT-2 et OpenVLA, prolongée par la famille Pi de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure, qui ont impose le schéma VLM-encodeur plus expert d'action sépare comme standard de facto. G0.5 s'en écarté en misant sur un flux autoregressif unique, un pari qui reste a confirmer au-delà des benchmarks cites. Il s'agit d'une publication de recherche, sans produit commercialise ni déploiement industriel annonces.

IA physiqueOpinion
1 source
StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables
32arXiv cs.RO 

StellaVLA : démonstration structurée en contexte pour des modèles vision-langage-action généralisables

StellaVLA est un framework pour les modèles Vision-Language-Action (VLA) qui s'adapte a des situations inédites a partir d'une seule démonstration récupérée au moment de l'inférence, sans finetuning. Une pipeline automatisée convertit chaque trajectoire brute en démonstration structurée (plan de tache, sous-objectifs, mouvement 3D verbalise) sans annotation humaine, puis un entrainement dual conjoint action-langage internalise ce raisonnement, l'inférence n'utilisant que l'expert d'action pour un contrôle temps réel sans latence ajoutée. Sur le classement VLA-Arena du 1er aout 2026, StellaVLA arrive premier avec un score de 0,63, contre 0,44 pour pi-0.5 et 0,22 pour LingBot-VLA. Il atteint aussi 98,8% de réussite sur LIBERO et 85,1% sur LIBERO-Plus, et des tests sur robot réel confirment l'usage de démonstrations humain/robot et humain-vers-robot captées en réalité étendue (XR). Le résultat cible un point faible connu des VLA : leurs performances s'effondrent des que la scene, le point de vue ou l'objet différent de l'entrainement, ce qui obligeait jusque-la a recollecter des données et refinetuner pour chaque cas. En rendant la démonstration transférable entre robot réel, main humaine et capture XR, StellaVLA laisse entrevoir une adaptation par simple exemple contextuel plutôt qu'un cycle complet de collecte-entrainement, ce qui intéressé les intégrateurs cherchant a réduire le cout de reconfiguration en usine ou en entrepôt. L'écart revendique face a pi-0.5 (Physical Intelligence) et LingBot-VLA sur un classement tiers reste toutefois, a ce stade, un résultat de preprint sur benchmarks simules et un échantillon limite de robot réel, non un déploiement industriel vérifie indépendamment. Le travail s'inscrit dans la vague des VLA généralistes lancée ces deux dernières années par les modèles pi de Physical Intelligence et par des systèmes comme GR00T N2 de NVIDIA ou Helix de Figure AI, tous confrontes au même écart entre démonstration et usage réel. En choisissant de se comparer directement a pi-0.5 et LingBot-VLA sur VLA-Arena, les auteurs positionnent StellaVLA comme concurrent de ces approches récentes plutôt que comme variante académique isolée. Publie en aout 2026 sur arXiv, l'article ne mentionne ni partenariat industriel ni calendrier de déploiement : il s'agit pour l'instant d'une contribution de recherche destinée a être reproduite avant toute intégration commerciale.

IA physiqueActu
1 source
RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire
33arXiv cs.RO 

RoboHarness : robustesse des modèles vision-langage-action via une adaptation en contexte augmentée par mémoire

Des chercheurs présentent RoboHarness, un dispositif logiciel qui se greffe sur des modèles vision-langage-action (VLA) déjà entraines pour améliorer leur robustesse face au bruit perceptif et aux variations d'environnement, sans reentrainer les poids du réseau. L'architecture combine trois briques opérant en ligne, une récupération contrastive a double mémoire (RAG), un orchestrateur vision-langage pilote par un grand modèle de langage multimodal capable d'attribuer causalement les échecs d'exécution, et des interventions extensibles via le Model Context Protocol (MCP), auxquelles s'ajoute un module hors ligne de consolidation mémoire qui distille les traces d'exécution en connaissances a priori réutilisables. Les auteurs ont teste ce système sur trois modèles VLA de base, Pi-0, Pi-0.5 et SmolVLA, sur les benchmarks LIBERO-PRO et sur LIBERO-RoboHarness, un nouveau benchmark qu'ils ont eux-mêmes conçu. Resultat annonce: un gain moyen de taux de réussite absolu de 56,6%, avec une amélioration de 89,1% sur les taches longues enchaînées (long-horizon task chaining). Le code source et la page projet sont publies sur GitHub, sous le compte LZY-1021. Le papier, publie sur arXiv, en est a sa troisième version révisée. Cette approche cible une faiblesse connue des modèles VLA généralistes: leur fragilité des qu'ils sortent de la distribution de données d'entrainement, un écart souvent masque dans les démonstrations mais critique pour un déploiement industriel réel. En proposant une couche additive et sans fine-tuning, applicable a plusieurs backbones existants, RoboHarness s'inscrit dans une tendance émergente consistant a traiter la robustesse comme un problème d'orchestration et de mémoire en contexte plutôt que de seul entrainement. Pour les intégrateurs, cela laisse entrevoir la possibilité de renforcer des politiques VLA déjà déployées sans refaire les couteux cycles de collecte de données et de reentrainement, un argument potentiellement déterminant pour l'adoption en environnement industriel variable. Les modèles VLA généralistes, tels Pi-0 développe par Physical Intelligence, occupent une place croissante dans la robotique manipulatrice, aux cotes d'autres approches généralistes du secteur. RoboHarness ne constitue pas un nouveau modèle mais un harnais complémentaire, positionne comme correctif a la faiblesse structurelle de mémoire et d'attribution causale des VLA figes. Les benchmarks utilises restant majoritairement simules (suite LIBERO), la validation sur robot physique et en conditions industrielles reste l'étape a surveiller pour juger de la portée réelle de ces gains annonces.

RechercheActu
1 source
Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul
34arXiv cs.RO 

Modèle vision-langage-action Flex-π : un modèle du monde à multi-flux avec flexibilité de calcul

Une équipe de recherche présente Flex-π, un modèle monde-action (WAM) de 6 milliards de paramètres, détaillé dans un article déposé sur arXiv (2608.10860v1). Sa base est une découverte inattendue : l'encodeur VAE gelé, utilisé pour la génération vidéo et l'encodage RGB, retranscrit aussi presque sans perte les cartes de points 3D, sans entraînement dédié. Cela permet de superviser Flex-π sur la géométrie 3D et la sémantique objet-centrée DINO en plus du RGB, sans capteur, pré-entraînement supplémentaire ni surcoût de latence, dans une architecture Mixture-of-Transformers qui débruite conjointement ces signaux et les actions. Un dropout par flux avec renforcement inter-modalités permet à un même checkpoint de tourner du mode action seule jusqu'à la génération jointe complète ; sur des tâches de manipulation bimanuelle dextre et précise en conditions réelles, Flex-π bat les meilleures références de 2 à 7 fois tout en restant plus rapide que π0.5. Ce résultat comble une limite connue des modèles monde, qui prédisent surtout des pixels sans ancrage 3D ni compréhension sémantique des objets, ce qui freinait leur utilité pour la manipulation fine. Flex-π montre qu'un signal géométrique riche peut être extrait gratuitement d'un VAE vidéo déjà entraîné, sans caméra de profondeur ni pipeline 3D dédié, ce qui abaisse la barrière d'entrée pour les équipes de robotique. Sa flexibilité de calcul et son efficacité en démonstrations, avec des gains de 2 à 7x avec moins de données, répondent à deux freins des VLA (vision-language-action) : le coût d'intégration et le coût de collecte de données par tâche. Flex-π reste à ce stade une publication de recherche accompagnée d'un site de démonstration (flex-pi.github.io), sans annonce de produit commercial ni de déploiement industriel. La comparaison directe avec π0.5, le modèle de référence de Physical Intelligence, le positionne dans la course aux modèles vision-langage-action généralistes, aux côtés d'efforts comme GR00T N2 de NVIDIA ou Helix de Figure AI. L'article ne précise ni l'institution porteuse ni de calendrier, et ses résultats reposent sur des benchmarks internes plutôt que sur un déploiement chez un intégrateur tiers.

IA physiqueActu
1 source
Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles
35Pandaily 

Nanyang Technological University, Peking University et BAAI dévoilent Omega-0, un modèle d'action corps entier qui réussit 81,8 % des tâches domestiques réelles

Des chercheurs de l'Université technologique de Nanyang (NTU), de l'Université de Pékin, de HKUST Guangzhou et du Beijing Academy of Artificial Intelligence (BAAI) ont publié Omega-0, un modèle d'action corps entier pour robots humanoïdes. Sur 11 tâches domestiques réelles, il atteint 81,8% de réussite, devançant pi-0.5, EgoVLA, GR00T-N1.7 et psi-0. Plutôt que de prédire les pixels futurs, Omega-0 prédit des caractéristiques visuelles latentes, à partir desquelles un transformeur de diffusion génère les actions du corps entier. L'entraînement suit trois étapes: un modèle vision-langage-action pré-entraîné via un tokenizer "Whole-Body FAST" qui affine Qwen3-VL-2B-Instruct avec des tokens de point de vue première et troisième personne, un pré-entraînement latent humain-robot inspiré de V-JEPA fusionnant vision, langage et proprioception, puis un affinage sur données domestiques réelles avec chunking temps réel pour la continuité des gestes. L'équipe a bâti pour cela Omega-HOME: 40,3 heures de données réelles, 4827 trajectoires téléopérées et 24 types de tâches, dont la prise d'objets, le nettoyage de surfaces et l'usage d'appareils électroménagers. Le résultat pèse moins que la méthodologie: pour éviter toute contamination, l'équipe a retiré les 11 tâches d'évaluation du jeu de pré-entraînement Omega-HOME, un souci de rigueur rare dans un secteur où les vidéos de démonstration sont souvent sélectionnées après coup. Pour les intégrateurs et décideurs industriels, Omega-0 illustre une approche qui couple prédiction de l'environnement futur et génération d'action corps entier dans un seul modèle, plutôt que de traiter perception, navigation et manipulation comme des sous-systèmes séparés. Le domicile reste la cible la plus difficile pour un humanoïde: il exige une perception continue combinée à une coordination motrice globale, contrairement à l'usine où tâches et environnement sont contrôlés. Un score de 81,8% sur tâches réelles, non simulées, réduit l'écart entre démonstration scénarisée et exécution robuste, sans le combler: les auteurs reconnaissent eux-mêmes que l'autonomie longue durée, l'interaction sécurisée et la généralisation à de nouvelles tâches restent non résolues. Le nom minimaliste du modèle suggère qu'Omega-0 est le premier d'une série, dans la lignée des modèles vision-langage-action qui structurent la recherche humanoïde depuis pi-0 de Physical Intelligence, GR00T N2 de Nvidia ou Helix de Figure AI. Omega-0 se mesure directement à ces références ainsi qu'à EgoVLA et psi-0, avec un protocole pensé pour limiter les biais de benchmark répandus dans le secteur. Aucun calendrier de commercialisation, de partenariat industriel ou de déploiement pilote n'est communiqué à ce stade: il s'agit d'une publication de recherche académique, pas d'un produit livré ni d'un déploiement réel à grande échelle. Les suites attendues portent vraisemblablement sur l'extension du jeu de données Omega-HOME au-delà de la sphère domestique et sur la validation de l'architecture latente sur d'autres plateformes robotiques, alors que la course humanoïde oppose désormais un nombre croissant de laboratoires universitaires chinois aux groupes commerciaux occidentaux.

IA physiqueOpinion
1 source
Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2
36Interesting Engineering 

Humanoïdes : mouvement complet du corps et raisonnement multi-étapes avec Gemini Robotics 2

Google a présenté Gemini Robotics 2, un modèle conçu pour piloter des robots humanoïdes dans leur intégralité, marche, flexion, équilibre et manipulation d'objets inclus, avec la capacité de coordonner plusieurs machines et de s'adapter à différents corps robotiques après seulement quelques heures d'entraînement. Le système s'accompagne de deux modèles complémentaires, Gemini Robotics ER 2, dédié au raisonnement de haut niveau, et Gemini Robotics On-Device 2, exécuté localement sans connexion cloud. Lors des démonstrations, le modèle a piloté l'Apollo 2 d'Apptronik pour ramasser un arrosoir, traverser une pièce et le poser sur une étagère basse, et le même checkpoint a également fonctionné sur d'autres plateformes comme le Franka Duo. Google évoque aussi des gains de dextérité: les mains à cinq doigts d'Apollo 2 peuvent nouer un sac poubelle, refermer un sachet Ziploc ou dévisser une ampoule, tandis que sur des pinces industrielles à deux doigts le modèle réalise des insertions précises et de la manipulation d'outils. ER 2 est disponible via Google AI Studio et en prévisualisation privée sur la Gemini Enterprise Agent Platform, le modèle vision-langage-action et la version embarquée restant réservés à des partenaires en accès anticipé. Google a également introduit ASIMOV-Agentic, un benchmark de sécurité évaluant si un robot refuse une action dangereuse, détecte l'incertitude ou sollicite une aide humaine. Ce saut du pilotage de bras isolés au contrôle corporel complet est significatif pour l'industrie: la plupart des humanoïdes actuels restent limités à des tâches répétitives programmées, et la promesse d'un même modèle transférable d'une morphologie à l'autre avec moins de 200 exemples d'entraînement collectés en quelques heures s'attaque directement au problème du sim-to-real et du coût d'intégration, un point clé pour les industriels qui hésitent encore à déployer ces machines à grande échelle. Il faut toutefois noter que les métriques avancées, plusieurs minutes de tâches enchaînant des centaines de décisions, proviennent de démonstrations contrôlées et que le déploiement reste cantonné à des partenaires triés sur le volet: on est encore loin d'un produit généralisé sur le terrain. Cette annonce prolonge Gemini Robotics, lancé plus tôt dans l'année et limité à la manipulation sur table, en l'étendant au mouvement corporel complet. Elle intervient dans un paysage où Figure AI développe son propre modèle Helix, Tesla avance sur Optimus, Physical Intelligence mise sur Pi-0 et NVIDIA sur GR00T N2, chacun cherchant à imposer son architecture VLA comme standard pour les humanoïdes de nouvelle génération. Apptronik, partenaire de longue date de Google pour Apollo, reste pour l'instant le principal terrain de test visible de cette technologie, dont l'ouverture à d'autres intégrateurs dépendra des retours de ce programme d'accès anticipé.

HumanoïdesOpinion
1 source
TiPToP : un système modulaire de manipulation robotique en vocabulaire ouvert, capable de planifier
37arXiv cs.RO 

TiPToP : un système modulaire de manipulation robotique en vocabulaire ouvert, capable de planifier

TiPToP, un système modulaire de manipulation robotique présenté dans un article arXiv (2603.09971), combine des modèles de fondation pré-entraînés avec un planificateur de tâches et de mouvements (TAMP) accéléré par GPU pour exécuter des consignes directement à partir d'images RGB et de langage naturel, sans aucune donnée d'entraînement robotique spécifique. Le système se déploie sur une configuration DROID standard en moins d'une heure et s'adapte à de nouvelles morphologies de robot avec un effort minimal. Les chercheurs l'ont comparé à Pi-0.5-DROID, un modèle vision-langage-action (VLA) affiné sur 350 heures de démonstrations, sur deux installations DROID réelles (dont une opérée par une équipe externe) ainsi qu'en simulation. TiPToP y obtient un taux de réussite moyen supérieur et un temps d'exécution plus rapide. Sur le benchmark MolmoSpaces, il se classe premier sur les tâches de préhension simple et de préhension-et-placement parmi les méthodes n'ayant pas été entraînées sur des données de la même distribution. Le code et le site du projet sont disponibles en libre accès (tiptop-robot.github.io). Ce résultat pèse dans un débat central du secteur : celui de l'approche VLA de bout en bout, gourmande en démonstrations réelles, face à des architectures modulaires combinant perception, planification et exécution séparées. En battant un VLA entraîné sur 350 heures de téléopération sans utiliser de données robot du tout, TiPToP suggère que la planification symbolique appuyée sur des modèles de fondation généralistes peut rivaliser, voire dépasser, l'apprentissage bout-en-bout sur des tâches de manipulation courantes. Pour les intégrateurs et équipes de recherche en robotique, l'argument de déploiement en moins d'une heure sur du matériel standard, sans collecte de données propriétaire, change potentiellement le calcul coût/bénéfice face aux VLA qui nécessitent des semaines de téléopération avant le moindre test. L'atout de traçabilité des échecs par composant, propre à la modularité, est aussi un argument pratique pour le débogage industriel, souvent absent des architectures VLA monolithiques. Le projet s'inscrit dans la lignée des travaux combinant TAMP classique et modèles de fondation, à mesure que des benchmarks comme MolmoSpaces et le protocole DROID (plateforme de collecte et d'évaluation partagée entre laboratoires) se standardisent pour comparer objectivement les approches. Les résultats restent toutefois auto-rapportés par les auteurs, sur un nombre limité de configurations matérielles, et demandent confirmation par des équipes tierces indépendantes à plus grande échelle avant de trancher définitivement le débat modulaire contre bout-en-bout.

RecherchePaper
1 source
CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal
38arXiv cs.RO 

CycleVLA : correction proactive et autonome des modèles vision-langage-action par retour en arrière des sous-tâches et décodage à risque bayésien minimal

Des chercheurs présentent CycleVLA, un système qui dote les modèles Vision-Language-Action (VLA) d'une capacité d'autocorrection proactive, c'est à dire anticiper un échec avant qu'il ne se produise plutôt que le corriger après coup comme le font les approches existantes. L'architecture combine trois briques : un VLA conscient de sa progression qui repère les points de transition critiques entre sous-tâches, là où les échecs surviennent le plus souvent, un prédicteur d'échec basé sur un VLM qui déclenche un retour en arrière ciblé (subtask backtracking) dès qu'un risque est détecté, et une stratégie de test-time scaling fondée sur le décodage à risque bayésien minimal (Minimum Bayes Risk, MBR) pour améliorer les chances de réussite lors des tentatives suivantes. Sur les bancs d'essai en simulation LIBERO et LIBERO-Plus, CycleVLA dépasse le modèle de référence pi-0.5 et améliore les taux de réussite sur des politiques VLA de maturité variable, des modèles sous-entraînés aux versions pleinement convergées. Sur robot réel, le système atteint un taux de réussite moyen de 91% sur trois tâches de manipulation, dont une exigeant une grande précision et deux à horizon long. Des tests de robustesse avec perturbations injectées manuellement, comme l'échange d'un objet distracteur à l'emplacement attendu pendant que la vraie cible est déplacée en cours d'exécution, montrent que CycleVLA corrige environ 80% des échecs provoqués artificiellement. Ce travail s'attaque à un point faible connu des VLA en conditions réelles : la plupart des systèmes actuels ne réagissent qu'après l'échec constaté, ce qui coûte du temps et de la fiabilité en environnement industriel ou domestique. Démontrer une correction proactive, avant la manifestation complète de l'erreur, constitue un argument concret pour rapprocher les démonstrations en simulation des déploiements réels, un écart qui reste l'un des principaux freins à l'adoption des VLA par les intégrateurs robotiques. CycleVLA s'inscrit dans la lignée des travaux récents sur la détection et la correction d'échecs pour les modèles de type VLA, aux côtés de références comme GR00T N2 ou Helix, et se positionne explicitement contre pi-0.5 dans ses comparaisons de performance. Les auteurs présentent leur travail comme une réplique (replace) sur arXiv, signe d'une itération après une première version, et mettent à disposition une page projet dédiée avec démonstrations vidéo pour documenter les résultats sur robot réel.

IA physiqueActu
1 source
VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs
39arXiv cs.RO 

VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs

Des chercheurs du MIT Han Lab publient VLASH, une méthode d'inférence asynchrone pour les modèles Vision-Language-Action (VLA) qui vise à résoudre le problème de latence de réaction sur les robots. Aujourd'hui, la plupart des VLA fonctionnent en mode synchrone : le robot suspend son action pendant que le modèle calcule la suivante, ce qui crée des à-coups visibles et l'empêche de réagir aux changements de son environnement pendant l'exécution. L'inférence asynchrone permettait déjà d'agir et de calculer en parallèle, mais générait un décalage temporel entre l'état prédit et l'état réel au moment de l'exécution, provoquant de l'instabilité. VLASH corrige ce décalage en projetant l'état futur du robot à partir du chunk d'action précédent, sans changement d'architecture ni surcoût de calcul. Les auteurs annoncent une réduction de la latence de réaction jusqu'à 11,8 fois par rapport à l'inférence synchrone, une précision supérieure à toutes les méthodes asynchrones existantes, et, combinée à une quantification des actions, une accélération de 1,5 à 2 fois du temps de complétion des tâches avec une perte de précision minime. Le code est disponible sur GitHub (mit-han-lab/vlash). Pour l'industrie robotique, cette avancée s'attaque directement à un goulot d'étranglement connu des VLA à l'échelle : leur difficulté à gérer des tâches rapides et dynamiques, un point faible régulièrement cité face aux approches de contrôle classiques. En améliorant un modèle existant comme π0.5 sans le réentraîner ni alourdir son architecture, VLASH illustre une voie d'optimisation logicielle low-cost pour rendre les VLA déployables sur des cas d'usage à haute cadence, un enjeu clé pour les intégrateurs qui cherchent à sortir ces modèles du seul cadre de la démonstration en laboratoire. Les auteurs démontrent concrètement ce gain sur des tâches exigeant une réaction fine et rapide, comme jouer au ping-pong ou au jeu de la taupe, des scénarios où l'inférence synchrone échoue purement et simplement. Ce travail s'inscrit dans une course plus large autour des VLA temps réel, aux côtés de modèles comme GR00T N2, Pi-0 ou Helix, où la latence de contrôle devient un critère de différenciation aussi important que la précision des gestes.

IA physiqueActu
1 source
AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle
40arXiv cs.RO 

AXIS : un moteur de données communautaire évolutif pour la manipulation robotique à grande échelle

Des chercheurs ont présenté AXIS, un moteur de données communautaire et évolutif pour l'apprentissage de la manipulation robotique, décrit dans un article déposé sur arXiv le 24 juillet 2026. Le système permet de collecter des démonstrations à grande échelle via téléopération directement dans le navigateur, sans matériel spécialisé ni opérateurs centralisés, et génère puis valide automatiquement de nouvelles tâches de manipulation. Un pipeline automatisé filtre la qualité des trajectoires, les lisse et applique des augmentations visuelles et physiques pour produire des données prêtes à l'entraînement. Le jeu de données AXIS compte actuellement 207 tâches diverses et plus de 50 000 trajectoires, organisées en "task snapshots" évalués selon un protocole strict à données retenues (held-out). Ce travail cible un goulot d'étranglement bien identifié du secteur : la difficulté à faire grandir les jeux de démonstrations utilisés pour entraîner les politiques vision-langage-action (VLA), jusqu'ici souvent limités par du matériel dédié ou des catalogues de tâches figés. Les auteurs montrent que le pré-entraînement continu sur AXIS améliore le taux de réussite global du modèle π0.5 de 5,8 points, et dépasse de 37,3 points un modèle pré-entraîné sur RoboCasa365, avec des gains qui s'accentuent à mesure que le volume de données augmente. Les progrès les plus nets apparaissent sous perturbations de disposition, de bruit capteur et de point de vue caméra, un signal utile pour les intégrateurs cherchant des politiques robustes hors laboratoire plutôt que de simples démonstrations réussies en conditions idéales. Le projet s'inscrit dans une tendance émergente consistant à traiter la collecte de données robotiques comme un problème d'échelle communautaire, à l'image de ce que le crowdsourcing a permis pour les grands modèles de langage. Il se positionne explicitement face à RoboCasa365, utilisé comme référence de comparaison, et s'appuie sur des politiques VLA existantes telles que π0.5 pour évaluer l'apport réel des données AXIS. Il s'agit à ce stade d'un article de recherche déposé en preprint, dont les résultats n'ont pas encore été validés par relecture par les pairs ni reproduits par des équipes tierces.

RecherchePaper
1 source
« FabriVLA de Youibot, modèle 1 milliard de paramètres, dépasse Pi-Zero et prend la tête du classement en IA incarnée »
41Pandaily 

« FabriVLA de Youibot, modèle 1 milliard de paramètres, dépasse Pi-Zero et prend la tête du classement en IA incarnée »

Youibot a annoncé que son modèle FabriVLA, doté d'à peine 1 milliard de paramètres, s'est hissé en tête du classement Evo-SOTA sur le benchmark Meta-World MT50, avec un taux de réussite moyen de 90,0%, devançant ainsi Pi-Zero de Physical Intelligence. MT50 évalue la maîtrise simultanée de 50 tâches de manipulation distinctes, un test jugé représentatif des exigences multi-tâches du secteur industriel. L'innovation revendiquée par Youibot ne tient pas à la taille du modèle mais à son architecture, pensée spécifiquement pour la manipulation robotique plutôt que calquée sur la course générale au nombre de paramètres. Deux mécanismes sont mis en avant : une fusion de caractéristiques visuelles profondes et superficielles, censée permettre au modèle de saisir à la fois l'objectif sémantique global d'une tâche et le positionnement spatial fin, et un mécanisme d'auto-attention à portes qui relie chaque étape d'une séquence d'actions aux étapes précédentes et suivantes pour fluidifier les transitions. Une étude d'ablation fournie par l'entreprise indique que retirer la fusion profonde/superficielle fait chuter le score moyen de 90,0% à 82,9%, l'auto-attention à portes étant présentée comme le composant le plus déterminant de la tête d'action. Youibot revendique par ailleurs plus de 800 déploiements industriels réels dans les secteurs des semi-conducteurs, de l'énergie et des batteries, ainsi que 4 000 commandes enregistrées dès le lancement de son robot humanoïde Fengxi. L'enjeu commercial de ce résultat, s'il se confirme au-delà du seul classement, tient à la taille du modèle. Un modèle plus compact consomme moins de puissance de calcul, réduit la latence et peut fonctionner directement sur le matériel embarqué du robot sans dépendre du cloud, un facteur clé dans des usines où la connectivité réseau n'est pas garantie. Cela vient contredire l'hypothèse dominante selon laquelle la performance en intelligence embarquée passerait nécessairement par une montée en échelle massive des paramètres, à l'image des modèles VLA les plus lourds du marché. Il convient toutefois de noter que les classements de type Evo-SOTA reposent sur des benchmarks en simulation, dont la représentativité vis-à-vis de conditions industrielles réelles reste à démontrer au cas par cas. Ce résultat s'inscrit dans une compétition de plus en plus vive entre modèles VLA (vision-langage-action), aux côtés d'acteurs comme Physical Intelligence, Nvidia avec GR00T N2, ou Figure AI avec Helix. Youibot, déjà présent industriellement en Chine, affiche un objectif de déploiement sur 10 000 sites, un chiffre que la légèreté de FabriVLA rendrait, selon l'entreprise, plus atteignable qu'auparavant faute d'infrastructure de calcul massive à installer sur chaque site.

IA physiqueActu
1 source
RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales
42arXiv cs.RO 

RobustVLA : robustesse d'un modèle vision-langage-action face aux perturbations multimodales

RobustVLA s'attaque à un angle mort des modèles Vision-Language-Action (VLA) : leur fragilité face aux perturbations réelles. Une équipe de recherche a d'abord testé les principaux VLA sous 17 types de perturbations réparties sur quatre modalités (actions, instructions, environnement, observations visuelles). Résultat : les actions constituent la modalité la plus fragile, les modèles réputés robustes visuellement (comme BYOVLA) ne conservent aucun gain sur les autres modalités, et pi0 se distingue par une robustesse supérieure aux autres backbones testés. Pour corriger ces faiblesses, les chercheurs proposent RobustVLA, qui combine une optimisation robuste hors ligne contre le pire cas de bruit sur les actions (via l'objectif de flow matching) et un mécanisme forçant des actions cohérentes malgré les variations d'entrée. La sélection automatique des perturbations les plus nuisibles est traitée comme un problème de bandit multi-bras, résolu par un algorithme d'upper confidence bound. Sur le benchmark LIBERO, RobustVLA gagne 12,6% de réussite absolue sur backbone pi0 et 10,4% sur OpenVLA face aux 17 perturbations combinées, avec une inférence 50,6 fois plus rapide que BYOVLA, qui dépend de LLM externes. Cette avancée touche un point sensible pour l'industrie robotique : la plupart des démonstrations de VLA impressionnent en conditions contrôlées mais s'effondrent face au bruit réel (mauvaise calibration caméra, instructions ambiguës, occlusions, dérive capteurs). En identifiant les actions comme le maillon le plus faible, l'étude remet en question l'hypothèse répandue selon laquelle la robustesse visuelle suffirait à garantir un déploiement fiable. Sur robot réel FR5, RobustVLA dépasse pi0 de 65,6% de taux de réussite avec seulement 25 démonstrations, un résultat clé pour les intégrateurs qui manquent de données d'entraînement en environnement industriel. Même avec des données abondantes, le gain reste de 30%, ce qui suggère que la méthode n'est pas qu'un palliatif pour le few-shot mais une amélioration structurelle. Le papier s'inscrit dans la lignée des travaux récents sur pi0 (Physical Intelligence) et OpenVLA, deux architectures de référence dans la course aux modèles génériques de manipulation robotique. Il répond directement aux limites de BYOVLA, une approche antérieure de robustesse visuelle jugée coûteuse en calcul car dépendante de LLM externes. Les auteurs positionnent RobustVLA comme une alternative légère et généralisable, testée à la fois en simulation (LIBERO) et en conditions réelles. Le code et des vidéos de démonstration sont disponibles sur GitHub, ce qui permettra une validation indépendante par la communauté avant une adoption plus large en environnement industriel.

RecherchePaper
1 source
Vision qui prime sur le langage : évaluer et corriger les échecs contrefactuels dans les VLA
43arXiv cs.RO 

Vision qui prime sur le langage : évaluer et corriger les échecs contrefactuels dans les VLA

Des chercheurs viennent de documenter un défaut structurel des modèles Vision-Language-Action (VLA), ces systèmes censés traduire une instruction en langage naturel en commande robotique. Dans un article mis à jour sur arXiv (2602.17659v2), l'équipe montre que face à des instructions peu représentées dans les données d'entraînement, les VLA ignorent souvent le langage et se rabattent sur des raccourcis visuels : ils répètent l'action la plus fréquemment apprise ou saisissent l'objet le plus vu pendant l'entraînement, sans tenir compte de la consigne réelle. Ce phénomène, baptisé "échec contrefactuel", est évalué grâce à un nouveau benchmark, LIBERO-CF, premier du genre à tester la fidélité au langage en assignant des instructions alternatives sur des scènes visuellement plausibles issues de LIBERO. Pour y remédier, les auteurs proposent Counterfactual Action Guidance (CAG), une méthode d'inférence à double branche qui combine la politique VLA standard avec un module Vision-Action non conditionné par le langage, permettant une comparaison contrefactuelle au moment de choisir l'action. Sur LIBERO-CF, CAG améliore le modèle π0.5 de 9,7% en fidélité au langage et 3,6% en taux de réussite sur les tâches sous-représentées, sans entraînement supplémentaire ; associé à un modèle VA dédié, les gains montent à 15,5% et 8,5%. En conditions réelles, la méthode réduit les échecs contrefactuels de 9,4% et améliore la réussite des tâches de 17,2% en moyenne. Cette découverte pèse directement sur la crédibilité des VLA comme π0, GR00T N2 ou Helix pour un usage industriel : elle confirme qu'un robot peut sembler compétent en démonstration tout en étant en réalité biaisé par ses données, un écart classique entre performance affichée et robustesse réelle. Pour un intégrateur, cela signifie qu'une consigne inhabituelle en environnement de production risque d'être mal exécutée sans erreur visible, un risque de sécurité et de fiabilité difficile à détecter sans benchmark dédié. L'approche s'inscrit dans un effort plus large de la recherche VLA pour renforcer l'ancrage langage-action, jusqu'ici dominé par l'augmentation du volume de démonstrations plutôt que par des corrections architecturales. L'atout de CAG est de ne nécessiter ni données supplémentaires ni modification des modèles pré-entraînés, ce qui facilite son adoption en complément d'architectures existantes. Les auteurs annoncent des expériences étendues à divers VLA, ouvrant la voie à une adoption comme brique standard d'évaluation et de correction avant déploiement réel.

RecherchePaper
1 source
NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles
44Robotics Business Review 

NVIDIA explique comment évaluer les politiques robotiques polyvalentes en conditions réelles

NVIDIA a publié un billet technique détaillant les limites actuelles des méthodes d'évaluation des modèles fondation pour la robotique généraliste, ainsi que RoboLab, sa plateforme de benchmarking en simulation censée y répondre. L'entreprise identifie quatre failles structurelles dans les protocoles de test existants. D'abord, un chevauchement du domaine visuel entre entraînement et évaluation : quand un modèle est affiné puis testé dans le même environnement simulé, un bon score ne prouve que sa mémorisation du décor, pas sa capacité de généralisation. Les approches dites real2sim, qui reconstruisent des scènes photoréalistes à partir d'images réelles via inpainting ou Gaussian splatting, corrigent partiellement ce biais mais exigent souvent plus d'une heure de préparation par scène, ce qui rend les tests à grande échelle peu praticables. Ensuite, la plupart des benchmarks reposent sur un jeu de tâches figé, vite saturé : lorsque tous les modèles dépassent 90% de réussite sur le même test, les chiffres perdent leur pouvoir discriminant. NVIDIA pointe aussi un déficit de diagnostic, un simple score de succès binaire ne dit rien sur la cause d'un échec (confusion de couleur, formulation de l'instruction, décalage de caméra). Enfin, l'entreprise soulève un problème de fiabilité statistique : un taux de succès mesuré sur un petit nombre d'essais peut tromper. Exemple donné, une politique affichant 90% de réussite sur seulement 70 rollouts a, selon la méthode de Clopper-Pearson pour calculer un intervalle de confiance binomial exact, un intervalle de confiance à 95% qui s'étend sur 15,4 points de pourcentage, un écart énorme pour un chiffre présenté comme une performance unique. L'exemple illustratif porte sur la politique pi-0.5 de Physical Intelligence testée sur une tâche de tri d'objets ("poser la tasse à mesurer orange et la tasse bleue en dehors de l'assiette"). Pour les intégrateurs et décideurs B2B qui doivent choisir entre plusieurs modèles vision-language-action (VLA) pour équiper des bras ou des humanoïdes, ce travail est une mise en garde directe contre les chiffres de communiqués de presse. Un score de succès affiché sans intervalle de confiance ni contrôle du chevauchement visuel peut masquer un simple surapprentissage plutôt qu'une réelle capacité de généralisation en conditions réelles. Cela renforce l'hypothèse, déjà répandue dans le secteur, d'un écart persistant entre démonstrations et déploiement effectif, et invite à exiger des fournisseurs des protocoles d'évaluation reproductibles plutôt que des vidéos sélectionnées. Cette initiative s'inscrit dans l'effort plus large de NVIDIA autour des fondations robotiques, aux côtés de ses plateformes Isaac Sim et Isaac Lab, dans un secteur où rivalisent des laboratoires comme Physical Intelligence (pi-0, pi-0.5), Google DeepMind (Gemini Robotics) ou Figure AI. À mesure que les modèles VLA généralistes se multiplient, la question de la mesure standardisée devient centrale pour départager annonces marketing et progrès réels, et RoboLab se positionne comme une tentative de fournir un cadre commun avant que le marché ne soit inondé de comparatifs invérifiables.

IA physiquePaper
1 source
Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde
45arXiv cs.RO 

Xiaomi-Robotics-U0 : synthèse incarnée unifiée avec modèle fondation du monde

Xiaomi Robotics a publié U0, un modèle multimodal autorégressif de 38 milliards de paramètres conçu pour unifier plusieurs tâches de génération liées à la robotique au sein d'un seul système. Décrit dans un article déposé sur arXiv, U0 traite la synthèse de contenus "incarnés" comme une extension directe des modèles de génération d'images et de vidéos fondationnels, en optimisant conjointement le texte-vers-image, l'édition d'images, la génération de scènes incarnées, le transfert incarné et la génération vidéo incarnée. Selon les auteurs, il s'agit du premier modèle capable de générer des scènes cohérentes en multi-vues pour plusieurs types de robots différents, et il introduit un mécanisme de transfert structuré et contrôlable permettant une édition fine tout en préservant la cohérence géométrique et la dynamique d'interaction. Les résultats rapportés indiquent que U0 dépasse GPT-Image-2.0 lors d'évaluations humaines sur la génération et le transfert de scènes incarnées, se classe premier sur le classement World Arena pour la génération vidéo incarnée, et fait passer le taux de succès hors distribution du modèle de manipulation pi0.5 de 36,9% à 63,2% sur des tâches de manipulation réelle jugées difficiles. Le code et les checkpoints sont mis à disposition sur le site de Xiaomi Robotics. L'enjeu principal ne se situe pas dans la démonstration visuelle mais dans l'usage de U0 comme moteur de données synthétiques pour l'entraînement de politiques robotiques. Le gain mesuré sur pi0.5, un modèle vision-langage-action tiers développé par Physical Intelligence, est le point le plus significatif: il suggère qu'un monde fondationnel bien conçu peut générer des données d'entraînement suffisamment réalistes pour améliorer la généralisation d'un VLA existant sur des tâches de manipulation réelles, et pas seulement sur des métriques internes. C'est une piste concrète pour réduire l'écart simulation-vers-réel qui freine encore le déploiement à grande échelle des robots humanoïdes et bras manipulateurs, en offrant une alternative à la collecte coûteuse de données physiques. Le travail part d'un constat classique dans le secteur: adapter un modèle fondationnel pré-entraîné avec des données robotiques limitées tend à dégrader les connaissances visuelles acquises lors du pré-entraînement à grande échelle. U0 cherche à préserver cette généralisation tout en l'adaptant aux contraintes des embodiments robotiques. Il se positionne face à des approches comme GR00T N2 de NVIDIA ou les modèles Pi de Physical Intelligence, dans une course où Xiaomi investit désormais explicitement la recherche en IA incarnée. Pour l'instant, la publication reste au stade recherche: code et poids sont ouverts, mais aucun déploiement produit ni pilote industriel n'est annoncé.

IA physiqueOpinion
1 source
L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle
46arXiv cs.RO 

L'efficacité du fine-tuning LoRA pour les modèles vision-langage-action dans la manipulation robotique industrielle

Une équipe de recherche publie une étude systématique sur l'adaptation à faible rang (LoRA) appliquée à π0, un modèle Vision-Language-Action (VLA) à correspondance de flux, testé sur quatre tâches d'assemblage de précision avec un bras robotique UR5e. Les chercheurs ont balayé des rangs LoRA de 8 à 256, plusieurs stratégies d'allocation des paramètres, et testé le gel sélectif de composants du modèle. Résultat principal : aucune différence statistiquement significative de performance entre le fine-tuning complet (FFT), qui exige des GPU de datacenter, et certaines configurations LoRA. Les performances plafonnent dès un rang de 32, avec une allocation uniforme des paramètres entraînables entre le backbone vision-langage (VLM) et l'expert d'action qui suffit à égaler le FFT. Geler le VLM ou limiter le LoRA au seul encodeur visuel dégrade nettement les résultats. Avec cette configuration optimale (rang 32, encodeur visuel entièrement ajustable), la mémoire VRAM statique de pointe chute de 36,2 à 10,8 Gio, hors mémoire d'activation, sans perte de performance mesurable. Pour l'industrie robotique, ce résultat a une portée pratique directe : il abaisse fortement la barrière matérielle pour spécialiser un modèle VLA préentraîné à un cas d'usage industriel précis, sans avoir besoin d'un cluster GPU dédié à l'entraînement complet. C'est un signal utile pour les intégrateurs et PME qui veulent déployer des politiques de manipulation fine sans les moyens des grands laboratoires. L'étude apporte aussi un contrepoint méthodologique à l'hypothèse selon laquelle seul un réentraînement complet permettrait de combler le "gap d'incarnation" entre un modèle généraliste et un robot physique donné : ici, un ajustement ciblé mais bien réparti sur les couches sémantiques et visuelles suffit. π0 est le modèle VLA développé par Physical Intelligence, l'un des laboratoires de référence sur les politiques de manipulation par apprentissage à grande échelle, aux côtés d'acteurs comme NVIDIA (GR00T N2) ou Figure AI. Cette publication, un preprint arXiv, s'inscrit dans une tendance plus large de recherche sur l'efficacité des VLA plutôt que sur leur seule capacité brute. Aucun acteur français ou européen n'apparaît dans ce travail, mais ses conclusions concernent directement les intégrateurs européens qui évaluent l'adoption de VLA préentraînés sur du matériel limité.

UEAucun acteur français ou européen n'est impliqué dans cette étude, mais ses conclusions offrent une piste concrète pour les intégrateurs et PME européens qui veulent spécialiser des modèles VLA sur du matériel limité sans cluster GPU dédié.

RechercheActu
1 source
Mistral AI lance Robostral Navigate
47Robot Magazine FR 

Mistral AI lance Robostral Navigate

Reformuler ce communiqué en article journalistique neutre, en signalant que les chiffres proviennent uniquement de la communication Mistral, sans donnée sim-to-real indépendante. --- Mistral AI a présenté Robostral Navigate, un modèle de navigation robotique construit selon une architecture Vision-Language-Action : une caméra RGB classique et des instructions en langage naturel remplacent la combinaison habituelle LiDAR, caméras de profondeur, centrale inertielle et cartographie SLAM. Le modèle compte 8 milliards de paramètres, une taille pensée pour tourner sur des plateformes embarquées à ressources limitées plutôt que sur des clusters distants. Selon Mistral, l'entraînement s'est appuyé sur près de 400 000 trajectoires générées dans plus de 6 000 environnements simulés, couvrant bureaux, entrepôts, usines et logements. En fonctionnement, le pipeline doit interpréter le flux vidéo, comprendre la consigne, localiser la cible, planifier une trajectoire, éviter les obstacles fixes et mobiles, et corriger sa position en continu, l'ensemble devant tenir dans un budget de quelques dizaines de millisecondes par cycle de décision. L'intérêt pour les fabricants de robots mobiles tient d'abord au coût : une caméra RGB se chiffre en dizaines d'euros contre plusieurs centaines, voire milliers d'euros pour un LiDAR industriel, ce qui allège aussi bien la facture matérielle que l'intégration logicielle. Sur le fond, Robostral Navigate teste à l'échelle de la navigation pure une hypothèse déjà explorée côté manipulation par les modèles VLA : qu'un système entraîné majoritairement en simulation puisse généraliser à des environnements réels variés sans empiler les capteurs. C'est une promesse à vérifier plutôt qu'un résultat acquis, les chiffres de 400 000 trajectoires et 6 000 environnements provenant uniquement de la communication de Mistral, sans benchmark tiers ni donnée publiée sur l'écart sim-to-real en conditions réelles. Pour les intégrateurs et décideurs industriels, la question qui reste ouverte est celle de la robustesse hors simulation, dans des lieux encombrés, mal éclairés ou changeants. Mistral AI, jusque-là identifiée aux grands modèles de langage (Mistral Large, Mixtral) et positionnée comme l'alternative européenne face à OpenAI et Google, franchit ici son premier pas affiché vers la Physical AI, terrain déjà occupé par NVIDIA avec GR00T N2, Figure AI avec Helix, ou Physical Intelligence avec Pi-0. L'entreprise française n'a pas communiqué de calendrier de déploiement industriel ni de partenariat matériel identifié à ce stade ; Robostral Navigate reste, en l'état des informations disponibles, une annonce de capacité logicielle plutôt qu'un produit livré ou testé en flotte réelle.

UEMistral AI, entreprise française et alternative européenne aux géants américains de l'IA, franchit son premier pas vers la robotique physique, ce qui renforce le positionnement technologique de la France et de l'UE face aux acteurs américains et chinois du secteur.

FR/EU ecosystemeActu
1 source
Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement
48arXiv cs.RO 

Restauration de l'ancrage linguistique dans les modèles VLA par recalibrage de l'attention sans entraînement

Une équipe de recherche a mis en évidence une faille critique dans les modèles Vision-Language-Action (VLA), ces systèmes qui permettent à des robots d'exécuter des tâches de manipulation à partir d'instructions en langage naturel. Le problème, baptisé "cécité linguistique", survient lorsque le robot continue d'exécuter une action visuellement plausible même quand l'instruction textuelle contredit explicitement la scène observée : le modèle privilégie alors ce qu'il voit au détriment de ce qu'on lui dit. Pour quantifier ce phénomène, les chercheurs ont créé ICBench, un benchmark diagnostique dérivé du jeu de données LIBERO, qui injecte des contradictions contrôlées entre instruction et environnement visuel. Testés sur trois architectures VLA de référence, Pi-0, Pi-0.5 et OpenVLA OFT, les modèles réussissent fréquemment leur tâche malgré des instructions logiquement impossibles, preuve d'un biais visuel marqué dans la génération d'action. Face à ce constat, l'équipe propose IGAR (Instruction-Guided Attention Recalibration), un mécanisme appliqué au moment de l'inférence, sans réentraînement ni modification architecturale, qui rééquilibre l'attention du modèle pour restaurer le poids de l'instruction linguistique. Cette découverte fragilise un postulat central du secteur robotique actuel : que les modèles VLA génèrent des actions réellement pilotées par le langage, condition indispensable pour des robots généralistes capables de suivre des consignes fiables en environnement industriel ou domestique. Un robot qui ignore silencieusement une instruction contradictoire, sans signaler d'erreur, représente un risque direct pour les intégrateurs et les décideurs B2B qui envisagent de déployer ces modèles sur des lignes de production ou en logistique, où une mauvaise interprétation peut coûter cher en sécurité ou en qualité. IGAR intéresse particulièrement car il s'agit d'un correctif applicable sans réentraînement aux modèles existants. Sur 30 tâches issues de LIBERO, IGAR réduit sensiblement les exécutions erronées face à des instructions contradictoires hors distribution, tout en préservant les performances de base sur les tâches normales. Les chercheurs ont aussi validé l'approche sur un bras robotique Franka réel, où IGAR a effectivement empêché des manipulations déclenchées par des instructions incohérentes, un test important puisqu'il dépasse la simple simulation. Ce travail s'inscrit dans une tendance plus large d'audit critique des modèles VLA, où la question du "sim-to-real" et de la robustesse aux cas limites reste largement sous-explorée face à l'engouement commercial entourant Pi-0, GR00T N2 ou Helix.

RecherchePaper
1 source
Rapport technique RhinoVLA
49arXiv cs.RO 

Rapport technique RhinoVLA

HuixiAI a publié un rapport technique sur RhinoVLA, un modèle vision-langage-action (VLA) conçu spécifiquement pour tourner en temps réel sur du matériel embarqué, en co-conception avec le SoC edge Huixi R1. Le modèle s'appuie sur un backbone Qwen3-VL optimisé pour limiter le nombre de tokens visuels et contextuels traités, identifiés par les auteurs comme le principal goulot d'étranglement en latence des VLA sur puce embarquée : dans les opérateurs de projection dominés par le calcul matriciel (GEMM), le coût croît linéairement avec le nombre de tokens en entrée. RhinoVLA associe ce backbone allégé à un Action Expert à sortie continue, ainsi qu'à une interface unifiée combinant un registre de vues (View Registry), un espace d'état-action physique à 72 dimensions et des adaptateurs LoRA propres à chaque instance de robot, pour aligner des observations et schémas d'action hétérogènes sous une politique commune. Résultat annoncé : des performances comparables à π0.5 à taille de paramètres équivalente, avec une inférence de bout en bout à 11,69 Hz sur le Huixi R1, au-dessus du seuil de 10 Hz jugé nécessaire pour un contrôle en boucle fermée temps réel. L'enjeu dépasse la simple performance brute : la plupart des VLA démontrés en laboratoire (π0, GR00T N2, Helix) tournent sur GPU serveur ou desktop, loin des contraintes de puissance et de latence d'un robot mobile ou d'un bras industriel autonome. En optimisant simultanément l'architecture du modèle et la compilation matérielle (précision mixte, encodage visuel parallélisé), RhinoVLA s'attaque directement au fossé entre démonstration et déploiement réel, un point sensible pour les intégrateurs qui évaluent la viabilité commerciale des VLA en usine ou en logistique plutôt qu'en simple preuve de concept. Le projet doit être publié en open source sur GitHub (HuixiAI/RhinoVLA), une démarche qui s'inscrit dans la compétition croissante autour des architectures VLA généralistes multi-robots, aux côtés des travaux de Physical Intelligence (π0, π0.5) et NVIDIA (GR00T). Le document constitue une version révisée (v2) d'un rapport déjà déposé sur arXiv, sans calendrier de déploiement industriel précisé à ce stade.

IA physiqueActu
1 source
Z-1 : apprentissage par renforcement efficace pour les modèles vision-langage-action
50arXiv cs.RO 

Z-1 : apprentissage par renforcement efficace pour les modèles vision-langage-action

Des chercheurs présentent Z-1, un framework de post-entraînement par apprentissage par renforcement (RL) pour les modèles Vision-Language-Action (VLA) à base de flow matching, décrit dans un article publié sur arXiv (2606.31846v1). Construit sur l'architecture π0.5 de Physical Intelligence, Z-1 s'appuie uniquement sur les démonstrations publiques RoboCasa pour la phase de fine-tuning supervisé (SFT), puis applique une stratégie de Group Relative Policy Optimization (GRPO) tâche par tâche sur 24 tâches standard du benchmark RoboCasa. Pour rendre cette optimisation en ligne plus stable et efficace, les auteurs combinent quatre techniques: construction de rollouts à préfixe partagé, branchement arborescent des trajectoires, calibration des récompenses tenant compte de la complétion des tâches, et entraînement conjoint sélectif du modèle vision-langage et de l'"Action Expert". Résultat: un taux de réussite moyen de 80,6% sur les 24 tâches, soit un gain de 13,2 points par rapport au modèle SFT de départ, et une performance supérieure aux meilleurs modèles publiés jusqu'ici. L'enjeu dépasse le simple gain de benchmark. La grande majorité des politiques VLA actuelles restent bridées par le behavior cloning ou le SFT sur données figées, une approche qui plafonne dès que le robot rencontre une situation absente des démonstrations. En montrant qu'un post-entraînement RL structuré peut améliorer significativement une politique flow-based sans données de démonstration privées supplémentaires, Z-1 apporte un argument concret en faveur du RL comme étape standard après le SFT, plutôt qu'une simple option de recherche. Pour les équipes qui entraînent des VLA pour la manipulation robotique, cela suggère une voie pour corriger les échecs récurrents d'une politique sans repasser par une collecte de données coûteuse. Le travail s'inscrit dans la lignée des modèles génération π (π0, π0.5 de Physical Intelligence) et fait écho aux efforts similaires chez GR00T N2 (NVIDIA) ou Helix (Figure AI), qui cherchent tous à faire passer les VLA du stade de la démonstration à celui d'une robustesse exploitable en conditions réelles. GRPO, popularisé dans l'entraînement de modèles de langage, est ici adapté aux contraintes du contrôle continu. Les auteurs présentent Z-1 comme une preuve de concept méthodologique, sans annoncer de déploiement matériel ni de calendrier commercial.

IA physiqueOpinion
1 source