Dossier arXiv cs.RO

Ce qui compte pour la modélisation du monde dans les modèles vision-langage-action (VLA)

Une équipe de chercheurs publie sur arXiv (2610.19825) une étude systématique visant à déterminer ce qui compte réellement lorsqu'on intègre un modèle du monde dans un modèle Vision-Langage-Action (VLA), c'est-à-dire une politique robotique qui convertit images et instructions textuelles en actions. Les auteurs classent les approches existantes en quatre paradigmes: Implicit Future Alignment, Explicit Future Query, MoT Future Expert (un expert dédié au futur, découplé de la politique, dans une architecture de type Mixture-of-Transformers) et External World Predictor. Chacun est réimplémenté dans un cadre unifié, puis évalué avec plusieurs représentations du monde et plusieurs architectures de politique. Les tests couvrent des scénarios in-domain, hors distribution (OOD), à long horizon, dynamiques, few-shot et en conditions réelles. Les résultats chiffrés détaillés figurent sur la page projet, que les auteurs accompagnent de vidéos de démonstration. Quatre conclusions se dégagent. L'efficacité d'une représentation du monde dépend du paradigme, mais les représentations sémantiques 2D apportent des gains robustes dans tous les cas. Aucun paradigme ne domine partout, même si le MoT Future Expert offre de bonnes performances globales, surtout en robustesse OOD. Le modèle du monde profite systématiquement aux politiques bâties sur des VLM standards, tandis que les conceptions découplées s'accordent mieux avec des VLA déjà pré-entraînés. Enfin, par rapport à des références limitées à la prédiction d'actions, le modèle du monde améliore les résultats dans plusieurs configurations, avec des gains notables sur les tâches longues et dynamiques. L'intérêt pour l'industrie tient à la clarification d'un champ où les publications comparaient des méthodes qui différaient à la fois par la représentation, le mode d'intégration et le backbone, ce qui rendait les attributions de gains peu fiables. Pour les équipes qui développent des VLA, le message est pragmatique: prédire des features sémantiques 2D du futur est un choix peu risqué, et une architecture découplée permet de greffer un modèle du monde sur un VLA existant sans tout réentraîner. Les gains sur les tâches longues et dynamiques correspondent précisément aux limites des politiques purement réactives en environnement industriel. Il faut toutefois rester prudent: il s'agit d'un banc d'essai académique, sans chiffres de déploiement ni de cadence, et la validation en conditions réelles reste vraisemblablement limitée en échelle. Ce travail s'inscrit dans la montée des modèles du monde dans la robotique fondationnelle, où des acteurs comme NVIDIA (GR00T), Physical Intelligence (Pi-0) ou Figure (Helix) cherchent à dépasser le simple mappage observation-action. Les choix d'architecture restent encore peu consensuels. La suite logique consiste à tester ces paradigmes à plus grande échelle, avec des VLA pré-entraînés sur de très grands corpus et sur des plateformes variées. Aucun calendrier de pilote n'est annoncé, s'agissant d'une contribution de recherche.

Le consensus de paraphrases n'est pas de l'autocohérence : dépendance aux instructions et robustesse des politiques VLA

Les politiques vision-langage-action (VLA) affinées sur LIBERO, le benchmark de manipulation robotique de référence, sont entraînées et évaluées sur les mêmes dix phrases d'instruction. Une étude publiée sur arXiv (2610.19438) montre que reformuler simplement l'instruction fait chuter le taux de réussite d'OpenVLA de base de 38,0 points. Le prompt ensembling au moment du test, qui améliore pourtant les modèles de langage, ne récupère rien dans aucune des configurations testées. Le consensus de paraphrases, qui retient l'action médoïde parmi K reformulations, coûte 16,8 points à OpenVLA lorsque l'instruction d'entraînement fait partie du lot. Sans elle, le médoïde des paraphrases est à -32,4 points par rapport à l'instruction d'origine, et la sélection par confiance à -28,0. Un médoïde calculé sur plusieurs échantillons d'une seule paraphrase fait mieux que le décodage glouton, mais reste 27,6 points sous l'instruction d'entraînement. Ce dernier résultat est le plus instructif pour les équipes qui déploient des VLA. Agréger des sorties réduit la variance, mais n'enlève pas le biais que partagent toutes les paraphrases. L'échec ne relève donc pas du bruit d'échantillonnage, et multiplier les appels à l'inférence ne corrigera pas une politique qui a surtout mémorisé des chaînes de caractères. Les auteurs introduisent une sonde d'instruction erronée, qui mesure la part du succès d'une politique réellement dépendante de l'instruction. Sur trois politiques et quatre suites, les paraphrases ne pénalisent une politique que lorsque cette part est élevée. Les politiques plus performantes en perdent une fraction nettement plus faible qu'OpenVLA de base. Cela invite à nuancer les scores LIBERO, où une partie du succès peut venir du contexte visuel plutôt que du langage. Pour un intégrateur, il faut tester la robustesse aux reformulations avant de promettre une interface en langage naturel à des opérateurs. Côté remède, un post-entraînement LoRA sur des instructions paraphrasées ramène l'effet d'une paraphrase à +2,0 points, contre -32,0 pour un témoin apparié. Le résultat se reproduit sur deux graines et sur OpenVLA-OFT, et se transfère à des formulations tenues à l'écart. En revanche, la dépendance de la politique à l'instruction reste inchangée. Le gain vient donc d'une meilleure généralisation lexicale, pas d'une meilleure compréhension du langage. Il s'agit d'un travail de recherche en simulation sur LIBERO, sans déploiement réel ni validation sur matériel, et le périmètre (dix instructions, quelques politiques) limite la portée des conclusions. Il rejoint un faisceau de travaux qui interrogent la fiabilité des benchmarks VLA face aux politiques généralistes plus récentes.

TacClaw-Infinity : un jeu de données vision-tactile-langage-action à grande échelle pour la manipulation dextère

TacClaw-Infinity est un jeu de données de manipulation robotique de très grande taille, présenté sur arXiv (2610.20320) sous la forme d'un corpus Vision-Tactile-Langage-Action (VTLA). Il a été collecté avec TacClaw, une interface portable de type UMI (Universal Manipulation Interface) équipée de capteurs tactiles aux bouts des doigts. Elle enregistre de façon synchronisée les images, les signaux tactiles et les trajectoires de l'effecteur, sans qu'aucun robot cible ne soit nécessaire pendant la collecte. La collecte, distribuée dans le monde entier, couvre des domiciles, des laboratoires, des lieux de travail industriels, des commerces et des espaces extérieurs, avec des tâches fournies par des partenaires académiques et industriels. Le corpus dépasse 10 000 heures, 1 million d'épisodes et 1 milliard d'images, pour plus de 1 000 types de tâches. Les auteurs décrivent aussi une chaîne de traitement pour reconstruire les trajectoires, contrôler la qualité multimodale, filtrer selon l'embodiment (le type de robot visé) et annoter de façon structurée : segmentation centrée sur les contacts, description des sous-tâches et ancrage spatial. Côté modèle, ils annoncent un transfert inter-embodiments vers trois robots hétérogènes, sans démonstration propre à chacun. L'intérêt tient à un goulot d'étranglement bien connu : les démonstrations visuelles se multiplient, mais les données tactiles, indispensables aux tâches riches en contacts comme l'insertion, le serrage ou la manipulation d'objets déformables, restent rares et rarement contrôlées en qualité. Si les résultats tiennent, la collecte sans robot réduit fortement le coût par heure de données et permet d'aller chercher la diversité là où elle existe, chez les utilisateurs et dans les ateliers. Le transfert vers trois robots sans données spécifiques irait dans le sens d'une pré-formation réutilisable, à la manière de ce que les VLA (modèles vision-langage-action) font déjà pour la vision seule. Quelques réserves s'imposent toutefois. Il s'agit d'un preprint, et seul le résumé est disponible ici. Il ne donne ni taux de réussite, ni comparaison avec des bases sans tactile, ni précision sur les trois robots et les tâches testées. Il ne dit pas non plus si le jeu de données sera publié en entier ni sous quelle licence. Les chiffres d'échelle sont des volumes bruts : ils ne disent rien de la proportion de données réellement exploitables après filtrage. Ce travail prolonge la lignée des interfaces portables sans robot, popularisées par UMI, et des grands corpus multi-embodiments comme Open X-Embodiment ou DROID, qui restent surtout visuels. Les acteurs des VLA, tels que Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, cherchent à étendre leurs modèles au tactile, sans qu'un jeu de données de cette taille soit aujourd'hui largement disponible. Les prochaines étapes à surveiller sont la publication effective du corpus, la reproduction des résultats de transfert par des équipes indépendantes et l'adoption de TacClaw par d'autres laboratoires ou industriels, y compris européens, pour des tâches de précision.

Tread : un cadre visuo-inertiel pour l'estimation de la phase de marche et de la vitesse selon le terrain et le contexte de locomotion en robotique portable

Une équipe de recherche publie sur arXiv Tread, un cadre de perception visuo-inertielle destiné aux robots portables d'assistance (exosquelettes, orthèses motorisées). Le système combine une caméra fixée sur le thorax et quatre centrales inertielles (IMU) placées sur les membres inférieurs. Il estime en cascade le terrain, le mode de locomotion, la phase de marche et la vitesse. Le module ATP classe le terrain à venir avec 96,3 % de précision et anticipe les transitions de 1,46 s en moyenne. Le module TALMI identifie le mode de locomotion avec 93,7 % de précision sur sol plat et 98,8 % dans les escaliers, avec une latence de transition inférieure à 200 ms. Sa probabilité a posteriori est transmise sous forme de vecteur de contexte (PLC) à un encodeur cinématique partagé, qui produit la phase de marche bilatérale à 50 Hz et la vitesse à 2 Hz. En validation « leave-one-subject-out », l'erreur quadratique moyenne (RMSE) de phase atteint 1,75 % en marche plane, 2,97 % en montée d'escaliers et 4,55 % en descente. La vitesse, testée entre 3,5 et 5,5 km/h, est estimée avec une RMSE de 0,218 km/h. Les modèles inertiels utilisent des angles d'Euler fusionnés plutôt que les signaux bruts d'accéléromètre et de gyroscope. L'intérêt tient à l'intégration. Aujourd'hui, la plupart des contrôleurs d'exosquelettes reposent sur des modèles distincts par terrain, entraînés sur des jeux de données issus de protocoles différents, ce qui fragilise les transitions entre sol plat et escaliers. Ici, une chaîne causale unique propage l'incertitude du contexte vers l'estimation de phase, ce qui répond à un vrai verrou de robustesse. L'usage d'angles fusionnés limite en outre la dépendance à la position des capteurs, un point critique pour un déploiement hors laboratoire. Les résultats restent toutefois ceux d'un travail académique : le nombre de sujets, l'absence de test en boucle fermée sur un dispositif réel et la plage de vitesses étroite relativisent la portée pour un usage clinique ou industriel. Ce travail s'inscrit dans la montée de la perception anticipative pour les exosquelettes, face à des approches purement inertielles ou à des contrôleurs par machine à états. Des acteurs européens comme Wandercraft, en exosquelettes de rééducation, ont un intérêt direct pour ce type de brique de perception contextuelle. Les prochaines étapes logiques sont l'intégration sur un exosquelette, des essais avec des patients et une évaluation sur davantage de terrains (pentes, obstacles).

Ne courez pas avec des ciseaux : l'élagage dégrade les modèles VLA, mais ils peuvent être récupérés

Des chercheurs montrent que l'élagage (pruning), technique de compression pourtant bien établie pour les LLM et les modèles vision-langage, dégrade fortement les modèles Vision-Language-Action (VLA), ces architectures qui traduisent images et instructions en commandes pour robots. Selon l'étude (arXiv 2510.08464, version 2), l'élagage entraîne une chute marquée du taux de réussite des tâches et une hausse des violations de sécurité. Les auteurs proposent GLUESTICK, une méthode de récupération appliquée après l'élagage, sans réentraînement et compatible avec n'importe quel algorithme d'élagage. Elle calcule une seule fois un terme correctif en interpolant, dans l'espace des poids, entre le modèle dense et le modèle élagué. À l'inférence, chaque couche élaguée applique ce terme pour compenser la perte, avec un surcoût minimal. Sur plusieurs architectures et domaines, la méthode récupère jusqu'à 100 % du taux de réussite et ramène la sécurité près des niveaux du modèle dense. Elle économise jusqu'à 5 Go de mémoire et accélère l'inférence jusqu'à 1,75 fois. Le code et des compléments sont annoncés sur le site gluestick-vla.github.io. L'enjeu est très concret pour la robotique de terrain. Les VLA sont aujourd'hui bridés par les contraintes SWaP-C (taille, poids, consommation, coût) des calculateurs embarqués, qui limitent leur déploiement hors du laboratoire. Pour un intégrateur, la quantification, la distillation et l'élagage devraient être des leviers standard pour faire tenir un modèle sur un module embarqué. Or l'étude indique que l'élagage, transposé tel quel depuis les LLM, n'est pas fiable sur des modèles pilotant des actionneurs, et que la dégradation ne se limite pas à la précision : elle touche la sécurité, critère décisif pour tout déploiement industriel. L'analyse spectrale menée par les auteurs attribue cette fragilité à des propriétés structurelles des poids des VLA. Cela rappelle que les recettes de compression des modèles de langage ne se transfèrent pas automatiquement à la commande robotique. Les chiffres de récupération « jusqu'à 100 % » désignent un meilleur cas : il faudra examiner les résultats par modèle, par taux de sparsité et par tâche, ainsi que la validation en conditions réelles, au-delà des benchmarks. Le contexte est celui d'une course à l'embarqué des VLA, portée par des modèles généralistes de plus en plus volumineux, dont la taille s'accorde mal avec les budgets énergétiques et thermiques des robots mobiles et humanoïdes. La compression est l'une des voies pour combler cet écart, aux côtés de la quantification et de la distillation, déjà mieux explorées. GLUESTICK s'inscrit dans cette logique en se présentant comme un correctif léger, sans entraînement supplémentaire, ce qui facilite son adoption par des équipes qui ne disposent pas des données ni du calcul nécessaires pour réentraîner. Il s'agit à ce stade d'un travail de recherche, pas d'un produit livré. La suite logique serait une validation sur matériel embarqué réel, la combinaison avec la quantification, et une évaluation de la robustesse hors distribution, que les équipes développant des VLA pour la manipulation et la locomotion auront intérêt à suivre.

Clonage comportemental repondéré par graphe avec interventions humaines pour une manipulation robotique précise

Des chercheurs proposent Graph-Reweighted Behavior Cloning (GR-BC), un cadre de post-entraînement hors ligne et itératif pour les modèles vision-langage-action (VLA), détaillé dans un preprint arXiv (2610.20504) accompagné d'une page de démonstrations vidéo. Le point de départ est le caractère hétérogène des données en manipulation de précision à long horizon: même les démonstrations réussies et les déroulés assistés par intervention humaine contiennent des détours, des hésitations, des tentatives ratées et des récupérations approximatives. GR-BC construit un graphe d'atteignabilité de l'objectif, conditionné par la tâche, sur l'ensemble des démonstrations et des rollouts collectés, succès comme échecs, interventions humaines comprises. Une recherche inverse dans ce graphe calcule le nombre minimal d'étapes restantes avant la réussite, dans le support du jeu de données. Chaque segment d'actions (action chunk) est ensuite pondéré selon sa capacité à réduire ce potentiel. Les nouveaux rollouts sont simplement ajoutés au graphe, et la recherche est relancée. Sur quatre tâches de manipulation de précision et trois architectures VLA, la méthode améliore le fine-tuning supervisé en un seul tour et atteint 91 % de réussite après quelques itérations hors ligne. L'intérêt tient à ce que la méthode évite trois briques souvent jugées nécessaires: pas de modèle de récompense, pas de critique conditionné par l'action, pas de prédicteur de progression, et aucune comparaison de trajectoires ni annotation de progrès. Pour les équipes qui post-entraînent des VLA sur des données réelles issues de téléopération et d'interventions, c'est une piste pour réduire le coût d'annotation et exploiter des échecs aujourd'hui écartés. Le principe de pondération par conséquence rejoint un problème connu du terrain: le clonage de comportement uniforme reproduit les défauts des opérateurs, y compris dans les épisodes réussis. Les limites sont à garder en tête: le chiffre de 91 % est un résultat de laboratoire, sans précision dans le résumé sur la nature des tâches, le nombre d'essais ou les références comparées. L'estimation du nombre d'étapes restantes reste aussi bornée par la couverture du jeu de données, et rien n'indique encore une validation en production industrielle. Ce travail s'inscrit dans la montée des approches de post-entraînement des VLA, où les méthodes de renforcement et d'apprentissage à partir d'interventions humaines cherchent à franchir l'écart entre démonstration et fiabilité. Elles reposent en général sur des fonctions de valeur ou des modèles de récompense appris, ce que GR-BC remplace par une recherche de graphe, plus simple à auditer. Le résumé ne nomme ni les trois backbones VLA ni les tâches, ce qui limite pour l'instant la comparaison avec les approches existantes. La prochaine étape logique serait un test sur des plateformes et des tâches industrielles plus variées, avec publication du code et des protocoles d'évaluation, ce que la page du projet (gr-bc.github.io) pourrait préciser.

Post-entraînement, finetuning et pilotage : guide pratique pour constituer des données d'entraînement

Une étude déposée sur arXiv en octobre 2026 (2610.19143, première version) compare de façon systématique les méthodes d'adaptation des modèles Vision-Language-Action (VLA) selon le type de données disponibles. Les scénarios testés sont les données on-policy ou off-policy, l'adaptation hors ligne ou en ligne, et les trajectoires optimales ou sous-optimales. L'évaluation couvre des tâches simulées du benchmark LIBERO et des tâches réelles sur un bras Franka. Hors ligne, quand des données d'échec existent, le « steering » par critique surpasse le fine-tuning supervisé. Ce steering consiste à utiliser une fonction de valeur pour orienter ou filtrer les actions du modèle, sans réentraîner ses poids. En revanche, les techniques d'offline RL pour entraîner ces critiques ne font pas mieux que de simples estimations Monte-Carlo. En ligne, le steering demande nettement moins d'échantillons que les méthodes de fine-tuning par policy gradient, mais son plafond de performance reste inférieur à celui d'un fine-tuning complet. Les VLA transfèrent bien d'une tâche à l'autre en zero-shot, mais la fiabilité exigée en production passe par une adaptation. Le choix de la méthode se faisait jusqu'ici surtout à l'intuition. Pour un intégrateur, l'étude donne trois repères. Les logs d'échec, souvent jetés, ont une vraie valeur d'entraînement. Une approche Monte-Carlo simple suffit pour le critique. Et il faut arbitrer entre un steering rapide et économe en données et un fine-tuning complet, plus coûteux mais plus performant à terme. Les limites sont nettes. Le résumé ne donne aucun chiffre de gain, le banc d'essai est un bras unique en simulation et en laboratoire, et rien n'est mesuré en temps de cycle, en cadence ou en conditions d'atelier. La transposition aux humanoïdes ou aux cellules industrielles n'est pas démontrée. Depuis les premiers VLA, la littérature a multiplié les recettes de post-training : fine-tuning supervisé, RL en ligne, guidage par fonction de valeur. Les acteurs industriels comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) travaillent sur ces mêmes questions d'adaptation, mais publient rarement des comparaisons contrôlées. Ce travail, présenté comme un guide pratique, comble en partie ce vide. Il s'agit d'un preprint non évalué par les pairs, sans pilote ni déploiement annoncé. La suite logique serait une validation sur d'autres plateformes, des tâches plus longues et des volumes de données réalistes.

KinoGen : références de locomanipulation humanoïde personnalisables par génération vidéo ancrée dans la cinématique

KinoGen est un cadre de génération de références de loco-manipulation pour robots humanoïdes, décrit dans un article publié sur arXiv en octobre 2026. Le principe : un générateur vidéo préentraîné est conditionné par des rendus calibrés du robot cible et de l'objet dans une instance de tâche simulée. Les auteurs ajustent ensuite les modèles du robot et de l'objet sur la vidéo générée, en deux vues, pour en extraire la trajectoire de référence. Celle-ci se trouve donc dans l'espace des configurations du robot par construction, sans modèle de corps humain intermédiaire ni retargeting. Des a priori sur le corps, la main et l'objet initialisent la reconstruction, puis une optimisation directe contre les indices croisés des deux vues l'affine. Sur huit tâches de loco-manipulation, KinoGen produit moins de pénétration et de glissement des pieds que les méthodes vidéo de référence, et conserve plus de 90 % des contacts annotés. Des politiques de suivi entraînées sur ces références ont été déployées sur un Unitree G1 équipé de mains dextres. L'article ne donne ni durées de cycle ni volumes de déploiement. L'intérêt tient à deux verrous que l'approche cherche à lever. Les pipelines actuels qui exploitent la vidéo ou la capture de mouvement humaine passent par un proxy corporel puis un retargeting, ce qui introduit des erreurs de contact, des interpénétrations et du glissement que les politiques de suivi doivent ensuite compenser. Ici, la cohérence cinématique est garantie dès la génération. La seconde avancée est la personnalisation : une keyframe éditée n'étant qu'un autre état rendu, l'utilisateur peut imposer une pose cible à l'objet, régénérer la vidéo autour de cette image et obtenir une référence qui respecte exactement cette pose. Les auteurs affirment que cela réduit sensiblement la pénétration par rapport à une simple interpolation. Pour les intégrateurs, cela pourrait faire baisser le coût de création de données de démonstration spécifiques à une tâche. Il faut toutefois nuancer : l'évaluation est académique, menée sur huit tâches, et la validation matérielle sur G1 reste une démonstration de faisabilité, sans mesure de robustesse ni de taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux données pour humanoïdes, où la rareté des démonstrations robotiques pousse à exploiter des vidéos humaines et des modèles génératifs. Les approches concurrentes reposent généralement sur la capture de mouvement ou l'estimation de pose humaine suivie d'un retargeting, ce que KinoGen cherche précisément à contourner. Le G1 de Unitree, bon marché et largement répandu dans les laboratoires, sert de plateforme de choix pour ce type de recherche. Aucun calendrier de pilote industriel ni code de production n'est annoncé. Les prochaines étapes à surveiller sont le passage à des tâches plus longues et plus contraintes, la mesure de la fiabilité sur matériel, et la comparaison avec les modèles VLA entraînés directement sur de grands volumes de téléopération.

Eye, Robot : apprentissage de la dynamique expressive du regard par un Transformer-VAE guidé par un VLM

Des chercheurs proposent un système de contrôle du regard pour robot humanoïde, publié sur arXiv (2610.19635v1), qui sépare le choix de la cible du calcul du mouvement. Un modèle vision-langage (VLM) fonctionnant de manière asynchrone sélectionne un élément de la scène à regarder, un module de perception réactif maintient la fixation, et un « Realistic Gaze Transformer » (RGT) génère le mouvement conditionné par cette cible. Le RGT est un Transformer-VAE entraîné sur des enregistrements humains sans marqueurs, retargetés vers l'espace articulaire à 11 degrés de liberté (DOF) de la tête du robot. Le préentraînement auto-supervisé encode l'historique récent de la tête entière, puis un affinage autorégressif expose le modèle à ses propres prédictions pendant le déroulement. À l'inférence, une trajectoire binoculaire à quatre dimensions pilote de façon coordonnée le cou et les yeux, tandis qu'un prédicteur de clignements déclenche des gabarits de mouvement des paupières. Sur un banc d'essai de deux secondes où tous les contrôleurs reçoivent la même cible de référence, la variante RGT-Base obtient l'erreur quadratique moyenne la plus basse sur sept articulations. Des démonstrations physiques illustrent la chaîne complète de ciblage et de contrôle. Pour les intégrateurs et les équipes qui développent des robots d'accueil, d'assistance ou de service, le regard est un canal de communication non verbal qui conditionne l'acceptation du robot. Les règles de suivi fixes, courantes aujourd'hui, produisent des mouvements mécaniques et ignorent la structure temporelle du regard humain (saccades, coordination œil-tête, clignements). L'architecture proposée est modulaire : le VLM, lent, décide où regarder, tandis qu'un générateur léger tourne en temps réel. Cette séparation est un schéma réaliste pour les robots qui embarquent un grand modèle sans pouvoir l'exécuter à haute fréquence. Les limites sont toutefois claires et reconnues par les auteurs. Les résultats établissent la fidélité cinématique dans l'espace du robot et la faisabilité de l'inférence en temps réel, mais pas le caractère naturel perçu par des humains, ni la précision de sélection de cibles en vocabulaire ouvert. Le meilleur score MSE est mesuré dans un cadre où la cible est donnée, donc il ne dit rien de la qualité du choix fait par le VLM. Il s'agit d'un travail de recherche, sans produit ni déploiement commercial. Ce travail s'inscrit dans une lignée de recherches sur les têtes de robots expressives et la génération de gestes à partir de données humaines. Il adopte les mêmes briques que la robotique actuelle : modèles génératifs entraînés sur de la capture humaine, retargeting vers le robot, et VLM pour l'ancrage sémantique. Le résumé ne nomme ni plateforme matérielle, ni laboratoire, ni modèles concurrents comparés, ce qui limite la possibilité de situer précisément le résultat. La suite logique est une évaluation contrôlée avec des utilisateurs humains pour mesurer le naturel perçu, ainsi qu'un test systématique de la sélection de cibles en vocabulaire ouvert. Faute de ces éléments, l'avancée reste un résultat de laboratoire sur la qualité du mouvement.

Le temps physique, dimension manquante de la dynamique de mémoire des politiques robotiques

Les politiques robotiques actuelles gèrent généralement leur mémoire au rythme des observations, comme si chaque mise à jour correspondait à la même durée physique. Un papier déposé sur arXiv (2610.20524) pointe la faille : deux historiques d'observations identiques peuvent s'étendre sur des durées différentes et exiger des actions différentes. Les auteurs proposent le Temporal Flow Policy (TFP), une mémoire apprise qui retient les événements passés et fait évoluer son état selon les intervalles de temps réellement mesurés. Les observations et la mémoire précédente déterminent le contenu et les échelles de temps de chaque transition, tandis que le temps écoulé fixe l'avancée de l'état. Cet état conditionne des politiques de diffusion et de flow matching, entraînées avec leurs objectifs d'imitation habituels. L'évaluation porte sur Diffusion Policy et π0.5, avec des comparaisons contrôlées entre conceptions de mémoire. TFP obtient un taux de succès moyen supérieur à celui des mémoires récurrentes et des modèles d'espace d'états auxquels on fournit les mêmes intervalles. Il fait aussi mieux qu'une variante qui injecte l'intervalle dans une porte apprise. Des tests sur robot réel exigeant timing ou mémoire, ainsi que le benchmark LIBERO, complètent l'évaluation. L'enjeu est concret pour la manipulation : de nombreuses tâches dépendent de ce qui s'est passé il y a un certain temps, comme attendre une fin de cuisson, reprendre après une occlusion ou séquencer des gestes. Or les politiques VLA et de diffusion, souvent alimentées par quelques images récentes, ignorent le plus souvent la durée écoulée. Les résultats suggèrent que fournir l'intervalle ne suffit pas, puisque la mémoire doit aussi conserver l'historique. Les lectures de mémoire permettent de retrouver le temps écoulé depuis un événement et l'information de mouvement après occlusion. Modifier les intervalles fournis retarde ou avance systématiquement les actions, ce qui relie causalement l'entrée temporelle au comportement. Pour les intégrateurs, c'est un levier potentiel sur la robustesse face à des cadences variables, par exemple des latences d'inférence irrégulières. Les gains restent toutefois mesurés sur des benchmarks et quelques tâches réelles. Le résumé ne donne ni taux de succès chiffrés ni nombre de tâches, et rien n'indique une validation à l'échelle d'un déploiement. Ce travail s'inscrit dans l'essor des politiques généralistes, dont π0.5 de Physical Intelligence est l'un des représentants, et dans la recherche de mémoire pour la manipulation longue durée. Les approches concurrentes reposent sur des réseaux récurrents, des modèles d'espace d'états ou des fenêtres d'observations, que TFP prend ici comme références. Le papier propose de voir la mémoire comme un état qui évolue avec le temps physique, et non comme un simple historique stocké. Il s'agit d'une préimpression, sans pilote industriel ni calendrier annoncé. La suite logique serait une validation sur des tâches plus longues, avec d'autres architectures de politiques et des fréquences de contrôle hétérogènes.

Apprentissage collectif pour une manipulation robotique unifiée par adaptation prédictive de la dynamique

Des chercheurs proposent PACE, un cadre d'apprentissage collectif en deux étapes pour entraîner une politique unique de manipulation cartésienne, pilotée par l'état (et non par la vision), sur des robots aux morphologies différentes. Dans la première étape, une couche de représentation est pré-entraînée sur des trajectoires hors ligne pour extraire le contexte de la tâche à partir des données agrégées de plusieurs robots. Dans la seconde, une couche de décision est dotée d'un adaptateur de dynamique prédictive: on force l'état latent à prédire les transitions futures, ce qui ancre la politique dans le comportement réel du robot qui exécute l'action. L'inférence reste en temps réel, sans planification en ligne. En simulation, PACE atteint plus de 93 % de succès global et 89 % sur des robots simulés hors distribution dynamique, évalués en zero-shot. Les références restent nettement derrière: 82 % pour un Transformer en clonage comportemental et 66 % pour une politique de diffusion. Un déploiement sur un robot KUKA physique valide la faisabilité de la chaîne complète en transfert sim-to-real zero-shot. Le problème visé est concret pour quiconque veut mutualiser des données entre plusieurs bras robotiques. Une même commande cartésienne se traduit par des comportements de transition différents selon l'embodiment (cinématique, inerties, limites d'actionneurs). Une agrégation naïve moyenne alors des modes d'action incompatibles, d'où une ambiguïté de stratégie et un effondrement des performances sur les robots dont la dynamique s'écarte de la norme. Les résultats suggèrent que séparer l'intention dans l'espace de la tâche de la dynamique propre au robot peut limiter ce phénomène, ce qui intéresserait les intégrateurs gérant des parcs hétérogènes et voulant éviter un réentraînement par machine. Il faut toutefois rester prudent: les chiffres viennent essentiellement de simulation, la validation physique se limite à un seul robot KUKA, et le résumé ne donne ni nombre de tâches, ni cadence, ni taux de réussite en conditions réelles. Ce travail s'inscrit dans la course aux politiques généralistes multi-embodiments, portée par les modèles vision-langage-action comme Pi-0 ou GR00T, et par les approches de diffusion et de Transformers utilisées ici comme références. PACE prend un angle différent: une politique légère, basée sur l'état, centrée sur la robustesse face aux dynamiques atypiques plutôt que sur la généralité sémantique. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit ni pilote industriel annoncé. Les suites logiques seraient des tests sur davantage de robots physiques, l'intégration de la perception et une comparaison directe avec les grands modèles de fondation robotiques.

VICON : suivi main-objet par vision, inertie et contact pour les jeux de données de manipulation

Une équipe de recherche publie sur arXiv (version 2) VICON, un système de capture conjointe du mouvement de la main, de la pose de l'objet manipulé, des points de contact et des forces normales. Côté main, il combine un gant visuel-inertiel et une caméra RGB-D. Le gant a été redessiné pour intégrer des capteurs de force résistifs (FSR), placés selon la fréquence de contact observée dans les préhensions humaines, qui enregistrent de façon synchrone l'état de contact et des forces normales calibrées. Côté objet, aucun modèle CAD n'est requis : la pose est estimée à partir d'images RGB-D et d'un maillage reconstruit depuis une vidéo monoculaire. Un graphe de facteurs fusionne les estimations de pose pondérées par la visibilité sous occlusion, les mesures FSR et un a priori sur le mouvement de la main. Sur 40 sessions de capture de mouvement avec cinq objets, VICON affiche 2,5 % de trames en échec contre 50,9 à 64,6 % pour les méthodes de référence, avec des erreurs médianes de 3,9 mm et 3,0 degrés sous occlusion. Les auteurs ont construit un jeu de données et annoncent la publication d'une version élargie à 10 catégories d'objets sur GitHub. L'intérêt est de combler un manque précis. Les jeux de démonstrations humaines pour la manipulation dextre fournissent surtout des trajectoires, alors que les contacts et les forces indiquent où et avec quelle intensité interagir, information qu'une trajectoire seule ne contient pas. Pour les équipes qui entraînent des politiques de manipulation ou des modèles vision-langage-action (VLA) à partir de données humaines, une source qui ne dépend ni d'un modèle CAD ni d'un suivi fragilisé par les occlusions rendrait la collecte plus réaliste. Les limites sont nettes : cinq objets seulement pour l'évaluation, des FSR dont la couverture reste partielle, des taux d'échec qui dépendent du choix des méthodes de référence, et aucune démonstration de transfert vers un robot. Le résultat valide donc une chaîne de capture, pas un gain en politique apprise. Ces travaux prolongent des jeux de données de mains et d'objets surtout visuels, ainsi que des gants tactiles qui ne suivaient pas l'objet. Les acteurs humanoïdes et les laboratoires de modèles de fondation en robotique s'appuient aujourd'hui largement sur la téléopération et la vidéo humaine, où la force reste absente ou déduite. La suite dépend de la publication effective du jeu élargi, qui reste à ce stade une annonce, puis de tests d'entraînement sur mains robotiques.

EarlyCommit : engagement calibré mot par mot pour des robots qui agissent avant la fin de la phrase

EarlyCommit, un outil open source décrit dans un preprint arXiv (2610.20531), permet à un robot de s'engager sur l'objet visé pendant que la consigne vocale est encore en cours, au lieu d'attendre la fin de la phrase. Après chaque mot reconnu, un encodeur de texte affiné (fine-tuned) attribue un score à chaque objet de la scène. Le robot agit quand la probabilité calibrée du meilleur candidat atteint un seuil tau fixé par l'utilisateur, 1 - tau correspondant au risque accepté de se tromper d'objet. Sinon, il attend ou pose une question. L'outil comprend un front-end de reconnaissance vocale en flux continu, un générateur de scènes et de consignes avec vérité terrain exacte mot à mot, ainsi que des scripts d'entraînement, de calibration et d'évaluation. Sur des consignes contenant des mots absents de l'entraînement, il s'engage correctement 1,6 à 2 fois plus souvent qu'une simple recherche de mots-clés. À tau = 0,9, il a raison au moins 92 % du temps quand il s'engage, pour 31 à 35 ms par mot sur des GPU grand public. L'intérêt tient à la latence perçue dans l'interaction humain-robot. Dans un atelier, un entrepôt ou une cuisine, le délai entre la fin d'un ordre et le début du geste pèse sur la fluidité du travail collaboratif, et un robot qui anticipe comme un auditeur humain peut réduire ce délai. L'approche a aussi un mérite de conception: le seuil de risque est explicite et réglable, ce qui permet à un intégrateur de choisir entre prudence et réactivité selon le coût d'une erreur, par exemple plus strict pour un objet fragile ou dangereux. Le budget de 31 à 35 ms par mot reste compatible avec le temps réel sur du matériel courant. Les résultats viennent toutefois d'un générateur synthétique de scènes et de consignes, et rien n'indique des tests sur robot physique, en environnement bruité ou avec des locuteurs variés. Le gain annoncé est relatif à une base de comparaison simple (mots-clés), pas à un système de langage-vision-action complet. Le taux d'erreur résiduel d'au moins 8 % à tau = 0,9 rappelle aussi que l'engagement précoce reste un pari. Ce travail s'inscrit dans le mouvement qui fait passer le langage naturel de commande ponctuelle à interface continue pour les robots. Les modèles vision-langage-action (VLA) récents, comme Pi-0, Helix ou GR00T, traitent en général la consigne complète avant d'agir, et les systèmes de dialogue incrémental existent surtout en recherche. EarlyCommit occupe un créneau plus étroit, la désambiguïsation d'objets, et pourrait s'intégrer comme couche en amont d'un planificateur existant. Les suites logiques sont une validation sur des robots réels, des tests avec de la parole spontanée et des scènes encombrées, et une comparaison avec des modèles de langage plus grands. La publication du code facilitera cette reproduction.

Aspirateurs robots : des tâches de rangement grâce à une liaison déployable à auto-verrouillage d'origine géométrique

Des chercheurs proposent un mécanisme de bras déployable pour aspirateurs robots, décrit dans un preprint arXiv (2610.20150v1), qui permet à la machine de déplacer des objets du quotidien sans moteur dédié au maintien de la charge. Le dispositif est une articulation à deux étages. À pleine extension, une sous-chaîne interne de trois biellures approche une configuration colinéaire, quasi singulière, où le rapport de transmission entre l'entrée et la sortie tend vers zéro. Les efforts appliqués sur la plaque ne produisent alors qu'un faible couple résiduel de rétro-entraînement, absorbé par les frottements de la transmission et par un léger système de détente magnétique. Un seul actionneur déploie et verrouille le mécanisme, un déclencheur passif monté sur le châssis libère le verrou pour la rétraction, et un second actionneur règle uniquement la hauteur de déploiement. L'ensemble a été intégré dans un aspirateur robot du commerce. Les auteurs rapportent un test de répétabilité de 100 cycles, un essai de charge quasi statique où la plaque verrouillée a tenu 50 N moteur hors tension, et 140 essais de rangement par poussée sur sept objets domestiques, face à un aspirateur robot commercial équipé d'un bras, selon un protocole documenté. L'intérêt tient à la contrainte visée. Un aspirateur robot grand public ne tolère ni surcoût, ni encombrement, ni fragilité mécanique, ce qui exclut en pratique les bras articulés à plusieurs degrés de liberté. Les articulations déployables à peu d'actionneurs sont attractives, mais leur réversibilité mécanique oblige normalement à alimenter le moteur en continu pour tenir une charge. Verrouiller par la géométrie plutôt que par l'électronique réduit la consommation, l'échauffement et le nombre de composants. Les chiffres appellent toutefois de la prudence : 50 N a été mesuré en statique, pas en dynamique, et la tâche testée se limite à la poussée, bien en deçà d'une vraie préhension. Il s'agit d'un prototype de laboratoire, sans indication de coût de série, de durée de vie au-delà de 100 cycles ni de performance en environnement domestique non contrôlé. Les auteurs eux-mêmes présentent leur solution comme un compromis entre compliance passive et manipulation articulée, et discutent les limites de leur condition de maintien analytique. Ce travail s'inscrit dans la tentative de doter les aspirateurs robots de fonctions de rangement, un segment où des modèles à bras ont déjà été commercialisés, mais à un coût et une complexité supérieurs. Le comparatif retenu ici, un aspirateur à bras du commerce, positionne cette approche comme une alternative frugale plutôt qu'un concurrent en capacités. Le preprint n'annonce ni partenariat industriel, ni pilote, ni calendrier de commercialisation. La suite logique serait d'étendre les essais à des objets plus variés, de qualifier la tenue en fatigue et aux chocs, et d'évaluer si un constructeur peut absorber le surcoût d'un tel module dans un produit de grande série.

Apprentissage continu sans données pour un modèle d'action du monde, par relecture générative rectifiée

Des chercheurs proposent R²-WAM, une méthode d'apprentissage continu sans données pour les « world action models » (WAM), ces modèles construits sur des générateurs vidéo préentraînés qui prédisent conjointement observations et actions d'un robot. Le problème de départ est connu: un WAM s'adapte vite à une nouvelle tâche, mais oublie les précédentes lors d'un fine-tuning séquentiel. Le rejeu d'expérience (ER) limite cet oubli, mais il suppose de conserver les données anciennes, ce qui est rarement possible en robotique où une politique circule sous forme de poids seuls. L'équipe fait donc régénérer au modèle ses propres trajectoires complètes, de façon autorégressive, puis les rejoue. Brutes, ces trajectoires restent loin du rejeu de données réelles, pour deux raisons: le modèle ne reconnaît pas la fin d'une tâche et continue à produire des mouvements sans but, et, en génération en boucle ouverte, les actions dérivent peu à peu par rapport aux observations générées. R²-WAM corrige cela en coupant les trajectoires à l'achèvement de la tâche grâce à un évaluateur agentique, et en écartant celles dont les actions sont physiquement incohérentes avec les images. Sur les quatre suites du benchmark LIBERO et cinq tâches en conditions réelles, la méthode réduit l'oubli de plus de 90 % par rapport au fine-tuning séquentiel et se rapproche presque de l'ER, sans accéder à aucune donnée des tâches passées. L'enjeu est très concret pour qui déploie des politiques robotiques: les poids se partagent, les jeux de données beaucoup moins, pour des raisons de propriété, de confidentialité ou de volume. Pouvoir enrichir un modèle de nouvelles compétences sans repartir des données d'origine ouvre la voie à des mises à jour incrémentales chez les intégrateurs et les utilisateurs finaux. Les auteurs livrent aussi un résultat diagnostique utile: l'oubli se concentre dans la modélisation de la dynamique inverse. Un WAM « amnésique » produit toujours des images plausibles des tâches passées, mais ses actions échouent. Cela suggère que la qualité visuelle d'un modèle vidéo ne garantit pas la fiabilité du contrôle, et que les efforts de régularisation devraient viser la tête d'actions plutôt que la génération visuelle. Ce travail s'inscrit dans la montée des politiques vision-langage-action et des modèles de monde adossés à la vidéo, où l'apprentissage continu reste un verrou majeur face aux approches classiques de rejeu ou de régularisation. Les résultats reposent toutefois sur LIBERO, un benchmark de simulation, et seulement cinq tâches réelles: il reste à voir comment la méthode tient sur de longues séquences de tâches, des scènes plus variées ou des modèles de grande taille. La dépendance à un évaluateur agentique, dont le coût et la fiabilité ne sont pas détaillés ici, constitue une autre inconnue. Cette version v2 de l'article sur arXiv est accompagnée d'une page projet, mais aucun produit ni déploiement industriel n'est annoncé: il s'agit de recherche académique.

AutoRSR : génération automatisée de données réel-simulation-réel pour un apprentissage robotique à grande échelle

AutoRSR, un framework publié sur arXiv (2610.20336) par une équipe de recherche, automatise la conversion d'un espace de travail réel en environnement de simulation prêt pour l'apprentissage robotique, puis en données de manipulation à grande échelle. À partir d'observations multi-vues, des états du robot et de requêtes sémantiques en vocabulaire ouvert, le système reconstruit la scène, extrait chaque objet sous forme d'actif 3D individuel et recale automatiquement la scène dans le repère de la base du robot, à l'échelle métrique. Quelques mouvements de référence suffisent ensuite pour générer des trajectoires exécutables, démultipliées par interpolation et randomisation de domaine. Sur trois tâches de manipulation réelles, des politiques entraînées sur 1 000 épisodes générés automatiquement par tâche atteignent 73,3 à 86,7 % de réussite sur robot réel. Ce niveau est comparable à celui de pi 0.5 entraîné sur 150 démonstrations téléopérées, avec un temps humain de production de données divisé environ par dix. L'enjeu est le goulot d'étranglement le plus coûteux de l'apprentissage par imitation : la collecte de démonstrations par téléopération, qui mobilise des opérateurs et immobilise des robots. Après le scan de l'espace et les requêtes sémantiques, le pipeline ne demande plus ni annotation manuelle des objets, ni calibration scène-robot, ni téléopération. Pour un intégrateur, cela rapproche l'idée de « scanner la cellule du client, puis entraîner » d'un flux de travail reproductible. Il faut toutefois rester prudent : trois tâches, un seul article préliminaire (v1), et une comparaison avec un seul modèle de référence. Les travaux ne précisent pas, dans ce résumé, la complexité des tâches ni leur robustesse face à des objets déformables, articulés ou à des variations d'éclairage importantes. Le chiffre de 73,3 à 86,7 % reste aussi inférieur à ce qu'exige une exploitation industrielle, où l'on vise plutôt le haut des 90 %. Le travail s'inscrit dans la lignée des approches real-to-sim-to-real, qui cherchent à réduire l'écart entre simulation et réalité sans repartir de zéro à chaque nouvelle scène. Il s'oppose à la stratégie dominante des grands acteurs de l'humanoïde et des modèles vision-langage-action (VLA), qui misent sur de vastes corpus de téléopération, et complète les pipelines de génération synthétique comme ceux popularisés autour de l'écosystème NVIDIA. Il fait aussi écho aux méthodes d'augmentation de démonstrations à partir de peu d'exemples. La suite logique serait une validation sur des tâches plus longues, des manipulateurs variés et des scènes industrielles, ainsi qu'une comparaison avec d'autres VLA. Aucun déploiement commercial ni calendrier de pilote n'est annoncé, et aucun acteur français ou européen n'est mentionné.

PACER : apprentissage de politiques VLA sensibles au processus à partir de corrections humaines pour le démontage robotisé

Des chercheurs présentent PACER (Process-Aware Correction and Evidence Reweighting), un cadre d'apprentissage pour le démontage robotisé de produits en fin de vie, publié sur arXiv. Il est évalué sur le démontage de cartes mères avec un bras UR5e, sur cinq classes de composants. La tâche testée est l'approche du composant puis sa remise (« approach-and-handoff »). Sur un benchmark de validation tenu à l'écart de l'entraînement, PACER réussit 87 essais sur 100, contre 54 sur 100 pour la politique VLA (vision-langage-action) de référence simplement affinée par fine-tuning supervisé (SFT). Le principe est de réutiliser deux sources d'expérience : les déploiements de la politique elle-même, qui enregistrent ses tentatives d'approche, et les corrections humaines, qui montrent comment récupérer après une erreur. Chaque segment d'actions (« action chunk ») est pondéré dans la fonction de perte supervisée native selon la progression vers la cible, la source de la trace et son résultat. Le framework entraîne une politique par réglage de pondération, puis retient celle qui obtient le meilleur score en validation. L'enjeu est pratique pour les intégrateurs du recyclage et du reconditionnement. Le démontage doit absorber la variabilité des produits, respecter des séquences de prérequis et approcher les composants avec précision pour une manipulation riche en contacts. Les données de démontage sont rares et coûteuses, et le SFT seul ne couvre pas les décalages de distribution liés à l'environnement ou à l'incertitude sur le produit. L'intérêt de PACER est de ne pas modifier la fonction de perte ni d'ajouter une phase d'apprentissage par renforcement : il repondère des données déjà collectées, ce qui limite le coût d'intégration. Le gain de 33 points est net, mais il reste à nuancer. Il provient d'un seul article, sur un seul bras, une seule famille de produits et une tâche limitée à l'approche et à la remise, sans démontage complet. La sélection finale sur validation conserve aussi la meilleure politique parmi plusieurs entraînées, ce qui peut flatter le chiffre. Aucune donnée n'est fournie dans le résumé sur les temps de cycle, le nombre de corrections nécessaires ni la robustesse face à des cartes inconnues. Ces travaux s'inscrivent dans la montée des politiques VLA affinées sur peu de démonstrations, comme Pi-0 ou GR00T, dont le point faible reste la généralisation hors distribution en environnement industriel. L'apprentissage à partir de corrections humaines, de type DAgger ou « human-in-the-loop », existait déjà, mais PACER y ajoute une pondération tenant compte du processus. La suite logique sera la validation sur des produits plus variés, des séquences complètes de démontage et un test hors laboratoire. À ce stade, il s'agit d'un résultat de recherche et non d'un produit déployé, et aucun partenaire industriel ni calendrier de pilote n'est annoncé.

F2A-ObjectNav : une architecture adaptative à base d'agents pour la navigation vers un objet cible

Des chercheurs proposent F2A-ObjectNav (Fixed-to-Adaptive Object-Goal Navigation), une architecture agentique adaptative pour la navigation par objet-but, tâche où un agent incarné doit explorer un environnement inconnu, repérer un objet cible, s'en approcher et vérifier que l'instance observée correspond bien à la mission. Le travail suit deux étapes. La première teste un cadre modulaire fixe, en combinant plusieurs méthodes d'exploration, de détection d'objets et de validation de cible. Elle met en évidence des compromis nets entre performance de navigation, fiabilité de la validation, temps d'exécution et coût lié aux modèles, sans qu'aucune configuration fixe ne domine partout. La seconde étape en tire F2A-ObjectNav, où un Superviseur à base de règles coordonne des composants spécialisés: navigation et exploration, détection, validation, guidage sémantique et mémoire de mission. Évalué sur 25 épisodes dans chacun des simulateurs AI2-THOR, RoboTHOR et ProcTHOR, le système obtient respectivement un taux de succès (SR) et un SPL (longueur de trajet pondérée par le succès) de 0,84/0,52, 0,40/0,22 et 0,44/0,37. L'intérêt est double. D'abord, le résultat documente un point que les démonstrations masquent souvent: dans la navigation pilotée par modèles de vision et de langage, il n'existe pas de pipeline unique optimal, et le choix entre précision, latence et coût d'appel aux modèles dépend de l'environnement. Confier cet arbitrage à un superviseur déterministe plutôt qu'à un LLM qui décide de tout est une option pragmatique pour des intégrateurs soucieux de prévisibilité et de coûts d'inférence, puisque l'exécution reste légère en fonctionnement normal et que le guidage sémantique n'est activé que sur condition. Ensuite, l'écart entre les trois environnements est parlant: 0,84 de SR dans AI2-THOR, mais seulement 0,40 et 0,44 dans RoboTHOR et ProcTHOR, plus proches de conditions réalistes. Le transfert vers le réel n'est donc pas acquis. Les interventions adaptatives (récupération, changement de stratégie) y sont aussi plus fréquentes, signe que l'adaptativité compense des difficultés réelles. Il faut toutefois rester prudent: 25 épisodes par environnement constituent un échantillon réduit, et les résultats ne sont pas comparés ici à des références publiées. Ce travail s'inscrit dans la lignée des benchmarks de la famille THOR, devenus standards pour la navigation incarnée, et dans le mouvement qui remplace les politiques apprises de bout en bout par des architectures modulaires combinant détecteurs, modèles de fondation et mémoire. Les auteurs ajoutent des métriques comportementales propres à l'architecture (usage du guidage sémantique, bascules de stratégie, activations de récupération, comportement soutenu par la mémoire, stabilité des décisions), utiles pour diagnostiquer les agents au-delà du seul SR/SPL. Il s'agit d'une préimpression arXiv, sans déploiement sur robot physique annoncé. La suite logique serait une validation à plus grande échelle et sur matériel réel.

E2DRL : apprentissage par renforcement différentiable de bout en bout pour l'évitement d'obstacles 3D chez les robots quadrupèdes

E2DRL est un cadre d'apprentissage par renforcement différentiable de bout en bout, présenté sur arXiv (2610.19627v1), qui permet à un robot quadrupède d'éviter des obstacles 3D à partir de la vision seule. Les auteurs l'ont validé en conditions réelles sur un Unitree Go2, dans des environnements statiques et dynamiques. Le système repose sur un enseignant privilégié, entraîné avec Soft Analytic Policy Optimization (SAPO) dans un simulateur différentiable. Cet enseignant est distillé par DAgger vers un étudiant récurrent qui exploite des images de profondeur. L'étudiant est ensuite fusionné avec une politique de locomotion de base par un module de gating sensible au terrain. En simulation, E2DRL est plus efficace en échantillons que PPO. Il offre aussi un meilleur suivi de vitesse et une meilleure capacité d'évitement 3D que PPO et qu'un NMPC à DCBF par dualité. Le résumé ne fournit aucun chiffre sur ces écarts, ni sur les taux de réussite ou les temps de cycle. L'enjeu est technique mais concret. Le RL différentiable exploite les gradients du simulateur pour apprendre plus vite que le RL classique, mais il restait cantonné à la marche aveugle ou à des tâches 2D simulées. Les contraintes de collision dures et l'arrêt anticipé de l'épisode au contact corrompent les gradients de premier ordre et enferment l'optimiseur dans des minima locaux. Les auteurs contournent ce blocage avec une formulation « molle » : des pénalités de pénétration sur plusieurs points clés du corps, combinées à un façonnage par stop-gradient conditionné à la vitesse. Si ces résultats se confirment, la méthode réduit le coût d'entraînement des politiques de perception-locomotion, un poste lourd pour les intégrateurs de robots à pattes en inspection ou en logistique. Elle propose aussi une alternative apprise aux contrôleurs prédictifs, plus coûteux à calibrer. La validation se limite toutefois à un Go2, une plateforme de recherche peu chère, dans des scénarios probablement contrôlés. Rien n'indique une robustesse en environnement industriel non structuré. Ce travail prolonge deux courants. Le premier est le RL massivement parallèle avec PPO, devenu la référence pour la locomotion à pattes. Le second est l'essor des simulateurs différentiables, dont les méthodes analytiques de type SAPO sont des variantes récentes. Les approches d'évitement d'obstacles par optimisation, comme le NMPC avec barrières de contrôle (DCBF), servent ici de base de comparaison. Aucune suite commerciale n'est annoncée, car il s'agit d'un préprint non évalué par des pairs. Les prochaines étapes naturelles seraient des tests sur d'autres morphologies, des obstacles dynamiques plus rapides et des terrains plus variés. Un code ouvert permettrait aussi de vérifier les gains annoncés.

Apprentissage par renforcement sûr avec critique de sécurité à horizon glissant et boucliers d'action différentiables

Des chercheurs proposent, dans une prépublication arXiv (2610.20255), une méthode d'apprentissage par renforcement sûr pour la locomotion de robots, testée uniquement en simulation sur un quadrupède. Le point de départ est une observation simple: même si le cadre markovien suppose que l'état courant suffit à décider, les échecs de sécurité n'arrivent presque jamais d'un coup. Ils s'installent sur plusieurs pas de temps, quand la politique entre dans des états peu familiers sous l'effet de perturbations ou d'un décalage de domaine. Les auteurs entraînent donc un « critique de sécurité à horizon glissant », qui prédit si un état restera non terminal (sans chute ni échec) sur les prochains pas. Il est appris à partir d'étiquettes issues de rollouts, avec un objectif composite: classification sur l'horizon, cohérence temporelle inspirée des fonctions barrière de contrôle (CBF) et régularisation de lissage. Un ensemble de critiques est agrégé par une estimation prudente de type CVaR (Conditional Value at Risk). Sur cette base, les auteurs dérivent un filtre de sécurité de style CBF, différentiable et en forme fermée, qui modifie le moins possible l'action de la politique pour améliorer la sécurité prédite. Il est intégré à PPO avec une « perte d'anticipation » qui réduit l'écart entre la politique et le filtre pendant l'entraînement. Pour les équipes qui déploient de la locomotion apprise, la question est de savoir comment rendre robustes des politiques entraînées en simulation sans sacrifier leurs performances. Le résumé annonce de meilleurs résultats face au bruit d'action, aux poussées extérieures et aux changements de terrain, avec moins d'échecs catastrophiques et des retours « compétitifs ». Ce dernier terme reste vague, et le résumé ne donne aucun chiffre. L'intérêt pratique tient au filtre différentiable: il évite le piège classique des boucliers appliqués après coup, que la politique ne « voit » pas à l'entraînement. Ces résultats restent cependant un résultat de laboratoire. Ils ne disent rien du transfert sim-to-real, ni de la tenue sur un humanoïde, où la dimensionnalité et les contacts sont bien plus complexes. Cette approche s'inscrit dans la lignée des filtres de sécurité à base de CBF, des méthodes d'apprentissage sous contraintes et des « shields » formels, qui exigent souvent un modèle de dynamique précis ou une conception manuelle. Ici, le critique est appris des données, ce qui allège cette dépendance mais déplace le risque vers la qualité de ces données et de l'estimation d'incertitude. Les prochaines étapes naturelles sont une validation sur robot réel, des comparaisons avec d'autres méthodes de RL sûr et une extension à des plateformes plus complexes. Aucune date, aucun pilote ni aucun partenaire industriel n'est annoncé.

Retour sur la bonne voie : amélioration de la politique au déploiement par planification avec un modèle du monde

Des chercheurs proposent un cadre de supervision et d'intervention qui améliore une politique visuomotrice pendant son déploiement, sans la réentraîner ni modifier son architecture (arXiv 2610.19579). La méthode n'exige qu'un accès « boîte noire » à la politique, c'est-à-dire la possibilité de l'interroger sans toucher à ses poids. À partir d'un nombre limité de déroulés (rollouts) étiquetés de la politique nominale, l'équipe apprend une valeur de « liveness », conditionnée par la politique, qui mesure sa progression vers l'achèvement de la tâche. Elle entraîne aussi un modèle du monde latent compact, qui s'appuie sur ces mêmes déroulés et sur des données de jeu (play data). Pendant l'exécution, la valeur de liveness surveille en continu le comportement. Si elle détecte une perte de progression, un planificateur à horizon court cherche dans le modèle du monde des actions correctrices, en utilisant cette même valeur comme objectif, puis rend la main à la politique nominale. L'évaluation porte sur la suite de tâches LIBERO-Goal et sur un bras Franka Panda réel. Les politiques nominales sont le modèle vision-langage-action π0.5 et une diffusion policy. Les auteurs annoncent des gains significatifs de taux de réussite, compatibles avec un contrôle en temps réel. Le résumé ne donne aucun chiffre précis (taux avant et après, latence du planificateur, nombre de déroulés étiquetés), ce qui empêche de juger l'ampleur réelle de l'amélioration. L'enjeu est pratique. Les politiques actuelles échouent en production de façons qu'elles ne détectent pas et dont elles ne savent pas se relever. Les corriger passe aujourd'hui par davantage de données, un réentraînement ou une refonte de l'architecture, trois leviers coûteux, surtout pour un intégrateur qui utilise un modèle de fondation fourni par un tiers. Une couche externe qui détecte le blocage et propose une correction, sans accès aux poids, répond directement à cette contrainte. Elle suggère aussi que l'écart entre démonstration et fiabilité industrielle peut se réduire par de la supervision à l'exécution plutôt que par un modèle toujours plus gros. Plusieurs réserves s'imposent. Il s'agit d'un travail académique, sans déploiement client. Le banc d'essai LIBERO-Goal est de l'ordre de la simulation, et la validation réelle se limite à un seul bras. Il reste aussi à voir comment la méthode se comporte sur des tâches longues, ou lorsque le modèle du monde s'écarte de la réalité. Ce travail s'inscrit dans un courant qui cherche à fiabiliser les VLA après leur entraînement. Ce courant comprend l'apprentissage par renforcement sur robot réel, les détecteurs d'échec à l'exécution et les approches fondées sur des modèles du monde, utilisés comme simulateurs ou comme planificateurs. π0.5, de Physical Intelligence, est devenu une référence ouverte pour ces expériences, tout comme les diffusion policies pour la manipulation. Les grands acteurs de l'humanoïde, dont Figure avec Helix, Tesla avec Optimus et NVIDIA avec la famille GR00T, misent surtout sur l'échelle des données et l'entraînement. Une couche de récupération qui s'ajoute à ces politiques suivrait une logique différente. Les prochaines étapes à surveiller sont la publication de résultats chiffrés détaillés, des tests sur davantage de plateformes et de tâches de longue durée, et la mesure du coût de calcul du planificateur sur du matériel embarqué. Une vidéo et des résultats complémentaires sont annoncés sur le site du projet.

MIND : ancrage incrémental conditionné par l'instruction pour les robots

Des chercheurs proposent MIND (Maintenance via INstruction-conditioned Dependencies), un cadre logiciel destiné aux robots qui exécutent des instructions persistantes en langage naturel, du type « trouve la pièce la plus proche contenant un objet X ». Un modèle de langage compile chaque instruction en dépendances de deux types : celles de qualification sémantique (la pièce satisfait-elle le critère ?) et celles de sélection de la cible. Lorsqu'un événement survient, le contrôleur croise ces dépendances avec l'« empreinte » de l'événement, rafraîchit uniquement les jugements concernés, puis met à jour séparément l'accessibilité et la sélection. Sur 240 séquences ProcTHOR de cinq événements, avec un prédicat exact, les évaluations sémantiques moyennes passent de 30,6 à 11,2, et les 1 200 décisions post-événement restent identiques à celles d'un recalcul complet. Avec les évaluateurs figés Phi-4 et Qwen3-14B, les 1 200 décisions sont aussi préservées, sans que la précision propre de ces modèles progresse. En boucle fermée, sur 32 épisodes AI2-THOR, MIND retrouve la décision finale du recalcul complet dans chaque cas. Sur un Unitree G1, le robot réutilise ou resélectionne sa cible lors de changements de pièce sans évaluation sémantique supplémentaire. Après une barrière et le retrait d'un objet, il s'abstient avec 4 évaluations, contre 15 à 18 sans MIND. L'intérêt est d'abord économique et énergétique. Dans les architectures où un modèle de langage ou un VLM juge l'état de chaque pièce, le coût d'inférence croît avec chaque changement d'environnement. Réduire ces appels d'environ 63 % sur le benchmark, sans modifier les décisions, rend plus réaliste une exécution embarquée, avec moins de latence et de consommation. Pour les intégrateurs, cela concerne les tâches longues et persistantes, comme la surveillance, la logistique intérieure ou l'assistance, où l'environnement évolue en continu. Il faut toutefois relativiser. La garantie de préservation des décisions suppose une évaluation, une planification et une sélection déterministes, ainsi qu'une couverture conservatrice des dépendances et des empreintes. Elle ne corrige pas les erreurs de l'évaluateur, comme le montrent les tests avec Phi-4 et Qwen3-14B. Les résultats reposent aussi sur des prédicats exacts et des empreintes tirées des métadonnées du simulateur, donc plus propres que la perception réelle. Le test sur G1 reste une démonstration limitée à quelques scénarios. Ce travail s'inscrit dans la lignée des systèmes qui ancrent le langage dans des cartes sémantiques ou des graphes de scène, et des approches de planification par modèles de langage, qui recalculent le plus souvent tout après chaque observation. MIND emprunte plutôt au calcul incrémental et à la maintenance de vues en bases de données. L'article, de type préimpression arXiv (sans relecture par les pairs à ce stade), renvoie à un site de matériel complémentaire dont le nom évoque ICRA 2027. Les prochaines étapes à surveiller sont la validation avec une perception bruitée, la gestion d'évaluateurs non déterministes et le passage à des environnements plus grands et plus dynamiques que les cinq événements testés ici.

FACT : un modèle fondation multimodal force-action-trajectoire pour la dextérité du robot à partir de l'humain

FACT (Force-Action-Track), un modèle de fondation robotique décrit dans un preprint arXiv (2610.19155), vise un des angles morts de la manipulation dextre: l'absence de mesures de force dans la plupart des jeux de données de démonstrations humaines. Les auteurs introduisent EgoForce, un jeu de données tactile humain à grande échelle qui capture des gestes riches en interaction, combiné à des démonstrations robot pour le pré-entraînement. L'architecture est en cascade et repose sur deux composants entraînés conjointement. Un planificateur grossier guidé par les tracks prédit simultanément les actions, la vidéo future et des trajectoires visuelles de points (tracks). Un raffineur force-action prédit ensuite la force future et corrige l'action grossière, de sorte que force anticipée et action se façonnent mutuellement. L'évaluation porte sur dix tâches exigeant coordination fine et retour d'effort, dont l'usage d'outils, les instruments de musique et des procédures de laboratoire de précision. Avec seulement 10 trajectoires robot et 90 trajectoires humaines pour le fine-tuning, FACT dépasse les deux références testées, avec des gains de taux de réussite allant jusqu'à 60 points face à T-Rex. L'intérêt tient à la question de l'échelle. Collecter des données robot par téléopération reste coûteux et lent, alors que les démonstrations humaines sont bien moins chères, mais elles manquaient jusqu'ici de la dimension force, pourtant décisive pour visser, presser, pipeter ou jouer d'un instrument. Les ablations indiquent que la supervision de force dans les données humaines de pré-entraînement est déterminante pour la performance robot après fine-tuning, tandis que la prédiction de tracks visuels et de force future améliore l'exécution dextre. Les expériences faisant varier le ratio humain/robot suggèrent que FACT apprend des démonstrations humaines presque aussi efficacement que de démonstrations robot. Si cela se confirme, c'est un argument en faveur de pipelines où l'essentiel des données vient d'opérateurs équipés de capteurs plutôt que de flottes de robots. Les réserves sont classiques: il s'agit d'un résultat de laboratoire sur dix tâches, avec peu de détails dans le résumé sur le matériel, le nombre d'essais ou la solidité des deux références, et le chiffre de 60 points est un maximum, non une moyenne. Ce travail s'inscrit dans la course aux modèles vision-langage-action (VLA) et aux approches de co-entraînement humain-robot, où des acteurs comme Physical Intelligence (Pi-0), NVIDIA (GR00T) ou Figure (Helix) misent surtout sur la vision et la proprioception, la force restant le plus souvent absente. Le transfert entre morphologies via la vidéo future et les tracks relève d'une piste déjà explorée, que FACT complète par une couche tactile. Reste à voir si EgoForce sera publié et si les résultats se reproduiront hors du laboratoire d'origine, sur d'autres mains robotiques et en environnement industriel. Aucun déploiement ni calendrier commercial n'est annoncé: il s'agit d'une contribution de recherche.

λ₀ : passage à l'échelle des données égocentriques humaines en milieu ouvert pour la loco-manipulation des robots humanoïdes

Une équipe de chercheurs publie λ0 (lambda-zéro), un modèle fondation pour la loco-manipulation de robots humanoïdes (manipulation combinée à la locomotion, corps entier), accompagné de HumanVerse, un jeu de données de 500 heures de vidéo égocentrique. Ces vidéos, tournées en environnements ouverts, sont synchronisées avec les mouvements du corps et des mains. Le pipeline aligne les points de vue de caméra et l'apparence des bras humains sur ceux du robot. Il affine ensuite hors ligne les références de mouvement et les entrées du contrôleur, afin de réduire les erreurs de l'effecteur terminal tout en préservant la coordination du corps entier. Les auteurs l'ont validé par un transfert zero-shot sur un Unitree G1, sur des tâches de manipulation corps entier et de loco-manipulation longue portée, sans aucune démonstration robot sur la tâche cible. Pour λ0, ces données humaines alignées servent de supervision en mi-entraînement. Le modèle atteint 90,0 % de réussite sur le benchmark SIMPLE et 62,5 % sur l'ensemble des tâches réelles de loco-manipulation. Les auteurs précisent que plus on ajoute de données humaines corps entier, plus la progression sur les tâches aval s'améliore. L'intérêt tient au coût de la donnée. Les démonstrations robot par téléopération restent chères et lentes à collecter, et ce goulot limite les modèles vision-langage-action (VLA) actuels. Les corpus humains égocentriques existants omettent souvent la locomotion et la posture, donc l'essentiel de ce qui distingue un humanoïde d'un bras monté sur une base fixe. Montrer qu'une supervision humaine corps entier se transfère, et que la performance croît avec le volume, plaide pour un régime de passage à l'échelle comparable à celui du texte et de l'image. Il faut toutefois lire les chiffres avec prudence. Un taux de 62,5 % en conditions réelles reste loin d'un seuil de déploiement industriel. Le détail des tâches, le nombre d'essais et la comparaison avec des modèles de référence ne figurent pas dans le résumé. Enfin, toutes les validations semblent reposer sur un seul robot, le G1, plateforme de recherche bon marché. Ce travail s'inscrit dans une tendance déjà visible chez les grands acteurs. Les modèles comme Pi-0 de Physical Intelligence, GR00T de NVIDIA ou Helix de Figure misent sur des mélanges de données robot, de simulation et de vidéo humaine, et Tesla vise lui aussi l'apprentissage à partir de vidéos pour Optimus. La spécificité de λ0 est de coupler explicitement perception égocentrique, posture et locomotion, puis de corriger les écarts de morphologie par un traitement hors ligne. Il s'agit ici d'une publication de recherche (arXiv), sans produit ni déploiement commercial annoncé. Les prochaines étapes à surveiller sont la publication éventuelle des données et du code, la reproduction sur d'autres morphologies que le G1, et la confrontation à des tâches industrielles longues.

Élagage complémentaire des jetons futurs pour les modèles d'action du monde

Des chercheurs proposent CF-Prune, un cadre d'élagage sans réentraînement conçu pour les « world action models » (WAMs) préentraînés. Ces modèles prédisent conjointement les états visuels futurs et les actions du robot, mais le traitement de tokens denses issus des images futures alourdit fortement la latence d'inférence. CF-Prune supprime une partie de ces tokens en combinant l'attention portée à l'instruction et celle portée aux actions, afin d'identifier les tokens utiles à la tâche dès la première passe de débruitage, alors même que les représentations des images futures et des actions restent très bruitées. Un mécanisme d'identification de phases fondé sur l'entropie rétablit un calcul dense pendant les phases de précision, pour limiter la dégradation due à l'élagage. Les tests couvrent les benchmarks de simulation RoboLab et RoboCasa ainsi que des tâches de manipulation réelles. Avec 35 % de tokens élagués, l'accélération moyenne atteint 1,19 à 1,27x, avec des taux de réussite en hausse. À 50 %, elle monte à 1,29-1,33x sur les deux benchmarks simulés, avec un taux de réussite global à moins d'un point de pourcentage de la référence. L'enjeu est la latence de boucle de contrôle, un frein concret au déploiement des modèles de fondation robotiques. Les WAMs offrent une meilleure compréhension de la dynamique physique que les VLA classiques (modèles vision-langage-action), mais prédire des vidéos futures coûte cher en calcul embarqué. L'idée centrale, selon laquelle les prédictions visuelles servent l'action et n'ont pas besoin de la fidélité requise pour la synthèse vidéo, montre qu'une part importante du calcul est redondante. Pour un intégrateur ou un responsable industriel, cela signifie qu'on peut gagner en fréquence de contrôle sans réentraîner ni changer de matériel, ce qui réduit le coût d'adaptation. Les gains restent toutefois modestes : environ un tiers de temps en moins au mieux, ce qui ne change pas l'ordre de grandeur de la latence. Le résumé ne précise ni la taille des modèles testés, ni les plateformes matérielles, ni l'ampleur des essais réels. Ces chiffres sont des moyennes en simulation et ne garantissent pas la robustesse en production. Ce travail s'inscrit dans la vague de recherches sur les modèles combinant génération vidéo et politique d'action, qui cherchent à hériter des connaissances physiques des modèles vidéo préentraînés. Il prolonge aussi les méthodes d'élagage de tokens issues des transformeurs de vision et des VLA, ici adaptées à une structure où les tokens futurs et les actions sont débruités ensemble, comme dans les modèles à diffusion. Il s'agit d'une prépublication arXiv (v1), non évaluée par des pairs, sans produit commercial ni déploiement annoncé. La suite logique sera de vérifier si l'approche tient sur des WAMs plus grands, sur du calcul embarqué et sur des tâches longues, et si elle se combine avec d'autres techniques d'accélération comme la distillation ou la quantification.

FoveaVLA : des actions de fovéation remplacent la caméra de poignet dans les modèles VLA

Des chercheurs ont publié sur arXiv FoveaVLA, un modèle vision-langage-action (VLA) qui supprime la caméra poignet et la remplace par des actions de « fovéation » apprises. À chaque requête, la politique prédit, en plus du segment d'actions (action chunk), la région d'interaction à observer lors de la requête suivante. Elle reçoit ensuite des recadrages de cette zone, extraits des images en résolution d'origine, en complément des vues complètes. Le modèle est construit sur π0.5 de Physical Intelligence, en deux configurations : Single, avec une caméra stéréo externe, et Dual, avec deux. Les deux utilisent des entrées RGB et profondeur, en vue complète et fovéale. Le post-entraînement s'appuie sur DROID, avec les annotations d'interaction RoboInter. Sur quatre suites de tâches réelles, Single atteint 70,8 % de réussite avec une seule vue RGB-D externe et Dual 77,1 %, contre 52,1 % pour π0.5 équipé de sa caméra poignet. Les résultats sont équivalents sur le pick-and-place simple et meilleurs avec des objets distracteurs, la manipulation de tissu et les objets éloignés. Les caméras externes voient toute la scène, mais leurs images sont réduites avant d'entrer dans le VLA, ce qui fait perdre le détail utile à la manipulation fine. Ce travail suggère que le goulot d'étranglement vient autant du budget de résolution que de la taille du modèle. Il suggère aussi qu'un choix logiciel peut remplacer un capteur monté sur l'effecteur, avec moins de câblage, de calibration et d'occultations. Il faut toutefois lire ces chiffres avec prudence. Il s'agit d'un preprint dont le résumé ne donne ni le nombre d'essais, ni les intervalles de confiance, ni la latence ajoutée par la prédiction de régions. La comparaison porte sur un seul modèle de référence, et FoveaVLA bénéficie en plus d'une profondeur stéréo que la base de comparaison n'utilise pas forcément. Aucun déploiement industriel n'est évoqué. La caméra poignet est un standard des jeux de données et des plateformes de téléopération comme DROID, et π0.5 prolonge la lignée π0 de Physical Intelligence. Les alternatives courantes consistent à augmenter la résolution ou le nombre de tokens visuels, au prix d'un calcul plus lourd. La fovéation, inspirée de la vision humaine, déplace plutôt l'attention. Les prochaines étapes à surveiller sont la validation sur d'autres robots que ceux de DROID, sur des tâches longues et sous contraintes de temps réel, ainsi qu'une éventuelle publication du code et des poids.

AdaRSI : auto-amélioration récursive à la demande pour les agents incarnés

Des chercheurs proposent AdaRSI, un cadre d'auto-amélioration récursive (RSI) « à la demande » pour agents incarnés, décrit dans un preprint arXiv (2610.20474). Le point de départ est connu: les modèles vision-langage-action (VLA) préentraînés échouent souvent en cours de route sur des tâches longues et inédites. Un agent de codage commence par améliorer les compétences et le « harnais » (le code qui orchestre l'exécuteur). Il attribue ensuite les échecs persistants en rejouant les sous-étapes défaillantes depuis des états sauvegardés. Il n'affine alors que les sous-étapes qui restent peu fiables, avec des démonstrations qu'il collecte lui-même et l'expérience accumulée sur les tâches précédentes. Testé sur les 50 tâches cibles de RoboCasa365, avec GR00T N1.5 comme exécuteur et sans aucune démonstration humaine, AdaRSI améliore le VLA sur les trois suites. Le taux de réussite sur les tâches composites inédites passe de 4,6 % à 13,8 %. Face à un affinage systématique de toutes les sous-étapes, il obtient un succès légèrement supérieur avec 28 % du temps GPU et 22 % des démonstrations auto-collectées. L'affinage sans harnais utilise davantage de données pour un gain bien moindre. L'intérêt tient à la question posée: à quel moment un système qui s'améliore seul doit-il toucher aux poids de son exécuteur? Les méthodes existantes tranchent par principe. Soit elles ne retouchent que le harnais et ne peuvent donc pas ajouter un mouvement manquant. Soit elles entraînent sur chaque échec sans distinguer un mauvais appel d'une vraie limite de capacité. Séparer ces deux causes réduit nettement le coût d'adaptation, ce qui compte pour tout intégrateur qui devrait spécialiser un VLA sur un site sans équipe de téléopération. Il faut toutefois relativiser. 13,8 % de réussite reste très bas pour un usage industriel. Le résultat est obtenu en simulation, sur un benchmark de cuisines domestiques, et rien n'indique encore un transfert vers le monde réel. Le gain en efficacité (28 % du GPU, 22 % des données) est en revanche le résultat le plus solide, car il est mesuré face à une base de comparaison directe. Le texte ne précise pas la variance entre tâches ni le coût de l'agent de codage lui-même. Ce travail s'inscrit dans la vague de l'auto-amélioration récursive appliquée à la robotique, qui transpose aux corps physiques ce que les agents de codage font déjà pour le logiciel. Il s'appuie sur GR00T N1.5, le modèle de fondation de NVIDIA pour humanoïdes, et sur RoboCasa, benchmark de manipulation domestique en simulation. Les approches concurrentes cherchent à réduire la dépendance aux démonstrations humaines, que ce soit par données synthétiques, apprentissage par renforcement ou boucles de correction autonomes. Il s'agit d'un preprint, sans revue par les pairs, et aucun code ni déploiement physique n'est annoncé dans le résumé. La suite logique serait une validation sur robot réel et sur des exécuteurs plus récents, comme GR00T N2 ou Pi-0, pour vérifier que l'attribution des échecs tient hors simulation.

Cartographie volumétrique à résolution hiérarchisée pour la planification et la cartographie simultanées en temps réel en milieu naturel extérieur

Des chercheurs proposent une cartographie volumétrique à résolution étagée (« tiered-résolution ») pour les robots qui planifient et cartographient en temps réel, testée sur des terrains naturels extérieurs. Le système intègre les données LiDAR dans une seule structure de carte, à deux résolutions simultanées : fine dans un corridor autour de la trajectoire que le robot envisage de suivre, grossière partout ailleurs. Évalué sur deux jeux de données réels collectés en téléopération, rejoués puis notés hors ligne contre une carte de référence indépendante en pleine résolution, il produit des cartes 13 à 15 fois plus compactes qu'une carte uniformément fine, avec un temps CPU d'intégration 6 à 8 fois inférieur. Le coût par mètre des chemins générés reste proche de celui obtenu avec la carte fine, dans les deux scénarios. À l'inverse, une carte uniformément grossière offre le même gain de taille, mais le coût par mètre bondit de 210 % sur le scénario le plus difficile. L'intérêt tient à la rupture avec l'architecture classique, où le planificateur consomme la carte sans jamais lui répondre. Ici, le plan en cours indique à la cartographie où dépenser sa résolution, ce qui ferme la boucle entre perception et planification. Le constat est simple : l'essentiel du coût d'une carte volumétrique va à l'intégration et au stockage de détails fins dans des zones que le planificateur n'utilisera jamais. Pour les intégrateurs de robots mobiles tout-terrain (agriculture, forêt, inspection, défense), un gain de 6 à 8 fois en CPU peut libérer du budget de calcul embarqué ou autoriser du matériel moins coûteux et moins gourmand en énergie. Les résultats montrent aussi que la grossièreté n'est pas inoffensive : sur-discrétiser un terrain que le robot doit franchir dégrade fortement les trajectoires, d'où l'intérêt d'une résolution adaptée au plan plutôt que réduite partout. Il faut toutefois nuancer la portée. L'évaluation repose sur deux jeux de données seulement, collectés en téléopération et rejoués hors ligne : le robot ne s'est donc pas déplacé de façon autonome sur la base de ces cartes, et aucun test en boucle fermée sur plateforme réelle n'est rapporté. Le travail s'inscrit dans la lignée des cartes volumétriques hiérarchiques de type octree, comme OctoMap, et des approches multirésolution de la cartographie robotique, dont il reprend l'idée en la pilotant par la trajectoire. Les prochaines étapes logiques sont des essais en navigation autonome embarquée, avec replanification continue, et une comparaison à d'autres représentations efficaces en mémoire. Il s'agit d'un preprint arXiv (v1), non évalué par les pairs.

Contact-UAN : réseaux d'actionneurs non supervisés comme modèle du monde résiduel pour le contrôle de robots humanoïdes

Des chercheurs présentent Contact-UAN, un « modèle du monde résiduel » qui corrige les écarts de dynamique des actionneurs entre simulation et robot réel pour les humanoïdes, décrit dans un preprint arXiv (2610.18991). L'approche conserve les a priori physiques du simulateur et n'apprend que la correction de la dynamique des actionneurs, de façon non supervisée (UAN, pour Unsupervised Actuator Network). Le modèle est entraîné sur seulement 6,5 minutes de marche enregistrée sur matériel réel, à partir de la seule proprioception embarquée. Selon les auteurs, les politiques entraînées ensuite en simulation avec ce modèle se transfèrent au robot avec 20 % de couple en moins à la course et 43 % d'erreur de suivi de force en moins. Ils annoncent aussi une compliance extrême, un contrôle d'impédance précis et des sauts dynamiques et robustes. Le preprint ne précise pas, dans son résumé, la plateforme humanoïde utilisée ni la taille des échantillons d'essais. Il s'agit de résultats de laboratoire, pas d'un produit ni d'un déploiement. Le problème visé est connu des équipes qui entraînent des politiques de locomotion par apprentissage par renforcement. Une politique apprise en simulation peut reproduire qualitativement le bon mouvement sur le robot tout en échouant sur les interactions de force : couple gaspillé, mauvaise régulation de la charge, faible robustesse aux impacts. Or les forces de contact dépendent directement des couples des actionneurs, donc des écarts de modélisation des moteurs, réducteurs et frottements. Cela compte pour les intégrateurs et les décideurs industriels, car les tâches utiles en usine ou en logistique (porter, pousser, interagir avec un environnement) exigent un contrôle des forces, pas seulement de la posture. Le fait que 6,5 minutes de données suffisent à généraliser à des tâches très différentes de la marche (sauts, impédance) suggère un coût d'adaptation faible. Ce résultat reste à confirmer sur d'autres robots, d'autres actionneurs et en dehors du banc d'essai des auteurs. Le contexte est celui d'un champ où les « actuator nets », réseaux appris pour modéliser les moteurs, sont apparus avec la locomotion quadrupède, avant d'être étendus à l'humanoïde. La randomisation de domaine, l'identification de système et les modèles résiduels concurrents répondent au même défaut, mais ne garantissent pas la cohérence des forces de contact. La contribution propre de Contact-UAN est le rejeu cohérent en contact. Si la lecture des données réelles dans le simulateur démarre avec des torseurs de contact mal alignés, le modèle apprend à corriger des artefacts de réinitialisation plutôt que les vrais écarts d'actionneurs. Pour l'éviter, il estime, à partir de la proprioception seule, la pose du pied d'appui côté simulateur. La suite logique passe par la validation sur d'autres humanoïdes, des tâches de manipulation et un code ou des données publiés. Les résultats actuels reposent sur le seul résumé du preprint, sans relecture par les pairs.

All-St3R SLAM : SLAM RGB dynamique en temps réel avec masquage du mouvement au niveau du pixel

Des chercheurs proposent All-St3R SLAM, un cadre de SLAM (localisation et cartographie simultanées) dynamique qui n'utilise que des images RGB et fonctionne en temps réel, publié sur arXiv (2610.16143). Le système compare deux estimations du mouvement de chaque pixel. La première est le mouvement attendu si seule la caméra bougeait, calculé à partir de la géométrie prédite par DUSt3R. La seconde est un suivi de points réalisé par All-Tracker. Là où les deux divergent, le pixel est considéré comme réellement mobile et il est retiré du calcul de pose et de la carte. Le procédé n'utilise ni étiquettes prédéfinies ni modèle de segmentation. Il tourne à environ 10 images par seconde. Il suit des flux vidéo standards de 30 FPS en sous-échantillonnant une image sur trois. Les approches denses de SLAM dynamique de l'état de l'art atteignent seulement 0,5 à 3 FPS. Pour les intégrateurs et les équipes qui déploient des robots mobiles, des AMR ou des humanoïdes dans des environnements partagés avec des humains, des chariots et des palettes, le SLAM en milieu dynamique reste un point de fragilité. Les méthodes actuelles posent deux problèmes. Elles retirent souvent des objets entiers, même quand ils sont temporairement immobiles, ce qui prive le suivi de repères utiles. Elles sont aussi trop coûteuses en calcul pour des plateformes embarquées. Le masquage au niveau du pixel traite le premier problème, et un gain de vitesse d'un facteur 3 à 20 traite le second. L'exigence d'une seule caméra RGB, sans capteur de profondeur ni lidar, abaisse le coût matériel. Il faut toutefois rester prudent. Les résultats sont annoncés dans le résumé de l'article, sans détail sur le matériel utilisé, sur les jeux de données ni sur la précision de trajectoire. Les 10 FPS dépendent du sous-échantillonnage, qui peut limiter la robustesse lors de mouvements rapides. Aucune validation sur robot réel n'est mentionnée. Ce travail s'inscrit dans la vague de méthodes qui utilisent des modèles de fondation de reconstruction 3D, dont DUSt3R est le représentant le plus connu, pour remplacer les pipelines géométriques classiques. Il s'oppose aux SLAM dynamiques qui reposent sur la segmentation sémantique, de type YOLO ou Mask R-CNN, rapides mais limités aux classes apprises. Il s'oppose aussi aux variantes denses basées sur des réseaux de neurones, plus précises mais lentes. Le nom du système suggère une filiation avec la famille des modèles « 3R » (DUSt3R, MASt3R). L'étape suivante probable est une évaluation sur des benchmarks standards de scènes dynamiques, puis une intégration sur plateforme embarquée. Aucun partenaire industriel ni calendrier de déploiement n'est annoncé, et aucun acteur français ou européen n'est cité.

ACRO : orchestration des déploiements d'acteur-critique

Des chercheurs proposent ACRO (Actor-Critic Rollout Orchestration), une couche d'orchestration qui décide, pour une politique VLA (vision-language-action) figée, quand poursuivre une tentative et quand intervenir. Un Critic, appris à partir de rollouts de la politique, estime les chances de succès. Il détermine le moment de l'intervention et choisit un point de reprise le long de la trajectoire déjà exécutée. Un mécanisme de « Trajectory Retraction » raccourcit le chemin parcouru pour ramener le robot à ce point, où le même VLA repart d'une observation fraîche. ACRO privilégie les reprises prometteuses, physiquement faisables et laissant assez de temps pour finir la tâche. L'évaluation porte sur GR00T N1.7 et π0.5, dans SimplerEnv, RoboCasa et en manipulation sur robot réel. À budget d'exécution physique identique, mouvements de retour compris, le taux de succès gagne 10,4, 7,3 et 21,7 points de pourcentage, respectivement. Le système réussit aussi davantage de tâches quand le budget augmente. Il s'agit d'un travail de recherche publié sur arXiv (2610.19677), sans produit ni déploiement industriel. L'intérêt tient à la méthode. L'amélioration ne vient ni d'un réentraînement ni d'un modèle plus grand, mais d'un contrôle de l'exécution autour d'une politique inchangée. Cela suggère qu'une part des échecs des VLA vient de trajectoires qui dérivent, pas d'un manque de compétence. Pour un intégrateur, cela ouvre une voie de fiabilisation compatible avec des modèles tiers. Le budget compte retours inclus, ce qui répond à une critique fréquente : ne pas masquer le coût réel des reprises en temps et en mouvement. Le gain le plus net, 21,7 points, vient du robot réel, mais le résumé ne donne ni le nombre de tâches ni le nombre d'essais, ni les taux de base. Sa robustesse statistique reste donc à vérifier. Les gains plus modestes en simulation rappellent aussi que l'écart entre benchmark et atelier n'est pas résolu. Le contexte est celui d'un secteur où les VLA généralistes, comme la famille GR00T de NVIDIA et la série π de Physical Intelligence, progressent surtout par des modèles et des données plus grands. En parallèle, une littérature sur le « test-time compute » et la récupération d'erreurs cherche à tirer plus de performance de politiques existantes. ACRO s'y inscrit en traitant la décision de reprise comme un problème de contrôle appris. Le Critic dépend toutefois de rollouts de la politique ciblée, et sa généralisation à d'autres tâches ou d'autres robots n'est pas démontrée. La page du projet est publiée. Les prochaines étapes à surveiller sont des tests sur des tâches longues et des manipulations moins réversibles, où revenir en arrière est plus coûteux ou impossible.

Robot-WATCHDOG : détection des défaillances par une représentation en graphe centrée sur les objets

Robot-WATCHDOG, un cadre d'apprentissage auto-supervisé publié sur arXiv par une équipe liée au CEA-List, s'attaque à la détection d'échecs en temps réel pour les politiques robotiques apprises. Le système représente chaque scène de manipulation sous forme de graphe spatio-temporel centré sur les objets, puis propose deux scores de défaillance complémentaires. Le premier, TPC (Trajectory Projection and Correlation), est une mesure non paramétrique qui évalue l'écart géométrique par rapport aux trajectoires nominales ainsi que la cohérence relationnelle entre objets. Le second, GnnT, combine un réseau d'attention sur graphes (Graph Attention Network) et un Transformer pour prédire les états futurs des objets, l'écart entre prédiction et observation signalant l'anomalie. L'évaluation porte sur un benchmark public et sur un nouveau jeu de données de tâches sémantiquement complexes, avec six tâches et dix graines aléatoires. Les deux scores dépassent les détecteurs fondés sur l'image, surtout sur les erreurs sémantiques et d'interaction. TPC obtient les meilleurs résultats en AUPR et en coefficient de Matthews (MCC) sur les moyennes des deux jeux de données, avec une faible variance d'une graine à l'autre. Aucune valeur chiffrée n'est détaillée dans le résumé, et les résultats qualitatifs sont publiés sur une page dédiée. L'enjeu est très concret pour quiconque envisage de déployer des politiques de type VLA ou de l'apprentissage par imitation hors du laboratoire : on ne peut pas énumérer à l'avance tous les modes de défaillance d'un environnement ouvert, donc le détecteur doit être entraîné uniquement sur des démonstrations réussies. Le difficile compromis est de rester insensible aux variations bénignes (éclairage, position légèrement décalée, fond différent) tout en repérant les fautes qui comptent, comme un objet mal placé ou une interaction incorrecte. Les détecteurs fondés sur les pixels confondent souvent ces deux situations. En abstrayant la scène en objets et en relations, l'approche déplace le problème vers un espace plus robuste et plus interprétable. Le fait que le score non paramétrique TPC batte, en moyenne, le modèle appris GnnT est aussi un signal : un moniteur simple, stable et peu coûteux peut suffire, ce qui compte pour la certification et la supervision en production. Réserve toutefois : il s'agit de six tâches de manipulation en benchmark, sans validation annoncée sur des flottes industrielles, et la méthode suppose une perception fiable des objets en amont. Ce travail s'inscrit dans la montée en puissance des politiques généralistes (Pi-0, GR00T, Helix et consorts), dont les taux de réussite restent insuffisants pour des cadences industrielles sans surveillance. La détection d'échecs sans exemples d'échec, déjà explorée par des méthodes visuelles ou par des modèles de fondation utilisés comme juges, constitue donc une brique de sûreté de plus en plus demandée. La présence du CEA-List, laboratoire français d'ingénierie logicielle et de systèmes intelligents, donne à cette contribution une visibilité européenne notable, dans un secteur où la fiabilité est souvent un argument face aux acteurs américains et chinois. Les prochaines étapes naturelles seraient un test sur robot réel en ligne, l'intégration à une boucle de reprise ou de demande d'aide humaine, et une comparaison sur des benchmarks partagés avec les moniteurs adossés aux VLA.

RoboAug : d'une seule annotation à des centaines de scènes grâce à l'augmentation de données par contraste de régions pour la manipulation robotique

RoboAug est un cadre d'augmentation de données génératif pour l'apprentissage robotique, décrit dans un article arXiv (2602.14032, version 2). Son principe tient en une contrainte minimale : une seule image annotée de bounding boxes suffit pour construire le jeu de données. À partir de cette supervision réduite, le système s'appuie sur des modèles génératifs préentraînés pour produire des variations sémantiques précises de la scène. Il y ajoute une perte contrastive par région (région-contrastive loss), utilisable en plug-and-play, qui oriente l'attention de la politique vers les zones utiles à la tâche. Les auteurs ont testé la méthode sur trois plateformes physiques : le bras UR-5e d'Universal Robots, une plateforme AgileX et le robot humanoïde Tian Gong 2.0. Selon eux, RoboAug dépasse systématiquement les méthodes d'augmentation de l'état de l'art face à trois types de décalages : l'arrière-plan, les objets distracteurs et l'éclairage. Le résumé ne donne ni taux de réussite, ni nombre de tâches, ni nombre de démonstrations. Le titre évoque « des centaines de scènes » générées depuis une annotation, sans plus de détail dans le texte disponible. L'enjeu est la généralisation d'une politique d'imitation ou d'une politique vision-langage-action (VLA) à des environnements jamais vus, l'un des principaux freins au passage de la démonstration au déploiement. Deux voies dominent aujourd'hui. La première est le préentraînement à grande échelle, coûteux en collecte de données et en temps. La seconde est l'augmentation sémantique, qui suppose une détection d'objets sans faille en amont, hypothèse fragile en conditions réelles. RoboAug cherche à contourner ces deux obstacles, ce qui, si les résultats tiennent, ferait baisser le coût de préparation d'un nouveau site pour un intégrateur : une image annotée plutôt qu'une campagne de captures. Les validations sur trois robots de natures différentes, dont un humanoïde, sont un point positif. Quelques réserves s'imposent toutefois. Le résumé ne précise ni les tâches, ni la taille des échantillons d'essais, ni les baselines comparées. Les gains ne sont pas chiffrés, et la robustesse face à des changements de géométrie ou de pose des objets n'est pas évoquée. Il s'agit d'un résultat de laboratoire, non d'un déploiement industriel. Ce travail s'inscrit dans une lignée de méthodes qui utilisent des modèles de diffusion ou d'édition d'images pour multiplier les observations d'entraînement : ROSIE, GenAug ou, plus récemment, des pipelines qui s'appuient sur la segmentation pour isoler l'objet manipulé. Leur point faible commun est la dépendance à un détecteur fiable, que RoboAug dit relâcher. La concurrence passe aussi par les gros modèles fondation (Pi-0, GR00T, Helix), qui misent sur l'échelle des données plutôt que sur l'augmentation ciblée. L'usage de Tian Gong 2.0, plateforme humanoïde chinoise, confirme l'activité des laboratoires asiatiques sur ce sujet. La publication d'une page de projet (x-roboaug.github.io) devrait permettre d'examiner vidéos et protocoles. Les prochaines étapes à surveiller sont la publication de chiffres détaillés, le code ouvert et des tests sur des tâches plus longues ou plus dextres.

Les politiques robotiques compactes exigent des représentations visuelles fines

Des chercheurs proposent CoRP (Compressed Representation Policy), une politique de manipulation multi-tâches volontairement compacte: 48,9 millions de paramètres, sans modèle vision-langage ni prior génératif vidéo. Elle sépare un extracteur de représentation d'un générateur d'actions par flow matching. Elle atteint 97,0 % de réussite sur LIBERO et 75,78 % (Clean) et 73,36 % (Randomized) sur RoboTwin 2.0, soit des scores comparables à ceux de systèmes 40,9 à 163,6 fois plus gros. Il s'agit de résultats de benchmarks en simulation, publiés sous forme de préprint arXiv, sans déploiement réel annoncé. Les auteurs fixent ensuite le générateur d'actions et font varier une seule propriété de l'extracteur à la fois. Un ViT-S/14 initialisé aléatoirement tombe à 78,1 % sur LIBERO, un ResNet-34 pré-entraîné sur ImageNet à 74,5 %, et geler l'encodeur coûte 19,8 points. Rééchantillonner chaque vue à 48 tokens bat le passage de tous les tokens de patchs (97,0 % contre 83,2 %). Le résultat remet en cause une lecture courante du secteur: les gains des VLA (vision-language-action) viendraient surtout de l'échelle ou des priors génératifs. Faute de comparaisons contrôlées, les publications mélangent architecture, taille et pré-entraînement, et ne permettent pas d'isoler ce qui compte. Ici, la représentation visuelle serait le facteur dominant: pré-entraînée, adaptée à la tâche et compressée. Pour un intégrateur ou un décideur, la portée est pratique: une politique de moins de 50 M de paramètres peut tourner sur du matériel embarqué modeste, avec une latence et un coût d'inférence bien plus faibles que des modèles de plusieurs milliards de paramètres. Deux résultats nuancent toutefois cette idée. Un goulot d'information variationnel est pire qu'un budget dur de tokens: il fait chuter LIBERO-Goal de 95,8 % à 33,0 %, car il supprime la sélection de tokens dépendante de l'instruction. Le langage n'aide que si l'observation laisse le but ambigu (LIBERO-Goal passe de 9,2 % à 95,8 %), alors que sur RoboTwin 2.0 sa suppression améliore légèrement le succès. Ce travail s'inscrit dans la course aux grands VLA (Pi-0, GR00T, Helix, entre autres), qui misent sur des backbones vision-langage massifs ou des priors vidéo. CoRP défend la voie inverse, celle de la politique frugale, et ajoute un argument d'ablation à un débat encore ouvert. Les limites sont claires: LIBERO est déjà proche de la saturation, RoboTwin 2.0 reste simulé, et rien ne dit que ces conclusions tiennent sur des tâches longues, du matériel varié ou des environnements industriels non structurés. La suite logique est une validation sur robots réels et la comparaison avec des modèles de grande taille dans les mêmes conditions. Une page projet est disponible à l'adresse corp-policy.github.io.

Humanoid Everyday : un jeu de données robotique complet pour la manipulation humanoïde en monde ouvert

Une équipe de recherche a publié sur arXiv (identifiant 2510.08807v2) Humanoid Everyday, un jeu de données massif dédié à l'apprentissage de la manipulation par les robots humanoïdes en conditions ouvertes. Le dataset compile 10 300 trajectoires et plus de 3 millions de frames couvrant 260 tâches réparties en 7 catégories larges : manipulation dextère d'objets, interaction humain-humanoïde, actions intégrant de la locomotion bipède, et d'autres scénarios du quotidien. Les données sont multimodales, RGB, profondeur, LiDAR, retour tactile, accompagnées d'annotations en langage naturel. La collecte repose sur un pipeline de télé-opération supervisée par des humains, optimisé pour maximiser le débit tout en maintenant la qualité des démonstrations. Les auteurs publient simultanément une plateforme d'évaluation cloud permettant à des équipes extérieures de déployer leurs propres politiques de contrôle et d'obtenir des métriques comparables dans un environnement standardisé. Ce dataset comble un vide structurel dans la recherche robotique : la quasi-totalité des benchmarks existants (Open X-Embodiment, DROID, BridgeData V2) ciblent des bras fixes, et les rares datasets humanoïdes disponibles se limitent à des environnements contrôlés, un faible nombre de tâches, et excluent généralement la locomotion et l'interaction avec des personnes. Pour un intégrateur ou un décideur industriel, la portée pratique est double : des données hétérogènes permettent d'entraîner des politiques plus généralisables, notamment des architectures VLA (vision-language-action) ; la plateforme d'évaluation cloud offre pour la première fois un cadre reproductible pour comparer des méthodes d'apprentissage par imitation ou par renforcement sur des tâches humanoïdes réalistes. L'article analyse aussi les performances de plusieurs politiques de référence, en identifiant leurs forces et limites par catégorie. La publication intervient dans un contexte de forte concurrence autour des données d'entraînement pour humanoïdes. Physical Intelligence (Pi-0, π0.5), NVIDIA (GR00T N2), Unitree et Figure AI misent chacun sur des datasets propriétaires pour différencier leurs politiques de contrôle. Côté recherche ouverte, AgiBot World et RH20T ont posé des jalons, mais restent limités dans leur couverture humanoïde. Humanoid Everyday est rendu entièrement public, dataset, code de collecte et plateforme d'évaluation inclus, ce qui en fait une ressource directement exploitable par des laboratoires et startups sans accès à des infrastructures de collecte massives. Les auteurs présentent cette release comme un socle pour de futurs agents incarnés généralistes, sans préciser d'échéancier pour des suites expérimentales.

💬 Le vrai sujet ici, c'est pas juste le volume (10 300 trajectoires, bon), c'est que les benchmarks humanoïdes existants ignoraient presque tous la locomotion et l'interaction avec des humains réels depuis le début. Des acteurs comme Pi-0 ou GR00T N2 misaient sur leurs données propriétaires comme avantage concurrentiel, et une release open-source de cette ampleur vient rogner ce levier directement. Reste à voir si ça tient face à des politiques entraînées en conditions réelles, mais pour des labos sans infrastructure de collecte massive, ça change le rapport de force.

SoK : Sécurité et vie privée des robots à base de modèles fondation

Une équipe de chercheurs a publié sur arXiv (référence 2606.16788) un article de type "Systematization of Knowledge" (SoK) qui dresse un panorama structuré des risques de sécurité et de confidentialité introduits par les modèles de fondation dans les systèmes robotiques. Le travail systématise 96 études antérieures et propose un cadre d'analyse à quatre couches baptisé F-E-S-G : la couche Modèle de fondation (F), la couche Système incarné (Embodied system, E), la couche Écosystème de support (S), et la couche Impact de gouvernance (G). À chaque couche correspond une taxonomie fine qui encode, pour chaque étude analysée, la cible visée, le stade du cycle de vie, le mécanisme d'attaque ou de défense, le niveau d'accès système requis, et les effets observés. L'intérêt de ce travail réside moins dans les vulnérabilités individuelles qu'il recense que dans les "defense mismatches" qu'il met en évidence : les mécanismes de robustesse conçus pour les modèles de langage ou de vision en contexte purement numérique ne s'appliquent pas directement à des pipelines d'exécution incarnés. Quand un robot piloté par un modèle VLA (Vision-Language-Action) interprète une instruction en langage naturel pour saisir un objet, une attaque adversariale ou une injection de prompt ne produit plus une réponse textuelle erronée mais un mouvement physique potentiellement dangereux. Pour un intégrateur industriel ou un COO déployant des flottes humanoïdes, cette propagation du risque à travers les quatre couches constitue un angle mort opérationnel que les grilles d'évaluation actuelles ne capturent pas. Le genre "SoK" est une convention bien établie dans la communauté sécurité, notamment via la conférence IEEE S&P, et signale une tentative de structurer un champ de recherche fragmenté. Cette publication arrive à un moment de transition dans la robotique commerciale : après des années de démos contrôlées, plusieurs acteurs (Figure, Apptronik, Unitree côté américain, Wandercraft et Enchanted Tools côté européen) engagent des déploiements en environnement réel avec des VLAs comme Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). L'absence de cadre normatif unifié, que ni l'EU AI Act ni les standards ISO robotiques actuels ne couvrent explicitement, donne à cette méta-analyse une pertinence directe pour les équipes réglementaires et les organismes de certification appelés à évaluer ces systèmes hybrides IA-robotique.

BadRobot : contourner les garde-fous des agents LLM incarnés dans le monde physique

Des chercheurs ont publié BadRobot (arXiv:2407.20242, juillet 2024, v5), un cadre d'attaque ciblant les agents IA incarnés (embodied AI) : des robots et systèmes physiques dont la planification de tâches est pilotée par un grand modèle de langage. L'attaque exploite trois vecteurs distincts : la manipulation du LLM embarqué via des interactions vocales standard, le désalignement structurel entre les sorties linguistiques du modèle et les actions physiques réellement exécutées, et les comportements dangereux involontaires causés par des lacunes dans les connaissances du monde encodées dans le modèle. Pour évaluer la menace, les auteurs ont constitué un benchmark de requêtes d'actions physiques malveillantes, testé contre trois frameworks embodied AI de référence : VoxPoser, Code as Policies et ProgPrompt. Les expériences montrent que ces trois systèmes peuvent être amenés à exécuter des comportements nuisibles dans le monde physique, sans nécessiter de modification matérielle ni d'accès privilégié au système. Ce travail pointe un angle mort structurel : les techniques de jailbreaking, jusqu'à présent évaluées sur des sorties textuelles, produisent des conséquences physiques irréversibles lorsque le LLM pilote un effecteur. Le désalignement documenté est systémique, car les guardrails de sécurité sont appliqués à la couche linguistique sans validation cohérente lors de la planification motrice ou de l'exécution de tâches. Pour un intégrateur industriel déployant un robot manipulateur ou un AMR guidé par LLM, cela signifie que les mécanismes de conformité conçus pour les chatbots sont insuffisants en contexte physique. La démonstration sur trois frameworks activement utilisés en recherche et en prototypage industriel renforce la portée opérationnelle de l'alerte. VoxPoser (2023) et Code as Policies (Google, 2022) ont popularisé l'utilisation des LLM comme planificateurs de tâches haut niveau en robotique, tandis que ProgPrompt (2022) ciblait les robots de service autonomes. BadRobot paraît alors que des systèmes commerciaux comme Figure 02, l'Optimus de Tesla ou les robots Agility déployés chez Amazon commencent à intégrer des pipelines LLM en production réelle, rendant la surface d'attaque concrète. Aucun acteur français ou européen n'est directement mentionné dans l'étude, mais des entreprises comme Enchanted Tools (Mirokaï) ou Pollen Robotics (Reachy), qui explorent l'intégration de LLM dans leurs plateformes, sont exposées aux mêmes vecteurs. Les auteurs ont mis leur code en accès libre sur GitHub, ouvrant la voie à des reproductions indépendantes et au développement de contre-mesures architecturales spécifiques à l'embodied AI.

Prise de contrôle adversariale en temps réel des politiques de diffusion robotique

Une équipe de chercheurs a publié le 10 juin 2026 sur arXiv (réf. 2606.10371) une attaque baptisée TAKO (Test-time Adversarial Takeover), qui permet de prendre le contrôle en temps réel d'un robot opérant sous une politique de diffusion visuomotrice, sans modifier le modèle cible. La méthode repose sur un vocabulaire restreint de patches adversariaux universels et réutilisables, appris hors ligne via inférence de diffusion différentiable. À l'exécution, un opérateur humain injecte ces patches dans le flux caméra du robot et les commute dynamiquement pour composer des trajectoires de son choix. Sur quatre tâches évaluées (manipulation 2D, livraison aérienne simulée, navigation sol simulée et navigation sol en environnement physique réel), deux encodeurs visuels (ResNet-18 et EfficientNet-B0 + Transformer) et trois familles d'inférence générative (DDPM, DDIM et flow matching), les opérateurs attaquants ont atteint 100 % de succès de détournement dans l'ensemble des scénarios testés. Ce résultat interpelle directement les intégrateurs robotiques et les équipes de sécurité industrielle qui déploient des systèmes pilotés par des politiques de diffusion ou des VLA (Vision-Language-Action models). Jusqu'ici, la quasi-totalité des attaques adversariales sur robots visaient la dégradation des performances, induire un échec de tâche ou un comportement erratique. TAKO introduit une menace qualitativement différente : le robot ne s'arrête pas, il obéit à un attaquant distant. La perturbation agit sur le chemin de conditionnement visuel de la politique, et le biais introduit se propage à travers le processus de génération itératif propre aux modèles de diffusion, ce qui le rend difficile à détecter par supervision classique. Les auteurs démontrent aussi que la baseline naturelle "target-policy matching" échoue, car la politique victime ne peut pas se superviser fiablement sur des shifts hors distribution, invalidant une hypothèse de défense couramment avancée. Les politiques de diffusion pour la robotique se sont imposées comme paradigme dominant depuis 2023, portées par Diffusion Policy (Chi et al.) et intégrées dans des systèmes tels que pi0 de Physical Intelligence, les pipelines de Figure AI ou les robots de 1X Technologies. Ces architectures conditionnent l'action sur une observation visuelle, ce qui les rend structurellement vulnérables aux perturbations du flux caméra. Les pistes de défense habituelles, détection d'anomalies ou purification adversariale, restent largement expérimentales à cette échelle. L'évaluation demeure dans un cadre académique contrôlé, sans partenaire industriel ni calendrier de déploiement annoncé. Pour les équipes préparant des déploiements en logistique, livraison autonome ou manipulation industrielle, TAKO pose une question de sécurité concrète à laquelle le secteur n'a pas encore de réponse standardisée.

Exploration des robots à base de modèles fondation dans les soins aux patients et aux personnes âgées

Une équipe de chercheurs a publié en juin 2026 sur arXiv (référence 2606.10208) une analyse de synthèse portant sur l'intégration des modèles de fondation dans les robots de soin aux personnes âgées et aux patients. L'article, classé comme Perspective, passe en revue l'état de l'art sur trois axes : les caractéristiques de conception, l'expérience utilisateur mesurée, et les preuves d'impact sur les soins. Le constat central est que les architectures dominantes utilisent les modèles de fondation comme couche de conversation et de raisonnement au sein d'incarnations socioassistives centrées sur la voix, des agents qui parlent et écoutent mais dont l'autonomie physique et la compréhension multimodale restent fortement limitées. Les évaluations empiriques rapportent des bénéfices positifs en termes d'utilisabilité et d'engagement, mais des défaillances de fiabilité persistent : hallucinations, ruptures conversationnelles et pannes dans le pipeline d'interaction. L'enjeu pour les intégrateurs et décideurs du secteur santé est précisément là : les métriques actuellement rapportées portent sur des résultats proximaux comme l'engagement cognitif ou la participation, et non sur des indicateurs cliniques validés. Les robots sociaux conversationnels améliorent peut-être le ressenti ou l'interaction, mais aucun système décrit dans la littérature ne démontre d'impact mesurable sur des outcomes de santé standardisés. Cette lacune est critique pour tout déploiement en EHPAD ou à l'hôpital, où la responsabilité médicale exige traçabilité et supervision humaine explicite. Les auteurs soulignent que les benchmarks génériques importés du NLP ou de la robotique généraliste ne sont pas adaptés aux contraintes des environnements de soin. Le contexte est celui d'une accélération massive des modèles de fondation en robotique, de PaLM-E à Pi-0 de Physical Intelligence en passant par GR00T N2 de NVIDIA, qui creuse un écart croissant entre capacités techniques et readiness clinique. Du côté des plateformes établies, Pepper (SoftBank) et PARO (AIST, Japon) restent les références les plus documentées en milieu de soin. Des acteurs européens comme Enchanted Tools avec Mirokaï, ou des projets portés par l'Inria, s'inscrivent dans cette dynamique. Les auteurs appellent à une transition vers des standards d'évaluation spécifiques aux soins, une autonomie avec supervision humaine intégrée dès la conception, et une intégration réelle dans les flux de travail cliniques, trois conditions encore largement non remplies par les systèmes actuels.

Évaluation des modèles vision-langage-action (VLA) sur SO-101 : analyse des échecs et de la récupération

Une équipe de chercheurs a publié le 10 juin 2026 (arXiv:2606.08881) un benchmark standardisé pour évaluer des modèles Vision-Language-Action (VLA) sur le robot SO-101, une plateforme manipulatrice à faible coût issue de la communauté open-source. Quatre politiques ont été comparées sur quatre tâches de manipulation représentatives avec des protocoles d'évaluation unifiés : Pi-0.5 (Physical Intelligence), SmolVLA (HuggingFace), Wall-X et ACT (Action Chunking with Transformers, référence en imitation learning). Toutes ont été fine-tunées directement sur le matériel physique à partir de démonstrations télé-opérées en conditions réelles, sans passer par la simulation. Au-delà du simple taux de succès binaire, l'étude introduit une taxonomie structurée des échecs, une décomposition sémantique et d'exécution, ainsi que des métriques de récupération (recovery-aware metrics) pour qualifier la robustesse de chaque architecture. Les résultats confirment que les VLA pré-entraînés sur de larges corpus surpassent globalement la baseline en imitation learning pure, mais cette supériorité reste fortement dépendante de la tâche. Ce point est crucial pour les intégrateurs : l'instabilité d'exécution, et non les erreurs de compréhension sémantique, constitue la source d'échec dominante. La capacité de récupération varie significativement selon les architectures, ce qui suggère que les benchmarks centrés uniquement sur le taux de succès final masquent des différences opérationnelles importantes. Pour un COO industriel, cela signifie que le choix d'un modèle VLA ne peut pas se faire sur des métriques agrégées sans analyser le comportement en cas d'échec partiel. Le SO-101 s'est imposé comme plateforme de référence communautaire grâce à son coût accessible, là où la plupart des évaluations VLA existantes reposent sur des robots industriels onéreux (Franka, UR, Boston Dynamics Spot) ou restent cantonnées à la simulation. Ce travail s'inscrit dans un effort plus large de démocratisation des benchmarks robotiques, face à des acteurs comme Figure AI, Agility Robotics ou 1X Technologies qui évaluent leurs systèmes en environnements propriétaires non reproductibles. Les auteurs positionnent explicitement le SO-101 comme socle pratique pour l'évaluation de l'IA incarnée dans des conditions de déploiement réalistes à faible coût. La prochaine étape naturelle serait d'étendre ce protocole à des scénarios de manipulation plus complexes et à davantage d'architectures VLA émergentes, notamment celles intégrant des retours haptiques.

La diversité est-elle tout ce qu'il faut pour la manipulation robotique à grande échelle ?

Une équipe de chercheurs publie sur arXiv (référence 2507.06219) une étude systématique sur le rôle de la diversité des données dans l'apprentissage de la manipulation robotique, remettant en cause l'intuition du "plus c'est divers, mieux c'est". Trois dimensions sont examinées indépendamment. La diversité des tâches s'avère plus critique que le volume de démonstrations par tâche pour le transfert vers de nouveaux scénarios. L'entraînement multi-robots (multi-embodiment) n'est pas nécessaire au transfert inter-plateformes : un modèle entraîné sur un seul type de robot avec des données de haute qualité transfère aussi efficacement, avec de meilleures propriétés de scaling au fine-tuning. Enfin, la diversité des experts humains peut nuire à l'apprentissage via la multimodalité des vitesses d'exécution, chaque opérateur ayant ses propres rythmes et préférences gestuelles. Pour corriger ce biais, les auteurs introduisent une méthode de distribution debiasing appliquée à leur modèle GO-1-Pro, qui gagne 15% de performance, l'équivalent de multiplier par 2,5 le volume de pré-entraînement. Ces résultats ont des implications directes pour les équipes qui conçoivent des pipelines de collecte de données. La conclusion sur le multi-embodiment est particulièrement contre-intuitive : constituer un corpus mono-robot de haute qualité avant de fine-tuner est plus efficace qu'accumuler des datasets disparates multi-robots. Pour un intégrateur ou un décideur industriel, cela redéfinit les priorités de curation : couvrir un maximum de tâches prime sur l'accumulation brute de démonstrations, et standardiser les démonstrations expert devient un levier de performance mesurable. La multimodalité des vitesses est désormais un biais identifiable et corrigeable en amont du pipeline, pas une fatalité inhérente à la collecte humaine. Ce travail s'inscrit dans la dynamique portée par Google DeepMind (RT-2), Physical Intelligence (Pi-0) et les équipes de Berkeley (OpenVLA, Octo), qui cherchent à construire des fondations généralistes pour la manipulation depuis 2023. Contrairement au texte ou aux images, les données de démonstration robotique restent coûteuses à produire, ce qui rend les choix de stratégie de scaling particulièrement stratégiques. Les conclusions orientent directement les acteurs comme Figure AI (Figure 03), Agility Robotics ou, en France, Enchanted Tools (Mirokaï), qui investissent dans de larges datasets de manipulation. Ce travail est purement académique : aucun déploiement ni partenariat commercial n'est annoncé.

Ce que mesurent réellement les benchmarks en manipulation robotique

Un article de recherche déposé sur arXiv le 4 juin 2026 (arXiv:2606.04233) remet en cause la fiabilité de cinq benchmarks standards en manipulation robotique : LIBERO, CALVIN, SimplerEnv, RoboCasa et RoboTwin 2.0. Les auteurs identifient quatre modes de défaillance structurelle qui invalident leur usage comme proxy de la capacité de manipulation générale : résolution par raccourci (shortcut solvability), absence de significativité statistique, surapprentissage rampant (creeping overfitting) et dépendance à la source de données. Sur LIBERO, une sonde de 90 millions de paramètres, sans encodeur de langage, atteint des scores au niveau ou proches de l'état de l'art rapporté dans la littérature récente, ce qui suggère que les modèles exploitent des artefacts du benchmark plutôt que des compétences réelles. Sur CALVIN, la simple randomisation des positions des blocs dans la plage d'entraînement fait chuter les performances de toutes les politiques testées, révélant une généralisation quasi nulle même dans des conditions marginalement différentes. Ces résultats ont des implications directes pour les équipes qui évaluent des architectures VLA (Vision-Language-Action). Si LIBERO et CALVIN échouent à plusieurs diagnostics, les progrès revendiqués sur ces benchmarks ne constituent pas une preuve crédible de capacité de manipulation générale. La plupart des gains rapportés sur LIBERO ne sont pas statistiquement significatifs, ce qui signifie que de nombreuses publications revendiquent des améliorations qui pourraient n'être que du bruit. Pour les intégrateurs et les décideurs industriels, cela signifie que les scores de benchmarks courants ne sont pas des indicateurs fiables de la maturité réelle d'un système avant déploiement. Le problème n'est pas nouveau, mais il devient critique au moment où des VLA comme pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA sont massivement benchmarkés dans la littérature. RoboCasa et RoboTwin 2.0, moins fréquemment cités dans les claims de progression récents, résistent mieux aux diagnostics proposés et constituent des alternatives plus robustes pour mesurer des progrès réels. Les auteurs publient leurs quatre diagnostics avec des implémentations de référence sur ripl.github.io/manipulationbenchmarkaudit, à destination des chercheurs et des reviewers, pour application avant soumission ou acceptation. La prochaine question est de savoir si des conférences majeures comme CoRL, ICRA ou RSS adopteront ces outils comme critère d'évaluation des soumissions.

Cosmos 3 : des modèles du monde omnimodaux pour l'IA physique

NVIDIA a publié Cosmos 3, une famille de modèles du monde omnimodaux capables de traiter et générer conjointement du texte, des images, de la vidéo, de l'audio et des séquences d'actions au sein d'une architecture unifiée de type mixture-of-transformers. Présenté dans un preprint arXiv (2606.02800) le 3 juin 2026, Cosmos 3 fusionne en un seul framework quatre catégories de modèles jusqu'ici distinctes : modèles vision-langage (VLM), générateurs vidéo, simulateurs de monde et modèles action-monde. Les variantes post-entraînées ont été classées meilleures modèles open-source texte-vers-image et image-vers-vidéo par Artificial Analysis, et meilleur modèle de politique robotique par RoboArena. Code, checkpoints, datasets synthétiques et benchmarks d'évaluation sont publiés sous la licence OpenMDW-1.1 de la Linux Foundation, sur GitHub et HuggingFace. L'intégration de ces modalités dans un backbone scalable unique représente un changement architectural structurant pour l'IA physique. Pour un intégrateur robotique ou un décideur industriel, Cosmos 3 signifie qu'un seul modèle peut simultanément percevoir une scène, simuler des séquences vidéo plausibles, produire des instructions en langage naturel et prédire des séquences d'actions, sans recourir à plusieurs stacks spécialisés. La performance sur RoboArena, benchmark indépendant d'évaluation des politiques de contrôle robot, suggère que l'approche omnimodale ne sacrifie pas la précision des politiques à la généralité, une hypothèse régulièrement contestée dans le secteur. La mise à disposition des benchmarks sous licence ouverte offre en outre la possibilité d'un audit externe des performances, ce que les publications classiques de laboratoire ne permettent pas toujours. Cosmos 3 prolonge la trajectoire de NVIDIA en Physical AI amorcée avec Cosmos 1.x, présenté début 2025 comme plateforme de simulation pour l'entraînement robotique. L'architecture mixture-of-transformers rappelle des choix similaires chez Google DeepMind (Gemini) et Meta (Chameleon), mais avec un focus explicite sur l'embodiment et le contrôle moteur. Les concurrents directs sur le segment world-model pour robots incluent Physical Intelligence avec Pi-0, Google DeepMind avec ses successeurs de RT-2, et Skild AI. L'ouverture complète du code et des poids sous licence permissive est un signal stratégique clair : NVIDIA mise sur l'adoption par l'écosystème pour faire de Cosmos l'infrastructure de référence de l'IA physique, répliquant la dynamique qui a fait de CUDA le standard incontournable du calcul GPU.

💬 La comparaison avec CUDA n'est pas anodine. NVIDIA ne publie pas Cosmos 3 par générosité open-source, ils font exactement ce qu'ils ont fait en 2007 : poser le layer d'infrastructure que tout le monde finira par utiliser, et vendre les GPU par-dessus. Vu les benchmarks sur RoboArena, les labos robotiques ont peu de raisons de résister.

TRAP : détournement du raisonnement CoT dans les VLA par patches adversariaux

Des chercheurs ont publié sur arXiv (réf. 2603.23117) une attaque baptisée TRAP (Targeted Reasoning Adversarial Patch), démontrant pour la première fois qu'un patch adversarial physique peut détourner le comportement d'un robot manipulateur piloté par un modèle Vision-Language-Action (VLA) à raisonnement Chain-of-Thought (CoT). Dans les expériences présentées, un patch imprimé sur papier et déposé sur la surface de travail, tel qu'une nappe aux motifs spécifiques, suffit à faire en sorte que le robot remette un couteau à l'opérateur au lieu d'une pomme, sans qu'aucune modification de l'instruction utilisateur ne soit nécessaire. L'attaque a été validée sur trois VLA représentatifs intégrant des mécanismes CoT distincts, et mise en oeuvre en conditions réelles avec un simple imprimé papier. Ce résultat pointe une vulnérabilité structurelle dans les VLA à raisonnement intermédiaire, famille de modèles qui inclut notamment π0 de Physical Intelligence, OpenVLA-OFT ou les variantes de GR00T (NVIDIA) basées sur des CoT explicites. Les auteurs montrent empiriquement que le raisonnement CoT gouverne la génération d'actions de façon prépondérante, même lorsqu'il est sémantiquement incohérent avec l'instruction initiale : le modèle suit la chaîne de pensée corrompue plutôt que l'intention de l'utilisateur. Pour les intégrateurs déployant des bras robotisés en environnement ouvert, entrepôts, blocs opératoires ou assistance à domicile, cela signifie qu'un adversaire pourrait modifier le comportement du robot par simple altération visuelle de l'environnement, sans accès au modèle ni au flux de commandes, ce qui rend l'attaque particulièrement préoccupante en contexte de sécurité physique. Les VLA à raisonnement CoT ont émergé comme réponse aux limites des modèles action-réflexe classiques : le CoT améliore la généralisation et offre une trace d'interprétabilité utile pour la certification. TRAP montre que cette avancée introduit simultanément une surface d'attaque inédite. La recherche en sécurité des systèmes robotiques autonomes reste largement sous-investie par rapport à la sécurité des LLM textuels, et ce travail rejoint un corpus naissant incluant des attaques sur les politiques de diffusion et les modèles de perception. Aucun correctif ni benchmark défensif n'est proposé dans cette version ; les auteurs appellent à une sécurisation urgente des pipelines CoT dans les VLA avant tout déploiement à grande échelle dans des environnements critiques.

SilentDrift : exploiter le découpage en actions pour des attaques par porte dérobée furtives sur les modèles VLA

Des chercheurs en sécurité informatique ont publié sur arXiv (référence 2601.14323) une attaque baptisée SilentDrift, ciblant les modèles Vision-Language-Action (VLA) utilisés pour piloter des robots manipulateurs. L'attaque exploite deux mécanismes devenus standards dans les architectures VLA modernes : l'action chunking, qui consiste à générer des séquences de K actions d'un coup plutôt qu'action par action, et la représentation en delta de pose, qui encode chaque mouvement sous forme d'incrément relatif à la position précédente. Cette combinaison crée une boucle ouverte visuelle intra-chunk : une fois la séquence lancée, le robot l'exécute sans relire le flux caméra à chaque pas. Des perturbations imperceptibles à l'échelle d'un pas s'accumulent alors par intégration, déviant la trajectoire finale de manière significative. Sur le benchmark LIBERO, SilentDrift atteint un taux de succès d'attaque de 93,2 % avec un taux d'empoisonnement inférieur à 2 % des données d'entraînement, tout en maintenant un taux de réussite sur tâches propres de 95,3 %, rendant la backdoor pratiquement indétectable par les métriques standards. L'impact pour les intégrateurs et décideurs B2B est direct : les VLA comme pi-0 de Physical Intelligence, OpenVLA ou les variantes de RT-2 s'appuient précisément sur ces mécanismes d'action chunking pour obtenir des mouvements fluides et cohérents. Un attaquant ayant accès à une fraction marginale des données d'entraînement peut donc compromettre un système de manipulation robotique déployé en environnement industriel sans déclencher d'alarme sur les métriques de performance habituelles. Les trajectoires empoisonnées sont visuellement identiques aux démonstrations saines, ce qui invalide les audits visuels comme contrôle de qualité suffisant. La stratégie dite "keyframe attack" de SilentDrift cible spécifiquement la phase d'approche critique d'une saisie, maximisant l'effet de déviation tout en minimisant l'exposition du trigger. Ce travail s'inscrit dans un courant de recherche naissant sur la sécurité des modèles de fondation pour la robotique, un champ largement ignoré jusqu'ici face à l'effervescence autour des performances. Les VLA connaissent une adoption rapide depuis 2023, portée par des acteurs comme Physical Intelligence (pi-0), Google DeepMind (RT-2, GR00T N2 de Nvidia) et les laboratoires académiques via des benchmarks comme LIBERO ou Open-X Embodiment. SilentDrift est une attaque en boîte noire, ce qui signifie qu'elle ne nécessite pas d'accès au modèle entraîné, uniquement aux données. Les auteurs n'annoncent pas de contre-mesure, ouvrant un chantier de recherche défensive urgent à mesure que ces modèles approchent de déploiements réels dans la logistique et l'assemblage manufacturier.

Wall-OSS-0.5 : rapport technique

Une équipe de chercheurs a publié sur arXiv (2605.30877) le rapport technique de Wall-OSS-0.5, un modèle Vision-Language-Action (VLA) open source de 4 milliards de paramètres, construit sur un backbone VLM de 3B paramètres auquel sont greffés des composants de génération d'actions. Le modèle a été pré-entraîné sur plus de 20 morphologies robotiques différentes, en ingérant plus d'un million de trajectoires robot par époque, couplées à un corpus multimodal ancré. La recette d'entraînement repose sur un co-entraînement à gradient bridgé combinant trois objectifs complémentaires : prédiction d'actions discrètes pour faire circuler des gradients VLM forts dans le backbone, prédiction multimodale pour préserver la compréhension vision-langage, et flow matching continu comme interface d'action au moment du déploiement. Avant tout fine-tuning spécifique, le checkpoint pré-entraîné atteint des comportements zero-shot non triviaux sur un banc de 17 tâches réelles, y compris une tâche de manipulation d'objets déformables hors distribution. Après fine-tuning, il affiche 60,5% de progression moyenne sur 15 tâches réelles et surpasse Pi-0.5 de 17,5 points de pourcentage. Ce résultat repose la question fondamentale du pré-entraînement VLA : jusqu'ici, la quasi-totalité des preuves de performance étaient mesurées après fine-tuning, rendant impossible la distinction entre "le pré-entraînement forme une politique utilisable" et "le pré-entraînement fournit juste une meilleure initialisation". Wall-OSS-0.5 démontre que le checkpoint brut produit des comportements exécutables sur matériel physique, y compris sur des tâches jamais vues. Le fait que l'entraînement sur données d'action ne dégrade pas les capacités vision-langage générales est également significatif pour les intégrateurs : cela suggère qu'un seul modèle fondation peut couvrir perception, raisonnement et contrôle sans compromis majeur, ce qui simplifie l'architecture système. Wall-OSS-0.5 s'inscrit dans la dynamique des VLA fondationnels initiée par des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) et OpenVLA. Sa publication open source le distingue dans un secteur dominé par des checkpoints propriétaires, et permet des comparaisons reproductibles. La performance zero-shot sur manipulation déformable est notable car ce type de tâche est réputé difficile à généraliser : c'est précisément le type de gap sim-to-real que les approches purement simulées peinent à combler. Les prochaines étapes probables incluent un scaling du corpus et des évaluations sur des plateformes humanoïdes commerciales, où la generalisation cross-embodiment du modèle pourra être testée en conditions industrielles.

💬 Le vrai truc ici, c'est pas les 60,5% sur le benchmark. C'est que le checkpoint pré-entraîné produit des comportements exécutables sur du vrai matériel, sans fine-tuning, y compris sur des tâches jamais vues. Et open source par-dessus le marché, dans un secteur où tout le monde garde jalousement ses poids pour soi.

Déploiement de pipelines VLA en atelier d'emballage industriel : étude de cas, flux de travail, échecs et enseignements

Des chercheurs associés à Siemens ont publié le 28 mai 2026 sur arXiv (2605.27461) une étude de déploiement industriel d'une politique VLA (Vision-Language-Action) dans l'usine Siemens GWE d'Erlangen, en Allemagne. La tâche ciblée est précisément définie : un bras robotique doit saisir un sachet d'accessoires transparent au sein d'un tas encombré, l'insérer dans la cavité restante d'un emballage carton, puis vérifier que le sachet et son contenu restent en dessous du plan de fermeture du carton. Le modèle de base utilisé est Pi0.5, la politique VLA de Physical Intelligence, affinée de manière itérative sur données terrain. L'équipe a accumulé 2535 épisodes d'entraînement, soit environ 10 heures de données collectées directement en conditions d'usine, via un pipeline cyclique comprenant collecte, curation, fine-tuning, évaluation et collecte de données de récupération ciblées. Ce qui rend cette publication notable, c'est son positionnement éditorial délibérément empirique : les auteurs ne communiquent pas sur un taux de succès global, mais documentent les modes de défaillances récurrents et les ajustements nécessaires à chaque cycle. C'est précisément ce type de retour d'expérience qui manque dans la littérature robotique, où les démonstrations sélectionnées occultent souvent le coût réel d'adaptation d'un modèle généraliste à une tâche industrielle spécifique. La gestion d'objets transparents, notoire pour tromper les systèmes de vision par profondeur, illustre ici les limites concrètes du sim-to-real et du transfert zero-shot. L'étude confirme que le fine-tuning dirigé par les échecs terrain, plutôt que la montée en données brutes, reste le levier dominant pour atteindre la fiabilité industrielle. Pi0.5 est le successeur de π0, lancé par Physical Intelligence (San Francisco) fin 2024, conçu comme politique généraliste pour la manipulation dextère. Son déploiement chez Siemens marque une étape significative dans la commercialisation B2B des VLA, un segment que se disputent actuellement Figure AI avec sa pile Helix, 1X Technologies avec NEO, et des initiatives internes comme GR00T N2 de NVIDIA ou les travaux de Boston Dynamics sur Atlas. Aucun acteur européen n'est directement impliqué dans ce déploiement, bien que Wandercraft et Enchanted Tools positionnent des produits complémentaires sur le segment français. La prochaine étape logique de ce type d'étude serait une généralisation multi-tâches ou multi-sites, mais les auteurs restent prudents : l'article conclut sur des leçons méthodologiques, non sur un déploiement à l'échelle.

QDTraj : exploration de primitives de trajectoires variées pour la manipulation robotique d'objets articulés

Des chercheurs de l'ISIR (Institut des Systèmes Intelligents et de Robotique, Sorbonne Université/CNRS) publient sur arXiv en avril 2026 une méthode baptisée QDTraj, destinée à générer automatiquement des primitives de trajectoires diversifiées pour la manipulation d'objets articulés par des robots domestiques. L'approche repose sur des algorithmes Quality-Diversity (QD) couplés à une exploration par récompense sparse. Évaluée sur 30 articulations du dataset PartNetMobility, QDTraj produit en moyenne 704 trajectoires distinctes par tâche, contre un ratio au moins 5 fois inférieur pour les méthodes concurrentes testées sur des tâches d'activation de charnières (hinge) et de glissières (slider). La méthode a été validée d'abord en simulation, puis déployée en conditions réelles sur robot physique. Le code est rendu public sur le site de l'ISIR. La diversité des trajectoires n'est pas un détail académique : en environnement réel, un robot qui ne dispose que d'une seule séquence motrice pour ouvrir un tiroir échoue dès que cette trajectoire est bloquée par un obstacle ou une contrainte dynamique imprévue. QDTraj adresse directement ce verrou en dotant le robot d'un répertoire de solutions alternatives sélectionnables au runtime selon les contraintes du moment. La validation sim-to-real apporte un crédit concret à l'approche, au-delà de la démonstration en simulation. L'utilisation des algorithmes QD, issus de la robotique évolutionnaire (famille MAP-Elites), est un signe de maturité méthodologique : ces approches explorent des espaces de solutions larges sans converger prématurément vers un optimum local, contrairement aux méthodes par gradient classiques. L'ISIR est l'un des laboratoires de référence en robotique française, avec une longue tradition en planification de mouvement et manipulation dextre. Ce travail s'inscrit dans un contexte où les approches dominantes, imitation learning ou reinforcement learning standard, produisent généralement des politiques à trajectoire unique, fragiles hors distribution. Les modèles VLA (Vision-Language-Action), très suivis en 2025-2026 chez Physical Intelligence (pi0), Google DeepMind ou Boston Dynamics, abordent le problème différemment en conditionnant les actions sur le langage, sans garantir la diversité bas niveau que QDTraj cible explicitement. La méthode se positionne donc comme une couche de planification complémentaire, en amont des politiques haut niveau. Les extensions naturelles concerneraient les objets déformables et l'intégration dans des architectures de contrôle hiérarchique pour robots manipulateurs polyvalents.

💬 Un robot qui n'a qu'une seule trajectoire pour ouvrir un tiroir, c'est un robot qui échoue dès qu'un obstacle se met en travers. QDTraj répond à ça en générant 700+ alternatives exploitables au runtime, avec des algorithmes QD qui explorent des espaces de solutions larges sans converger trop vite vers un optimum unique (contrairement au RL classique). Reste à voir comment ça s'articule avec des VLA au-dessus, mais comme brique de planification bas niveau, c'est du concret qui sort de l'ISIR.

Démasquer l'illusion du raisonnement incarné dans les modèles vision-langage-action (VLA)

Des chercheurs ont publié le 22 avril 2026 un article sur arXiv (référence 2604.18000) introduisant BeTTER, un benchmark de diagnostic conçu pour tester le raisonnement incarné réel dans les modèles de type Vision-Language-Action (VLA). L'objectif : vérifier si les taux de succès élevés affichés par des modèles comme pi-0, OpenVLA ou RoboVLMs sur les benchmarks standards reflètent une véritable intelligence physique, ou un artefact d'évaluation. BeTTER applique des interventions causales ciblées, modifications de la disposition spatiale, extrapolation temporelle, tout en isolant cinématiquement les échecs de raisonnement de haut niveau des limites d'exécution motrice de bas niveau. Résultat : les VLA de pointe s'effondrent dans des scénarios dynamiques, exhibant des raccourcis lexico-cinématiques (le modèle associe des mots à des patterns moteurs sans vraiment "comprendre"), une inertie comportementale, et un effondrement de la représentation sémantique. Ces résultats remettent en cause l'un des postulats les plus optimistes du secteur : que les hauts scores sur benchmarks constituent une preuve de généralisation. L'analyse mécaniste des auteurs identifie deux goulots d'étranglement architecturaux structurels, la compression de capacité et le sous-échantillonnage myope, qui dégradent systématiquement la représentation sémantique fondamentale du modèle. En d'autres termes, les architectures VLA actuelles sont structurellement contraintes à sacrifier le raisonnement de haut niveau pour maintenir la fréquence de contrôle nécessaire à l'exécution motrice en temps réel. Les protocoles d'évaluation trop statiques masquent cette dégradation en permettant au modèle d'overfitter aux priors sensorimoteurs du dataset, ce qui est un signal d'alarme direct pour les intégrateurs industriels qui évaluent ces systèmes avant déploiement. La famille VLA a connu une accélération marquée depuis fin 2023, avec les travaux de Physical Intelligence (pi-0), Google DeepMind (RT-2, puis Helix en collaboration avec Figure AI), et des efforts académiques nombreux autour de modèles open-source comme OpenVLA. Le gap benchmark-réalité est un problème récurrent en robotique, le sim-to-real transfer en est la version la plus connue, mais BeTTER le documente cette fois au niveau du raisonnement cognitif plutôt que de la dynamique physique. Les auteurs valident leurs conclusions sur robot réel, ce qui exclut l'hypothèse d'un artefact de simulation. La prochaine étape logique pour le secteur est de repenser les architectures VLA pour résoudre la tension structurelle entre contrôle haute fréquence et raisonnement sémantique robuste, probablement via des approches hiérarchiques déjà explorées par des équipes comme Wandercraft côté locomotion, ou Enchanted Tools pour la manipulation expressive.