Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

AdaPolicy : des politiques robotiques anticipatrices pilotées par l'action grâce à la prédiction du segment suivant

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

AdaPolicy, présenté sur arXiv (2610.34280v1), est un cadre d'entraînement pour politiques robotiques qui cherche à doter celles-ci d'une capacité d'anticipation sans passer par la supervision classique sur observations futures. Son principe: une tête d'action « en ligne » produit à la fois le segment d'actions courant (action chunk) et un état latent « évolué ». À partir de cet état, une seconde tête d'action « déroulée » (Unrolled Action Head), montée en cascade, prédit le segment suivant. La perte associée remonte à travers l'état évolué et injecte ainsi une forme de prévision implicite dans la politique en ligne. Ce déroulement n'existe qu'à l'entraînement: aucune surcharge à l'inférence, et aucun encodage d'observations futures, qu'il s'agisse de pixels ou d'espace latent. Les auteurs rapportent des gains constants sur MetaWorld, RoboTwin 2.0 et LIBERO, ainsi que sur des déploiements réels, jusqu'à 14 points de pourcentage sur des tâches de précision millimétrique comme l'assemblage d'écouteurs et le laçage de chaussures.

L'intérêt est d'abord architectural. Les approches anticipatives actuelles, qui s'appuient sur des modèles de monde ou la prédiction d'images ou de latents futurs, alourdissent le réseau et le coût d'entraînement, ce qui complique leur adoption par les équipes qui affinent des politiques VLA (vision-langage-action) ou des politiques de diffusion sur leurs propres tâches. Montrer que le signal d'action seul peut suffire à façonner des représentations tournées vers l'avenir, sans coût à l'exécution, rend la méthode attractive pour des intégrateurs contraints par la latence et le calcul embarqué. Les tâches fines, où l'erreur se cumule d'un segment à l'autre, sont justement celles où les politiques actuelles décrochent entre démonstration et production. Cela dit, il s'agit d'un résultat de recherche: les gains sont mesurés sur des benchmarks de simulation et quelques tâches réelles dont le nombre, les essais et les variances ne sont pas précisés dans le résumé. Le chiffre de 14 points est un maximum, pas une moyenne, et rien n'indique de déploiement industriel ou de cadence.

Ce travail s'inscrit dans la lignée de l'action chunking popularisé par ACT et les politiques de diffusion, puis des VLA comme Pi-0, qui prédisent des séquences d'actions plutôt que des pas isolés. Une branche concurrente injecte l'anticipation via la génération vidéo ou des modèles de monde, plus coûteux, que AdaPolicy vise à éviter. Les prochaines étapes à surveiller: l'intégration de la méthode dans des VLA de grande taille, des comparaisons directes avec les approches fondées sur des modèles de monde à calcul égal, et la publication du code et des visualisations annoncés sur la page du projet.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLAarXiv cs.RO

À lire aussi

Renforcement des politiques d'action par la prédiction
1arXiv cs.RO 

Renforcement des politiques d'action par la prédiction

Des chercheurs présentent Prophet, un modèle du monde robotique de type action-vers-vidéo, associé à FlowScale, une méthode d'apprentissage par renforcement conçue pour les politiques Vision-Language-Action (VLA) à tête d'action par flux. Publiés sur arXiv (2511.20633, version 2), ces travaux s'attaquent au talon d'Achille des VLA actuelles : entraînées presque exclusivement par imitation, elles mémorisent les démonstrations et se dégradent dès que la situation réelle s'écarte des exemples vus à l'entraînement. Prophet est pré-entraîné sur des données robotiques hétérogènes à grande échelle pour capturer une dynamique action-conséquence réutilisable, puis adapté en few-shot (avec très peu d'exemples) à de nouveaux robots, objets et environnements, ce qui en fait un simulateur prêt à générer des rollouts pour l'entraînement par renforcement. FlowScale combine l'algorithme Flow-GRPO à une repondération intrinsèque par étape qui stabilise les gradients durant l'optimisation. Résultat : un gain de taux de succès de 5 à 17 points sur des benchmarks publics, et de 24 à 30 points sur des robots réels, mesuré sur plusieurs architectures VLA différentes. L'enjeu dépasse la seule performance chiffrée. Le vrai verrou du RL en robotique a toujours été le coût et la lenteur de l'interaction physique réelle, combinés à la difficulté de construire des simulateurs qui transfèrent effectivement vers le monde réel, le fameux écart simulation-réalité. En remplaçant l'environnement d'entraînement par un modèle du monde appris directement à partir de données robotiques et adaptable à un nouveau setup avec peu d'exemples, Prophet ouvre une voie pour faire du post-entraînement par renforcement sans multiplier les heures de manipulation physique ni réingénierer un simulateur pour chaque nouveau robot. C'est un signal notable pour les équipes qui développent des politiques VLA, en laboratoire comme dans l'industrie : la RL post-imitation devient praticable à un coût de données et de calcul raisonnable, ce qui pourrait accélérer le passage de démonstrations de laboratoire à des politiques réellement robustes en conditions réelles, une distinction que le secteur peine encore souvent à établir clairement. Ce travail s'inscrit dans une lignée de recherche qui cherche à combler l'écart entre l'apprentissage par imitation, dominant dans les VLA ces dernières années, et l'apprentissage par renforcement, longtemps jugé trop coûteux à appliquer sur des robots physiques. Flow-GRPO, sur lequel s'appuie FlowScale, est un algorithme récent de RL adapté aux modèles à appariement de flux, une technique de plus en plus utilisée pour les têtes d'action des politiques robotiques modernes. La mention « replace » sur l'identifiant arXiv indique une nouvelle version d'un article déjà annoncé, signe que les auteurs ont retravaillé leur méthode ou leurs résultats. L'article ne précise pas les backbones VLA testés ni les tâches réelles utilisées pour obtenir les gains de 24 à 30%, une limite à garder en tête avant de généraliser ces chiffres.

RecherchePaper
1 source
Prédiction d'horizon d'exécution dynamique pour les politiques robotiques par segments
2arXiv cs.RO 

Prédiction d'horizon d'exécution dynamique pour les politiques robotiques par segments

Une équipe de chercheurs a publié sur arXiv (arXiv:2606.11408) une méthode baptisée DEHP, Dynamic Execution Horizon Prediction, conçue pour résoudre un goulot d'étranglement structurel des politiques robotiques modernes : l'horizon d'exécution fixe. Dans les architectures à "action chunking" aujourd'hui omniprésentes, politiques de diffusion, politiques de flux, modèles vision-langage-action (VLA) comme pi-0 ou OpenVLA, le robot prédit un bloc de N actions et les exécute en boucle ouverte, sans percevoir l'environnement à chaque pas. Cet horizon N est actuellement choisi par tuning empirique, tâche par tâche. DEHP entraîne une branche légère de prédiction d'horizon via du reinforcement learning en ligne, tout en gardant la politique chunk sous-jacente entièrement gelée, ce qui la rend compatible avec n'importe quelle politique existante traitée comme boîte noire. Sur des tâches de manipulation haute précision et longue durée, les auteurs rapportent une amélioration "significative" du taux de succès, sans chiffres absolus précis dans l'abstract, un point à vérifier dans les résultats complets. L'enjeu est concret pour quiconque déploie des bras manipulateurs en production : la boucle ouverte est efficace sur les mouvements de transit (déplacements dans l'espace libre), mais devient un frein sur les phases fines, insertion, saisie d'objet délicat, assemblage à tolérance serrée. DEHP adapte dynamiquement l'horizon : court pendant les phases critiques (comportement proche d'un contrôle pas-à-pas), long pendant les phases de déplacement libre. Cela revient à réconcilier l'efficacité computationnelle du chunking avec la réactivité du contrôle fermé, sans réentraîner le modèle de base. Pour les intégrateurs industriels, cela signifie potentiellement récupérer de la robustesse sur des cellules existantes sans toucher au pipeline d'entraînement. L'action chunking a été popularisée par ACT (Action Chunked Transformer, Stanford 2023), puis repris dans les diffusion policies de Chi et al. et intégré dans des VLA comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La tension entre horizon long (efficacité) et horizon court (réactivité) est un problème ouvert bien identifié dans la communauté. Plusieurs travaux concurrents explorent le receding horizon ou le replanning conditionnel, mais DEHP se distingue par sa compatibilité boîte noire et son entraînement RL en ligne. La page projet est accessible sur dehp-chunking.github.io ; aucune timeline de déploiement industriel n'est annoncée à ce stade.

RecherchePaper
1 source
Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage
3arXiv cs.RO 

Unifier l'apprentissage de politiques et la prédiction d'états grâce à la modélisation spatiale du langage

Des chercheurs proposent, dans un preprint arXiv (2610.12172), le « Spatial Language Modeling », une approche qui fait apprendre à un seul Transformer autorégressif à la fois la génération d'actions et la prédiction des états futurs d'une scène. Le principe consiste à représenter les contours de la scène, les objectifs, les cibles d'action et les états futurs avec un vocabulaire commun de coordonnées discrètes et de tokens sémantiques. Une grammaire propre à chaque tâche organise ces éléments en séquences spatiales, de sorte qu'un même objectif de prédiction du token suivant couvre le contrôle et la modélisation de l'état. Le modèle est entraîné de zéro en deux temps : un pré-entraînement sur des transitions issues de jeu aléatoire, puis un entraînement conjoint actions et états sur des démonstrations expertes. Pendant le pré-entraînement, les coordonnées d'action enregistrées servent de condition aux prédictions d'état suivantes, mais sont exclues de la perte. En phase de contrôle, le modèle ne décode que les cibles d'action exécutables et met à jour son historique avec les états réellement observés. L'évaluation porte sur la tâche Push-T, en simulation et sur un robot réel. Les auteurs annoncent des performances compétitives en simulation, et un taux de réussite ainsi qu'une couverture de la cible supérieurs à ceux des politiques de référence testées sur robot réel. Pour les équipes qui travaillent sur les politiques de manipulation, l'intérêt tient à la supervision complémentaire apportée par l'apprentissage des effets géométriques des actions. Les ablations indiquent que l'entraînement sur des séquences conjointes action-état améliore le contrôle, et que le pré-entraînement sur du jeu aléatoire apporte un gain supplémentaire. Ce dernier point est pertinent en pratique : ces données sont bon marché à collecter, sans téléopérateur expert. Le même modèle, alimenté avec des trajectoires d'actions fournies, prédit aussi les états successifs de la scène et reproduit les effets du poussage. Il joue donc à la fois le rôle de politique et de modèle du monde léger. Il faut toutefois rester prudent sur la portée de ces résultats. Push-T est un benchmark de poussage planaire d'un objet en forme de T, relativement simple, et le texte ne chiffre pas, dans son résumé, l'écart avec les baselines ni la taille de l'échantillon d'essais réels. La généralisation à des tâches à contacts riches, à de la 3D ou à des préhenseurs multi-doigts reste à démontrer, de même que le passage à l'échelle d'un vocabulaire de coordonnées discrètes. Ce travail s'inscrit dans un mouvement plus large visant à unifier perception, action et prédiction dans des architectures de type langage. Il se distingue des approches VLA (vision-langage-action) dominantes, qui reposent sur de grands modèles pré-entraînés, par un entraînement de zéro, sans pré-entraînement web, et par une représentation entièrement spatiale. Parmi les références habituelles de Push-T figurent les politiques de diffusion, qui servent souvent de base de comparaison, ainsi que les modèles du monde appris pour la planification. Le résumé ne précise ni l'équipe, ni le code, ni d'éventuelles extensions annoncées. Il s'agit à ce stade d'un preprint non évalué par des pairs, sans déploiement industriel associé. La suite logique sera de tester la méthode sur des tâches plus longues, sur des scènes 3D et sur des manipulations avec contacts complexes.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions
4arXiv cs.RO 

ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions

Les politiques robotiques de type « foundation model » prédisent des séquences d'actions (action chunks), mais le nombre d'actions à exécuter avant de replanifier reste généralement un hyperparamètre fixe. Une équipe académique, dont le projet est hébergé sur Hugging Face, publie sur arXiv ChunkTrust, un cadre qui traite cet horizon d'exécution comme une variable latente, inférée à partir des signaux internes de l'action expert. Son composant central, l'Action-aware Horizon Selector (AHS), ne demande aucun entraînement. Il combine la stabilité spectrale intra-chunk des traces de génération avec la continuité inter-chunk entre l'historique exécuté et les actions prédites. Un posterior Beta en ligne, avec oubli par noyau, suit les préférences d'horizon d'une replanification à l'autre. Un module optionnel léger, le Query-based Horizon Adapter (QHA), apprend un a priori dense conditionné par le contexte, tandis que la politique de base reste gelée. Sur RoboTwin2.0 (50 tâches), l'AHS gagne 6,80 points de succès sur π0.5. Sur RoboCasa GR1 Tabletop, il gagne 9,67 points sur Qwen3GR00T. Avec QHA, le gain monte à 9,44 points sur un sous-ensemble de huit tâches avec π0.5. Sur quatre tâches domestiques réelles, le score de processus normalisé moyen passe de 50,4 % à 57,5 %. L'intérêt pratique tient à ce que le réglage de l'horizon d'exécution est souvent traité comme un détail de déploiement, alors qu'il pèse directement sur la réussite. Un horizon long donne des mouvements fluides, mais il réagit mal aux perturbations. Un horizon court est plus réactif, mais plus saccadé et plus coûteux en calcul. Obtenir un gain sans réentraîner ni modifier le modèle de base est précieux pour les intégrateurs, qui peuvent amender des politiques existantes sans repasser par la collecte de données. Le gain mesuré en conditions réelles est plus modeste que celui des simulateurs, avec +7,1 points sur un score de processus. Cet écart rappelle que les benchmarks simulés surestiment souvent les progrès transférables. Seules quatre tâches réelles sont évaluées, et l'article ne détaille ni la taille des essais ni la variance. Ces résultats restent donc des indications, pas une validation à l'échelle. Ce travail s'inscrit dans la lignée des méthodes de découpage d'actions (action chunking) et de commande à horizon glissant, popularisées par ACT et les politiques de diffusion, puis reprises par les modèles VLA comme π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. Il rejoint d'autres travaux sur l'exécution asynchrone et le lissage des transitions entre chunks, qui visent à réduire les à-coups lors de la replanification. Aucun déploiement industriel ni calendrier de pilote n'est annoncé, il s'agit d'une prépublication v1 non évaluée par les pairs. La suite logique consisterait à valider l'approche sur davantage de plateformes, de tâches longues et de politiques à architectures variées, ainsi qu'à mesurer le surcoût de latence de l'AHS et du QHA en boucle fermée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source