Modélisation prédictive de la progression à long…

1arXiv cs.RO

Modélisation du monde et des actions avec planification visuelle progressive

Des chercheurs présentent ProWAM, un « world action model » (WAM) progressif qui prédit conjointement des actions robotiques et une séquence ordonnée de sous-objectifs visuels épars, à partir d'une observation initiale et d'une instruction. Les WAM existants butent sur les tâches longues : générer des vidéos denses est coûteux, et les variantes qui ne prédisent qu'une seule image future ne disent pas comment progresser vers le but. ProWAM exécute une seule passe avant du backbone vidéo pour mettre en cache les caractéristiques de ces sous-objectifs, puis n'effectue qu'un débruitage d'actions léger à chaque replanification. Les résultats annoncés en simulation sont 85,8 % sur LIBERO-Plus et 75,7 % sur RoboTwin randomisé, soit jusqu'à +35,9 % en relatif face à la meilleure référence. Sur RoboCasa365, le modèle atteint 48,1 % de réussite globale (4e rang) et 18,2 % sur le split difficile Composite-Unseen. En conditions réelles, en zéro-shot dans des scènes inédites, il obtient 70,0 % de réussite contre 55,0 % pour la meilleure référence, soit +15 points (+27,3 % en relatif). L'intérêt tient à la manière dont le modèle sépare planification visuelle et contrôle. Comme la prédiction de sous-objectifs peut s'apprendre sur de grands volumes de vidéos sans actions annotées, le backbone vidéo absorbe la planification que la politique d'action n'a plus à apprendre seule. Cela exploite des données bien plus abondantes que les démonstrations téléopérées. Le coût d'inférence est aussi un enjeu concret : éviter la génération itérative de vidéo complète rend la replanification en boucle fermée plus réaliste sur du matériel embarqué. Le gain porte surtout sur la robustesse hors distribution, point faible classique des politiques VLA et WAM, ce qui touche directement l'écart entre démonstration et déploiement. Quelques réserves : le test réel repose sur un échantillon qui semble réduit (les pourcentages sont des multiples de 5 points, ce qui suggère une vingtaine d'essais), l'écart de 15 points est donc statistiquement fragile. Le classement 4e sur RoboCasa365 nuance aussi une domination qui n'est établie que sur certains benchmarks. Il s'agit en outre d'un préprint arXiv (2610.02508v1), non évalué par les pairs, sans produit ni déploiement industriel associé. Ce travail s'inscrit dans la montée des modèles du monde appliqués au contrôle, qui cherchent à dépasser les VLA purement réactifs en ajoutant une anticipation visuelle. Les approches denses, qui génèrent des vidéos complètes, pèsent lourd en calcul, tandis que les approches à image future unique manquent de guidage intermédiaire. ProWAM se place entre les deux, avec une anticipation indexée sur la progression de la tâche. Le projet est hébergé sous le nom d'organisation « sii-ferenas » ; le résumé ne précise ni le code ni les poids publiés, ni la comparaison détaillée avec des modèles comme Pi-0 ou GR00T. La suite logique serait une validation sur davantage de tâches réelles, avec des essais plus nombreux, et des mesures de latence sur robot pour confirmer le gain d'efficacité revendiqué.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

ActiveWAM : vision active tenant compte des preuves pour les modèles monde-action

Des chercheurs publient ActiveWAM, un modèle unifié « monde-action » (world-action model) destiné à la manipulation à vision active, c'est-à-dire des politiques qui pilotent à la fois les effecteurs et la caméra. Le système génère des actions bimanuelles et des mouvements pan/tilt, y compris des comportements de maintien du point de vue (« stay ») et de réacquisition, à partir d'un historique tenant compte des vues, puis met à jour son contexte avec les nouvelles images RGB mesurées. Il est entraîné par une « inversion au moment de l'entraînement » (training-time inversion), qui contraint un prior vidéo figé par les preuves visuelles de la tâche et les changements temporels visibles. Cela supprime l'inversion au test et le classement de candidats. La prédiction de vidéo future sert de signal de co-entraînement, mais la génération d'actions n'exige ni décodage vidéo futur ni annotation de point de vue optimal. L'équipe introduit aussi RoboTwin-AV, un benchmark de 50 tâches avec contrôle pan/tilt exécutable et démonstrations générées automatiquement. ActiveWAM gagne jusqu'à 17,0 points de pourcentage de réussite hors distribution sur TAVIS face aux meilleures références. Il devance Fast-WAM de 20,0 points sur RoboTwin-AV et de 26,7 points sur des tâches physiques de cuisine en conditions réelles. L'intérêt tient à la manière dont le travail formalise un problème souvent traité de façon empirique. Bouger la caméra pour acquérir une nouvelle vue peut écarter du champ des indices critiques pour la tâche, tandis que conserver la vue perd des observations potentiellement utiles. Poser ce compromis « garder ou acquérir » comme un problème de gestion des preuves, appris conjointement avec la manipulation, évite de recourir à des heuristiques de recherche de vue ou à du classement de candidats coûteux à l'exécution. Le fait que l'action se génère sans décoder la vidéo future réduit aussi la charge de calcul au déploiement, un point sensible pour les intégrateurs. Les gains réels de 26,7 points sont notables, mais ils portent sur des tâches de cuisine dont le nombre et la diversité ne sont pas précisés dans le résumé. Le benchmark étant introduit par les mêmes auteurs, la comparaison reste à confirmer par des évaluations indépendantes. Ce travail s'inscrit dans l'essor des modèles monde-action, qui exploitent des priors vidéo pré-entraînés pour guider le contrôle, avec Fast-WAM comme principale référence ici. La plupart des politiques de manipulation actuelles supposent une caméra fixe ou montée sur la tête, et ne contrôlent pas activement la vue. Le benchmark RoboTwin-AV prolonge l'écosystème RoboTwin en y ajoutant le contrôle de caméra, ce qui pourrait servir de base commune à d'autres équipes. Il s'agit d'une publication de recherche, sans produit, déploiement industriel ni calendrier commercial annoncés. Les prochaines étapes naturelles seraient des tests sur davantage de plateformes, des environnements moins structurés que la cuisine, et une intégration avec les grands modèles VLA du secteur.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables

Metro-WM, décrit dans l'article arXiv 2609.31868 (version 2), est un cadre de planification hiérarchique pour les modèles du monde de type JEPA (Joint-Embedding Predictive Architecture). Au lieu de faire prédire par un planificateur macro des sous-objectifs sous forme de vecteurs latents, il construit un graphe dont les sommets sont des images réellement observées, issues de démonstrations expertes hors ligne ou de trajectoires à actions aléatoires. Des images provenant d'épisodes différents peuvent être reliées entre elles, ce qui permet de composer des routes vers l'objectif. Les auteurs annoncent un taux de réussite supérieur de jusqu'à 37,33 points de pourcentage à celui de la meilleure approche hiérarchique concurrente. Ils annoncent aussi une exécution jusqu'à 10,9 fois plus rapide, un calcul hors ligne 13 à 56 fois moindre et moins d'hyperparamètres à régler. Ces résultats viennent d'un travail académique, sans déploiement matériel annoncé. La démarche part d'un constat : la commande prédictive (MPC) avec un JEPA donne un bon planificateur « zero-shot » pour atteindre un objectif, mais seulement sur de courts horizons. Les approches hiérarchiques existantes entraînent un planificateur macro à prédire des sous-objectifs latents pour guider le planificateur micro. Les auteurs montrent que le planificateur macro de référence émet régulièrement des sous-objectifs physiquement irréalisables. En ne proposant que des états déjà vus, Metro-WM garantit des cibles atteignables. La planification sur tout le graphe apporte aussi une tolérance aux erreurs d'exécution : si le planificateur micro dérive, le système recalcule immédiatement le meilleur chemin depuis l'état courant. Pour la robotique, cela concerne les tâches longues et multi-étapes, où les erreurs s'accumulent. Les auteurs affirment que les chemins trouvés sont plus courts que ceux des démonstrations, qu'ils dépassent un oracle utilisant la démonstration propre à la requête, et que la méthode résiste à des jeux de données très épars. Ces chiffres restent à prendre avec prudence : l'abstract ne précise ni les benchmarks ni les environnements, et on ignore si la méthode passe à l'échelle de scènes réelles complexes ou à des observations visuelles bruitées. Ce travail s'inscrit dans la montée des modèles du monde latents, dont les JEPA popularisés par l'équipe de Yann LeCun, comme alternative aux politiques entraînées de bout en bout. Il rejoint l'idée plus ancienne de planifier sur des graphes de souvenirs, qui retrouve ici une pertinence avec les représentations apprises. Les concurrents directs sont les méthodes hiérarchiques à sous-objectifs générés, que l'article critique sans les nommer dans son résumé. Les suites probables sont des tests sur des benchmarks de manipulation et de navigation plus riches, puis des essais sur robot réel. Aucune date, aucun partenaire industriel ni aucun calendrier de transfert n'est annoncé à ce stade.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

PaceVLA : quantification temporelle adaptative des actions dans les modèles vision-langage-action (VLA)

PaceVLA, un cadre publié sur arXiv (2610.25961, deuxième version), s'attaque à un défaut persistant des modèles Vision-Language-Action (VLA) : leur lenteur d'exécution. Les politiques apprises à partir de démonstrations téléopérées reproduisent des motifs temporels très fins, ce qui impose de nombreuses micro-actions de bas niveau. La quantification temporelle d'actions, qui agrège plusieurs actions consécutives en une action plus grossière, accélère l'exécution, mais l'appliquer uniformément dégrade la précision dans les phases sensibles. Les auteurs combinent deux composants : des décodeurs d'actions spécifiques à chaque mode, construits sur un « action expert » partagé et couvrant plusieurs granularités temporelles et horizons de prédiction, ainsi qu'un schéma de sélection guidé par la « quantifiabilité ». Un routeur conditionné par le contexte choisit à chaque pas d'inférence entre exécution grossière ou fine. Les tests portent sur trois benchmarks de simulation multi-tâches et six tâches réelles, sur plusieurs embodiments, dont de la manipulation longue durée et dextre. L'abstract ne donne aucun chiffre de gain de vitesse ni de taux de réussite, ni le nom des robots ou des modèles de base utilisés. L'enjeu est pratique : pour un intégrateur ou un COO industriel, le temps de cycle compte autant que le taux de réussite. Beaucoup de VLA généralistes progressent en capacité mais restent trop lents face à un opérateur humain ou à une cellule automatisée classique, ce qui pèse sur le retour sur investissement. Le travail s'attaque à ce compromis vitesse-précision en acceptant d'aller vite quand le geste le permet et de ralentir lors des contacts délicats, plutôt qu'en appliquant une accélération globale. Si les résultats se confirment, cela montrerait qu'on peut gagner en efficacité sans réentraîner une politique entière. La prudence s'impose toutefois : le gain annoncé reste qualitatif dans l'abstract, et la généralisation à des tâches industrielles non vues n'est pas démontrée. Le surcoût du routeur en latence d'inférence n'est pas non plus précisé. Le contexte est celui d'une course où la vitesse d'exécution devient un point de friction central. Les VLA de type Pi-0, GR00T ou Helix reposent sur des politiques produisant des séquences d'actions, souvent apprises sur des données téléopérées à haute fréquence, avec des cadences d'exécution calquées sur celles de l'opérateur. Des techniques d'accélération existent déjà, comme le simple sous-échantillonnage des actions ou l'exécution asynchrone, mais elles ignorent en général la phase de la tâche. PaceVLA relève de la recherche académique et non d'un produit commercialisé. Il n'y a ni pilote ni calendrier de déploiement annoncé. La suite logique sera la publication du code et de comparaisons chiffrées sur des plateformes et des tâches communes, qui permettront de juger l'apport réel face aux méthodes concurrentes.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Modélisation prédictive de la progression à long horizon avec quantification tenant compte des actions

À lire aussi

Modélisation du monde et des actions avec planification visuelle progressive

ActiveWAM : vision active tenant compte des preuves pour les modèles monde-action

Metro-WM : planification latente à long horizon avec des sous-objectifs réalisables

PaceVLA : quantification temporelle adaptative des actions dans les modèles vision-langage-action (VLA)