RecherchearXiv cs.RO 26 août 2026

PonderPounce : un MLLM préentraîné comme moteur de contexte épisodique pour le contrôle robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un article publié sur arXiv (version 2608.24115v1) présente PonderPounce, une architecture qui réutilise un modèle multimodal de langage (MLLM) préentraîné comme mémoire d'épisode pour le contrôle robotique, plutôt qu'un module de mémoire dédié. Le système combine deux composants entraînés conjointement: Ponder, un MLLM "System2", accumule observations, démonstrations et raisonnement dans son contexte causal natif et produit du texte de sous-objectif; Pounce, un modèle vision-langage-action (VLA) "System1", traite l'observation courante, l'instruction et la proprioception, et ne reçoit de Ponder qu'un seul jeton de cognition continue accompagné de son âge, de manière asynchrone. Les auteurs annoncent une latence médiane de 78 ms pour le rafraîchissement de la cognition et 25 ms pour l'appel du modèle d'action, compatible avec un pilotage à 20 Hz. Sur le benchmark RoboMME, la version à 9 milliards de paramètres atteint 60,83% de réussite (50,04% à 0,8 milliard), contre 44,51% pour la référence FrameSamp+Modul et 17,93% pour un pi-0.5 limité à l'observation courante; avec neuf fois plus de données, le score grimpe à 75,54% contre 57,88%. Sur RoboCasa-DC, avec la seule supervision par l'action, PonderPounce obtient 12,5% contre 11,6% pour la meilleure référence publiée, score qui tombe à 8,6% si la cognition est remplacée par un état nul appris.

Ce résultat cible un angle mort connu des modèles VLA, qui héritent généralement de représentations préentraînées sans exploiter la capacité des MLLM à intégrer un long historique visuel ou à raisonner sous observation partielle, ce qui oblige les architectures à mémoire à ajouter des mécanismes d'historique construits sur mesure. En montrant qu'un simple jeton de cognition transmis de façon asynchrone suffit à dépasser nettement une politique sans mémoire ou à mémoire nulle apprise, l'étude appuie l'hypothèse que le contexte natif d'un MLLM peut faire office de mémoire d'épisode sans module spécialisé, tout en restant compatible avec un contrôle temps réel. Ces résultats sont toutefois obtenus sur des benchmarks de simulation, RoboMME et RoboCasa-DC, et non sur un déploiement robot physique; l'écart sur RoboCasa-DC (12,5% contre 11,6%) reste resserré et demande confirmation à plus grande échelle avant d'en tirer une conclusion généralisable pour l'industrie.

Ce travail s'inscrit dans la recherche actuelle sur les modèles vision-langage-action, où des approches comme Pi-0, GR00T N2 ou Helix cherchent chacune à combiner perception, langage et contrôle moteur, la mémoire d'épisode apparaissant comme le prochain verrou après la généralisation zero-shot et le sim-to-real. Contrairement aux annonces produit des entreprises de robotique humanoïde, PonderPounce reste une contribution académique publiée sur arXiv, sans robot physique ni partenaire industriel cité, et sans acteur français ou européen impliqué. Les gains croissants observés avec l'augmentation du volume de données d'entraînement suggèrent des tests à plus grande échelle comme prochaine étape logique, sans calendrier ni déploiement pilote annoncé à ce stade.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0 arXiv cs.RO

À lire aussi

1arXiv cs.RO

MotuBrain : un modèle du monde avancé pour le contrôle robotique

MotuBrain est un modèle génératif multimodal unifié pour le contrôle robotique, présenté dans un preprint arXiv (identifiant 2604.27792) publié en avril 2026. Le modèle adopte une formulation UniDiffuser couplée à une architecture Mixture-of-Transformers à trois flux, lui permettant de modéliser conjointement les séquences vidéo et les actions motrices au sein d'un même réseau. Un seul modèle supporte cinq modes d'inférence distincts : apprentissage de politique, modélisation du monde, génération vidéo, dynamique inverse, et prédiction conjointe vidéo-action. Il est conçu pour s'adapter à des données hétérogènes, incluant des vidéos sans annotations d'action et des données issues de plateformes robotiques différentes (cross-embodiment). Sur le plan de l'inférence, les auteurs annoncent un gain de vitesse supérieur à 50x par rapport à des architectures comparables, ouvrant la voie à un déploiement temps réel. L'approche s'attaque à une limitation structurelle bien documentée des VLA purs comme RT-2 ou OpenVLA : leur forte généralisation sémantique masque souvent une modélisation insuffisante des dynamiques physiques fines, ce qui génère des erreurs sur des tâches de manipulation précises. En intégrant la génération vidéo comme supervision implicite des dynamiques du monde, MotuBrain s'inscrit dans la tendance des World Action Models (WAMs), dont l'hypothèse centrale est que prédire ce qui va se passer visuellement améliore la qualité des actions produites. Le support cross-embodiment est particulièrement structurant pour les intégrateurs industriels, car il réduit le coût de réentraînement lors d'un changement de plateforme matérielle. Le speedup annoncé de 50x reste à confirmer sur des benchmarks publics, le preprint ne précisant pas les configurations matérielles de référence utilisées pour cette mesure. Ce travail s'inscrit dans une compétition dense autour des modèles fondationnels pour la robotique généraliste. Physical Intelligence a mis en production Pi-0 début 2025, NVIDIA a présenté GR00T N2 avec support multi-embodiment, et Google DeepMind avance sur ses modèles RT-X et GROOT. L'affiliation institutionnelle des auteurs de MotuBrain n'est pas précisée dans l'abstract du preprint. Comme pour tout travail soumis à arXiv sans revue par les pairs, l'absence d'expériences robotiques réelles documentées en détail invite à la prudence avant d'extrapoler les performances annoncées à un contexte de déploiement industriel.

RechercheOpinion

1 source

2arXiv cs.RO

PointAction : les points 3D comme représentation universelle des actions pour le contrôle robotique

Des chercheurs ont publié le 3 juin 2026 PointAction (arXiv:2506.03943), un cadre de contrôle robotique qui fait le pont entre les Video-Action Models (VAMs) et les commandes exécutables sur bras physique. Le constat de départ est précis : les modèles vidéo entraînés uniquement sur du RGB ne permettent pas de contraindre la géométrie de contact 3D ni les marges spatiales métriques nécessaires à la manipulation, rendant le grounding des actions ambigu. PointAction répond à ce problème en affinant un modèle de génération vidéo de fondation pour prédire simultanément des frames RGB futurs et des pointmaps 3D dynamiques, produisant une représentation 4D (3D + temps) cohérente de la scène. Ces cartes de points servent d'interface structurée et embodiment-agnostic entre prédiction vidéo et contrôle moteur, qu'un décodeur d'actions basé sur la diffusion traduit ensuite en commandes exécutables. Les résultats publiés indiquent une qualité de génération 4D état de l'art sur scènes robotiques, une supériorité sur les baselines existantes en simulation, et une généralisation à deux bras robotiques absents du préentraînement. L'enjeu pour les intégrateurs est concret. Les VAMs peinent depuis plusieurs années à franchir le fossé entre rollout vidéo convaincant et action physique fiable : le RGB seul ne transmet ni la profondeur métrique, ni l'orientation des surfaces de contact, ni les tolérances de précision requises. En intercalant une couche intermédiaire explicite, les pointmaps 3D dynamiques, PointAction décompose le problème et réduit structurellement l'ambiguïté d'ancrage. L'interface embodiment-agnostic réduit aussi le coût de supervision nécessaire pour adapter un modèle à une nouvelle plateforme, argument concret pour les intégrateurs multi-robots. La généralisation à des bras non vus en préentraînement contredit partiellement l'hypothèse dominante selon laquelle les architectures VLA (Vision-Language-Action) exigent des volumes massifs de données spécifiques par embodiment, bien qu'aucun chiffre de transfert à l'échelle industrielle ne soit publié. PointAction s'inscrit dans une vague de recherche exploitant les modèles de diffusion vidéo pour la robotique, dans le sillage de pi-0 de Physical Intelligence, de GR00T N2 de NVIDIA et d'OpenVLA. La représentation en points 3D fait écho à des travaux antérieurs comme Tracking Any Point (TAP) ou 3D-DiffuserActor, mais PointAction les intègre dans la boucle de génération plutôt qu'en post-traitement. Le papier reste à l'étape pré-print arXiv, sans validation indépendante ni déploiement industriel annoncé ; les prochaines étapes probables incluent une extension à des manipulateurs à plus haut degré de liberté et à des configurations mobiles, ainsi qu'une intégration avec des pipelines VLA existants.

RechercheOpinion

1 source

3arXiv cs.RO

Régulateur quadratique linéaire latent pour les tâches de contrôle robotique

Des chercheurs présentent LaLQR (Latent Linear Quadratic Regulator), une méthode de contrôle robotique qui projette l'espace d'états d'un système non-linéaire vers un espace latent dans lequel la dynamique est linéaire et la fonction de coût est quadratique. Cette reformulation permet d'appliquer un LQR classique, résolu analytiquement et peu coûteux en calcul, là où un MPC non-linéaire standard serait requis. Le modèle de projection est appris conjointement par imitation d'un contrôleur MPC de référence. Les expériences sur des tâches de contrôle robotique montrent une meilleure efficacité computationnelle et une meilleure généralisation face aux baselines comparées. L'enjeu est direct pour les équipes de contrôle embarqué : le MPC (Model Predictive Control) reste une référence pour la qualité de trajectoire et la gestion de contraintes, mais son coût computationnel constitue un frein réel sur des plateformes à ressources limitées exigeant des fréquences de boucle élevées. LaLQR propose une alternative apprise qui conserve la structure d'un problème d'optimisation optimal tout en le rendant analytiquement soluble à chaque pas de temps. Si cette approche se confirme à plus grande échelle, elle pourrait réduire la dépendance à des processeurs haute performance dans les applications de manipulation et de locomotion. Cette recherche s'inscrit dans un courant actif combinant apprentissage par imitation et contrôle optimal classique pour contourner le mur computationnel du MPC non-linéaire. Des approches concurrentes incluent les neural MPC avec différentiation automatique et les architectures récurrentes pour la modélisation de dynamiques complexes. LaLQR introduit une piste distincte fondée sur la linéarisation dans l'espace latent, dont l'applicabilité à des systèmes à haute dimensionnalité, comme les manipulateurs multi-DOF ou les humanoïdes, reste à démontrer hors contexte académique. L'article est disponible en version 3 sur arXiv (2407.11107), ce qui suggère des révisions successives mais aucun déploiement industriel annoncé à ce stade.

RecherchePaper

1 source

4arXiv cs.RO

CoCoNav : un contrôle conforme pour une navigation robotique sûre en milieu de foule

Un article déposé sur arXiv en août 2026 (arXiv:2608.07751) présente CoCoNav, un framework de navigation pour robots évoluant en foule, conçu pour anticiper les mouvements imprévisibles des piétons. Le système combine une calibration conforme en ligne et une planification certifiée en temps réel. Son composant central, un contrôleur conforme proportionnel-intégral spécifique à l'horizon temporel, ajuste dynamiquement les marges d'erreur de trajectoire pour maintenir un taux de couverture empirique stable face à des erreurs de prédiction qui évoluent au fil du temps. Un second module, baptisé "relax-then-verify" (détendre puis vérifier), génère d'abord des trajectoires nominales via un contrôle prédictif par modèle (MPC) à contraintes souples, avant de certifier séparément ces trajectoires, ainsi que des manœuvres de secours, par rapport aux bornes calibrées, juste avant leur exécution. Les auteurs ont validé l'approche à la fois en simulation et lors d'expériences avec un robot quadrupède, mesurant l'évitement de collision, le taux de réussite de tâche et l'efficacité de navigation par rapport à plusieurs méthodes de référence. Ce travail s'attaque à un point de friction connu dans le déploiement de robots mobiles en environnement humain: les méthodes réactives classiques produisent des comportements oscillants dès que la densité de piétons augmente, tandis que les planificateurs prédictifs supposent souvent des trajectoires piétonnes exactes ou s'appuient sur des modèles d'erreur trop rigides pour rester fiables en conditions réelles. Imposer des marges d'incertitude conservatrices comme contraintes strictes rend par ailleurs le MPC souvent infaisable en pratique, un problème qui limite l'usage de ces techniques dans des AMR (robots mobiles autonomes) commerciaux, des robots de livraison ou des plateformes de service. En séparant génération de trajectoire et certification, et en calibrant les marges d'erreur en continu plutôt qu'a priori, CoCoNav propose une piste concrète pour rendre les garanties de sécurité compatibles avec la réactivité nécessaire en environnement dense, un compromis que peu d'approches publiées atteignent simultanément selon les auteurs. La navigation sociale en robotique reste un domaine actif de recherche depuis plusieurs années, tiraillé entre approches purement réactives, rapides mais instables, et planificateurs prédictifs, plus robustes mais coûteux en calcul ou trop optimistes sur la qualité des prévisions de mouvement humain. La prédiction conforme, technique statistique permettant de quantifier l'incertitude d'un modèle sans hypothèse forte sur sa distribution d'erreur, gagne du terrain dans la robotique de perception et de planification comme alternative aux bornes d'erreur fixes. CoCoNav s'inscrit dans cette tendance en l'appliquant spécifiquement à l'horizon de prédiction du MPC. À ce stade, les résultats se limitent à des simulations et à des essais sur un robot quadrupède en conditions contrôlées, sans déploiement en foule réelle ni partenariat industriel annoncé; les auteurs ne précisent pas de calendrier pour un transfert vers des plateformes commerciales de type AMR ou robots de service.

RecherchePaper

1 source