RecherchearXiv cs.RO 22 octobre 2026

Planifier d'abord, agir ensuite : un raisonnement en flux continu pour une mémoire exécutable en contrôle de robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent PAL (Plan first, Act Later), un cadre de mémoire hiérarchique pour la manipulation robotique pilotée par langage et vision, décrit dans un preprint arXiv (2610.29329). Le système repose sur trois composants: un tampon visuel à court terme, une mémoire d'événements sémantiques et une liste exécutable de sous-tâches (subtask_list). Un modèle vision-langage (VLM) de haut niveau transforme le flux d'images en cette liste. À l'exécution, il choisit la sous-tâche pertinente et la transmet à une politique vision-langage-action (VLA) de bas niveau, qui commande le robot. L'entraînement s'appuie sur une génération de données en deux temps: une expansion des signaux de mise à jour, initialement rares, puis un auto-étiquetage validé par des vérifications liées à la tâche, afin que les données correspondent mieux aux états rencontrés en situation réelle. Sur le benchmark RoboMME, PAL atteint 56,05 % de réussite, contre 44,51 % pour la meilleure référence, FrameSamp-Modul. Sur quatre tâches réelles, il obtient 60,83 % de réussite globale, contre 45,00 % pour MemER et 28,33 % pour FrameSamp-Modul. Le code et des vidéos sont publiés sur le site du projet.

L'intérêt tient au déplacement de la charge de raisonnement. Les politiques à mémoire actuelles récupèrent des éléments de l'historique et raisonnent dessus au moment d'agir, ce qui sollicite lourdement le modèle de haut niveau et alourdit la latence en boucle fermée. PAL fait ce travail en amont: le VLM écrit en mémoire des sous-tâches utiles pour la suite, puis se contente de sélectionner la bonne à l'exécution. Pour un intégrateur, c'est une piste vers des tâches longues, comme des séquences d'assemblage ou de rangement où l'on doit se rappeler ce qui a déjà été fait, sans recourir à un modèle de raisonnement lourd à chaque pas. Il faut toutefois relativiser: 60,83 % de réussite en conditions réelles reste loin des seuils exigés en production, et le nombre de tâches, quatre, ainsi que leur nature, ne sont pas détaillés dans le résumé. Il s'agit de résultats de laboratoire sur des benchmarks, sans déploiement industriel ni produit commercial annoncés.

Ces travaux s'inscrivent dans la montée des architectures hiérarchiques, où un modèle lent de planification pilote une politique d'action rapide, à la manière des systèmes à double cadence popularisés par des acteurs comme Figure avec Helix ou NVIDIA avec GR00T. Le défaut persistant de ces approches est la mémoire à long horizon, car les VLA restent limités à une fenêtre d'observation courte. PAL se compare à MemER, une méthode de mémoire par récupération, et à des bases de sous-échantillonnage de trames, et propose RoboMME comme terrain d'évaluation. Reste à voir si le gain tient sur d'autres benchmarks et d'autres VLA, et si la robustesse de la mise à jour de la liste de sous-tâches résiste aux erreurs de perception sur des horizons plus longs. Aucun calendrier de pilote n'est avancé.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Métaraisonnement des robots : budgets de calcul adaptatifs pour le contrôle en temps réel

Une équipe de chercheurs publie sur arXiv (2610.23662) une méthode permettant à un robot d'apprendre à décider lui-même combien de temps consacrer au calcul de son plan, plutôt que de subir un budget fixé avant le déploiement. Le problème est classique en planification en mouvement: un planificateur qui tourne en parallèle de l'exécution a besoin de temps, et le robot doit s'engager sur un "action chunk" (une séquence d'actions en boucle ouverte) pendant ce délai. Plus l'engagement est long, meilleur est le plan, mais moins le retour sensoriel est fréquent. Les auteurs formulent le choix du budget comme un processus de décision semi-markovien (SMDP), où une seule décision fixe à la fois l'engagement du robot et le temps alloué au solveur. Ils entraînent une politique par apprentissage par renforcement, conditionnée par l'état courant, le plan en cours d'exécution et des statistiques peu coûteuses du planificateur. L'évaluation couvre trois cas: navigation de robot au sol, vol agile de quadricoptère et manipulation riche en contacts. Le résumé ne chiffre pas les gains, mais affirme que la politique ajuste son budget selon la situation et surpasse les références à budget fixe. L'intérêt tient à une hypothèse implicite de nombreux contrôleurs déployés: la fréquence de replanification est réglée une fois pour toutes, souvent à la main. Or le temps de calcul utile dépend de l'état (dynamiques non modélisées, contraintes de sécurité, gains marginaux de l'optimisation). Un budget statique expose donc le système à deux défaillances: rester "aveugle" lors d'une manoeuvre critique, ou ne pas converger vers une bonne solution globale quand il le faudrait. Pour un intégrateur, l'idée est séduisante car elle se place au-dessus du planificateur sans le remplacer, ce qui la rend potentiellement applicable à des piles existantes (MPC, planification par échantillonnage). Il faut toutefois rester prudent: il s'agit d'une prépublication, sans résultat matériel industriel annoncé, et l'on ignore le coût d'entraînement, la robustesse hors distribution et le surcoût de la politique elle-même en temps réel. Ce travail s'inscrit dans le courant du "metareasoning", c'est-à-dire raisonner sur le raisonnement, ancien en IA mais peu transposé au contrôle temps réel de robots. Il rejoint la tendance actuelle à rendre adaptatif le calcul à l'inférence, déjà visible dans les modèles de langage et, plus récemment, dans les politiques robotiques de type VLA qui produisent des action chunks. Ces dernières fixent généralement la taille du chunk à l'avance, ce qui en fait une cible naturelle pour une telle approche. Les auteurs renvoient à une page de projet (lorenzomagnino.github.io) pour les démonstrations; comme souvent, les vidéos de ce type sont sélectionnées. La suite logique serait une validation sur robots réels et des comparaisons avec d'autres stratégies adaptatives.

RecherchePaper

1 source

2arXiv cs.RO

ECoMEM : une mémoire à concepts explicites pour le contrôle de robots dépendant de la mémoire

Des chercheurs proposent ECoMEM (Explicit Concept Memory), une architecture de mémoire pour les politiques robotiques de type vision-langage-action (VLA), publiée sur arXiv en octobre 2026. Le système remplace l'historique brut ou la mémoire implicite apprise par une bibliothèque réutilisable de « concepts » ancrés dans les observations, par exemple la position d'un objet disparu du champ de vision, ce qu'un humain a démontré plus tôt, ou les étapes déjà accomplies d'une tâche. Un module Writer, fondé sur des preuves observées, sélectionne et met à jour ces enregistrements. Un module Reader, appris, les convertit en tokens de mémoire qui conditionnent directement la VLA. Sur le benchmark RoboMME (16 tâches), ECoMEM arrive en tête des politiques évaluées sur 15 tâches. Sur deux nouvelles tâches en robot réel, la même bibliothèque de concepts est soit réutilisée telle quelle, soit complétée par un seul nouveau concept. Le taux de succès atteint 86,1 %, contre 8,6 % pour une VLA sans mémoire. Les auteurs ne précisent pas, dans le résumé, la plateforme robotique, le nombre d'essais ni la VLA de base utilisée. Ce travail s'attaque à une faiblesse structurelle des VLA actuelles : elles décident à partir de l'observation courante et échouent dès que l'information utile n'est plus visible. Or les tâches à long horizon rencontrées en logistique, en assemblage ou en service (retrouver une pièce rangée hors champ, reprendre une séquence interrompue, répéter une démonstration) en dépendent. L'écart 86,1 % contre 8,6 % montre surtout que le cas sans mémoire est un plancher quasi nul sur ces tâches, ce qui est attendu par construction. La comparaison la plus utile serait celle avec les mémoires à historique long ou implicites. Pour les intégrateurs, l'intérêt tient à l'extensibilité annoncée : ajouter un concept plutôt que réentraîner une politique entière réduirait le coût d'adaptation à un nouveau poste. Il tient aussi à l'inspectabilité, car une mémoire explicite peut être lue et débogguée, ce qui compte pour la validation en environnement industriel. Ces affirmations restent à confirmer sur un nombre de tâches réelles réduit à deux, avec une définition des concepts qui reste conçue par des humains. Le résultat s'inscrit dans un débat de fond sur la mémoire des modèles robotiques. Les approches dominantes allongent le contexte d'images passées ou apprennent une mémoire latente à partir des seules trajectoires observation-action, ce que les auteurs jugent insuffisant puisque la supervision d'action n'indique pas quoi retenir. ECoMEM sépare donc la tenue d'un compte rendu du passé de l'apprentissage de l'action, une idée proche des architectures hiérarchiques ou à mémoire structurée explorées autour de familles comme Pi-0 ou GR00T. Le projet est publié avec un site dédié (ecomem.github.io). Les prochaines étapes à surveiller sont une validation sur davantage de tâches réelles, des comparaisons directes avec des baselines à mémoire récentes, et la capacité à générer ou découvrir automatiquement de nouveaux concepts sans intervention humaine.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

ARC : une méthode de raisonnement pour les modèles fondation en robotique

Des chercheurs proposent ARC, une méthode de raisonnement qui améliore sensiblement les performances « zero-shot » de modèles de fondation robotiques (RFM) existants, sans nouvelles démonstrations robot ni entraînement à grande échelle. Elle repose sur trois éléments. Le premier est une trace de raisonnement ancrée dans la prochaine action du robot, qui explique pourquoi l'action est appropriée et quel effet elle doit produire. Le deuxième est un pipeline d'étiquetage automatique, qui a permis de construire ARC-Trace-DROID à partir du jeu de données DROID existant, sans collecte de données robot supplémentaire. Le troisième est une stratégie d'adaptation propre à chaque architecture. Les auteurs l'appliquent au VLA π0.5 et au WAM (modèle d'action-monde) Cosmos3-Nano-Policy, avec un fine-tuning et une inférence ajustés à chacun. Les modèles adaptés établissent un nouvel état de l'art sur RoboLab-120 et MolmoSpaces, avec jusqu'à 50 points de pourcentage de gain sur RoboLab-Reasoning-50. Sur robots réels, le taux de succès de π0.5 progresse de 82,2 points de pourcentage. Ces résultats remettent en cause l'idée dominante selon laquelle la performance des RFM ne progresse qu'avec des modèles plus gros, davantage de démonstrations téléopérées et des budgets d'entraînement élevés. Si les chiffres tiennent, le raisonnement devient un levier complémentaire et bon marché pour les équipes qui disposent déjà d'un VLA, car il réutilise des données existantes au lieu d'en collecter de nouvelles. C'est un argument fort pour les intégrateurs et les décideurs B2B, pour qui le coût de la donnée robot reste le principal frein au passage à l'échelle. L'approche touche aussi un point faible des VLA actuels, leur faible généralisation à des tâches nouvelles décrites en langage. Quelques précautions s'imposent. Le gain de 82,2 points sur robots réels est mesuré sur la base de départ de π0.5, et l'article ne détaille pas ici le nombre de tâches, de plateformes ni d'essais. Le terme « sans précédent » vient des auteurs eux-mêmes. Le gain de 50 points concerne un benchmark de raisonnement conçu pour ce type d'évaluation, donc probablement favorable à la méthode. Enfin, on ne sait pas encore ce que la génération de traces ajoute en latence d'inférence, un paramètre décisif pour le contrôle en boucle fermée. ARC s'inscrit dans la tendance des VLA « avec raisonnement », qui font générer au modèle des étapes intermédiaires (sous-tâches, trajectoires, texte) avant d'agir. Elle prolonge les travaux autour de π0.5 de Physical Intelligence, entraîné sur de larges corpus hétérogènes, et du jeu de données DROID, devenu une base de référence en manipulation. L'usage d'un modèle d'action-monde comme Cosmos3-Nano-Policy, issu de l'écosystème Cosmos de NVIDIA, montre que la méthode vise plusieurs familles d'architectures et pas un seul modèle. Elle se positionne face aux approches qui misent sur l'échelle de données, comme GR00T chez NVIDIA ou Helix chez Figure. Il s'agit d'un travail académique publié sur arXiv (2610.12386v1), accompagné d'un site de projet. Il ne s'agit ni d'un produit ni d'un déploiement industriel. La suite logique serait une réplication indépendante, une évaluation sur d'autres robots et tâches longues, puis une mesure du coût en temps de calcul avant toute intégration dans des piles commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Ancrages de mémoire pour l'apprentissage continu des robots

Des chercheurs présentent, dans un article publie le 28 aout 2026 sur arXiv (2608.26545v1), une méthode baptisée "Memory Anchors" pour lutter contre l'oubli catastrophique des robots qui apprennent de nouvelles taches en continu. Le principe s'appuie sur les buffers de rejeu, habituellement échantillonnés au hasard parmi les expériences passées pour reentrainer la politique sur d'anciennes taches en parallèle des nouvelles. Les auteurs montrent qu'un petit sous ensemble de ces expériences, les "ancres mémoire", concentre l'essentiel de la protection: ce sont les cas ou les représentations internes d'observations d'une nouvelle tache s'effondrent sur celles d'une ancienne tache alors que les deux exigent des actions contradictoires, par exemple manipuler différemment un objet déjà connu. Sur la suite de benchmarks LIBERO, exclure seulement 10% de ces ancres du buffer multiplie par plus de 4,5 l'oubli catastrophique mesure. A l'inverse, enrichir le buffer en ancres mémoire réduit de 63% l'oubli sur les taches a fort conflit et permet un apprentissage continu réussi de deux séquences de taches sur un robot réel. Videos et visualisations sont disponibles sur robot-adaptation.github.io/MemoryAnchors. Pour les intégrateurs qui déploient des politiques robotiques de type VLA en production, l'oubli catastrophique reste un frein concret a la mise a jour continue des flottes: chaque nouvelle compétence ajoutée risque de dégrader des comportements déjà valides sur le terrain. En montrant qu'une fraction minime, environ 10%, du buffer de rejeu porte l'essentiel de la stabilité du système, ce travail suggère que le cout mémoire et calcul de l'apprentissage continu peut baisser sans sacrifier la rétention, un enjeu direct pour les couts de stockage et de reentrainement a l'échelle d'une flotte. La validation sur robot réel, au delà de la simulation LIBERO, renforce la crédibilité de l'approche, même si elle reste limitée a deux séquences de taches et ne démontre pas encore un passage a l'échelle vers des dizaines de compétences. L'approche s'inscrit dans la lignée des méthodes de rehearsal en apprentissage continu, ou le problème central est de choisir quelles expériences rejouer sans faire exploser la taille du buffer ni le temps d'entrainement; l'échantillonnage aléatoire restait jusqu'ici la norme faute de critère fiable. Le benchmark LIBERO, standard pour évaluer l'apprentissage continu de politiques robotiques, sert de terrain de comparaison. Aucun acteur industriel ni déploiement commercial n'est associe a cette publication, qui relève pour l'instant de la recherche académique; les prochaines étapes attendues portent sur l'extension a un plus grand nombre de taches et l'intégration éventuelle de ce critère de sélection dans des pipelines d'entrainement de politiques généralistes.

RecherchePaper

1 source