Aller au contenu principal
CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache
RecherchearXiv cs.RO 

CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié début mai 2026 un preprint sur arXiv (2605.07325) présentant CSR (Cached State Representation) et ASR (Asynchronous State Reconciliation), deux mécanismes visant à déployer des LLMs massifs comme contrôleurs temps réel pour des robots. Le verrou pratique est la latence TTFT (time-to-first-token) : sur un contexte de 120 000 tokens avec un modèle de 235 milliards de paramètres, la baseline standard exige 14,67 secondes avant la première sortie. CSR optimise la réutilisation du cache KV (key-value) pour ramener ce délai à 0,56 seconde, soit un facteur 26. ASR déleste en parallèle l'éviction de la mémoire d'état, éliminant les pics de latence sur 10 cycles d'opération continue. Testé sur un robot physique connecté sans fil à un serveur GPU on-premise, le système dépasse 2 Hz de fréquence de traitement et atteint un rappel de 0,836 sur un benchmark d'IA incarnée, contre 0,459 pour une approche RAG classique.

L'enjeu est structurel pour la robotique incarnée : les approches existantes, RAG (retrieval-augmented generation) et fenêtres glissantes, font toutes deux un compromis, soit sur la cohérence contextuelle globale, soit sur la vitesse de re-calcul. CSR démontre qu'un modèle de 235 milliards de paramètres peut maintenir un horizon de contexte illimité tout en restant utilisable à fréquence robotique. C'est l'une des premières validations publiées de cette hypothèse sur un robot physique réel, et non en simulation. Pour les intégrateurs et les équipes ingénierie, cela signifie que les politiques robotiques fondées sur des LLMs ne seraient plus condamnées à tronquer l'historique ou à sacrifier le temps de cycle.

Ces travaux s'inscrivent dans la tendance VLA (Vision-Language-Action), où des modèles fondation multimodaux remplacent progressivement les contrôleurs classiques. Les concurrents directs incluent Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les architectures Helix de Figure AI, qui adoptent des approches comparables pour l'IA incarnée à grande échelle. Ce preprint reste cependant une contribution académique préliminaire : le protocole porte sur un seul robot, un unique serveur GPU on-premise, sans affiliation industrielle ni feuille de route de déploiement annoncée. La reproductibilité à l'échelle et en conditions industrielles reste entièrement à prouver.

À lire aussi

Représentations statiques et dynamiques pour l'estimation de l'angle de contact tactile avec des capteurs à événements
1arXiv cs.RO 

Représentations statiques et dynamiques pour l'estimation de l'angle de contact tactile avec des capteurs à événements

Des chercheurs ont publié le 3 juin 2026 un preprint (arXiv:2606.03545) évaluant trois méthodes de représentation des données issues du NeuroTac, un capteur tactile neuromorphique event-based, pour l'estimation de l'angle de contact. Les flux d'événements générés lors du contact physique sont transformés en contours spatiaux selon trois approches : une représentation dynamique capturant l'activité événementielle la plus récente, une représentation statique reconstituant un état de contact persistant, et leur combinaison. Sur tous les scénarios de mouvement testés, les trois pipelines maintiennent une latence de traitement P99 inférieure à 10 ms, quel que soit l'intervalle d'échantillonnage utilisé. La représentation statique surpasse marginalement les deux autres en précision : elle atteint une MAE (erreur absolue moyenne) de 0,160° en roulement continu du capteur sur une surface, et de 0,251° lors de phases d'arrêt aléatoires intercalées dans le mouvement. Elle présente également une variance plus faible face aux variations de vitesse et de profondeur d'indentation. Pour les intégrateurs et les équipes de contrôle robotique, une latence P99 sous 10 ms représente le seuil en dessous duquel le retour tactile peut alimenter des boucles de contrôle temps-réel sans devenir le facteur limitant de la chaîne de commande. La précision de 0,160° en roulement est compatible avec des tâches d'assemblage ou d'insertion nécessitant un contrôle fin de l'orientation de contact. Le résultat le plus contre-intuitif est la performance supérieure de la représentation statique sur la dynamique : les capteurs event-based étant précisément réputés pour leur réactivité temporelle, l'hypothèse implicite était que les représentations exploitant cette dimension temporelle seraient les meilleures. Ici, la simplicité de la représentation statique s'avère plus robuste, ce qui réduit la complexité du traitement embarqué nécessaire. Le NeuroTac est issu des travaux du Bristol Robotics Laboratory, dans le groupe de Nathan Lepora, qui a d'abord développé le TacTip, un capteur optique tactile biomimétique, avant d'en produire une variante neuromorphique. Dans l'écosystème des capteurs tactiles de précision, il concurrence des dispositifs comme le DIGIT (Meta AI Research et CMU), le GelSight (MIT) ou les capteurs Xela Robotics. L'article demeure un preprint non soumis à peer review, et les scénarios évalués, fondés sur des mouvements de roulement contrôlés en laboratoire, restent éloignés des conditions d'une manipulation industrielle réelle. La validation sur des tâches multi-doigts ou des mains robotiques complètes comme la Shadow Hand constituerait une prochaine étape naturelle pour évaluer le passage à l'échelle.

RecherchePaper
1 source
LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long
2arXiv cs.RO 

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long

Une équipe de chercheurs a publié en avril 2026 LongBench, un benchmark conçu pour évaluer les politiques de manipulation robotique sur des tâches longues et enchaînées dans le monde réel. Contrairement à la majorité des benchmarks existants, LongBench repose sur plus de 1 000 épisodes exécutés en conditions réelles, et non en simulation. Il se structure autour de deux régimes complémentaires : les tâches Context-Independent, où l'état du monde est entièrement observable, et les tâches Context-Dependent, où le robot doit gérer une ambiguïté sur l'état ou l'intention. Les tâches sont organisées en sous-ensembles ciblant des capacités spécifiques (robustesse d'exécution, cohérence temporelle, raisonnement contextuel), permettant un diagnostic fin des sources d'échec. Six politiques de l'état de l'art ont été évaluées sur ce protocole, sans qu'un seul facteur dominant n'explique les dégradations de performance sur les horizons longs. Ces résultats remettent en question une hypothèse courante dans le domaine : celle selon laquelle améliorer la mémoire ou le contexte historique suffirait à résoudre les échecs en manipulation longue durée. LongBench montre que dans les environnements pleinement observables, c'est la robustesse d'exécution, c'est-à-dire la capacité du robot à répéter fidèlement une séquence motrice sur des dizaines de pas, qui domine les performances, et non la gestion du contexte. À l'inverse, dans les scénarios ambigus, les méthodes à mémoire n'apportent pas d'amélioration systématique : la difficulté contextuelle varie fortement selon les tâches, ce qui suggère qu'il n'existe pas de solution générique. Pour les intégrateurs et les équipes R&D qui évaluent des politiques VLA (Vision-Language-Action) ou des architectures de contrôle diffusion, ce benchmark offre un protocole de diagnostic plus fin que les métriques de succès agrégé habituelles. Le benchmark s'inscrit dans un effort plus large de la communauté robotique pour dépasser les évaluations en simulation, dont le sim-to-real gap reste un problème structurel non résolu. Plusieurs benchmarks récents, comme DROID ou Open X-Embodiment, ont posé des bases de données multi-robots, mais peu proposent une décomposition mécaniste des sources d'échec sur des horizons longs. LongBench se positionne comme un outil de diagnostic complémentaire, agnostique à l'architecture, applicable aussi bien aux politiques de type ACT, Diffusion Policy qu'aux approches VLA. Les auteurs n'annoncent pas de déploiement industriel associé : il s'agit d'un outil de recherche, pas d'un produit. Les prochaines étapes attendues incluent l'extension à d'autres morphologies robotiques et l'intégration de tâches bi-manuelles, qui représentent le prochain mur de complexité pour la manipulation longue durée.

RecherchePaper
1 source
B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline
3arXiv cs.RO 

B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline

Des chercheurs viennent de publier sur arXiv (référence 2607.09648v1) une nouvelle méthode baptisée B-spline Policy, ou BSP, conçue pour accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Contrairement à l'approche dominante qui consiste à prédire des séquences d'actions discrètes dans le temps ("action chunks"), BSP paramètre les actions du robot sous forme de courbes B-spline continues, définies par un ensemble de noeuds et de points de contrôle. Cette représentation produit des trajectoires lisses et continues dans le temps, qui peuvent ensuite être mises à l'échelle temporellement et exécutées par les contrôleurs bas niveau à des fréquences et des vitesses plus élevées. Les auteurs montrent que ces paramètres B-spline peuvent être prédits directement par des architectures de policy learning existantes, sans refonte majeure du pipeline d'entraînement. Les expériences, menées à la fois en simulation et sur des tâches de manipulation réelles, indiquent une réduction significative du temps d'exécution des tâches par rapport aux méthodes de référence, tout en conservant des taux de réussite comparables. L'enjeu est concret pour les équipes qui déploient des politiques de manipulation en usine ou en entrepôt: le goulot d'étranglement des approches par chunks discrets vient souvent de la fréquence de commande limitée et des à-coups introduits entre segments d'actions, ce qui oblige à ralentir l'exécution pour rester stable. En rendant la trajectoire continue et rééchelonnable dans le temps, BSP permettrait de gagner en vitesse de cycle sans changer de modèle de perception ni de politique d'apprentissage, un argument qui parle directement aux intégrateurs cherchant à rapprocher les démonstrations en laboratoire des cadences industrielles réelles. Cette contribution s'inscrit dans la lignée des travaux sur les représentations d'actions pour l'apprentissage par imitation, où des méthodes comme les chunks d'actions ou les politiques de diffusion ont dominé ces deux dernières années sans toujours résoudre le compromis entre vitesse d'exécution et fluidité des mouvements. En proposant une alternative paramétrique compatible avec les pipelines existants, les auteurs ouvrent une piste d'optimisation orthogonale, potentiellement combinable avec d'autres avancées récentes en manipulation robotique. Des résultats supplémentaires et le code sont disponibles sur b-spline-policy.github.io.

RecherchePaper
1 source
FutureRTC : exécution robotique en temps réel par regroupement d'actions conditionné par anticipation
4arXiv cs.RO 

FutureRTC : exécution robotique en temps réel par regroupement d'actions conditionné par anticipation

Des chercheurs présentent FutureRTC, un framework destiné à corriger un problème concret du déploiement temps réel des politiques Vision-Language-Action (VLA) sur robots : lorsque l'exécution est asynchrone, c'est-à-dire que le prochain bloc d'actions (« chunk ») est calculé pendant que le bloc courant s'exécute encore, un décalage apparaît entre ce qui a été prédit et ce qui se passe réellement, provoquant des discontinuités visibles aux frontières entre chunks. Contrairement aux approches existantes qui lissent superficiellement ces transitions, réentraînent coûteusement la politique, ou ne prédisent que les états proprioceptifs sans tenir compte des observations visuelles, FutureRTC s'installe en complément d'une politique VLA existante sans la modifier. Le système combine un module de correction d'état, qui compense l'écart entre les états proprioceptifs projetés en avance et ceux réellement observés à l'exécution, et un module de prédiction d'observation, qui anticipe les représentations visuelles au moment de l'exécution en utilisant le mouvement du robot comme a priori physique via un transport et une reconstruction de caractéristiques conditionnés par ce mouvement. Une fonction de perte de cohérence aligne enfin les chunks d'actions générés à partir de ces contextes prédits avec ceux que produirait la politique si elle recevait directement les entrées réelles. Ce travail cible un angle mort fréquent des démonstrations de VLA : la plupart des résultats publiés minimisent la latence d'inférence, un scénario éloigné des contraintes réelles d'un robot où le calcul d'un nouveau chunk prend un temps non négligeable pendant lequel le bras ou l'humanoïde continue de bouger. En corrigeant ce décalage sans réentraîner la politique, FutureRTC s'attaque directement à l'écart entre démonstration en laboratoire et déploiement industriel, un enjeu central pour les intégrateurs qui font tourner des politiques VLA génériques sur du matériel aux contraintes de latence variables. Les auteurs rapportent des trajectoires plus lisses, une exécution plus rapide et de meilleurs taux de succès face aux délais d'inférence, en simulation comme sur robot réel, sans toutefois publier de chiffres détaillés dans le résumé. Le papier s'inscrit dans la recherche actuelle sur les politiques VLA généralistes, dans la lignée de modèles comme Pi-0 ou GR00T N2, où la latence d'inférence devient critique à mesure que ces modèles grossissent. Publié sur arXiv comme nouvelle soumission, sans partenariat industriel ni calendrier de déploiement mentionné, il reste pour l'instant un résultat académique dont la portée pratique dépendra de sa reproduction sur des plateformes robotiques tierces.

RechercheActu
1 source