Aller au contenu principal
CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache
RecherchearXiv cs.RO 

CSR : politiques en temps réel à horizon infini avec représentations d'état massivement en cache

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs ont publié début mai 2026 un preprint sur arXiv (2605.07325) présentant CSR (Cached State Representation) et ASR (Asynchronous State Reconciliation), deux mécanismes visant à déployer des LLMs massifs comme contrôleurs temps réel pour des robots. Le verrou pratique est la latence TTFT (time-to-first-token) : sur un contexte de 120 000 tokens avec un modèle de 235 milliards de paramètres, la baseline standard exige 14,67 secondes avant la première sortie. CSR optimise la réutilisation du cache KV (key-value) pour ramener ce délai à 0,56 seconde, soit un facteur 26. ASR déleste en parallèle l'éviction de la mémoire d'état, éliminant les pics de latence sur 10 cycles d'opération continue. Testé sur un robot physique connecté sans fil à un serveur GPU on-premise, le système dépasse 2 Hz de fréquence de traitement et atteint un rappel de 0,836 sur un benchmark d'IA incarnée, contre 0,459 pour une approche RAG classique.

L'enjeu est structurel pour la robotique incarnée : les approches existantes, RAG (retrieval-augmented generation) et fenêtres glissantes, font toutes deux un compromis, soit sur la cohérence contextuelle globale, soit sur la vitesse de re-calcul. CSR démontre qu'un modèle de 235 milliards de paramètres peut maintenir un horizon de contexte illimité tout en restant utilisable à fréquence robotique. C'est l'une des premières validations publiées de cette hypothèse sur un robot physique réel, et non en simulation. Pour les intégrateurs et les équipes ingénierie, cela signifie que les politiques robotiques fondées sur des LLMs ne seraient plus condamnées à tronquer l'historique ou à sacrifier le temps de cycle.

Ces travaux s'inscrivent dans la tendance VLA (Vision-Language-Action), où des modèles fondation multimodaux remplacent progressivement les contrôleurs classiques. Les concurrents directs incluent Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et les architectures Helix de Figure AI, qui adoptent des approches comparables pour l'IA incarnée à grande échelle. Ce preprint reste cependant une contribution académique préliminaire : le protocole porte sur un seul robot, un unique serveur GPU on-premise, sans affiliation industrielle ni feuille de route de déploiement annoncée. La reproductibilité à l'échelle et en conditions industrielles reste entièrement à prouver.

À lire aussi

REACT : un modèle d'état entièrement à impulsions pour la perception temporelle événementielle en temps réel
1arXiv cs.RO 

REACT : un modèle d'état entièrement à impulsions pour la perception temporelle événementielle en temps réel

Des chercheurs présentent REACT, un modèle d'état spiking (state-space model) entièrement neuromorphique pour la perception événementielle en temps réel, dans un preprint arXiv (2609.19204v1) publié le 18 septembre 2026. À la différence des méthodes qui agrègent les événements captés par une caméra événementielle en images ou en fenêtres temporelles, ce qui introduit un délai d'intégration, REACT traite chaque événement individuellement via un neurone spiking à valeurs complexes baptisé C-SiLIF, dont la dynamique continue suit l'intervalle physique entre deux événements. Testé sur la reconnaissance de gestes et sur l'estimation du temps avant collision (TTC) à partir de flux événementiels complets, sans boîte englobante ni information de localisation de la cible, REACT atteint sur le jeu de données EvTTC une erreur relative de TTC de 9,59% avec 4,6 ms de latence d'inférence de bout en bout, à seulement 0,15 point de pourcentage de la meilleure méthode apprise existante. À la vitesse d'approche moyenne du jeu de données, cette latence correspond à 4 cm de déplacement du véhicule, contre 1 mètre pour la méthode concurrente la plus rapide. Une quantification INT8 ramène la consommation énergétique estimée de 18,5 à 2,8 millijoules pour 32 768 événements. Pour les systèmes robotiques évoluant en environnement dynamique (véhicules autonomes, robots mobiles, évitement de collision), ce travail s'attaque au goulot d'étranglement des caméras événementielles: leur résolution temporelle microseconde est aujourd'hui neutralisée par des pipelines d'apprentissage qui rebinnent les événements en trames, réintroduisant la latence que ces capteurs étaient censés éliminer. En égalant quasiment la précision des meilleures méthodes apprises classiques tout en réduisant d'un facteur 25 environ la distance parcourue pendant l'inférence, REACT apporte un argument concret en faveur des réseaux à impulsions pour la perception embarquée temps réel, un terrain longtemps cantonné à des démonstrations peu compétitives face au deep learning conventionnel. Le gain énergétique via quantification INT8 (facteur 6,6 environ) intéresse directement les intégrateurs de drones, d'AMR ou de systèmes ADAS contraints en puissance de calcul. Ce travail prolonge les recherches sur la vision événementielle, portée depuis plus d'une décennie par des capteurs asynchrones de type DVS, et sur les réseaux de neurones à impulsions, approche neuromorphique censée rapprocher le calcul du fonctionnement de la rétine biologique. Les auteurs pointent que l'essentiel des méthodes actuelles ignore l'asynchronie native des événements en les regroupant artificiellement en fenêtres temporelles; le neurone C-SiLIF vise justement à la préserver. Publié comme preprint arXiv de type "new", donc pas encore évalué par les pairs, le travail reste au stade de validation sur benchmarks (EvTTC, reconnaissance de gestes) comparés à des méthodes apprises existantes, sans partenaire industriel, déploiement réel ni calendrier de commercialisation mentionnés à ce stade.

RecherchePaper
1 source
Représentations statiques et dynamiques pour l'estimation de l'angle de contact tactile avec des capteurs à événements
2arXiv cs.RO 

Représentations statiques et dynamiques pour l'estimation de l'angle de contact tactile avec des capteurs à événements

Des chercheurs ont publié le 3 juin 2026 un preprint (arXiv:2606.03545) évaluant trois méthodes de représentation des données issues du NeuroTac, un capteur tactile neuromorphique event-based, pour l'estimation de l'angle de contact. Les flux d'événements générés lors du contact physique sont transformés en contours spatiaux selon trois approches : une représentation dynamique capturant l'activité événementielle la plus récente, une représentation statique reconstituant un état de contact persistant, et leur combinaison. Sur tous les scénarios de mouvement testés, les trois pipelines maintiennent une latence de traitement P99 inférieure à 10 ms, quel que soit l'intervalle d'échantillonnage utilisé. La représentation statique surpasse marginalement les deux autres en précision : elle atteint une MAE (erreur absolue moyenne) de 0,160° en roulement continu du capteur sur une surface, et de 0,251° lors de phases d'arrêt aléatoires intercalées dans le mouvement. Elle présente également une variance plus faible face aux variations de vitesse et de profondeur d'indentation. Pour les intégrateurs et les équipes de contrôle robotique, une latence P99 sous 10 ms représente le seuil en dessous duquel le retour tactile peut alimenter des boucles de contrôle temps-réel sans devenir le facteur limitant de la chaîne de commande. La précision de 0,160° en roulement est compatible avec des tâches d'assemblage ou d'insertion nécessitant un contrôle fin de l'orientation de contact. Le résultat le plus contre-intuitif est la performance supérieure de la représentation statique sur la dynamique : les capteurs event-based étant précisément réputés pour leur réactivité temporelle, l'hypothèse implicite était que les représentations exploitant cette dimension temporelle seraient les meilleures. Ici, la simplicité de la représentation statique s'avère plus robuste, ce qui réduit la complexité du traitement embarqué nécessaire. Le NeuroTac est issu des travaux du Bristol Robotics Laboratory, dans le groupe de Nathan Lepora, qui a d'abord développé le TacTip, un capteur optique tactile biomimétique, avant d'en produire une variante neuromorphique. Dans l'écosystème des capteurs tactiles de précision, il concurrence des dispositifs comme le DIGIT (Meta AI Research et CMU), le GelSight (MIT) ou les capteurs Xela Robotics. L'article demeure un preprint non soumis à peer review, et les scénarios évalués, fondés sur des mouvements de roulement contrôlés en laboratoire, restent éloignés des conditions d'une manipulation industrielle réelle. La validation sur des tâches multi-doigts ou des mains robotiques complètes comme la Shadow Hand constituerait une prochaine étape naturelle pour évaluer le passage à l'échelle.

RecherchePaper
1 source
LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long
3arXiv cs.RO 

LongBench : évaluation des politiques de manipulation robotique sur des tâches réelles à horizon long

Une équipe de chercheurs a publié en avril 2026 LongBench, un benchmark conçu pour évaluer les politiques de manipulation robotique sur des tâches longues et enchaînées dans le monde réel. Contrairement à la majorité des benchmarks existants, LongBench repose sur plus de 1 000 épisodes exécutés en conditions réelles, et non en simulation. Il se structure autour de deux régimes complémentaires : les tâches Context-Independent, où l'état du monde est entièrement observable, et les tâches Context-Dependent, où le robot doit gérer une ambiguïté sur l'état ou l'intention. Les tâches sont organisées en sous-ensembles ciblant des capacités spécifiques (robustesse d'exécution, cohérence temporelle, raisonnement contextuel), permettant un diagnostic fin des sources d'échec. Six politiques de l'état de l'art ont été évaluées sur ce protocole, sans qu'un seul facteur dominant n'explique les dégradations de performance sur les horizons longs. Ces résultats remettent en question une hypothèse courante dans le domaine : celle selon laquelle améliorer la mémoire ou le contexte historique suffirait à résoudre les échecs en manipulation longue durée. LongBench montre que dans les environnements pleinement observables, c'est la robustesse d'exécution, c'est-à-dire la capacité du robot à répéter fidèlement une séquence motrice sur des dizaines de pas, qui domine les performances, et non la gestion du contexte. À l'inverse, dans les scénarios ambigus, les méthodes à mémoire n'apportent pas d'amélioration systématique : la difficulté contextuelle varie fortement selon les tâches, ce qui suggère qu'il n'existe pas de solution générique. Pour les intégrateurs et les équipes R&D qui évaluent des politiques VLA (Vision-Language-Action) ou des architectures de contrôle diffusion, ce benchmark offre un protocole de diagnostic plus fin que les métriques de succès agrégé habituelles. Le benchmark s'inscrit dans un effort plus large de la communauté robotique pour dépasser les évaluations en simulation, dont le sim-to-real gap reste un problème structurel non résolu. Plusieurs benchmarks récents, comme DROID ou Open X-Embodiment, ont posé des bases de données multi-robots, mais peu proposent une décomposition mécaniste des sources d'échec sur des horizons longs. LongBench se positionne comme un outil de diagnostic complémentaire, agnostique à l'architecture, applicable aussi bien aux politiques de type ACT, Diffusion Policy qu'aux approches VLA. Les auteurs n'annoncent pas de déploiement industriel associé : il s'agit d'un outil de recherche, pas d'un produit. Les prochaines étapes attendues incluent l'extension à d'autres morphologies robotiques et l'intégration de tâches bi-manuelles, qui représentent le prochain mur de complexité pour la manipulation longue durée.

RecherchePaper
1 source
B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline
4arXiv cs.RO 

B-spline Policy : accélérer les politiques de manipulation via des représentations d'action B-spline

Des chercheurs viennent de publier sur arXiv (référence 2607.09648v1) une nouvelle méthode baptisée B-spline Policy, ou BSP, conçue pour accélérer l'exécution des politiques de manipulation robotique apprises par imitation. Contrairement à l'approche dominante qui consiste à prédire des séquences d'actions discrètes dans le temps ("action chunks"), BSP paramètre les actions du robot sous forme de courbes B-spline continues, définies par un ensemble de noeuds et de points de contrôle. Cette représentation produit des trajectoires lisses et continues dans le temps, qui peuvent ensuite être mises à l'échelle temporellement et exécutées par les contrôleurs bas niveau à des fréquences et des vitesses plus élevées. Les auteurs montrent que ces paramètres B-spline peuvent être prédits directement par des architectures de policy learning existantes, sans refonte majeure du pipeline d'entraînement. Les expériences, menées à la fois en simulation et sur des tâches de manipulation réelles, indiquent une réduction significative du temps d'exécution des tâches par rapport aux méthodes de référence, tout en conservant des taux de réussite comparables. L'enjeu est concret pour les équipes qui déploient des politiques de manipulation en usine ou en entrepôt: le goulot d'étranglement des approches par chunks discrets vient souvent de la fréquence de commande limitée et des à-coups introduits entre segments d'actions, ce qui oblige à ralentir l'exécution pour rester stable. En rendant la trajectoire continue et rééchelonnable dans le temps, BSP permettrait de gagner en vitesse de cycle sans changer de modèle de perception ni de politique d'apprentissage, un argument qui parle directement aux intégrateurs cherchant à rapprocher les démonstrations en laboratoire des cadences industrielles réelles. Cette contribution s'inscrit dans la lignée des travaux sur les représentations d'actions pour l'apprentissage par imitation, où des méthodes comme les chunks d'actions ou les politiques de diffusion ont dominé ces deux dernières années sans toujours résoudre le compromis entre vitesse d'exécution et fluidité des mouvements. En proposant une alternative paramétrique compatible avec les pipelines existants, les auteurs ouvrent une piste d'optimisation orthogonale, potentiellement combinable avec d'autres avancées récentes en manipulation robotique. Des résultats supplémentaires et le code sont disponibles sur b-spline-policy.github.io.

RecherchePaper
1 source