RecherchearXiv cs.RO 18 septembre 2026

REACT : un modèle d'état entièrement à impulsions pour la perception temporelle événementielle en temps réel

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent REACT, un modèle d'état spiking (state-space model) entièrement neuromorphique pour la perception événementielle en temps réel, dans un preprint arXiv (2609.19204v1) publié le 18 septembre 2026. À la différence des méthodes qui agrègent les événements captés par une caméra événementielle en images ou en fenêtres temporelles, ce qui introduit un délai d'intégration, REACT traite chaque événement individuellement via un neurone spiking à valeurs complexes baptisé C-SiLIF, dont la dynamique continue suit l'intervalle physique entre deux événements. Testé sur la reconnaissance de gestes et sur l'estimation du temps avant collision (TTC) à partir de flux événementiels complets, sans boîte englobante ni information de localisation de la cible, REACT atteint sur le jeu de données EvTTC une erreur relative de TTC de 9,59% avec 4,6 ms de latence d'inférence de bout en bout, à seulement 0,15 point de pourcentage de la meilleure méthode apprise existante. À la vitesse d'approche moyenne du jeu de données, cette latence correspond à 4 cm de déplacement du véhicule, contre 1 mètre pour la méthode concurrente la plus rapide. Une quantification INT8 ramène la consommation énergétique estimée de 18,5 à 2,8 millijoules pour 32 768 événements.

Pour les systèmes robotiques évoluant en environnement dynamique (véhicules autonomes, robots mobiles, évitement de collision), ce travail s'attaque au goulot d'étranglement des caméras événementielles: leur résolution temporelle microseconde est aujourd'hui neutralisée par des pipelines d'apprentissage qui rebinnent les événements en trames, réintroduisant la latence que ces capteurs étaient censés éliminer. En égalant quasiment la précision des meilleures méthodes apprises classiques tout en réduisant d'un facteur 25 environ la distance parcourue pendant l'inférence, REACT apporte un argument concret en faveur des réseaux à impulsions pour la perception embarquée temps réel, un terrain longtemps cantonné à des démonstrations peu compétitives face au deep learning conventionnel. Le gain énergétique via quantification INT8 (facteur 6,6 environ) intéresse directement les intégrateurs de drones, d'AMR ou de systèmes ADAS contraints en puissance de calcul.

Ce travail prolonge les recherches sur la vision événementielle, portée depuis plus d'une décennie par des capteurs asynchrones de type DVS, et sur les réseaux de neurones à impulsions, approche neuromorphique censée rapprocher le calcul du fonctionnement de la rétine biologique. Les auteurs pointent que l'essentiel des méthodes actuelles ignore l'asynchronie native des événements en les regroupant artificiellement en fenêtres temporelles; le neurone C-SiLIF vise justement à la préserver. Publié comme preprint arXiv de type "new", donc pas encore évalué par les pairs, le travail reste au stade de validation sur benchmarks (EvTTC, reconnaissance de gestes) comparés à des méthodes apprises existantes, sans partenaire industriel, déploiement réel ni calendrier de commercialisation mentionnés à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

1000 Rallies : jeu de données par caméra événementielle et estimation en temps réel de l'état de la balle pour le tennis de table robotique

Des chercheurs ont publié en juin 2026 (arXiv:2606.25620) le premier jeu de données à grande échelle pour la perception par caméra événementielle appliquée au ping-pong robotisé. Le dataset regroupe plus de 1 000 échanges (rallies) enregistrés auprès d'une population variée, des amateurs aux joueurs de niveau élite. Chaque séquence combine le flux événementiel avec 14 caméras haute vitesse synchronisées à 200 images par seconde, utilisées pour générer des labels pseudo-vérité à 1 kHz comprenant la position, la vitesse et l'effet de la balle. À partir de ce corpus, un réseau de neurones convolutif a été entraîné pour estimer conjointement position et vitesse de la balle dans le plan image, robuste aux mouvements de fond produits par le joueur. L'intégration de la vitesse prédite comme mesure additionnelle dans un filtre de Kalman réduit l'erreur de prédiction du point de rebond de 36 % par rapport à une baseline position seule. Le système a finalement été couplé à un bras robotisé Stäubli pour réaliser les premiers échanges humain-robot en temps réel pilotés intégralement par perception événementielle. Ce résultat est significatif pour le secteur de la robotique rapide car il valide, sur une tâche réelle et contrainte temporellement, l'avantage fondamental des caméras événementielles: une résolution temporelle de l'ordre de la microseconde, sans flou de mouvement, là où les caméras classiques imposent un arbitrage coûteux entre cadence et bande passante de traitement. La réduction de 36 % de l'erreur de prédiction du rebond, obtenue simplement en ajoutant la vitesse estimée au filtre de Kalman, illustre que la qualité de la mesure perceptive en amont détermine directement les performances de contrôle en boucle fermée, un argument concret pour les intégrateurs industriels qui travaillent sur des tâches de manipulation haute cadence ou de tri haute vitesse. Le ping-pong robotisé s'est imposé ces dernières années comme banc d'essai privilégié pour la perception et le contrôle à faible latence, notamment avec les travaux de Google DeepMind sur l'agent de tennis de table (2023-2024). Les caméras événementielles, dont le fabricant français Prophesee (Paris) est l'un des leaders mondiaux, restaient jusqu'ici sous-exploitées faute de datasets publics représentatifs. Stäubli Robotics, groupe franco-suisse basé à Faverges (Haute-Savoie), apporte ici une visibilité européenne au banc expérimental. Les auteurs ne précisent pas de roadmap de déploiement industriel, mais la combinaison dataset public + pipeline temps réel validé en boucle fermée constitue une base ouverte pour que d'autres équipes portent cette approche vers des applications comme le tri de pièces à haute cadence ou la manipulation de petits objets en mouvement.

UEProphesee (Paris), leader mondial des caméras événementielles, et Stäubli Robotics (Faverges, Haute-Savoie) sont directement impliqués dans le banc expérimental, renforçant la visibilité de la filière capteur et robotique franco-européenne sur la perception haute cadence.

RecherchePaper

1 source

2arXiv cs.RO

De la segmentation de verrerie transparente à l'évitement de collision : un pipeline de perception en temps réel sensible aux contours

Des chercheurs ont publié le 4 août 2026 sur arXiv (référence 2608.04769) un système de segmentation d'instance en temps réel conçu pour éviter les collisions avec du matériel de laboratoire transparent, en s'appuyant uniquement sur une caméra. Partant du constat que la réfraction et les reflets spéculaires rendent la texture interne des objets en verre peu fiable, mais que leurs contours restent visuellement stables, l'équipe a ajouté à un modèle de segmentation d'instance "one-stage" une branche de détection de contours, un mécanisme d'attention guidé par ces contours et un module SimAM sans paramètre supplémentaire. Elle a aussi construit LabGlass-IS, un jeu de données de 3485 images réparties en 21 catégories de verrerie de laboratoire réelle. Le modèle obtient un score Boundary F de 97,80, devançant de 18,93 points le cadre FastSAM piloté par YOLO, tout en tournant à 7,1 millisecondes par image et en n'utilisant que 2,85% des paramètres du concurrent le plus proche en précision. Une triangulation multi-vues des centroïdes de masques calcule ensuite des positions 3D pour des contraintes de volume englobant conservatrices, et sur robot réel le pipeline atteint un taux de réussite d'évitement de collision de 93,3%. Ce résultat cible un angle mort classique de la robotique de laboratoire : la verrerie transparente échappe souvent aux capteurs de profondeur usuels (lidar, stéréo), car elle ne réfléchit ni ne diffuse la lumière comme un objet opaque. Un système purement visuel, léger et rapide, capable de repérer fioles, béchers ou tubes à essai sans capteur de profondeur dédié, réduit le coût matériel d'une cellule robotisée et ouvre la voie à des bras collaboratifs travaillant à proximité de verrerie fragile sans contact accidentel. Le gain computationnel, moins de 3% des paramètres d'un concurrent à précision comparable pour une inférence sous les 10 millisecondes, est ce qui rend l'approche déployable en périphérie, sur du matériel embarqué peu coûteux plutôt que sur un serveur GPU distant : un critère décisif pour un intégrateur qui doit justifier le coût par poste automatisé en pharma, chimie ou biotech. La segmentation d'objets transparents est un problème documenté depuis plusieurs années en vision par ordinateur ; les méthodes génériques comme les variantes de SAM pilotées par YOLO peinent sur ces surfaces faute de texture interne exploitable, ce qui explique le choix des auteurs de comparer leur approche à FastSAM piloté par YOLO. Le code (TransYOLO_3D) et des vidéos de démonstration sont publiés en accès libre sur GitHub, ce qui permet une réplication indépendante, un point notable puisqu'il s'agit d'un prétirage arXiv non encore relu par les pairs. Les auteurs présentent leur pipeline perception-vers-action comme une preuve de faisabilité plutôt qu'un produit fini ; la suite logique serait une validation à plus grande échelle en conditions réelles de laboratoire, au-delà des essais contrôlés décrits dans l'article.

RecherchePaper

1 source

3arXiv cs.RO

GrandTour : un jeu de données de robotique à pattes en conditions réelles pour la perception multimodale et l'estimation d'état

Des chercheurs publient GrandTour, un jeu de données massif dédié à la perception multimodale et à l'estimation d'état pour robots quadrupèdes, disponible sur grand-tour.leggedrobotics.com au format HuggingFace (indépendant de ROS) ainsi qu'en formats ROS. La plateforme utilisée est un ANYmal-D d'ANYbotics équipé de la charge utile capteurs Boxi, combinant LiDAR rotatif, plusieurs caméras RGB aux caractéristiques complémentaires, capteurs proprioceptifs et caméras de profondeur stéréo, le tout synchronisé temporellement. Les données ont été collectées sur des sites très variés : environnements alpins, forêts, bâtiments démolis et zones urbaines, couvrant une large gamme d'échelles, de conditions d'éclairage et de météo. Point clé pour la fiabilité scientifique : les trajectoires de référence (ground truth) proviennent de GNSS RTK par satellite et d'une station totale Leica Geosystems, offrant une précision de localisation bien supérieure aux méthodes d'estimation embarquées classiques. Selon les auteurs, il s'agit du plus grand jeu de données en accès libre jamais publié pour la robotique à pattes. Ce type de ressource comble un manque criant dans la recherche en robotique légère : jusqu'ici, aucun jeu de données public à grande échelle ne permettait de développer et de comparer rigoureusement des algorithmes de SLAM, d'estimation d'état et de fusion de capteurs pour des quadrupèdes évoluant en conditions réelles, hors laboratoire. Pour les équipes travaillant sur la navigation autonome de robots à pattes, en particulier dans des environnements non structurés (chantiers, sites industriels accidentés, terrains extérieurs), GrandTour offre un benchmark commun et une vérité terrain de précision géodésique, rare dans ce domaine. C'est un signal que la communauté cherche à standardiser l'évaluation des systèmes de perception embarqués, plutôt que de se fier à des démonstrations isolées difficiles à reproduire. Le projet s'inscrit dans la lignée des travaux du Robotic Systems Lab, à l'origine de la plateforme ANYmal, aujourd'hui commercialisée par ANYbotics, acteur suisse reconnu de la robotique quadrupède industrielle aux côtés de Boston Dynamics (Spot) et Unitree. La publication constitue une mise à jour (version 3) d'un article déposé sur arXiv sous la référence 2602.18164. Les auteurs annoncent la mise à disposition d'outils et de ressources de démonstration pour faciliter l'adoption du jeu de données par la communauté SLAM et apprentissage multimodal, sans toutefois préciser de calendrier pour d'éventuelles extensions futures du corpus.

UECe jeu de données en accès libre, issu du Robotic Systems Lab (ETH Zurich) et d'ANYbotics (Suisse), constitue une ressource directement utile aux équipes de recherche françaises et européennes travaillant sur le SLAM et l'estimation d'état pour robots a pattes.

RecherchePaper

1 source

4arXiv cs.RO

Forçage temporel : alignement de représentation 4D pour les modèles vision-langage-action

Des chercheurs présentent Temporal Forcing, une méthode d'alignement de représentation 4D pour les modèles vision-langage-action (VLA), détaillée dans un article publié sur arXiv (2608.30643v1) le 30 août 2026 ou aux alentours. Le système ajoute une voie dédiée à l'historique des observations, permettant à un modèle VLA standard de condenser cet historique en représentations latentes tenant compte du temps. Ces représentations sont ensuite alignées avec les caractéristiques géométriques extraites par un modèle de fondation 4D préentraîné, capable de capturer l'évolution d'une scène 3D dans le temps de façon géométriquement cohérente. Sur le benchmark LIBERO, Temporal Forcing atteint un taux de réussite de 98,8%, soit 2,2 points de plus que son modèle de base. Sur une tâche physique de placement d'objet caché ("hidden-placement"), le taux de réussite complet de la tâche passe de 20,0% à 43,3%. Le code source doit être rendu public, sans date de disponibilité précisée dans l'article. Cette avancée cible un problème connu des VLA actuels: la confusion entre états visuellement similaires (observation aliasing) et la difficulté à gérer des manipulations longues, deux limites qui découlent du fait que les représentations 3D classiques ne capturent qu'un instant figé de la scène, sans mémoire de son évolution. En démontrant qu'ajouter une dimension temporelle à l'alignement géométrique améliore concrètement le taux de succès sur une tâche physique réelle, et pas seulement en simulation, ces résultats nuancent l'idée que l'alignement 3D seul suffirait à rapprocher les VLA d'une robustesse proche de l'humain. Pour les intégrateurs et équipes de recherche en robotique manipulatrice, cela suggère qu'exploiter des modèles de fondation 4D préentraînés peut devenir un ingrédient standard pour améliorer la mémoire de contexte des politiques d'action, sans changer l'architecture de base du modèle VLA. Ce travail s'inscrit dans la lignée des méthodes récentes de VLA qui alignent leurs représentations internes sur la géométrie de scène 3D pour améliorer la manipulation, une approche qui a gagné du terrain mais bute sur les tâches à long horizon. Temporal Forcing se positionne comme une extension de ces approches géométriques plutôt qu'une rupture architecturale, en s'appuyant sur un modèle de fondation 4D externe déjà entraîné. Les auteurs annoncent la publication future du code, ce qui permettra à la communauté de valider les résultats sur d'autres benchmarks que LIBERO et la tâche physique testée, mais aucun calendrier de déploiement industriel ni de partenariat n'est mentionné à ce stade.

RechercheActu

1 source