Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Localisation et rendu neuronal par splatting en périphérie : une mémoire de scène sur FPGA pour les robots
RecherchearXiv cs.RO 

Localisation et rendu neuronal par splatting en périphérie : une mémoire de scène sur FPGA pour les robots

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs présentent LENS, un système d'accélération de « mémoire de scène » pour robots et véhicules autonomes. Il tourne sur la carte AMD KR260, une plateforme FPGA/ARM de faible puissance, et fait fonctionner sans GPU de bureau une chaîne de type ACEsplat. Cette chaîne combine la régression de coordonnées de scène (SCR), qui localise une caméra sans passer par une étape de structure-from-motion, et le 3D Gaussian splatting (3DGS), qui rend des vues proches. LENS ne propose pas de nouveau modèle de scène. Il accélère les deux noyaux dominants, avec un accélérateur SCR en INT16 et un moteur de rendu 3DGS ordonné en virgule fixe, exact au bit près. Ce dernier réécrit la transmittance alpha sous forme de récurrence log-sum-exp et élimine les gaussiennes dont l'inutilité est démontrée. Sur la carte, la localisation prend 25,42 ms en conservant la précision de DSAC*. Le rendu atteint 34,11 dB sur Cambridge contre 33,20 pour ACEsplat, et 27,84 dB en synthèse de nouvelles vues sur RealEstate10K contre 26,11. Les dix scènes Wayspots atteignent la cible de rendu d'ACEsplat.

L'intérêt tient au rapport performance/watt. Face à un Jetson Orin NX, LENS fait 1,9 à 5,7 fois mieux sur chaque tâche de déploiement, avec environ un quart de la puissance. Il est aussi plus rapide en latence absolue sur la localisation et le rendu Wayspots. Pour les intégrateurs de robots mobiles ou de véhicules sur batterie, cela suggère que localisation et rendu neuronal peuvent sortir du paradigme GPU embarqué. La limite est nette. L'entraînement sur appareil atteint la qualité d'ACEsplat, mais pas le temps ni l'énergie du GPU. Les auteurs renvoient donc à un futur accélérateur d'entraînement, et la carte reste pour l'instant un outil d'inférence.

Il s'agit d'un préprint arXiv en version 2, sans relecture par les pairs. Les mesures de latence, de puissance et de qualité sont réalisées sur carte par les auteurs, et la qualité est comparée aux chiffres d'ACEsplat. Aucun déploiement sur robot réel n'est annoncé. Le travail s'inscrit dans la course à l'IA spatiale embarquée, où le Jetson de Nvidia reste la référence d'inférence en robotique. Le FPGA y joue la carte de l'efficacité énergétique, au prix d'une conception matérielle plus lourde. La suite logique serait un accélérateur dédié à l'entraînement, qui permettrait de cartographier une scène directement à bord.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

Localisation relative distribuée pour systèmes multi-robots homogènes par mesure de distance UWB et communications limitées
1arXiv cs.RO 

Localisation relative distribuée pour systèmes multi-robots homogènes par mesure de distance UWB et communications limitées

Une équipe de chercheurs propose une méthode entièrement distribuée de localisation relative pour des flottes de robots homogènes, c'est-à-dire des machines d'apparence identique, sans infrastructure externe. Le système fusionne trois sources : le LiDAR embarqué, la télémétrie par bande ultra-large (UWB, Ultra-Wideband) et l'odométrie. Les amas de points LiDAR susceptibles d'être des coéquipiers sont d'abord suivis par un tracker dynamique, sans identité attribuée. Une stratégie d'appariement conjoint associe ensuite chaque amas anonyme au robot correspondant. Enfin, chaque robot combine ses observations LiDAR, les distances UWB et l'odométrie pour estimer la pose de ses voisins. Le seul échange de données requis est l'odométrie, transmise par le module UWB embarqué. Le travail, publié sur arXiv (2610.11308), s'appuie sur des expériences en simulation et en conditions réelles. Le résumé ne donne ni précision chiffrée, ni taille de flotte, ni environnement de test, ni comparaison avec une méthode de référence. L'enjeu est concret pour toute application où plusieurs robots doivent se coordonner dans des lieux dégradés : exploration, recherche et sauvetage, et plus largement les flottes de robots mobiles autonomes (AMR) d'un entrepôt. Le LiDAR localise très bien les objets proches, mais il ne dit pas qui est qui lorsque les robots se ressemblent. C'est le problème d'association de données que les auteurs ciblent. Se passer de routeurs WiFi ou de réseaux maillés répond à une contrainte opérationnelle réelle, car ces infrastructures sont absentes ou peu fiables dans un tunnel, un bâtiment effondré ou une mine. Limiter l'échange à l'odométrie réduit la bande passante nécessaire, ce qui compte pour les petits robots à faible budget énergétique. Il faut toutefois rester prudent : en l'absence de métriques publiées dans le résumé, la robustesse de l'approche, notamment face aux occultations, aux robots nombreux ou aux perturbations de signal UWB en environnement métallique, reste à vérifier dans le texte complet. Il s'agit d'un résultat de recherche, sans produit ni déploiement associé. Ce travail s'inscrit dans la recherche sur la robotique en essaim et le SLAM multi-robot, où la localisation relative sert de brique de base à la cartographie collaborative. Les approches existantes reposent souvent sur des marqueurs visuels, des balises fixes (ancres UWB installées à l'avance), un positionnement externe type GNSS ou capture de mouvement, ou encore un partage de cartes qui exige un réseau dédié. Les méthodes purement visuelles ou LiDAR peinent à distinguer des robots identiques, et les approches UWB seules manquent de précision directionnelle. La proposition combine donc la précision géométrique du LiDAR et l'identification par distance de l'UWB. Les suites naturelles seraient des tests à plus grande échelle, avec des flottes plus nombreuses, des trajectoires plus rapides et des environnements encombrés, ainsi qu'une intégration dans des piles de cartographie collaborative. Aucune échéance de transfert industriel n'est annoncée.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
LIFD : diffusion ancrée pour une mémoire de scène 3D dans la manipulation robotique
2arXiv cs.RO 

LIFD : diffusion ancrée pour une mémoire de scène 3D dans la manipulation robotique

Un article de recherche publié sur arXiv (arXiv:2609.19796v1) présente LIFD (Look, Imagine, Focus, and Do), un système de mémoire de scène tridimensionnelle persistante destiné à la manipulation robotique en conditions d'observabilité partielle, c'est-à-dire lorsque des zones vues par le robot sortent du champ de la caméra à mesure qu'il ou la scène se déplace. Le système apprend une représentation en tokens de scène à partir d'un accord multi-vues, puis la complète en déploiement à partir d'une seule image RGB et d'une mémoire récurrente, grâce à un modèle de rectified-flow combiné à un mécanisme d'attention croisée guidée par des ancrages géométriques. Sur les bancs d'essai de simulation LIBERO et MetaWorld, la version dite "Staged" de LIFD atteint respectivement 91,6% et 79,8% de taux de réussite moyen, avec un gain de 3,1 points de pourcentage sur LIBERO par rapport à un entraînement joint classique. Sur un bras robotique réel UR5e, testé sur quatre familles de tâches avec seulement dix démonstrations par famille, LIFD obtient 56,0% de réussite moyenne contre 40,5% pour OpenVLA-7B, un modèle vision-langage-action de référence dans le secteur. Ce résultat s'attaque à une limite connue des politiques de manipulation actuelles: la plupart des architectures VLA raisonnent sur la vue courante et perdent la trace des objets ou surfaces qui sortent du cadre, ce qui fragilise les tâches nécessitant de se souvenir d'un état antérieur de la scène. En montrant qu'une mémoire de scène compacte peut être inférée à partir d'une unique caméra RGB et de la proprioception au moment du déploiement, sans capteurs multi-vues ni LIDAR embarqués, LIFD répond à une contrainte très concrète pour les intégrateurs: le coût et la complexité du capteur. L'écart de performance avec OpenVLA-7B en régime few-shot (dix démonstrations) est aussi un signal pour les décideurs B2B, car il suggère qu'une mémoire spatiale explicite peut compenser en partie le besoin de données massives, un frein habituel à l'adoption des VLA en environnement industriel réel. Sur le plan méthodologique, LIFD s'appuie sur un entraînement en deux temps: une phase de représentation supervisée par des signaux multi-vues et géométriques, suivie d'une politique de manipulation reliée à cette représentation via des "slot features" compactes. Les auteurs comparent explicitement deux régimes d'entraînement, "Staged" et "Joint", le premier se révélant supérieur, et positionnent leur approche face à OpenVLA-7B comme référence VLA open-source établie. Il s'agit à ce stade d'un travail de recherche publié en preprint, validé sur des simulateurs standards du domaine (LIBERO, MetaWorld) et un unique bras collaboratif UR5e en laboratoire, sans annonce de pilote industriel ni de calendrier de déploiement à plus grande échelle.

RecherchePaper
1 source
Localisation relative distribuée par ultra-large bande et LiDAR pour des multi-robots à communication limitée
3arXiv cs.RO 

Localisation relative distribuée par ultra-large bande et LiDAR pour des multi-robots à communication limitée

Une équipe de chercheurs propose une méthode entièrement distribuée d'estimation de position relative pour des flottes de robots homogènes, fondée sur deux capteurs embarqués : un LiDAR et des modules Ultra-WideBand (UWB). Le LiDAR détecte la position d'objets anonymes en ligne de vue (LOS), sans pouvoir dire s'il s'agit d'un robot ou d'un obstacle. L'UWB mesure les distances entre robots. Les auteurs construisent deux graphes, un graphe de connexion UWB et un graphe de connexion LiDAR, qui décrivent les relations spatiales entre les objets. L'identification des robots et l'estimation de leur position relative sont formulées comme un problème de mise en correspondance de sous-graphe commun. Une procédure dédiée repère les faux appariements causés par un obstacle qui masque une partie du champ de vision du LiDAR. Les robots concernés sont ensuite localisés à partir des robots correctement appariés et des mesures de distance UWB. Le papier, publié sur arXiv (2610.11141v1), annonce une précision de positionnement « satisfaisante » en mode distribué, avec un échange d'informations limité entre robots. L'intérêt tient au cas d'usage visé : des robots identiques, sans GPS et avec une communication restreinte. C'est le cas des entrepôts denses, des sites souterrains, des tunnels ou des bâtiments en intérieur, où l'exploration et le maintien de formation en essaim exigent que chaque machine sache où sont les autres. Beaucoup de systèmes multi-robots dépendent aujourd'hui d'un serveur central, de marqueurs visuels ou d'une infrastructure d'ancres UWB installée à l'avance. Une approche qui n'exige ni infrastructure fixe ni bande passante importante réduit le coût de déploiement et la fragilité face aux coupures réseau. Le point dur, que les auteurs traitent explicitement, est l'occlusion. Un robot caché par un obstacle produit des appariements erronés, et c'est ce type de cas limite qui fait échouer les démonstrations en conditions réelles. Il faut toutefois lire ce travail pour ce qu'il est : une contribution académique préliminaire (première version), sans produit, sans pilote industriel et sans partenaire commercial annoncé. Le résumé ne donne aucun chiffre d'erreur de position, aucune taille de flotte testée, aucune fréquence de mise à jour ni aucune comparaison chiffrée avec des méthodes existantes. L'adjectif « satisfaisant » ne permet donc pas de juger la robustesse hors laboratoire. Le sujet prolonge une littérature active sur la localisation relative par UWB, par vision ou par LiDAR, où la plupart des solutions imposent soit une identification préalable des robots, soit un échange de données important. La suite logique serait une validation à plus grande échelle, avec davantage de robots, des environnements dynamiques et une mise en regard avec des systèmes de référence. Pour un intégrateur, l'approche est à suivre comme brique de recherche, pas encore comme solution déployable.

UEPas d\'impact direct sur la France/UE

RecherchePaper
1 source
GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon
4arXiv cs.RO 

GaussMemory : mémoire de scène en gaussiennes 3D pilotée par la tâche pour la manipulation robotique à long horizon

Un article de recherche publie sur arXiv le 18 aout 2026 (référence 2608.14986v1) présente GaussMemory, un système de mémoire spatiale pour la manipulation robotique a long horizon, construit sur le 3D Gaussian Splatting comme substrat géométrique persistant. A la différence des mémoires 3D existantes, qui enregistrent les observations selon des règles fixes en traitant chaque élément de la scene avec la même importance, GaussMemory apprend de bout en bout quels objets suivre précisément, a quelle fréquence les mettre a jour et quoi oublier. Sur les bancs d'essai LIBERO et VLABench, il depasse le système MemoryVLA sur les taches Goal et Long-10, et surpasse le modèle π0-FAST de 5,2 points sur la piste 1 et de 6,0 points sur la piste 6. Le problème vise est bien connu du secteur: les architectures vision-langage-action mémorisent généralement l'environnement de façon passive, sans distinguer ce qui compte pour la tache en cours, ce qui dégradé les performances des que les séquences de manipulation s'allongent. En unifiant mise a jour et lecture de la mémoire dans un seul mécanisme appris plutôt que des heuristiques écrites a la main, GaussMemory s'inscrit dans une tendance de fond visant a faire passer les VLA de démonstrations courtes en laboratoire vers des taches multi-étapes plus proches des besoins industriels réels. Pour les intégrateurs qui évaluent des piles VLA, des gains chiffres sur des benchmarks standardises comme LIBERO et VLABench offrent un point de comparaison plus solide qu'une simple vidéo de démonstration. Le travail se positionne explicitement face a deux références du domaine, MemoryVLA et π0-FAST, ce dernier dérivé du modèle π0 de Physical Intelligence, citées comme bases de comparaison directes plutôt que comme simples antécédents. Il s'inscrit dans la lignée des travaux sur le 3D Gaussian Splatting, technique de représentation de scènes issue de la vision par ordinateur, de plus en plus réutilisée comme mémoire de travail pour des agents robotiques. A ce stade, il s'agit d'une publication de recherche évaluée uniquement en simulation, sans déploiement matériel annonce ni partenaire industriel cite, et sans calendrier donne pour un transfert vers des robots physiques, ce qui distingue clairement cette contribution d'une annonce produit ou d'un pilote commercial.

RechercheActu
1 source