Aller au contenu principal
HiPFuse : segmentation sémantique LiDAR en temps réel pour la perception robotique sur appareils embarquésIllustration générée par IA
RecherchearXiv cs.RO 

HiPFuse : segmentation sémantique LiDAR en temps réel pour la perception robotique sur appareils embarqués

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

HiPFuse, un cadre de segmentation sémantique LiDAR publié sur arXiv (2611.14025), vise la perception robotique temps réel sur plateformes embarquées. Son principe est une fusion entre représentation par points et vue aérienne (BEV, bird's-eye-view) découpée par tranches de hauteur : les caractéristiques des points et celles des cartes BEV sont échangées à plusieurs échelles horizontales, afin de combiner le détail ponctuel et le contexte spatial 2D issus d'un seul scan LiDAR. Des affectations de hauteur fixes maintiennent des groupes d'agrégation verticaux séparés, avec une supervision auxiliaire des caractéristiques BEV initiales à partir de cibles issues des mêmes cellules 3D. Un module de contexte BEV à double échelle ajoute une information plus large via une grille plus grossière. Sur SemanticKITTI et MCD, le système atteint 63,7 % et 62,5 % de mIoU, à 14,2 et 22,4 images par seconde sur un Jetson AGX Orin, soit au-dessus de la cadence de 10 Hz des capteurs LiDAR courants. Un entraînement et une évaluation séparés suggèrent aussi une applicabilité en intérieur. Le code est disponible publiquement sur GitHub.

L'enjeu est la tension classique entre précision et coût de calcul. L'agrégation BEV est efficace, mais elle écrase en une même colonne des surfaces d'étiquettes différentes (route, trottoir, végétation, véhicule), ce qui dégrade les frontières sémantiques. En séparant l'agrégation verticale par plages de hauteur tout en gardant le détail des points, HiPFuse cherche à réduire cette confusion sans payer le prix des réseaux 3D denses. Le résultat le plus parlant pour un intégrateur n'est pas le mIoU, mais l'effet en aval : en remplaçant uniquement le module sémantique frontal dans des systèmes robotiques par ailleurs inchangés, l'erreur absolue de trajectoire (RMSE) de l'odométrie baisse en moyenne de 10,6 % sur deux séquences extérieures, et le rappel des fermetures de boucle acceptées gagne 8,7 points sur SemanticKITTI. Les cartes sémantiques montrent un étiquetage routier plus continu. Il faut toutefois rester prudent : ce sont des benchmarks académiques, sur un seul module matériel, avec des gains mesurés sur seulement deux séquences pour l'odométrie, et aucune validation en exploitation industrielle n'est annoncée. Le chiffre de 14,2 FPS sur SemanticKITTI laisse en outre une marge limitée si la chaîne de perception complète partage le même GPU.

Le contexte est celui d'une course à la segmentation LiDAR légère, où les méthodes purement point, voxel ou projection distance (range-view) offrent chacune un compromis différent entre exactitude et latence, et où les architectures de fusion multi-vues deviennent la voie dominante pour l'embarqué. Le Jetson AGX Orin est la référence de fait pour ces comparaisons, ce qui facilite la reproductibilité. Le dépôt ouvert permet aux équipes de robotique mobile, de conduite autonome ou de cartographie de tester HiPFuse dans leurs propres piles SLAM. Les suites logiques seraient une validation sur d'autres capteurs et en environnements denses ou mal structurés, une quantification ou optimisation TensorRT pour gagner de la marge de latence, et une évaluation face aux modèles de fondation 3D plus récents. Aucun acteur européen n'est mentionné dans ce travail, et aucun déploiement commercial n'est annoncé à ce stade.

Dans nos dossiers

À lire aussi

RTPolicy : une politique visuomotrice multi-vues en temps réel (32,9 Hz) pour la manipulation robotique sur appareils embarqués
Illustration générée par IA
1arXiv cs.RO 

RTPolicy : une politique visuomotrice multi-vues en temps réel (32,9 Hz) pour la manipulation robotique sur appareils embarqués

RTPolicy, une politique visuomotrice multi-vues décrite sur arXiv (2610.41625), vise à rendre la manipulation robotique pilotable en temps réel sur des puces embarquées. Son architecture combine une fusion de caractéristiques sensible à la vue et une compression visuelle, qui agrègent les informations complémentaires de plusieurs caméras en un petit nombre de tokens. Ces tokens, avec l'état du robot et le temps de flux, conditionnent un générateur d'actions par flow matching. Sur le benchmark RoboTwin 2.0 (évaluation mono-tâche en environnement propre, 50 tâches), RTPolicy atteint 52,26 % de succès moyen, contre 46,4 % pour π0, la meilleure référence du classement. Sur une plateforme bimanuelle réelle, en inférence asynchrone en flux continu, le taux de succès moyen est de 72,0 %. La latence mesurée est de 30,35 ms (32,9 Hz) sur la puce RDK S600 et de 149,72 ms (6,7 Hz) sur la RDK S100, dans les deux cas en INT16. Le code et une page projet sont publiés par le laboratoire D-Robotics AI Lab. L'intérêt tient à la latence plus qu'au score. En inférence asynchrone, des segments d'actions (action chunks) sont renouvelés pendant l'exécution du précédent, et plus le cycle est court, plus le robot corrige vite les dérives accumulées. Beaucoup de politiques VLA ou visuomotrices actuelles reposent sur des backbones visuels lourds, qui imposent des GPU de bureau ou de serveur. Démontrer environ 33 Hz sur un module embarqué suggère qu'une partie du coût vient de choix d'architecture (nombre de tokens, génération d'actions) et pas seulement de la taille des modèles. Plusieurs réserves s'imposent : le gain de 5,9 points sur π0 vient d'une seule suite de simulation, en configuration mono-tâche et propre, et la comparaison avec des politiques plus grandes n'est pas à iso-calcul. Le résultat réel de 72 % porte sur une plateforme et un jeu de tâches que le résumé ne détaille pas. Enfin, l'écart entre les deux puces, un facteur proche de cinq, montre que le temps réel dépend fortement du matériel retenu. Ce travail s'inscrit dans la course à l'efficacité des politiques de manipulation, après les approches par diffusion et flow matching popularisées par π0, et alors que RoboTwin 2.0 s'impose comme banc d'essai bimanuel de référence. Il s'agit d'une prépublication (v1) non évaluée par des pairs, sans déploiement industriel annoncé. Les puces RDK appartiennent à l'écosystème D-Robotics, ce qui laisse penser que l'optimisation est liée à cette pile logicielle et matérielle. Les prochaines étapes à surveiller sont la reproduction indépendante des résultats, des tests sur d'autres plateformes embarquées comme les modules Jetson, et une validation sur des tâches longues et variées, plus proches des cahiers des charges des intégrateurs.

RecherchePaper
1 source
SmolWAM : un modèle monde-action latent pour la manipulation robotique sur appareils embarqués
Illustration générée par IA
2arXiv cs.RO 

SmolWAM : un modèle monde-action latent pour la manipulation robotique sur appareils embarqués

SmolWAM est un modèle monde-action (WAM) latent qui prédit en une seule passe les actions d'un robot et les observations visuelles qu'elles produiront. Il dérive de Cosmos Policy, un modèle de 2 milliards de paramètres. Ses auteurs conservent le tronc pré-entraîné et reconstruisent l'interface d'inférence. Le modèle utilise des latents visuels d'une seule image, des caractéristiques textuelles mises en cache qui préservent les « attention sinks » du tronc, 12 des 28 blocs transformer et 1 008 tokens. Les actions et les latents visuels futurs sont lus en une seule étape de rectified flow. L'entraînement a demandé 3,6 heures-GPU. Sur 400 épisodes du benchmark LIBERO, le taux de réussite atteint 95,5 %, avec 57 ms et 2,3 TFLOP par chunk de 16 actions et 2,4 GiB de mémoire GPU. Face au modèle enseignant, cela représente un gain de vitesse de 11x, 18,5x moins de FLOPs et 3,2x moins de mémoire. L'intérêt tient au verrou que ce travail cible. Les meilleurs WAM reposent sur des transformers de diffusion vidéo trop lourds pour du matériel embarqué, ce qui les cantonne aux serveurs. Ramener un tel modèle à moins de 2,5 GiB et à moins de 60 ms par chunk suggère que la prédiction du futur peut cohabiter avec le contrôle temps réel sur du calcul contraint. Les auteurs affirment aussi que la tête « monde » continue de prévoir le mouvement de la scène, donc que la compression ne réduit pas le modèle à une simple politique. Les réserves sont nettes. LIBERO est un benchmark simulé, l'article ne détaille pas le matériel edge réellement visé dans le résumé, et aucune validation sur robot physique n'est mentionnée. Le résultat relève de la recherche, pas d'un produit déployé. Ce travail s'inscrit dans la course à l'efficacité des modèles vision-langage-action, où des politiques comme Pi-0 ou GR00T N2 visent aussi un déploiement embarqué. Les WAM, eux, ajoutent une capacité de prédiction visuelle au prix d'un coût de calcul élevé. La distillation et l'élagage structurel (retirer 16 blocs sur 28) offrent ici une voie peu coûteuse, avec 3,6 heures-GPU seulement. Les suites logiques sont des tests sur manipulateurs réels, des mesures sur des puces embarquées de type Jetson, et une évaluation sur des tâches plus longues et plus variées que LIBERO.

RecherchePaper
1 source
IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur
Illustration générée par IA
3arXiv cs.RO 

IndoorBEV : un système léger de perception BEV par LiDAR en temps réel pour robots mobiles d'intérieur

Des chercheurs publient sur arXiv (2610.00355) IndoorBEV, un système de perception LiDAR conçu pour les robots mobiles d'intérieur. Le modèle ne compte que 0,6 million de paramètres et occupe 2,3 Mo de stockage. Sur un NVIDIA AGX Orin, il consomme 21,52 Mo de mémoire GPU par inférence et affiche une latence moyenne de 169,6 ms, pour une échéance de perception fixée à 200 ms. Le taux de dépassement de cette échéance est de 1,8 %. Le système produit simultanément des cartes sémantiques en vue de dessus (BEV, bird's-eye view) et des boîtes englobantes orientées pour les objets. Il repose sur une représentation BEV « consciente de la hauteur » : pour chaque cellule, la distribution verticale des points est résumée par des statistiques de hauteur et un encodage multi-fréquence, ce qui permet à de simples convolutions 2D de traiter une information 3D. Un encodeur léger fusionne ces indices géométriques avec des représentations locales multi-échelles et un contexte global compact, puis des têtes de prédiction découplées génèrent les sorties. L'évaluation couvre des scènes simulées, des scans réels de robots et un jeu de données ouvert de nuages de points d'intérieur. L'enjeu est très concret pour les intégrateurs et les équipes qui embarquent de la perception sur des plateformes à budget calcul limité. Les méthodes à base de points ou de voxels restent coûteuses, tandis que les BEV classiques, issus surtout de la conduite autonome, sacrifient la géométrie verticale, un handicap dans des intérieurs encombrés où tables, étagères, suspensions et objets en surplomb comptent. Avec un modèle de 2,3 Mo, IndoorBEV laisse l'essentiel du GPU disponible pour la navigation, la planification ou d'autres réseaux sur la même machine. Les auteurs affirment ainsi qu'encoder explicitement la hauteur dans une représentation 2D compacte est une voie viable. Quelques réserves s'imposent : il s'agit d'une préimpression non relue par les pairs, une latence moyenne de 169,6 ms sous une échéance de 200 ms laisse une marge mince, soit environ 6 images par seconde, ce qui est modeste pour un robot rapide, et le résumé ne donne aucun chiffre de précision, ni comparaison chiffrée avec des modèles concurrents. L'affirmation d'un « compromis favorable » reste donc à vérifier dans l'article complet. Ce travail s'inscrit dans la série des architectures BEV, popularisées par la conduite autonome (PointPillars, BEVFusion) et désormais adaptées aux contraintes de l'embarqué. Le choix de l'AGX Orin, plateforme de référence pour la robotique mobile, rend les résultats comparables à ce que les intégrateurs déploient réellement. Les concurrents sont les réseaux voxel creux et les approches point à point, plus précis mais plus lourds, ainsi que les modèles de fondation de perception 3D, qui visent la généralité plutôt que la frugalité. Aucune annonce de déploiement industriel, de code ou de pilote n'accompagne la publication à ce stade. La suite logique consisterait à publier des benchmarks comparatifs, à tester le système sur des robots en conditions réelles de logistique ou de service, et à vérifier sa tenue face à des environnements dynamiques et à des capteurs LiDAR de résolutions différentes.

RecherchePaper
1 source
LIN-SLAM : SLAM neuronal léger LiDAR-inertiel pour la navigation embarquée en temps réel
Illustration générée par IA
4arXiv cs.RO 

LIN-SLAM : SLAM neuronal léger LiDAR-inertiel pour la navigation embarquée en temps réel

LIN-SLAM, présenté sur arXiv (2610.21199), est une méthode de cartographie et localisation simultanées (SLAM) qui couple une estimation géométrique LiDAR-inertielle à haute cadence avec un backend neuronal implicite pour le suivi, la cartographie continue et le raffinement global. Les auteurs l'évaluent sur douze séquences issues de trois jeux de données, couvrant des LiDAR à 32, 64 et 128 canaux. Ils annoncent l'erreur de trajectoire absolue (ATE) moyenne la plus faible parmi les méthodes géométriques et neuronales de l'état de l'art comparées, avec un temps de calcul nettement inférieur à celui des SLAM neuronaux existants. Le test embarqué utilise un chien robot Unitree Go2 équipé d'un NVIDIA Jetson Orin NX et d'un LiDAR 16 canaux. Le système y maintient la localisation et la cartographie neuronale en temps réel sur 1,47 km de trajectoire en intérieur, dans des couloirs répétitifs, avec une erreur de fermeture de boucle de 0,141 m en fin de parcours. Cette combinaison vise un compromis que le secteur peine à tenir. Les SLAM LiDAR-inertiels géométriques sont rapides et robustes, mais ils produisent des cartes discrètes et offrent peu de raffinement global. Les approches neuronales implicites donnent des cartes continues et plus précises, mais leur coût de calcul les confine le plus souvent à des GPU de bureau ou à du traitement différé. Si les résultats se confirment, une carte neuronale exploitable en ligne sur un module Jetson de classe embarquée intéresse directement les fabricants de robots mobiles, de robots quadrupèdes d'inspection et d'AMR (robots mobiles autonomes), qui visent une navigation fiable sans serveur déporté. Quelques réserves s'imposent : la validation embarquée repose sur une seule trajectoire intérieure, la revendication d'être le premier système de ce type reste celle des auteurs, et le code ne sera publié qu'après acceptation de l'article, ce qui empêche pour l'instant toute reproduction indépendante. Le résumé ne précise pas non plus les temps de calcul chiffrés ni la consommation. Ce travail s'inscrit dans la lignée des SLAM neuronaux implicites, qui ont montré leur précision mais ont longtemps pesé sur les ressources de calcul, face aux références géométriques LiDAR-inertielles, plus légères mais moins riches en représentation. Le choix du Go2, plateforme quadrupède grand public très répandue en recherche, et du Jetson Orin NX facilite la comparaison et la reproductibilité future. Les prochaines étapes à surveiller sont la publication du code, des tests en extérieur et sur de plus longues durées, des mesures de latence et de consommation sur la cible embarquée, ainsi qu'une comparaison avec les piles de navigation déjà intégrées par les constructeurs.

RecherchePaper
1 source