RecherchearXiv cs.RO1j

LiPS : segmentation panoptique légère pour la robotique aux ressources limitées

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de recherche publie sur arXiv (identifiant 2604.00634, version révisée) LiPS, une architecture de segmentation panoptique conçue spécifiquement pour les plateformes robotiques embarquées à ressources limitées. La segmentation panoptique est une tâche de perception qui combine la segmentation sémantique (classifier chaque pixel selon sa catégorie) et la segmentation d'instances (distinguer chaque objet individuel), offrant ainsi une compréhension unifiée de la scène. LiPS conserve l'approche par décodeur à requêtes (query-based decoding), héritée des architectures transformeurs comme Mask2Former, mais introduit un pipeline allégé d'extraction et de fusion de features. Sur les benchmarks standards, LiPS atteint un débit jusqu'à 4,5 fois supérieur en images par seconde et nécessite 6,8 fois moins d'opérations de calcul que les modèles lourds de référence, avec une précision comparable.

L'enjeu est réel pour les intégrateurs en robotique mobile. Les modèles d'état de l'art en perception (Mask2Former, OneFormer, Panoptic-DeepLab) atteignent des performances élevées sur des GPU de datacenter, mais leur déploiement sur des plateformes AMR, des robots d'inspection ou des bras collaboratifs équipés de GPU embarqués modestes (Jetson Orin, Hailo, NPU intégrés) reste bloqué par la bande passante mémoire et la latence d'inférence. Un facteur 4,5x sur le débit signifie concrètement la différence entre un pipeline temps réel à 30 FPS et un pipeline batch inutilisable en navigation autonome. Il convient toutefois de souligner que les benchmarks cités ne précisent pas le matériel cible exact ni les conditions d'évaluation, ce qui limite la comparabilité directe avec des contraintes industrielles spécifiques.

La segmentation panoptique légère s'inscrit dans une tendance de fond : après l'explosion des grands modèles de vision (SAM, DINOv2, GroundedSAM), la communauté cherche à distiller ces capacités vers l'edge. Des travaux concurrents comme EfficientPS ou RT-DETRv2 adaptés à la segmentation visent des compromis similaires. LiPS se distingue par le maintien du décodeur à requêtes, généralement sacrifié dans les approches légères au profit de têtes plus simples. Aucun partenariat industriel ni déploiement pilote n'est mentionné dans l'article, qui reste pour l'instant une contribution académique sans timeline commerciale annoncée.

Impact France/UE

Contribution académique sans lien direct France/UE ; les intégrateurs européens de robots mobiles (AMR, inspection) pourraient en bénéficier si le code est publié, mais aucun déploiement ni partenariat européen n'est annoncé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

ATLAS : un outil d'annotation pour la segmentation d'actions robotiques à long horizon

Des chercheurs ont publié le 30 avril 2026 sur arXiv (référence 2604.26637) ATLAS, un outil d'annotation dédié à la segmentation d'actions robotiques sur des horizons temporels longs. L'outil propose une visualisation synchronisée de données multimodales : flux vidéo multi-vues et signaux proprioceptifs comme l'état de la pince ou les capteurs force/couple. ATLAS prend en charge nativement les formats les plus répandus dans la communauté robotique, à savoir les ROS bags et le format RLDS (Reinforcement Learning Dataset), avec un support direct pour des jeux de données spécifiques tels que REASSEMBLE. Son interface centrée sur le clavier vise à réduire la charge cognitive de l'annotateur. Sur une tâche d'assemblage riche en contacts, ATLAS réduit le temps moyen d'annotation par action d'au moins 6 % par rapport à ELAN, améliore l'alignement temporel avec les annotations expertes de plus de 2,8 %, et divise par cinq l'erreur aux frontières d'actions par rapport aux outils purement visuels. Ce résultat pointe vers un goulot d'étranglement souvent sous-estimé dans le développement des politiques de manipulation : la qualité des annotations temporelles conditionne directement la performance des modèles d'imitation et de segmentation d'actions. Les approches VLA (Vision-Language-Action) et les méthodes de policy learning par démonstration nécessitent des frontières d'actions précises pour généraliser correctement. L'absence de synchronisation entre vidéo et signaux robot dans les outils existants introduit des biais systématiques dans les datasets, qui se répercutent ensuite sur le sim-to-real gap. ATLAS adresse ce problème structurel pour les équipes qui construisent des pipelines de données à grande échelle. ELAN, l'outil de référence historique pour l'annotation multimodale issu de la linguistique computationnelle, était jusqu'ici la solution la plus utilisée dans les labos robotique faute d'alternative spécialisée. ATLAS se positionne explicitement comme son successeur pour les usages robotiques, avec une couche d'abstraction modulaire qui facilite l'intégration de nouveaux formats. Le format RLDS, popularisé notamment par les travaux de Google DeepMind sur RT-2 et Open X-Embodiment, est devenu un standard de facto pour les datasets de manipulation à large échelle, rendant la compatibilité native d'ATLAS particulièrement pertinente. Aucun déploiement industriel ni partenariat commercial n'est mentionné à ce stade : il s'agit d'un outil de recherche open source, dont la prochaine étape naturelle serait une adoption par les équipes construisant des benchmarks de manipulation standardisés.

RecherchePaper

1 source

2arXiv cs.RO

M2R2 : représentation robotique multimodale pour la segmentation temporelle des actions

Des chercheurs ont publié fin avril 2025 sur arXiv (2504.18662) un extracteur de représentations multimodal baptisé M2R2 (MultiModal Robotic Representation for Robotic TAS), conçu pour la segmentation temporelle d'actions (TAS) en robotique. L'approche combine des informations proprioceptives (encodeurs, capteurs force-couple, état des articulations) et extéroceptives (caméras RGB) dans un extracteur de features commun, accompagné d'une stratégie d'entraînement inédite permettant la réutilisation de ces représentations sur plusieurs architectures de segmentation indépendantes. Les résultats annoncés positionnent M2R2 à l'état de l'art sur trois jeux de données de référence en robotique : REASSEMBLE (assemblage de composants), (Im)PerfectPour (versage de liquide) et JIGSAWS (chirurgie robotique laparoscopique simulée). Une étude d'ablation extensive quantifie la contribution respective de chaque modalité. L'intérêt principal de M2R2 réside dans la modularité de son extracteur : les approches multimodales existantes en robotique fusionnaient les modalités directement à l'intérieur du modèle de segmentation, rendant les features non réutilisables entre architectures. Ici, le découplage extracteur/modèle de TAS ouvre la voie à une bibliothèque de représentations partageable, ce qui réduit le coût de réentraînement lors du changement de tâche ou de robot. Sur les scénarios à faible visibilité d'objet, les extracteurs purement visuels issus du computer vision chutent en performance, là où l'ajout de la proprioception maintient la robustesse. C'est un résultat concret sur la fragilité des approches vision-seule dans des environnements industriels ou chirurgicaux réels, où occlusions et éclairage variable sont la norme. La segmentation temporelle d'actions est un verrou historique pour l'autonomie des robots manipulateurs : sans identifier les frontières entre skills (saisir, aligner, visser...), il est impossible de planifier, corriger ou réutiliser des séquences de gestes. En chirurgie robotique, JIGSAWS est le benchmark de référence depuis 2016, utilisé notamment dans les travaux autour des plateformes da Vinci (Intuitive Surgical). En robotique industrielle, des acteurs comme Wandercraft ou les équipes de manipulation de Boston Dynamics s'appuient sur des approches similaires pour les transitions de phases motrices. M2R2 reste à ce stade une contribution de recherche académique sans déploiement industriel annoncé, mais son extracteur réutilisable représente un candidat sérieux pour des pipelines d'imitation learning dans lesquels labelliser chaque skill manuellement est le principal goulot d'étranglement.

UEL'extracteur modulaire M2R2 pourrait bénéficier aux équipes de manipulation françaises (notamment Wandercraft) en réduisant le coût de labellisation dans les pipelines d'imitation learning, mais reste une contribution académique sans déploiement industriel annoncé.

RecherchePaper

1 source

3arXiv cs.RO

Panorama des représentations de mémoire spatiale pour la navigation robotique efficace

Une étude publiée sur arXiv (2604.16482) recense 88 travaux couvrant 52 systèmes de navigation robotique entre 1989 et 2025, des grilles d'occupation classiques jusqu'aux représentations neurales implicites. Le problème central : à mesure qu'un robot explore de grands espaces, sa mémoire spatiale croît sans borne, épuisant les ressources des plateformes embarquées typiques (8 à 16 Go de mémoire partagée, moins de 30 W de consommation). Les auteurs introduisent un coefficient α, défini comme le rapport entre la mémoire RAM ou GPU consommée en opération (Mpeak) et la taille de la carte sauvegardée sur disque (Mmap). Un profilage indépendant sur GPU NVIDIA A100 révèle que α varie de deux ordres de grandeur selon les méthodes neurales seules : Point-SLAM affiche α = 2,3, tandis que NICE-SLAM atteint α = 215, sa carte de 47 Mo réclamant 10 Go à l'exécution. Les méthodes 3DGS (Gaussian Splatting 3D) obtiennent la meilleure précision absolue pour des cartes de 90 à 254 Mo sur le benchmark Replica, et les graphes de scènes offrent une abstraction sémantique à coût prévisible. Ce résultat remet en cause une hypothèse courante dans la communauté SLAM : la taille de la carte publiée dans un papier n'est pas un indicateur fiable de la faisabilité réelle sur matériel cible. Un système qui semble léger au sens du checkpoint disque peut exiger des ressources mémoire prohibitives au runtime, rendant son déploiement impossible sur une unité de calcul edge standard. L'absence de métrique unifiée sur la consommation mémoire dynamique explique en partie pourquoi des méthodes prometteuses en laboratoire peinent à franchir le seuil de la mise en production industrielle, notamment sur les robots mobiles autonomes (AMR) ou les manipulateurs avec vision embarquée. L'étude propose un protocole standardisé articulé autour du taux de croissance mémoire, de la latence de requête, des courbes mémoire-complétude et de la dégradation du débit, quatre indicateurs absents des benchmarks actuels. Le champ de la mémoire spatiale pour la navigation autonome a connu une accélération avec l'arrivée des représentations neurales implicites (NeRF, 3DGS) autour de 2020-2022, qui ont amélioré la qualité de reconstruction mais ignoré la contrainte mémoire runtime. Des acteurs comme iSLAM, Point-SLAM ou NICE-SLAM ont publié des cartes compactes sans fournir de mesures de consommation dynamique, créant un angle mort dans l'évaluation comparative. Sur le plan concurrentiel, les intégrateurs industriels qui évaluent des solutions SLAM pour des environnements larges (entrepôts, usines) devront désormais exiger le coefficient α comme critère de qualification, en plus du RMSE de localisation. La prochaine étape logique annoncée par les auteurs est un algorithme de budgétisation α-aware permettant d'évaluer la faisabilité de déploiement sur hardware cible avant toute implémentation, un outil directement actionnable pour les équipes d'intégration.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par imitation 3D pour la robotique par imagination latente asymétrique et reclassement

Des chercheurs ont déposé en mai 2026 sur arXiv (identifiant 2605.10166) une proposition intitulée DALI-R, pour Data-Asymmetric Latent Imagination and Reranking, un cadre d'apprentissage par imitation robotique conçu pour exploiter des trajectoires de données mixtes plutôt que des démonstrations exclusivement optimales. Le système repose sur deux composants distincts : un Latent World Model entraîné sur des nuages de points 3D qui génère des rollouts imaginés à partir de trajectoires sous-optimales ou échouées, et un Task Completion Scorer qui reclasse des chunks d'actions candidates pour améliorer la prise de décision sans nécessiter de données supplémentaires de haute qualité. Évalué sur les benchmarks de manipulation Adroit et MetaWorld, DALI-R produit une amélioration moyenne de 6,8 % du taux de succès sur deux familles de politiques 3D de base, diffusion et flow-matching, avec un surcoût d'inférence inférieur à 0,7x par rapport aux politiques de référence. L'enjeu opérationnel est concret : collecter des démonstrations robotiques de haute qualité reste coûteux, chronophage et difficilement scalable en environnement industriel réel. Toute méthode permettant de recycler des trajectoires imparfaites ou échouées réduit mécaniquement la barrière à l'entrée pour entraîner des politiques performantes. Le gain de 6,8 % est modeste mais obtenu sans démonstrations supplémentaires, ce qui est précisément la contrainte dominante en déploiement. Il convient toutefois de noter que ces résultats restent cantonnés à des benchmarks de simulation standardisés ; l'article n'aborde pas le sim-to-real gap, et aucune validation sur hardware physique n'est présentée. Ce travail s'inscrit dans la vague des politiques de manipulation 3D initiée autour de 2023-2024 avec DP3, Diffusion Policy et ACT, qui ont déplacé le problème de l'architecture vers celui de la qualité et du volume des données. La question de l'apprentissage depuis des données sous-optimales est également au coeur des travaux de Physical Intelligence (pi0), de CMU et de Stanford sur l'imitation offline. La prochaine étape crédible pour DALI-R serait une validation sur des plateformes hardware réelles et des tâches industrielles représentatives, encore absente de ce preprint.

RecherchePaper

1 source