RecherchearXiv cs.RO 27 octobre 2026

Gestion des images clés sensible à la mémoire pour des cartes denses sur des robots à mémoire limitée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent une méthode de gestion mémoire pour les cartes 3D denses embarquées sur des robots à ressources limitées, publiée sur arXiv (2610.33574). Le travail part d'un constat d'ingénierie très concret : lorsqu'un modèle de langage et une carte dense tournent sur le même appareil, ils partagent une seule mémoire, et tout dépassement provoque une erreur de mémoire saturée (out-of-memory). Les systèmes de cartographie actuels limitent leur ensemble de travail par un nombre de keyframes, alors que l'empreinte d'une keyframe varie fortement selon ce qu'elle contient. Les auteurs plafonnent donc directement la mémoire résidente. Le coût de chaque admission est connu avant toute lecture, grâce à des tailles résidentes calculées hors ligne et stockées avec la carte. Les keyframes sont chargées et libérées par unité sémantique (pièces et couloirs du bâtiment). Le robot garde en mémoire la zone où il se trouve et celle qu'il s'apprête à franchir, et il libère les zones déjà traversées. Chaque admission mesure le total résident, fait de la place, puis seulement lit les données, donc le budget n'est jamais dépassé. Sur deux cartes NVIDIA Jetson, le budget est respecté à chaque essai et le modèle perd au plus 0,8 % de débit. Sans ce mécanisme, le système d'exploitation tue le modèle ou la carte. À budget égal, l'admission par zone sémantique localise 6 à 9 points de plus de frames de requête qu'un découpage géométrique comptant autant de zones, et environ deux fois plus que la récupération de RTAB-Map, avec une erreur de trajectoire absolue (ATE) plus faible.

L'intérêt dépasse la cartographie. Les robots mobiles et humanoïdes qui embarquent un VLA ou un LLM pour le raisonnement de haut niveau butent sur la mémoire unifiée des modules Jetson, où CPU et GPU puisent dans le même pool. Dans ce cas, le plantage est brutal et peu acceptable en exploitation. Le résultat indique qu'un budget mémoire dur, plutôt qu'un simple compteur de keyframes, suffit à faire cohabiter modèle et carte avec un coût de débit inférieur à 1 %. Pour un intégrateur, cela rend plus prévisible le dimensionnement du calcul embarqué. Il faut toutefois relativiser. Il s'agit d'un préprint non évalué par des pairs, les gains sont mesurés sur « les environnements évalués », dont la diversité n'est pas précisée dans le résumé, et il n'y a aucun test sur robot en service réel ni sur un site industriel. L'approche suppose aussi une carte préalablement construite et annotée en zones, ce qui limite son usage dans des environnements qui changent vite.

Le travail s'inscrit dans l'essor de la cartographie dense et sémantique, qui complète des SLAM historiques comme RTAB-Map, référence open source de la localisation par fermeture de boucle, ici utilisé comme point de comparaison. Il répond à une tension croissante entre modèles fondationnels embarqués, de plus en plus gourmands, et plateformes edge dont la mémoire n'augmente pas aussi vite. La suite logique serait de valider la méthode sur des plateformes mobiles réelles, de tester des bâtiments plus vastes et de l'intégrer à des piles logicielles comme ROS 2. Aucun calendrier, code ou pilote n'est annoncé dans le résumé.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Social-WM : des modèles du monde latents sensibles à la sécurité pour la navigation sociale des robots

Des chercheurs publient Social-WM, un cadre de planification par modèle de monde latent destiné à la navigation sociale des robots, c'est-à-dire le déplacement parmi des piétons et des obstacles. Le système est entraîné uniquement à partir de séquences vidéo RGB égocentriques. Il prédit, en fonction de l'action commandée, l'observation future réellement obtenue après chaque commande. Il apprend ainsi les conséquences pertinentes pour la sécurité. Un second objectif, dit de dynamique inverse « réalisable », associe chaque transition latente observée à l'action effectivement réalisée, et non à l'action nominale demandée. Au déploiement, le robot imagine plusieurs actions candidates dans le modèle de monde. Le modèle inverse estime ensuite leur réalisabilité, et l'écart entre action nominale et action réalisable sert de signal de sécurité avant exécution. Sur le benchmark Social-HM3D, Social-WM atteint 63,77 % de réussite avec 21,67 % de collisions avec des humains. Les résultats restent solides en transfert zéro-shot sur Social-MP3D. L'approche n'utilise ni suivi explicite des piétons, ni état humain privilégié, ni apprentissage par renforcement en ligne. L'intérêt tient à la manière de traiter le problème. Une action « avancer » peut s'exécuter entièrement en espace libre, mais doit être freinée ou modifiée face à un piéton ou un obstacle. Les données de navigation sociale contiennent donc un décalage systématique entre commande et mouvement réel. En apprenant ce décalage plutôt qu'en le supposant nul, le robot dispose d'un indicateur de risque sans module de perception dédié aux humains. Pour un intégrateur, cela réduit la dépendance à des piles de suivi et de prédiction de trajectoires, coûteuses à calibrer. Le fait que la dynamique et la réalisabilité soient indépendantes du but permet de réutiliser le même modèle pour la navigation par position et par image-cible. Il faut toutefois relativiser : un taux de collision de 21,67 % reste très éloigné d'un niveau acceptable en environnement réel, et les résultats proviennent de simulation. Aucun test sur robot physique ni comparaison de coûts de calcul n'est mentionné dans le résumé. Ce travail s'inscrit dans la montée des modèles de monde latents, qui planifient dans un espace de représentation compact plutôt qu'en reconstruisant des pixels, et dans l'effort pour combler l'écart entre simulation et réel en navigation sociale. Les benchmarks utilisés, construits sur les scènes HM3D et Matterport3D, relèvent de la simulation d'intérieur et couvrent mal la variété des lieux publics. Les approches concurrentes reposent généralement soit sur l'apprentissage par renforcement en ligne, soit sur des modules explicites de suivi des piétons. La suite logique est une validation sur plateforme mobile réelle, dans des espaces partagés comme les hôpitaux ou la logistique, où des robots mobiles autonomes (AMR) croisent déjà des opérateurs. Il s'agit pour l'instant d'une préimpression arXiv (v1), non évaluée par les pairs, sans produit ni déploiement annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Extension de la segmentation des affordances pour robots portables aux images multi-objets

Des chercheurs proposent, dans une prépublication arXiv (2610.29474), une amélioration des pipelines de vision embarquée qui identifient les parties saisissables d'un objet pour les prothèses de membre supérieur. Ces systèmes servent à sélectionner automatiquement la prise et à préformer la main avant le contact. La modification matérielle est minime: un pointeur laser s'ajoute au dispositif porté par l'utilisateur et sert à désigner l'objet visé parmi plusieurs. Les réseaux de neurones convolutifs de segmentation d'affordances sont réentraînés en conséquence. Pour produire les données d'entraînement, une stratégie de réalité mixte réutilise des masques de segmentation de haute qualité déjà disponibles et génère des images réalistes de façon procédurale. Les auteurs annoncent une précision de désambiguïsation de la cible améliorée jusqu'à 9 % par rapport aux solutions existantes, à coût de calcul équivalent. Il s'agit de résultats expérimentaux de laboratoire, sans déploiement ni produit commercialisé. Le point d'intérêt tient au verrou que le travail vise: les pipelines actuels fonctionnent surtout sur des scènes à objet unique, alors qu'une table réelle en contient plusieurs. Plutôt que d'alourdir les modèles, l'approche déplace l'ambiguïté vers l'utilisateur, qui désigne l'objet par un geste simple, ce qui garde l'inférence compatible avec l'électronique embarquée d'une prothèse. L'usage de données synthétiques à partir de masques existants limite aussi le coût d'annotation, un frein classique dans ce domaine. Il faut toutefois relativiser: le gain de 9 % est présenté « jusqu'à », sans précision dans le résumé sur les jeux de test, la référence de comparaison ou la variabilité d'une scène à l'autre. Un pointeur laser peut en outre poser problème en plein soleil, sur des surfaces brillantes ou transparentes, et ajoute une action à l'utilisateur, ce qui compte pour l'acceptation clinique. Ce travail s'inscrit dans la ligne des prothèses à contrôle semi-autonome, où une caméra et un réseau de segmentation assistent le choix de la prise, afin de réduire la charge cognitive des amputés par rapport au contrôle myoélectrique seul. La scène à objets multiples reste le point faible de ces approches, et les auteurs y répondent par un ajustement pragmatique du capteur et des données plutôt que par un nouveau modèle. Les grands acteurs de la main prothétique, comme Ottobock, Össur ou Psyonic, intègrent progressivement ce type d'assistance, sans qu'aucun lien avec cette publication soit établi. Les prochaines étapes logiques seraient des essais avec des utilisateurs amputés, des tests hors laboratoire et une mesure du temps de sélection de bout en bout. Le résumé n'annonce ni calendrier ni partenaire industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

RL sensible à la géométrie pour l'insertion de vêtements ajustés portables

Des chercheurs proposent un cadre d'apprentissage par renforcement (RL) pour l'habillage robotisé, testé sur l'enfilage d'un bracelet sur une main. Le travail, publié sur arXiv (2610.32143), part d'un constat connu: l'assistance à l'habillage est difficile à cause des ouvertures étroites des vêtements et des membres articulés. Une petite erreur de pose relative entre la main et l'ouverture suffit à provoquer un accrochage, une insertion manquée ou un habillage incomplet. Plutôt que de modéliser l'état complet de l'objet déformable, les auteurs formulent la tâche comme un problème d'insertion « conscient de la géométrie », qui ne retient que les relations spatiales utiles entre la partie du corps et l'ouverture. Leur politique s'appuie sur un curriculum par étapes, qui guide l'agent de l'alignement grossier vers l'insertion puis le placement final. Elle ajoute une « porte douce » d'insertion doigt par doigt, qui donne un retour continu sur la progression de chaque doigt et limite les insertions prématurées. L'évaluation couvre des bracelets rigides et déformables, avec des ablations de composants, des variations systématiques de la pose initiale de la main et une exécution en boucle fermée sur un robot réel. En évaluation déformable après entraînement, la méthode complète atteint 84,7 ± 1,2 % de réussite. La porte d'insertion apporte le gain le plus important, et l'ajout du curriculum par-dessus ce mécanisme donne le meilleur score. Sur un mannequin de main, la même politique réussit 15 essais sur 20 (75 %) en conditions réelles. Les auteurs ne détaillent pas dans ce résumé le robot utilisé, le nombre de répétitions simulées ni les conditions de test physique. Pour les intégrateurs et les équipes qui travaillent sur l'assistance à la personne, l'intérêt est surtout méthodologique. Représenter la tâche par quelques relations géométriques évite de simuler fidèlement le tissu, l'un des verrous du transfert simulation-réel pour les objets déformables. L'écart entre 84,7 % en simulation et 75 % en réel reste modeste, mais il apparaît sur un échantillon de 20 essais, ce qui laisse une marge d'incertitude large. Surtout, un mannequin n'a ni les mouvements involontaires, ni les variations morphologiques, ni les exigences de sécurité d'une personne réelle. Un taux de réussite de 75 % reste donc loin d'un niveau déployable pour un usage en soins, et la tâche, un bracelet, est bien plus simple qu'une manche ou une chaussette. Ce travail s'inscrit dans la robotique d'assistance, où l'habillage constitue un cas d'école de manipulation déformable en contact avec le corps humain. Les approches antérieures reposaient souvent sur des modèles explicites du vêtement ou sur de la démonstration, ce que cette formulation géométrique cherche à contourner. Les suites logiques seraient de passer à des vêtements plus complexes, à des mains humaines réelles et à des mesures de force de contact. Aucun partenariat industriel, calendrier de pilote ni acteur commercial n'est mentionné à ce stade, et il s'agit d'une prépublication non évaluée par des pairs.

RecherchePaper

1 source

4arXiv cs.RO

Réception centrée sur le destinataire pour la remise robot-humain avec orientation d'objet sensible à la préhension

Des chercheurs ont présenté un système de transmission d'outils robot-humain centré sur le receveur, piloté par la voix, construit sur un bras collaboratif Franka Emika à sept degrés de liberté, plateforme cobot largement utilisée en recherche robotique. Le système combine un grand modèle de langage (LLM) pour la reconnaissance d'intention, c'est-à-dire comprendre quel outil l'opérateur demande et comment il compte le saisir, avec MediaPipe pour le suivi 3D de la main en temps réel. À partir de ces données, l'effecteur terminal ajuste dynamiquement son orientation pour présenter l'outil poignée en avant, dans une pose jugée ergonomiquement optimale, plutôt que dans une orientation fixe prédéfinie. Les auteurs ont mené une étude intra-sujets comparant cette approche adaptative à une référence statique agnostique à l'objet, sur des outils industriels asymétriques, ceux dont la forme rend la prise malaisée si l'orientation de présentation ne correspond pas à la façon naturelle de les empoigner. Les résultats indiquent que le système adaptatif réduit le délai de préhension pour ces outils asymétriques et améliore la fluidité de l'interaction, ainsi que certaines perceptions liées à la confiance, notamment la prévisibilité du mouvement et la simplicité perçue de la tâche. L'abstract ne détaille pas de chiffres précis (nombre de participants, pourcentage de gain), ce qui invite à la prudence sur l'ampleur réelle de l'effet. L'enjeu dépasse le confort ponctuel: la transmission d'outils est une micro-interaction sécuritaire critique dans les cellules collaboratives humain-robot, et les systèmes statiques actuels, qui ignorent la géométrie de l'objet, produisent régulièrement des prises maladroites voire dangereuses avec des outils asymétriques comme des tournevis ou des pinces. Pour les intégrateurs industriels et les concepteurs de cobots, cette étude illustre une piste concrète pour fiabiliser les interactions main-à-main sur ligne de production, en s'appuyant sur des briques déjà matures, LLM pour l'intention, vision par ordinateur pour le suivi de main, plutôt que sur des capteurs dédiés coûteux. Le travail s'inscrit dans un champ de recherche actif sur le handover robot-humain, où les approches précédentes reposaient surtout sur la vision pour estimer la pose de préhension sans intégrer la voix ni une compréhension sémantique de l'intention via LLM. Le choix du bras Franka, standard de facto dans les laboratoires académiques, facilite la reproductibilité mais souligne aussi le stade encore expérimental de la démonstration, un preprint arXiv sans mention de déploiement industriel ni de partenaire commercial. Les suites logiques attendues seraient une validation sur un plus large panel d'outils et d'opérateurs, ainsi qu'une soumission à une conférence en robotique ou interaction humain-robot.

RecherchePaper

1 source