RecherchearXiv cs.RO 22 octobre 2026

Explicabilité de la navigation pour l'évitement d'objets avec des LLM pour les robots d'assistance

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs proposent le cadre Context-Aware Navigation Explanation, un système qui utilise un grand modèle de langage (LLM) pour expliquer en langage naturel les mouvements d'un chien guide robotique lors de l'évitement d'obstacles et de la navigation. Le dispositif fusionne le contexte perceptif (les obstacles détectés) avec les trajectoires futures planifiées par le robot, puis génère une justification verbale de ses déplacements. Il a été déployé sur une plateforme quadrupède Unitree Go2, dans des scénarios de navigation en intérieur. Les auteurs ont fait varier les configurations de contexte fournies au modèle, afin de mesurer leur effet sur la confiance des utilisateurs et sur leur satisfaction vis-à-vis des explications. Le travail est publié sur arXiv (2610.28920) et ne mentionne, dans son résumé, ni taille d'échantillon, ni nombre de participants, ni latence de génération.

Les résultats indiquent une forte corrélation positive entre la satisfaction envers l'explication et la confiance accordée au robot. Ils suggèrent aussi que la combinaison des informations sur les obstacles et de la trajectoire future produit les explications les plus efficaces. Pour les personnes aveugles ou malvoyantes, qui naviguent déjà avec incertitude en terrain inconnu, avec une canne ou un chien guide, un robot capable de dire pourquoi il dévie ou ralentit répond à un vrai frein à l'adoption : l'opacité du comportement. Pour les intégrateurs et fabricants de robots d'assistance, l'enseignement est pratique : la transparence passe moins par un volume d'information brut que par le bon assemblage de ce que le robot perçoit et de ce qu'il compte faire. Il faut toutefois rester prudent. Il s'agit d'un résultat de laboratoire, en intérieur, et la corrélation entre satisfaction et confiance ne prouve pas que l'explication cause la confiance. On ignore aussi si les participants étaient réellement des personnes déficientes visuelles, ce qui pèse sur la portée des conclusions.

Cette étude s'inscrit dans le courant de l'IA explicable appliquée à la robotique, qui cherche à rendre lisibles des décisions de planification et de perception jusque-là opaques. Le Unitree Go2, quadrupède à bas coût très répandu dans les laboratoires, sert de plateforme de référence, ce qui facilite la reproduction mais reste éloigné d'un produit d'assistance certifié. Les chiens guides robotiques sont déjà explorés par plusieurs équipes académiques, notamment aux États-Unis et en Asie, mais l'explication verbale de la navigation reste peu étudiée. Les prochaines étapes naturelles seraient des essais en extérieur, des tests avec des utilisateurs déficients visuels sur des effectifs plus larges, et une évaluation de la latence et de la fiabilité des explications générées par le LLM, qui peuvent être erronées. Aucun pilote commercial ni calendrier de déploiement n'est annoncé.

Dans nos dossiers

Unitree arXiv cs.RO

À lire aussi

1arXiv cs.RO

GuideFetch : cadre de coordination de tâches pour la navigation et la récupération d'objets simultanées par des robots-chiens d'assistance

Des chercheurs présentent GuideFetch, un framework de coordination pour deux robots quadrupèdes assistants opérant en parallèle: un robot guide escorte une personne malvoyante vers un siège libre pendant qu'un robot fetcher récupère et livre un objet, par exemple une tasse de café, au même endroit. Un modèle de langage traduit une instruction en langage naturel en un schéma a quatre actions conditionne par un planning séquentiel ou parallèle, chaque action proposée étant ensuite validée par rapport aux cibles enregistrées, aux capacités réelles des robots et au planning choisi avant exécution. Dans une étude croisée 2x2 portant sur 90 combinaisons de scènes et de graines aléatoires, soit 360 exécutions au total, les 180 réponses générées en ligne par le modèle ont toutes été validées sans plan de secours ni reexecution et correspondent aux plans scriptes de référence. Le taux de réussite opérationnelle atteint 72 cas sur 90 en exécution séquentielle et 71 sur 90 en exécution parallèle, et sur les 56 cas menés a bien par les deux méthodes, l'exécution parallèle réduit le temps de cycle moyen de 41,3%. Le code source sera publie ultérieurement; l'étude est référencée sous arXiv:2608.18292v1. Le résultat central pour les intégrateurs de flottes de robots hétérogènes est la démonstration chiffrée que la parallélisation de taches indépendantes, ici la navigation d'un robot guide et la récupération d'objet par un second robot, raccourcit sensiblement une mission complète sans changement matériel. L'étude met surtout en avant une distinction souvent négligée dans les démonstrations commerciales: un plan génère par un LLM peut être syntaxiquement correct tout en violant les contraintes physiques du robot, et un mouvement de contrôleur qui parait réussi ne prouve pas que la tache est effectivement achevée. En imposant une validation préalable des actions et un contrôle d'état pendant l'exécution, GuideFetch sépare la validité d'un plan de la vérification réelle de la mission, un enjeu direct pour quiconque évalué des systèmes bases sur des LLM pour la robotique d'assistance ou la logistique intérieure. Le travail s'inscrit dans le contexte plus large de la planification par LLM et des architectures vision-langage-action pour la robotique, un domaine ou d'autres acteurs développent des modèles généralistes pour des bras ou humanoïdes uniques, alors que GuideFetch cible spécifiquement la coordination de plusieurs robots quadrupèdes aux rôles distincts au sein d'une même mission. Aucun fabricant de robot ni partenaire industriel n'est cite dans le résume, et l'étude reste a ce stade une validation en environnement contrôle plutôt qu'un déploiement réel auprès d'utilisateurs malvoyants. Les auteurs annoncent la publication future du code source pour permettre une reproduction indépendante des résultats, mais aucune date ni feuille de route de pilote commercial n'est communiquée.

RecherchePaper

1 source

2arXiv cs.RO

Navigation autonome et couverture évitant les obstacles pour robots d'extérieur

Des chercheurs proposent une architecture logicielle unifiée sous ROS 2 pour permettre à des robots autonomes d'extérieur de couvrir de vastes zones tout en évitant les obstacles, selon un article publié sur arXiv le 1er septembre 2026 (arXiv:2609.01384v1). Le système combine un planificateur de couverture, une localisation robuste et un moteur d'exécution basé sur Nav2, la pile de navigation standard de ROS 2. La position et le cap du robot sont estimés en continu via un filtre de Kalman étendu (EKF) fusionnant les données d'un GNSS RTK à double antenne, ce qui limite la dérive de localisation typique des espaces ouverts sur de longues missions. Trois améliorations tenant compte des contraintes du contrôleur ont été ajoutées à un planificateur de couverture existant, notamment pour gérer les manoeuvres à virages serrés. Un gestionnaire de mission à base d'arbre de comportement (Behavior Tree) orchestre l'exécution multi-objectifs, une récupération en couches en cas d'échec, une gestion des objectifs pondérée par le coût, et un retour automatique à la station de charge. Les auteurs ont validé cette pile logicielle en simulation puis lors d'essais réels sur plusieurs zones extérieures aux géométries et densités d'obstacles variées, atteignant un taux de couverture de 93,1% à 96,1% de la surface planifiée. Pour les intégrateurs de robotique agricole, de tonte autonome, de surveillance de sites ou de logistique extérieure, ce travail cible un problème concret et récurrent: la plupart des démonstrations de couverture autonome tiennent en intérieur ou sur terrain dégagé, alors que l'extérieur cumule dérive GPS, obstacles imprévus et gestion d'énergie sur des missions de longue durée. En intégrant localisation RTK, planification et reprise sur erreur dans une seule architecture testée en conditions réelles, et non seulement en simulation, l'étude apporte une donnée rare: un taux de couverture chiffré et répétable, plutôt qu'une vidéo de démonstration isolée. Cela réduit l'écart entre promesse marketing et robustesse opérationnelle, un point sensible dans un secteur où beaucoup d'annonces de robots extérieurs restent au stade du prototype capable de fonctionner une fois, sur un terrain choisi, sans généralisation prouvée à des géométries variées. Le travail s'inscrit dans la continuité des outils open source de l'écosystème ROS 2, en particulier Nav2, devenu la base de facto pour la navigation robotique autonome, que l'équipe étend plutôt que remplace. Il répond à des limites connues des planificateurs de couverture classiques, qui supposent souvent une localisation parfaite et ignorent la faisabilité réelle des trajectoires en virage pour une plateforme à roues ou chenilles. Aucun acteur industriel européen n'est cité dans cette publication, qui reste à ce stade une contribution de recherche académique plutôt qu'un produit commercialisé ou déployé en flotte. Les auteurs ne communiquent ni calendrier de transfert vers un partenaire industriel ni site de déploiement pilote au-delà des essais décrits, ce qui situe cette annonce du côté de la preuve de concept technique plutôt que du produit prêt à l'emploi.

RecherchePaper

1 source

3arXiv cs.RO

Fusion RGB-D guidée par la fiabilité pour des cartes de coûts de navigation résistantes à l'éblouissement

Une équipe de recherche décrit, dans la version 2 d'un article publié sur arXiv sous la référence 2604.12753, une méthode de fusion RGB-D résistante aux reflets spéculaires sur les sols brillants, les vitres et les surfaces glacées en intérieur, un phénomène qui corrompt les caméras à stéréo active et fait apparaître des obstacles fantômes dans les cartes de coûts de navigation. Un réseau léger baptisé DRM-Net prédit, pixel par pixel, la fiabilité de la mesure de profondeur; une fusion guidée par cette fiabilité (RGF) applique une pondération continue et un seuil minimal avant intégration dans la carte d'occupation, de sorte qu'une mesure rejetée ne crée ni obstacle ni espace libre et que la cellule reste inconnue ou conserve sa valeur antérieure. L'entraînement s'appuie sur cinq images alignées en pose via des localisations LiDAR/AMCL indépendantes et un modèle d'incertitude calibré selon la distance. Comparée à un nvblox TSDF optimisé, au post-traitement du SDK RealSense d'Intel, à un filtrage à seuil de confiance stéréo élevé et aux réseaux TDCNet et HDCNet, la méthode DRM+RGF atteint, sous reflets sévères, un taux de fausses détections d'obstacles de 0,056, un rappel d'espace libre de 0,897, un temps de traitement de 16,5 ms par image et 91,4% de réussite de tâche; sur les essais en scènes réfléchissantes retenus (98 pour la référence contre 105 pour DRM+RGF), les collisions chutent de 14 à 1. Pour les intégrateurs de robots mobiles autonomes en entrepôt, hôpital ou usine, ce travail cible un défaut opérationnel bien réel: sols cirés et parois vitrées provoquent soit des arrêts intempestifs, soit des collisions lorsque les mesures douteuses sont ignorées sans discernement. En laissant les cellules incertaines dans un état inconnu plutôt que de trancher, la méthode évite le compromis binaire habituel entre filtrage agressif, qui supprime aussi de vrais obstacles, et complétion dense par apprentissage, qui peut inventer de la géométrie. Les auteurs restent toutefois mesurés: les résultats proviennent d'essais contrôlés portant sur une centaine de passages chacun, et l'article ne revendique ni produit commercial ni déploiement en flotte réelle. Le brouillage des caméras de profondeur à stéréo active par les reflets spéculaires est un problème connu de longue date en cartographie robotique, où les réponses existantes se limitaient jusqu'ici au filtrage strict des mesures peu fiables ou à la complétion par réseau de neurones. En confrontant DRM-Net et RGF à des références largement utilisées, comme nvblox et le SDK RealSense, ainsi qu'à des réseaux de complétion récents comme TDCNet et HDCNet, l'étude vise une comparaison directe plutôt qu'une simple démonstration isolée. Publié en version révisée sur arXiv, sans partenaire industriel ni feuille de route annoncée, l'article laisse en suspens la validation à plus grande échelle, sur des plateformes robotiques variées et en conditions réelles de terrain.

RecherchePaper

1 source

4arXiv cs.RO

Extension de la segmentation des affordances pour robots portables aux images multi-objets

Des chercheurs proposent, dans une prépublication arXiv (2610.29474), une amélioration des pipelines de vision embarquée qui identifient les parties saisissables d'un objet pour les prothèses de membre supérieur. Ces systèmes servent à sélectionner automatiquement la prise et à préformer la main avant le contact. La modification matérielle est minime: un pointeur laser s'ajoute au dispositif porté par l'utilisateur et sert à désigner l'objet visé parmi plusieurs. Les réseaux de neurones convolutifs de segmentation d'affordances sont réentraînés en conséquence. Pour produire les données d'entraînement, une stratégie de réalité mixte réutilise des masques de segmentation de haute qualité déjà disponibles et génère des images réalistes de façon procédurale. Les auteurs annoncent une précision de désambiguïsation de la cible améliorée jusqu'à 9 % par rapport aux solutions existantes, à coût de calcul équivalent. Il s'agit de résultats expérimentaux de laboratoire, sans déploiement ni produit commercialisé. Le point d'intérêt tient au verrou que le travail vise: les pipelines actuels fonctionnent surtout sur des scènes à objet unique, alors qu'une table réelle en contient plusieurs. Plutôt que d'alourdir les modèles, l'approche déplace l'ambiguïté vers l'utilisateur, qui désigne l'objet par un geste simple, ce qui garde l'inférence compatible avec l'électronique embarquée d'une prothèse. L'usage de données synthétiques à partir de masques existants limite aussi le coût d'annotation, un frein classique dans ce domaine. Il faut toutefois relativiser: le gain de 9 % est présenté « jusqu'à », sans précision dans le résumé sur les jeux de test, la référence de comparaison ou la variabilité d'une scène à l'autre. Un pointeur laser peut en outre poser problème en plein soleil, sur des surfaces brillantes ou transparentes, et ajoute une action à l'utilisateur, ce qui compte pour l'acceptation clinique. Ce travail s'inscrit dans la ligne des prothèses à contrôle semi-autonome, où une caméra et un réseau de segmentation assistent le choix de la prise, afin de réduire la charge cognitive des amputés par rapport au contrôle myoélectrique seul. La scène à objets multiples reste le point faible de ces approches, et les auteurs y répondent par un ajustement pragmatique du capteur et des données plutôt que par un nouveau modèle. Les grands acteurs de la main prothétique, comme Ottobock, Össur ou Psyonic, intègrent progressivement ce type d'assistance, sans qu'aucun lien avec cette publication soit établi. Les prochaines étapes logiques seraient des essais avec des utilisateurs amputés, des tests hors laboratoire et une mesure du temps de sélection de bout en bout. Le résumé n'annonce ni calendrier ni partenaire industriel.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source