Raisonnement LLM léger embarqué pour une navigation sûre de drones tenant compte des humains

Des chercheurs proposent un pipeline entièrement embarqué qui transforme des observations visuelles en contraintes de sécurité adaptées au contexte pour la navigation de drones en milieu urbain. Un encodeur BLIP partagé alimente à la fois la description de scène et une segmentation conditionnée par texte, fusionnée avec la profondeur pour localiser les obstacles en 3D. Un petit modèle de langage, Qwen-2.5-0.5B, estime ensuite le risque propre à chaque obstacle. Il est stabilisé par génération augmentée par récupération (RAG) et par un décodage contraint par grammaire, qui force une sortie au format JSON compatible avec le planificateur. La perception tourne à 10 Hz sur un Jetson Orin NX. Les requêtes de repli vers le LLM prennent environ 0,8 s et restent hors du chemin critique du contrôle. En simulation sous Gazebo, la navigation à basse altitude parmi piétons et véhicules produit environ trois fois moins de collisions qu'un planificateur purement géométrique. Les atterrissages sémantiques parmi des acteurs mobiles passent de 34 % à 96 % de réussite.

L'enjeu est un défaut de conception des piles perception-planification classiques, que les auteurs nomment « human-aware safety gap ». Ces piles réduisent piéton, voiture garée et mur à une simple géométrie occupée, si bien que le planificateur ne peut pas appliquer de marge propre à chaque catégorie. De plus, une occlusion temporaire fait disparaître de la carte les contraintes liées au piéton. L'intérêt pratique tient à l'architecture. Le LLM raisonne une fois par catégorie d'objet, et non à chaque image. Ses verdicts sont mis en cache par classe, et seules les catégories nouvelles déclenchent une requête avec récupération. Cela rend envisageable un raisonnement sémantique sur du matériel embarqué à faible consommation, sans liaison vers le cloud, ce qui compte pour les opérateurs de drones de livraison, d'inspection ou de sécurité en zone habitée. Les détections reçoivent aussi des identités persistantes et restent dans la carte pendant les occlusions.

Les résultats restent à relativiser. Les gains de collision et d'atterrissage proviennent uniquement de simulations, sans validation en vol réel annoncée. Le comparatif porte sur un planificateur géométrique, une base de référence relativement faible. Les auteurs reconnaissent une limite nette : l'entrée de 224 pixels de l'encodeur empêche une perception fiable des petits objets à distance. Ils la compensent par des marges conservatrices autour des piétons et une persistance à court terme, ce qui peut réduire l'efficacité du vol. Ce travail s'inscrit dans la tendance des modèles vision-langage appliqués à la robotique, avec une approche inhabituelle : des modèles très légers plutôt que de gros VLA. Les prochaines étapes évidentes sont des essais matériels et une meilleure résolution de perception.