RecherchearXiv cs.RO16h

D-CLING : affinage conditionné par la profondeur pour les modèles fondation de navigation, avec préservation des connaissances antérieures

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

D-CLING est une méthode de fine-tuning pour les Navigation Foundation Models (NFM) présentée dans un preprint arXiv (2605.19690) par des chercheurs de Toyota Frontier Research Center. Les NFM sont des politiques visuomotrices entraînées sur de larges ensembles de données multi-robots, capables de naviguer dans des environnements variés. Le problème identifié est récurrent dans le déploiement terrain : adapter un NFM à un nouveau contexte par fine-tuning classique dégrade ses capacités, provoquant soit un évitement d'obstacles défaillant, soit une incapacité à atteindre les objectifs fixés. D-CLING s'inspire directement de ControlNet, l'architecture de contrôle conditionné développée pour les modèles de diffusion d'images, en attachant une copie entraînable du backbone pré-entraîné via des connexions résiduelles initialisées à zéro. Ce mécanisme permet au modèle d'acquérir des indices géométriques de profondeur sans écraser le prior pré-entraîné. Les évaluations en navigation réelle montrent une réduction significative des collisions et des interventions humaines sur des trajectoires longue distance.

Le problème adressé est central pour la commercialisation des robots mobiles : les NFM généralistes sont puissants mais rarement utilisables sans adaptation sur un site spécifique. Le fine-tuning sur données locales provoque typiquement un phénomène d'érosion du prior, autrement dit l'oubli catastrophique des capacités acquises en pré-entraînement. En isolant l'apprentissage géométrique dans une branche parallèle non destructive, D-CLING préserve la généralisation du modèle de base tout en permettant une adaptation ciblée à la configuration caméra et à la géométrie de l'environnement. L'analyse offline montre que la méthode maintient, voire améliore, la prédiction d'actions au-delà du dataset de fine-tuning, un résultat structurant pour le continual learning en robotique mobile. Pour un intégrateur déployant des AMR avec une configuration optique non standard, cela ouvre une voie d'adaptation sans réentraînement complet du modèle.

Toyota Frontier Research Center s'inscrit dans une dynamique plus large : plusieurs équipes industrielles cherchent à capitaliser sur les NFM généralistes issus de travaux de Google DeepMind, Stanford ou Berkeley, plutôt que de repartir de zéro par plateforme. Le transfert méthodologique depuis ControlNet illustre la porosité croissante entre la recherche en génération d'images et la robotique, notamment via les architectures à diffusion. Les concurrents directs incluent les adaptations LoRA appliquées aux politiques robotiques et les approches de domain adaptation sans ré-entraînement. D-CLING reste pour l'instant un preprint, sans benchmark standardisé publié ni déploiement à grande échelle annoncé ; les résultats sont prometteurs, mais la validation sur des environnements industriels diversifiés reste entière.

Impact France/UE

Impact indirect : les intégrateurs européens d'AMR déployant des modèles de navigation généralistes pourraient adopter cette méthode d'adaptation sans réentraînement complet, mais aucun acteur ou déploiement EU n'est impliqué à ce stade.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

EvoNav : conception évolutionnaire de fonctions de récompense pour la navigation robotique avec des grands modèles de langage

Un préprint déposé sur arXiv le 16 mai 2025 (référence 2605.11859) présente EvoNav, un cadre évolutionnaire automatisant la conception de fonctions de récompense pour la navigation robotique en environnements dynamiques peuplés d'humains. Le problème de fond : en reinforcement learning (RL), la qualité d'une politique de navigation dépend directement de sa fonction de récompense, un processus manuel coûteux en expertise et porteur de biais difficilement auditables. EvoNav confie cette tâche à un grand modèle de langage (LLM) dans une boucle évolutionnaire. Chaque candidat-récompense proposé par le LLM est évalué selon une procédure en trois étapes progressives : proxies analytiques peu coûteux (petits jeux de données, règles analytiques), rollouts légers, puis entraînement complet de la politique. Cette progression évite d'entraîner une politique complète pour chaque candidat, réduisant significativement le coût de calcul. Les auteurs concluent qu'EvoNav surpasse les récompenses artisanales et les méthodes de référence actuelles, sans détailler les métriques précises dans le résumé disponible. Pour les équipes développant des robots sociaux ou des AMR en environnements non structurés, l'enjeu est structurel : le reward engineering est l'une des étapes les plus chronophages du développement RL, nécessitant des allers-retours coûteux entre experts domaine et ingénieurs ML. Automatiser ce processus via LLM déplace le goulot d'étranglement de l'expertise tacite vers une boucle d'optimisation pilotée par données. Point de vigilance : le papier est un préprint sans relecture par les pairs, et les comparaisons avec l'état de l'art manquent de détails sur les benchmarks et les configurations de test utilisées, ce qui rend difficile une évaluation indépendante des gains annoncés. EvoNav s'inscrit dans un courant initié notamment par EUREKA (NVIDIA, 2023), qui avait démontré que GPT-4 pouvait générer des récompenses surpassant des experts humains sur des tâches de dextérité en manipulation. La navigation sociale est un terrain plus difficile, car elle implique la prédiction de comportements humains en temps réel dans des espaces ouverts. Aucun partenaire industriel ni institution de recherche n'est identifié dans le document accessible ; les prochaines étapes naturelles seraient une validation sur robot physique et une comparaison directe avec des approches VLA (vision-language-action), qui constituent une alternative architecturale de plus en plus crédible pour la navigation en environnement ouvert.

RecherchePaper

1 source

2arXiv cs.RO

Slot-MPC : contrôle prédictif par modèle conditionné sur des objectifs avec représentations centrées sur les objets

Des chercheurs ont publié en mai 2025 Slot-MPC (arXiv:2605.14937), un cadre de modélisation du monde combinant représentations centrées sur les objets et contrôle prédictif par modèle (MPC). L'approche encode chaque objet de la scène dans un "slot" latent distinct, appris par un encodeur visuel, puis utilise ces représentations structurées pour apprendre un modèle de dynamique conditionné sur les actions. Au moment de l'inférence, ce modèle sert de simulateur interne : l'agent planifie ses actions sur un horizon temporel fini, réoptimise à chaque pas de temps, et peut ainsi s'adapter à des situations non rencontrées pendant l'entraînement. Les expériences sont menées sur des tâches de manipulation robotique simulées, dans un cadre hors-ligne (offline) avec couverture limitée des paires état-action. La contribution principale tient à la différentiabilité du modèle appris : contrairement aux approches MPC classiques qui échantillonnent des milliers de trajectoires candidates (méthodes sans gradient, type CEM ou MPPI), Slot-MPC optimise directement les actions par descente de gradient, ce qui est significativement plus efficace en termes de calcul. Dans le cadre offline étudié, cette planification par gradient surpasse les méthodes d'échantillonnage. Les résultats montrent également que les représentations structurées objet par objet constituent un biais inductif fort : les agents Slot-MPC généralisent mieux à des situations nouvelles que les baselines à représentations latentes monolithiques, ce qui est un enjeu central pour les applications robotiques réelles où l'environnement évolue de façon imprévisible. Ce travail s'inscrit dans la lignée des recherches sur les représentations centrées sur les objets (Slot Attention de Locatello et al., 2020 ; SLATE, Dinosaur), appliquées ici au contrôle plutôt qu'à la seule perception. Il entre en compétition directe avec des modèles de monde appris comme DreamerV3 (DeepMind) ou TD-MPC2, qui utilisent des représentations latentes denses non structurées. Limite notable : toutes les expériences restent en simulation, sans transfert sim-to-real ni validation sur robot physique, ce qui est un écart important avant toute application industrielle. Le code source et les résultats complémentaires sont disponibles sur slot-mpc.github.io.

RecherchePaper

1 source

3arXiv cs.RO

KGLAMP : un modèle de langage guidé par graphe de connaissances pour la planification multi-robot adaptative

Des chercheurs ont publié KGLAMP (Knowledge Graph-guided Language Model for Adaptive Multi-robot Planning and Replanning), un framework de planification combinant graphes de connaissances et grands modèles de langage pour coordonner des équipes de robots hétérogènes sur des missions longues. La contribution centrale est une architecture en deux couches : un graphe de connaissances structuré encode en temps réel les relations entre objets, la portée spatiale de chaque robot et leurs capacités spécifiques, tandis qu'un LLM s'appuie sur ce graphe pour générer automatiquement des spécifications PDDL (Planning Domain Definition Language) correctes. Quand l'environnement évolue, un obstacle déplacé, un robot en panne, le graphe détecte l'incohérence et déclenche un replanification automatique. Sur le benchmark MAT-THOR (un environnement simulé de type habitat domestique conçu pour tester la coordination multi-agents), KGLAMP surpasse de 25,3 % au minimum les deux approches de référence : planificateurs PDDL classiques seuls et LLM seuls. Ce résultat est significatif parce qu'il attaque un problème structurel bien documenté dans la littérature : les planificateurs symboliques PDDL exigent des modèles du monde construits manuellement, coûteux à maintenir dans des environnements dynamiques, tandis que les LLM utilisés seuls tendent à ignorer l'hétérogénéité des agents et à produire des plans invalides face à l'incertitude. KGLAMP propose une mémoire persistante et mise à jour dynamiquement qui sert d'interface entre perception et raisonnement symbolique. Pour un intégrateur déployant des flottes mixtes (AMR, bras manipulateurs, drones), la promesse d'un replanning automatique sans re-modélisation manuelle représente un gain opérationnel concret, notamment dans les entrepôts à géométrie variable ou la logistique hospitalière. L'article s'inscrit dans la tendance des approches dites "neuro-symboliques" qui tentent de corriger les faiblesses des LLM par des représentations explicites du monde. Les travaux concurrents incluent SayPlan (Rana et al., 2023) et les variantes LLM+PDDL de Meta AI, Google DeepMind ou CMU. Il reste à noter que les expériences sont conduites exclusivement en simulation sur MAT-THOR : aucune validation physique n'est rapportée, ce qui laisse ouverte la question du sim-to-real gap pour des flottes réelles. La prochaine étape naturelle serait un déploiement sur des plateformes matérielles hétérogènes pour mesurer la robustesse du graphe de connaissances face au bruit sensoriel du monde réel.

RecherchePaper

1 source

4arXiv cs.RO

Amélioration de la reconstruction de surfaces en verre par estimation de profondeur pour la navigation robotique

Des chercheurs ont publié le 25 avril 2026 sur arXiv (arXiv:2604.18336) un framework de reconstruction de surfaces vitrées destiné à améliorer la navigation autonome en intérieur. Le problème visé est concret : les capteurs de profondeur (LiDAR, RGB-D) échouent systématiquement face aux surfaces transparentes ou réfléchissantes comme le verre, qui génèrent des mesures erronées ou absentes. L'approche proposée exploite Depth Anything 3, un modèle fondationnel de vision monoculaire, comme prior géométrique, puis aligne ce prior sur les données brutes du capteur via un algorithme RANSAC local. Ce mécanisme permet d'éviter que les mesures corrompues par le verre ne contaminent la reconstruction finale, tout en récupérant une échelle métrique absolue que le modèle de fondation seul ne fournit pas. L'équipe publie également GlassRecon, un dataset RGB-D inédit avec vérité terrain dérivée géométriquement pour les régions vitrées, et annonce la mise à disposition du code et des données sur GitHub. Ce travail adresse un angle mort réel de la navigation robotique en milieu tertiaire. Les bureaux, centres commerciaux, aéroports et hôpitaux sont truffés de cloisons vitrées, de vitrines et de portes transparentes qui font échouer les AMR (Autonomous Mobile Robots) commerciaux en production. Le fait que le framework soit training-free est un avantage pratique direct pour les intégrateurs : il ne nécessite pas de retrainer un modèle sur des données propriétaires, et peut s'insérer dans un pipeline de navigation existant sans modification majeure. Les expériences montrent des gains consistants par rapport aux baselines de l'état de l'art, particulièrement dans les cas de corruption sévère du capteur, ce qui suggère une robustesse utile en conditions réelles plutôt qu'en environnement de laboratoire contrôlé. La détection et la reconstruction de surfaces transparentes est un problème ouvert depuis plusieurs années dans la communauté robotique. Des travaux antérieurs comme GlassNet ou Trans10K avaient abordé la segmentation du verre en RGB pur, mais la fusion avec des données de profondeur restait peu explorée de manière training-free. Du côté concurrentiel, des approches de completion de profondeur par deep learning (IP-Basic, PENet) ou de slam robuste aux occultations existent, mais elles requièrent typiquement un entraînement spécialisé. La contribution de ce papier est de positionner les modèles de fondation non pas comme remplaçants du capteur, mais comme régularisateurs géométriques. Les prochaines étapes annoncées sont la publication du dataset GlassRecon et du code, ce qui permettra à la communauté d'évaluer la reproductibilité des résultats. Aucun déploiement terrain ni partenaire industriel n'est mentionné à ce stade : il s'agit d'une contribution de recherche, pas d'un produit.

RecherchePaper

1 source