RecherchearXiv cs.RO 26 octobre 2026

Voir ce dont j'ai besoin, rêver ce que je veux : un modèle fondation de navigation sur un espace de représentation auto-construit

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

RepresentNav est un modèle de fondation pour la navigation, décrit dans un preprint arXiv (2610.31762v1), qui cherche à répondre à une question rarement posée: sur quelle représentation visuelle une politique de navigation doit-elle agir? Les approches actuelles s'appuient sur des encodeurs issus de modèles de fondation visuels et laissent les objectifs de pré-entraînement décider de cette représentation. Les auteurs construisent à la place un espace propre à la politique, grâce à des « Representation Residuals »: un transformeur compact de trois couches qui agrège les features de toute la profondeur de plusieurs encodeurs complémentaires. En parallèle, avant chaque action, une chaîne de pensée latente prédit la représentation de la scène une fraction de seconde plus tard. Cette « rêverie » est entraînée de bout en bout selon une architecture prédictive à plongement conjoint (JEPA), avec une perte de prédiction de la représentation suivante et un régularisateur sur les cibles. Sur VLNVerse (niveau fin), le taux de succès atteint 83,80 %, soit 20,05 points de pourcentage de plus que l'état de l'art précédent. Sur EVT-Bench (suivi avec distracteurs), il atteint 85,5 % avec une seule caméra (+10,1 points). Le modèle établit aussi de nouveaux records sur VLN-CE R2R et deux benchmarks de navigation vers un point.

L'intérêt pour l'industrie tient à deux résultats d'ablation. À encodeurs identiques, l'espace auto-construit surpasse nettement la simple concaténation des sorties et apprend à pondérer inégalement les couches, ce qui suggère que le choix et le mélange des features comptent autant que le choix du backbone. La composante prédictive réduit les collisions d'un quart. Plus notable, un seul latent « rêvé » se décode en profondeur, sémantique et occupation 3D de la scène à venir, avec une précision supérieure à celle d'encodeurs pré-entraînés appliqués à la vraie image future, alors que l'occupation n'est jamais supervisée. La trajectoire simulée suit en outre le mouvement du robot sur la seconde suivante. Les auteurs y voient un modèle du monde latent émergent. Pour un intégrateur, c'est un argument en faveur de modèles de navigation plus légers qui anticipent sans générer de pixels. Ces chiffres viennent toutefois des auteurs, sans réplication indépendante, et portent surtout sur des benchmarks en simulation. Le transfert à un robot réel, parmi des obstacles et des personnes en mouvement, est annoncé sans métriques détaillées dans le résumé.

Ces travaux s'inscrivent dans la montée des modèles vision-langage-action et des architectures JEPA, popularisées par l'approche prédictive de Yann LeCun, qui évitent la reconstruction de pixels. Ils prolongent la lignée des politiques de navigation fondées sur des modèles de fondation visuels, dont les performances dépendaient jusqu'ici de la qualité des encodeurs figés. Le résumé ne précise ni les laboratoires, ni le code, ni les poids, ni un calendrier de déploiement. Les prochaines étapes à surveiller sont donc la publication du code, des tests en conditions réelles plus larges, et la validation sur des plateformes mobiles commerciales.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage robotique guidé par le toucher : des représentations aux modèles fondation

Une revue de littérature publiée sur arXiv (2610.20134, première version) propose de relire la manipulation robotique par le toucher sous un angle centré sur l'apprentissage, et non plus sur le matériel. Les auteurs structurent le domaine selon le rôle fonctionnel du toucher dans la chaîne d'apprentissage et de contrôle: apprentissage de représentations tactiles et de politiques, modèles de fondation tactiles, contrôle prédictif et adaptatif, puis généralisation entre objets, tâches, capteurs, morphologies de robots et transfert simulation-réel. Le texte ne rapporte ni nouveau robot, ni benchmark chiffré, ni déploiement industriel. Il s'agit d'une synthèse accompagnée d'une base de données publique des travaux recensés, accessible via un site dédié. L'intérêt pour les intégrateurs et les ingénieurs tient au constat que le toucher change de statut. Longtemps cantonné à la détection de contact et au contrôle réactif, il sert désormais à apprendre des représentations transférables, à conditionner des politiques de manipulation et à soutenir un raisonnement physique incarné. Les auteurs soulignent que les revues existantes se concentrent sur les capteurs et la perception, ce qui laisse sans synthèse le virage vers la manipulation tactile apprise. Ils identifient trois verrous: apprendre des représentations physiques réellement transférables, articuler le raisonnement sémantique (type VLA, modèles vision-langage-action) avec le contrôle fin au niveau du contact, et passer à l'échelle sur des données et des capteurs hétérogènes. Cette hétérogénéité des capteurs reste le point dur pour tout acteur qui voudrait déployer une politique tactile sur plusieurs plateformes. Il faut aussi noter qu'une revue décrit un état de la recherche, pas des performances démontrées en production. Ce travail s'inscrit dans la course aux modèles de fondation pour la robotique, où la vision et le langage dominent encore les grands modèles généralistes, tandis que le tactile demeure fragmenté entre capteurs optiques, magnétiques ou capacitifs et entre jeux de données peu compatibles. Les auteurs esquissent la suite: des modèles de fondation et des modèles du monde tactiles capables de prédire, raisonner et adapter les interactions physiques. Aucun calendrier ni pilote industriel n'est annoncé, ce qui place cette perspective au stade de la feuille de route académique. Pour les décideurs, la revue sert surtout de carte pour repérer quelles approches méritent un suivi avant d'éventuels transferts vers des mains dextres commerciales.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

2arXiv cs.RO

Agir selon sa croyance, regarder au besoin : un modèle du monde spatial bayésien pour la navigation sous perception intermittente

Des chercheurs ont présenté ALONE, un modèle de monde spatial bayésien conçu pour la navigation de drones lorsque la perception est intermittente (preprint arXiv 2610.11591). Le système maintient une croyance spatiale structurée, propagée à partir des actions exécutées, puis corrigée par des observations acquises de façon sélective. Des a priori appris sur les structures géométriques courantes lui permettent d'inférer ce qui n'a pas été vu. La croyance est décodée en une estimation spatiale pour le module de planification de mouvement, accompagnée d'une carte de fiabilité qui exprime la confiance dans cette estimation. ALONE ne demande une nouvelle image que si la fiabilité insuffisante gêne la navigation et si une observation peut améliorer la région concernée. Sinon, il continue d'agir à partir de sa croyance. L'instanciation testée utilise une seule caméra de profondeur, avec une décision prise à 10 Hz. Dans deux familles de scènes simulées, le taux de succès en boucle fermée atteint 98 % et 97 %. Parmi les essais réussis, la fraction médiane de pas de décision exigeant une nouvelle image de profondeur n'est que de 0,9 % et 1,3 %. Les vols réels en intérieur ont été réussis dans 10 essais sur 10. L'enjeu est la contention d'un capteur partagé. Sur beaucoup de robots, la même caméra doit servir à la navigation et à d'autres tâches, comme l'inspection, la manipulation ou le suivi d'une cible. La navigation classique compense l'observabilité partielle par une couverture large et haute fréquence, ce qui devient une contrainte dès que le capteur est détourné. Les chiffres indiquent qu'un drone peut naviguer en n'utilisant son capteur que pour environ un pas de décision sur cent. Cela libère le capteur pour d'autres missions et peut aussi réduire la consommation de calcul et d'énergie. Pour un intégrateur, cela ouvre la voie à des plateformes plus légères, avec moins de capteurs, ou à des robots qui alternent perception de navigation et perception de mission. Il faut toutefois rester prudent. Les résultats viennent surtout de la simulation, la validation réelle se limite à 10 vols en intérieur, et les deux familles de scènes ne sont pas décrites en détail. Les performances en environnement dynamique, avec des obstacles mobiles ou peu structurés, ne sont pas démontrées. Ce travail s'inscrit dans la recherche sur les modèles de monde et la navigation active, où la perception est généralement traitée comme un flux continu et non comme une ressource à allouer. Il rejoint les approches de cartographie probabiliste et de perception active, mais ajoute des a priori géométriques appris et une carte de fiabilité qui pilote la décision de « regarder ». Les concurrents sont les pipelines de navigation de drone fondés sur des cartes d'occupation ou des champs de distance mis à jour en continu, ainsi que les politiques apprises de bout en bout. Ces dernières consomment toutes des images à chaque pas. L'article est un preprint (v1), sans pilote industriel ni calendrier de déploiement annoncés. Les prochaines étapes probables sont des tests sur des scènes plus variées, des environnements dynamiques et une intégration avec des tâches concurrentes réelles sur le capteur partagé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

FP2 : doter les modèles fondation robotiques d'un contrôle de force

Des chercheurs publient sur arXiv (2609.37433) FP2, une interface logicielle légère qui ajoute un contrôle de force explicite aux modèles de fondation robotiques (RFM) déjà adaptés à une tâche. L'architecture sépare l'action de la régulation. Le RFM adapté joue le rôle de politique de fondation et génère les actions au niveau de la tâche. Une seconde politique, à haute fréquence, s'occupe uniquement de réguler l'interaction. Pour savoir quoi réguler, FP2 compresse les représentations contextuelles de la politique de fondation, les combine avec les historiques de torseur (wrench, force et couple) et de proprioception, puis prédit des paramètres de contrôle de force structurés. L'évaluation porte sur quatre backbones de RFM et quatre tâches de manipulation réelles riches en contacts. Selon les auteurs, FP2 améliore de façon constante la performance de tâche et la qualité de régulation de force par rapport aux politiques de fondation seules, et se compare favorablement à des méthodes de référence sensibles à la force ou fondées sur le contrôle de force. Le résumé ne donne ni taux de réussite, ni fréquences de boucle, ni noms de backbones ou de tâches. L'intérêt tient à un point faible connu des VLA et autres modèles généralistes : ils produisent des trajectoires plausibles, mais l'interaction physique fiable (insertion, essuyage, assemblage, contact avec des objets déformables) exige une régulation de force que ces modèles, cadencés bien en dessous du kHz, n'assurent pas nativement. FP2 propose une voie pragmatique : ne pas réentraîner le modèle de fondation, mais lui greffer une couche de bas niveau. Les ablations indiquent que le contexte de la politique de fondation et le retour physique sont complémentaires, et que conserver la génération d'actions du RFM améliore l'efficacité comme la généralisation à des objets nouveaux. Pour un intégrateur, cela plaide pour une architecture en couches plutôt que pour des modèles de bout en bout dotés de capteurs de force. Réserve : il s'agit d'un préprint non évalué par les pairs, et le nombre limité de tâches ne dit rien de la robustesse en production, du coût du capteur de torseur ni de la latence ajoutée. Ces travaux s'inscrivent dans un mouvement plus large. Les modèles de fondation robotiques comme Pi-0, GR00T ou Helix ont surtout été validés sur des tâches où la vision et la position dominent. Les approches « force-aware » existantes injectent la force comme simple entrée du modèle, tandis que le contrôle d'impédance ou d'admittance classique reste réglé à la main. FP2 se place entre les deux en apprenant les paramètres du contrôleur à partir du contexte. La suite dépendra de la publication du code et des résultats détaillés sur le site du projet (force-policy.github.io/fp2), ainsi que d'une validation sur d'autres plateformes et tâches industrielles. Aucun pilote ni calendrier de déploiement n'est annoncé, et aucun acteur français ou européen n'est cité dans le résumé.

RecherchePaper

1 source

4arXiv cs.RO

Penser comme un modèle du monde, agir comme un VLA : distiller les représentations en politiques compactes

Une équipe de recherche publie sur arXiv (référence 2609.24682) une méthode qui ajoute un terme d'alignement de représentations à l'entraînement classique des modèles Vision-Language-Action (VLA), ces réseaux qui associent perception et langage à des actions robotiques. Un world model figé est passé une seule fois sur les images d'entraînement, ses caractéristiques internes sont mises en cache, puis le modèle VLA « étudiant » apprend à s'aligner sur ce cache pendant l'entraînement. Le world model n'est jamais chargé lors du déploiement et le module de projection est jeté après l'entraînement, si bien que la politique finale reste identique au modèle VLA non distillé, tant en taille qu'en calcul. Résultat mesuré : un étudiant de 0,8 milliard de paramètres tourne en 32 millisecondes et consomme 1,86 Go de mémoire sur une carte grand public RTX 5090, atteint 97,9 % de réussite sur le benchmark de manipulation LIBERO, et progresse de 48,2 % à 50,5 % sur RoboCasa-GR1, un banc d'essai de manipulation humanoïde en simulation. Le gain se vérifie aussi sur du matériel réel, sur une plateforme à bras unique et sur une plateforme bimanuelle. L'intérêt pour l'industrie robotique tient à la séparation qu'établit ce travail entre deux familles de modèles jusque-là difficiles à concilier : les VLA, rapides mais dépourvus d'objectif qui tienne compte de la réaction du monde à une action, et les world models, physiquement mieux fondés mais trop lents pour piloter un robot en temps réel puisqu'ils doivent projeter le futur seconde par seconde. En montrant que la connaissance physique d'un world model peut être injectée dans une politique légère sans alourdir le calcul au moment de l'exécution, l'étude suggère qu'on peut améliorer la robustesse des VLA sans ajouter de données, de paramètres ni de calcul supplémentaire au déploiement, un point qui intéresse directement les intégrateurs contraints par la latence et la puissance embarquée. Ce résultat s'inscrit dans un débat actuel de la recherche en robotique entre approches VLA et approches par world models, sans qu'aucun partenaire industriel ni déploiement commercial ne soit mentionné à ce stade. La méthode a été testée en faisant varier la taille de l'étudiant, l'architecture de base, la couche d'alignement et le world model utilisé comme enseignant, un signal que l'effet observé relève d'un principe général plutôt que d'un couplage fragile entre deux réseaux précis. Les auteurs publient les détails sur une page projet dédiée, mais le travail reste à ce jour un résultat de recherche évalué en simulation et en laboratoire, sans calendrier annoncé vers une industrialisation.

RecherchePaper

1 source