RecherchearXiv cs.RO 1 mai 2026

FreeOcc : prédiction d'occupation en vocabulaire ouvert sans entraînement pour l'IA incarnée

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié début 2026 FreeOcc (arXiv:2604.28115), un framework de prédiction d'occupance 3D à vocabulaire ouvert fonctionnant sans aucune phase d'entraînement. Le système traite des séquences d'images monoculaires ou RGB-D et produit une carte voxelisée dense sans annotations 3D, sans poses caméra de référence et sans supervision au niveau du voxel. Son pipeline en quatre étapes enchaîne un backbone SLAM pour l'estimation des poses, une représentation 3D par Gaussian splatting géométriquement cohérent, l'association de sémantiques à vocabulaire ouvert via des modèles vision-langage (VLM) off-the-shelf, puis une projection probabiliste gaussiennes-vers-voxels. Sur le benchmark EmbodiedOcc-ScanNet, FreeOcc dépasse de plus du double les scores IoU et mIoU des meilleures méthodes auto-supervisées existantes, et transfère en zéro-shot vers des environnements inconnus sur le nouveau benchmark ReplicaOcc publié par les mêmes auteurs, surpassant à la fois les baselines supervisées et auto-supervisées.

La prédiction d'occupance sémantique 3D est un prérequis fondamental pour la navigation, la manipulation et la planification dans les systèmes robotiques incarnés. La principale friction jusqu'ici était le coût prohibitif des annotations 3D : des jeux de données comme ScanNet exigent des dizaines de milliers de labels voxel par scène, rendant la généralisation hors domaine structurellement difficile. En s'appuyant intégralement sur des VLMs pré-entraînés (de type CLIP) pour la sémantique et sur le SLAM pour la géométrie, FreeOcc supprime ce goulot d'étranglement et ouvre la voie à des systèmes de perception adaptables sans pipeline de labeling continu. Le transfert zéro-shot est particulièrement stratégique pour les intégrateurs : un robot déployé dans un nouvel environnement n'a besoin ni de cycle d'annotation ni de fine-tuning. Les métriques restent néanmoins mesurées en conditions benchmark contrôlées, sans validation terrain annoncée à ce stade.

FreeOcc s'inscrit dans la convergence entre Gaussian splatting, popularisé par 3DGS en 2023, et les grands modèles vision-langage pour produire des cartes sémantiques 3D sans supervision dédiée. Les méthodes supervisées concurrentes, parmi lesquelles OccNet, SurroundOcc et MonoScene, nécessitent des milliers d'heures d'annotation et généralisent mal hors de leur domaine d'entraînement. Il s'agit ici d'un preprint de recherche sans partenariat industriel déclaré ni timeline produit ; la prochaine étape naturelle serait une validation sur des plateformes mobiles réelles (AMR, bras manipulateurs) dans des conditions d'éclairage et de dynamisme non contrôlées.

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée : traduire les actions en images de mouvement et de contact pour les modèles du monde

Des chercheurs proposent iMaC (Image as Action Control), un paradigme de contrôle robotique publié en juin 2026 sur arXiv (2606.09813), qui substitue aux vecteurs d'action structurés de faible dimension - angles articulaires et poses d'effecteur terminal - des images visuelles brutes comme représentation native des actions dans les modèles de monde incarnés. L'architecture comprend deux branches : un encodeur image-action qui compresse des images cibles en embeddings d'action compacts, et un prédicteur de monde dynamique conditionné sur ces tokens visuels pour prédire les états futurs et assurer le contrôle en boucle fermée. Des expériences sur des benchmarks publics de manipulation incarnée et des scénarios réels montrent qu'iMaC dépasse les baselines vectorielles en précision de prédiction, taux de succès et généralisation inter-scènes. L'enjeu central est la généralisation inter-embodiment, l'un des verrous majeurs de la robotique incarnée. Les approches conventionnelles encodent des espaces d'action définis manuellement - cinématique propre à chaque plateforme - ce qui bride la portabilité entre bras industriels, manipulateurs mobiles et humanoïdes. En traitant l'image comme token d'action, iMaC encapsule implicitement les intentions de mouvement spatial, les contraintes géométriques et les dynamiques physiques, sans redéfinir l'espace d'action pour chaque robot. Pour les intégrateurs et les équipes R&D, cela ouvre la perspective d'un contrôleur unique déployable sur des flottes hétérogènes - bras Franka, UR, humanoïdes - sans reconfiguration. Nuance importante : l'article valide la méthode sur des "real-world robotic scenarios" sans préciser les plateformes ni les métriques de déploiement, ce qui invite à une lecture prudente des gains annoncés. iMaC s'inscrit dans la vague des modèles de monde incarnés et des architectures VLA (Vision-Language-Action) qui structurent la recherche robotique depuis 2023-2024, aux côtés de pi0 (Physical Intelligence), GR00T N2 (NVIDIA) ou Helix (Figure AI). Sa singularité tient à l'abandon des encodages cinématiques explicites au profit d'une représentation visuelle continue, une piste explorée différemment via les action-chunking transformers dans des travaux académiques récents. À ce stade, iMaC demeure une préimpression arXiv, sans déploiement industriel ni partenariat avec un constructeur de robots. Les prochaines étapes naturelles passeraient par une validation sur des plateformes standardisées comme ALOHA ou BridgeData V2, et une confrontation sur les benchmarks RLBench ou MetaWorld pour objectiver les gains de généralisation revendiqués.

RechercheOpinion

1 source

2arXiv cs.RO

DRIVE-Nav : raisonnement directionnel, inspection et vérification pour une navigation efficace à vocabulaire ouvert

Des chercheurs ont publié DRIVE-Nav, un framework pour la navigation en vocabulaire ouvert (OVON, Open-Vocabulary Object Navigation), qui permet à un agent robotique de localiser un objet désigné en langage naturel dans un environnement inconnu. La méthode structure l'exploration autour de "directions persistantes" plutôt que de frontières brutes classiques, en restreignant les décisions à un champ de vue frontal de 240 degrés. Les candidats directionnels sont extraits via une méthode Fast Marching Method (FMM) pondérée, combinée à un enrichissement de prompts vision-langage et une vérification inter-frames pour améliorer la fiabilité du grounding sémantique. Sur le benchmark HM3D-OVON, DRIVE-Nav atteint 50,2 % de taux de succès (SR) et 32,6 % de SPL (Success weighted by Path Length, mesure d'efficacité du chemin), surpassant la meilleure méthode précédente de 1,9 points SR et 5,6 points SPL. Le système obtient également le meilleur SPL sur trois autres benchmarks standard : HM3Dv1, HM3Dv2 et MP3D. Une validation sur robot humanoïde physique est mentionnée. Le gain de 5,6 points de SPL est le résultat le plus structurellement significatif : il indique que l'agent atteint ses cibles non seulement avec succès, mais via des chemins plus courts, ce qui est directement pertinent pour les applications industrielles où le temps de cycle est un critère opérationnel. L'approche s'attaque à un problème récurrent des méthodes zero-shot : la redondance des candidats frontières et les re-visites coûteuses. En maintenant un registre de directions déjà inspectées, DRIVE-Nav réduit l'overhead panoramique que l'on reproche aux méthodes topology-aware. Le déploiement sur humanoïde, bien que brièvement mentionné sans détails de conditions ni métriques, suggère une transférabilité sim-to-real partielle. La navigation OVON est un sous-domaine de l'embodied AI en croissance rapide depuis 2022, porté par les progrès des modèles vision-langage de type CLIP et LLaVA. Les méthodes concurrentes incluent ESC, OpenFMNav et diverses approches zéro-shot basées sur LLM. DRIVE-Nav s'inscrit comme une amélioration incrémentale mais solide de cette famille, sans rupture architecturale majeure. Les benchmarks HM3D et MP3D sont les standards de facto du domaine, développés par Meta Research. Ce travail est une preprint arXiv (2603.28691v2, version révisée), non encore peer-reviewed au moment de la publication. Aucun laboratoire ou industriel européen n'est impliqué.

RecherchePaper

1 source

3arXiv cs.RO

Vision-Language-Motion Maps : un attribut de mouvement interrogeable, conscient de l'incertitude et à vocabulaire ouvert pour les cartes de scènes 3D

Un article de recherche publié sur arXiv (arXiv:2607.16173v1, soumission nouvelle datée du 20 juillet 2026) présente Vision-Language-Motion Maps (VLMM), une carte 3D interrogeable en langage naturel qui ajoute un attribut de mouvement à chaque élément de la scène. Contrairement aux cartes 3D "open-vocabulary" existantes, qui supposent un monde statique et ne répondent qu'à des questions de type quoi et où, VLMM fusionne un a priori sémantique de mobilité issu d'un modèle vision-langage (VLM/LLM) avec un mouvement observé géométriquement d'une image à l'autre, le tout assorti d'une incertitude par élément. Les auteurs valident l'approche sur un banc d'essai simulé avec vérité terrain exacte (AI2-THOR, trois types de scènes) puis sur des séquences RGB-D réelles et dynamiques issues des jeux de données TUM et Bonn (six séquences). Résultat clé: le canal d'incertitude, présenté comme la principale nouveauté par rapport aux travaux antérieurs sur le mouvement fusionné, améliore de façon constante la précision moyenne pour distinguer mobile de statique et réduit les fausses détections de mouvement, y compris avec des poses de caméra bruitées. La confiance brute du modèle n'est toutefois pas calibrée nativement: une calibration isotonique a posteriori ramène l'erreur de calibration attendue à 0,10, un chiffre à interpréter comme un correctif nécessaire plutôt qu'une performance native. L'apport pratique tient dans la distinction entre trois états que les robots ne pouvaient pas interroger jusqu'ici: ce qui a été vu en mouvement, ce qui pourrait bouger mais ne l'a pas encore fait, et ce qui reste réellement immobile. Pour la planification de trajectoire ou la navigation en environnement dynamique, cette granularité change la donne: une carte purement sémantique échoue sur les requêtes de mouvement même avec de bonnes features, et aucun des deux signaux de mouvement pris isolément (l'a priori sémantique ou l'observation géométrique) ne suffit à répondre à l'autre type de question. C'est une preuve empirique que la fusion des deux, incertitude comprise, est nécessaire et non un choix de conception arbitraire. Sur le plan du positionnement, les auteurs situent VLMM par rapport aux cartes concurrentes existantes en pointant que chacune d'elles omet au moins une des quatre propriétés réunies ici: vocabulaire ouvert, interrogation en langage naturel, fusion prior/observé du mouvement, et incertitude par élément. Il s'agit d'une contribution de représentation plutôt que d'un système déployé: aucun pilote industriel n'est annoncé, l'étape suivante naturelle étant l'intégration de ce schéma de carte dans des pipelines de navigation robotique complets.

RecherchePaper

1 source

4arXiv cs.RO

IA incarnée sans enchevêtrement : un VAE vidéo pour une manipulation efficace et contrôlable

Des chercheurs présentent EmbodiedVAE, un nouvel autoencodeur variationnel (VAE) pour vidéo, publié sur arXiv en août 2026 (arXiv:2608.02990v1). L'outil vise à améliorer les "world models" utilisés dans l'apprentissage de la manipulation robotique par diffusion latente (LDM, latent diffusion model). Contrairement aux VAE vidéo classiques, optimisés pour des scènes naturelles génériques, EmbodiedVAE repose sur une architecture à double encodeur et décodeur unique, dotée d'un module de compression spatio-temporelle asymétrique qui sépare automatiquement le mouvement du bras robotique de l'arrière-plan de la scène. Un module de cohérence fondé sur le transport optimal renforce en parallèle la fidélité du mouvement et la continuité entre les images successives. Les auteurs annoncent une amélioration moyenne de 2 dB en PSNR (rapport signal/bruit crête, mesure standard de qualité de reconstruction d'image) par rapport aux VAE vidéo de référence, avec un taux de compression supérieur. L'enjeu dépasse la seule prouesse technique. Les world models à diffusion latente sont au cœur des approches VLA (vision-language-action) pour entraîner des politiques de contrôle robotique, mais la compacité et la contrôlabilité des représentations latentes déterminent directement le coût d'entraînement et la précision du geste. En désenchevêtrant le mouvement du bras robot du reste de la scène, EmbodiedVAE promet des représentations plus légères, donc moins coûteuses à entraîner, tout en autorisant un contrôle plus fin de l'action, un problème concret pour les laboratoires et intégrateurs qui recyclent aujourd'hui des VAE conçus pour de la vidéo grand public, mal adaptés à la structure particulière d'une scène de manipulation (bras articulé, objets saisis, fond largement statique). Il s'agit d'une brique d'infrastructure pour la recherche, pas d'une démonstration sur un robot physique en conditions réelles. Le papier s'inscrit dans la lignée des travaux récents sur la diffusion latente appliquée à l'apprentissage incarné, un domaine où les publications de variantes de world models pour piloter bras robotiques et humanoïdes se multiplient. Classé "Announce Type: new" sur arXiv, l'abstract ne précise ni l'institution d'origine ni les jeux de données utilisés pour les tests, ce qui limite pour l'instant toute comparaison avec des systèmes déployés en usine ou en pilote client. Les gains chiffrés, 2 dB de PSNR et un meilleur taux de compression, sont mesurés sur des benchmarks internes aux auteurs, une réserve à garder à l'esprit avant toute généralisation. Le travail reste donc au stade de la recherche, sans indication de mise en open source ni d'intégration annoncée dans une pile logicielle robotique existante.

RecherchePaper

1 source