RecherchearXiv cs.RO8h

INHerit-SG : graphes de scènes sémantiques hiérarchiques incrémentaux avec récupération de style RAG

1 source couvre ce sujet·Source originale ↗·

Des chercheurs ont présenté INHerit-SG, un nouveau système de représentation sémantique des environnements 3D destiné à améliorer la navigation des robots autonomes. Publié sur arXiv (2502.12971v2), ce travail propose une architecture dite "à double flux asynchrone" qui transforme un environnement physique en une base de connaissances structurée, compatible avec les techniques de récupération augmentée par génération (RAG). Concrètement, le système construit en continu un graphe de scène sémantique : chaque nœud du graphe représente un objet ou une zone, stocke un résumé en langage naturel, et peut être interrogé par du texte, comme on interrogerait une base documentaire. La segmentation géométrique et le raisonnement sémantique sont délibérément découplés pour ne pas ralentir la cartographie. Un pipeline de récupération interprétable, combinant plusieurs LLMs spécialisés et une étape de vérification visuelle, filtre les faux positifs avant de répondre à une requête.

L'impact est significatif pour la robotique de service et les agents incarnés : jusqu'ici, les systèmes existants peinaient à traiter des requêtes complexes du type "trouve l'objet rouge qui n'est pas sur la table et qui se trouve à gauche du canapé". INHerit-SG atteint des performances à l'état de l'art sur ce type de requêtes à contraintes spatiales chaînées ou formulées avec des négations, deux cas précisément où les approches antérieures échouaient. Les évaluations ont été conduites sur HM3DSem-SQR, un nouveau benchmark spécifiquement conçu pour ces requêtes sémantiques complexes, ainsi que dans des environnements réels.

Ce travail s'inscrit dans une vague de recherche qui cherche à doter les robots d'une compréhension de haut niveau de leur environnement, au-delà des simples cartes géométriques. L'intégration des grands modèles de langage dans la boucle de raisonnement spatial est un axe très actif depuis 2023, porté notamment par des travaux comme ConceptGraphs ou SayPlan. INHerit-SG se distingue par sa mise à jour incrémentale et asynchrone, qui permet une utilisation en temps réel sans bloquer la cartographie. Les prochaines étapes naturelles concernent la robustesse dans des environnements très dynamiques et la généralisation à des plateformes robotiques variées.

À lire aussi

1SCMP Tech

Alibaba renforce son IA médicale avec un nouvel outil de détection précoce du cancer colorectal

Alibaba Group a dévoilé mardi un nouveau modèle d'intelligence artificielle baptisé Coca, développé par son laboratoire de recherche Damo Academy, capable de détecter les cancers colorectaux à un stade précoce à partir de scanners CT sans contraste. Testé sur plus de 27 000 examens, le modèle a permis d'identifier cinq cas de cancer colorectal qui avaient été manqués par des radiologistes humains, affichant ainsi une sensibilité supérieure à celle des spécialistes pour cette tâche précise. Cette avancée représente un enjeu médical considérable : le cancer colorectal est l'un des cancers les plus meurtriers au monde, et son pronostic s'améliore drastiquement lorsqu'il est détecté tôt. Un outil capable de réduire les faux négatifs dans l'analyse de scanners de routine pourrait alléger la charge cognitive des radiologistes, accélérer les diagnostics et potentiellement sauver des vies, notamment dans les systèmes de santé où le volume d'examens dépasse la capacité humaine disponible. Alibaba s'inscrit avec Coca dans une stratégie plus large de déploiement de l'IA médicale, un secteur où les géants technologiques chinois investissent massivement pour rivaliser avec des acteurs comme Google Health ou Microsoft. La Chine fait face à une pression démographique et sanitaire croissante, avec des taux de cancer colorectal en hausse, ce qui rend ces outils particulièrement stratégiques. Coca s'appuie sur les scanners CT non contrastés, des examens courants et moins coûteux que leurs homologues avec produit de contraste, ce qui élargit son potentiel de déploiement à grande échelle dans des contextes hospitaliers variés.

RecherchePaper

1 source

2Robohub

La planification par gradient dans les modèles du monde sur des horizons prolongés

Des chercheurs de Meta AI, de l'Université de Californie Berkeley et du GRASP Lab ont publié un article présentant GRASP, un nouveau planificateur à base de gradients conçu pour les modèles de monde appris. L'équipe comprend Michael Psenka, Mike Rabbat, Aditi Krishnapriyan, Yann LeCun et Amir Bar. GRASP s'attaque à l'un des problèmes les plus persistants de l'IA incarnée : utiliser efficacement un modèle prédictif puissant pour planifier des séquences d'actions sur de longs horizons temporels. L'approche repose sur trois innovations clés : élever la trajectoire dans des états virtuels pour paralléliser l'optimisation dans le temps, introduire de la stochasticité directement dans les itérations d'état pour favoriser l'exploration, et reformuler les gradients afin que les actions reçoivent des signaux d'apprentissage clairs, tout en évitant les gradients instables qui traversent les modèles de vision haute dimension. Ce travail est important parce qu'il résout un goulot d'étranglement concret qui freine le déploiement des modèles de monde modernes dans des systèmes de contrôle réels. Un modèle de monde, dans ce contexte, est un simulateur différentiable appris : donné un état courant et une séquence d'actions futures, il prédit ce qui va se passer. En théorie, cela permettrait à un agent de planifier par optimisation, en faisant rouler le modèle en avant et en rétropropageant les erreurs. En pratique, sur de longs horizons, ce processus dégénère : les graphes de calcul deviennent mal conditionnés (problème d'explosion ou de disparition des gradients, analogue au backpropagation through time), des minima locaux apparaissent à cause de la structure non-greedy de la tâche, et les espaces latents de haute dimension introduisent des instabilités supplémentaires. GRASP contourne ces trois écueils simultanément, rendant la planification par gradient beaucoup plus robuste sans abandonner la différentiabilité du système. Les modèles de monde sont devenus un axe central de la recherche en IA depuis que Yann LeCun, directeur scientifique de Meta AI, a défendu leur rôle fondamental dans la quête d'une IA plus générale. Des systèmes comme DreamerV3 ou les modèles vidéo génératifs récents montrent que ces architectures peuvent désormais prédire de longues séquences d'observations dans des espaces visuels complexes et généraliser entre tâches. Mais posséder un simulateur puissant et s'en servir efficacement pour la prise de décision sont deux choses différentes. GRASP comble ce fossé en rendant la planification à long horizon viable là où elle échouait auparavant, ouvrant la voie à des agents robotiques ou autonomes capables de raisonner sur des séquences d'actions étendues dans des environnements réels.

RecherchePaper

1 source

3Pandaily

Alibaba DAMO Academy présente un modèle d'IA pour le dépistage non invasif du cancer colorectal

Le 28 avril, l'Alibaba DAMO Academy a dévoilé DAMO COCA, un modèle d'intelligence artificielle pour le dépistage du cancer colorectal, développé en collaboration avec l'Hôpital général provincial du Guangdong et d'autres institutions médicales chinoises. Ce système analyse des scanners CT sans contraste, supprimant ainsi la nécessité d'une injection de produit de contraste ou d'une préparation intestinale préalable, deux contraintes lourdes imposées par les méthodes de dépistage classiques. Publié dans la revue Annals of Oncology, le modèle affiche une sensibilité de 86,6 % et une spécificité de 99,8 %, deux indicateurs qui mesurent sa capacité à détecter les cas réels tout en limitant les faux positifs. L'étude a analysé plus de 27 000 scanners CT et a permis d'identifier des cas de cancers non détectés dans des données cliniques réelles. Cette performance est particulièrement significative car le cancer colorectal figure parmi les cancers les plus répandus au monde, avec un taux de dépistage insuffisant lié aux contraintes des méthodes existantes, notamment la coloscopie invasive. En supprimant ces obstacles, DAMO COCA pourrait élargir considérablement l'accès au dépistage, notamment dans les régions où les ressources médicales sont limitées. La capacité du modèle à détecter des lésions dans des zones anatomiquement complexes, là où les radiologues manquent le plus fréquemment des anomalies, représente une avancée clinique concrète susceptible de réduire les diagnostics tardifs. DAMO COCA s'inscrit dans une initiative plus large de l'Alibaba DAMO Academy baptisée "CT + AI", visant à développer des outils de dépistage multi-cancer à partir de scanners CT standard. L'académie avait déjà publié des modèles comparables pour le cancer du pancréas et le cancer gastrique. Le système repose sur un cadre d'apprentissage profond en deux étapes, conçu pour mieux interpréter la complexité des structures intestinales. Cette stratégie rejoint un mouvement mondial dans lequel les grandes entreprises technologiques investissent massivement dans l'imagerie médicale assistée par IA, avec l'ambition de transformer le scanner CT en outil de détection systématique de multiples cancers à partir d'un seul examen.

RecherchePaper

1 source

4arXiv cs.RO

DriVerse : un modèle de monde pour la simulation de conduite via des instructions multimodales et l'alignement de trajectoire

Des chercheurs ont présenté DriVerse, un modèle génératif capable de simuler des scènes de conduite réalistes à partir d'une seule image et d'une trajectoire future. Évalué sur deux jeux de données de référence dans le domaine, nuScenes et Waymo, DriVerse surpasse les modèles spécialisés existants sur les tâches de génération vidéo prospective, et ce avec un entraînement minimal et sans données supplémentaires. Le système prend en entrée une trajectoire 3D et la convertit selon deux représentations complémentaires : d'une part, en séquence de tokens textuels grâce à un vocabulaire de tendances prédéfini, permettant une intégration fluide avec les modèles génératifs de base ; d'autre part, en prior de mouvement spatial 2D pour mieux contrôler les éléments statiques de la scène. Un module léger d'alignement du mouvement complète l'architecture en renforçant la cohérence temporelle des objets dynamiques, piétons, véhicules, sur des séquences longues. Ce travail répond à une limite majeure des simulateurs de conduite autonome actuels : l'écart entre les signaux de contrôle fournis au modèle et ses représentations internes. Les approches précédentes injectaient directement des trajectoires brutes ou des commandes discrètes dans le pipeline de génération, ce qui produisait des vidéos peu fidèles, insuffisantes pour évaluer rigoureusement des algorithmes de conduite réelle. DriVerse comble ce fossé en rendant la trajectoire compréhensible au modèle génératif sous forme textuelle et spatiale simultanément, ce qui améliore sensiblement la qualité et la précision des scènes simulées. La simulation réaliste de scènes de conduite est un enjeu central pour accélérer le développement de la conduite autonome, car elle permet de tester des algorithmes dans des conditions variées sans recourir à des kilomètres de captation réelle, coûteuse et dangereuse. Les approches concurrentes, dont certaines issues de grands laboratoires, peinent à concilier fidélité vidéo et contrôle fin de la trajectoire. En publiant son code et ses modèles en accès libre, l'équipe derrière DriVerse ouvre la voie à une adoption large par la communauté de recherche, potentiellement accélérant les cycles d'itération pour des acteurs comme Waymo, Mobileye ou les constructeurs automobiles engagés dans la course à l'autonomie de niveau 4.

UELes laboratoires académiques et constructeurs européens spécialisés en conduite autonome (Renault, Stellantis, Valeo) peuvent intégrer ce modèle open-source pour réduire leur dépendance aux coûteuses collectes de données réelles.

RecherchePaper

1 source