RecherchearXiv cs.RO19h

OpenSGA : alignement efficace de graphes de scènes 3D en monde ouvert

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Une équipe du laboratoire Autonomous Robots (Pays-Bas) a publié OpenSGA en mai 2026, un framework d'alignement de graphes de scènes 3D en monde ouvert, disponible en preprint sur arXiv (2605.10484). Le système établit des correspondances d'objets entre deux graphes construits à partir d'observations partiellement chevauchantes, en fusionnant des caractéristiques vision-langage, textuelles et géométriques. OpenSGA gère deux modes : le frame-to-scan (F2S), qui met en correspondance une image unique avec une carte existante, et le subscan-to-subscan (S2S), qui fusionne deux sous-cartes partielles. Son architecture combine un encodeur d'attention spatiale à porte de distance, un allocateur par flot de coût minimal et un générateur d'embedding global de scène. Les auteurs publient également ScanNet-SG, un dataset de plus de 700 000 échantillons couvrant 509 catégories issues de ScanNet et plus de 3 000 catégories générées via GPT-4o, soit un saut d'échelle substantiel par rapport aux benchmarks existants, limités à quelques milliers d'exemples.

L'intérêt applicatif est direct pour les robots à longue autonomie : relocaliser un objet précis lors d'une revisite de lieu, ou fusionner des cartes entre plusieurs agents mobiles, sont des verrous non résolus en logistique, inspection industrielle et robotique de service. En adoptant une approche open-set fondée sur des embeddings vision-langage de type CLIP, OpenSGA reconnaît des catégories non vues à l'entraînement, dépassant les pipelines fermés qui exigent une annotation préalable de chaque classe. Les expériences publiées indiquent que le framework surpasse significativement les méthodes existantes sur les deux tâches, bien que l'abstract ne détaille pas les écarts chiffrés précis, un point à vérifier dans le papier complet.

Les méthodes précédentes comme SceneGraphFusion ou les approches basées sur PointNet se limitaient au mode S2S avec des caractéristiques purement géométriques, sur des datasets restreints. L'intégration de GPT-4o pour l'étiquetage automatique et la construction massive du dataset marque une inflexion méthodologique notable. Côté concurrentiel, OpenSGA s'inscrit face à ConceptGraphs (MIT), Hydra (MIT SPARK Lab) et aux représentations sémantiques développées à ETH Zurich. Aucun équivalent direct n'a été publié côté français ou européen à ce stade. Le code et le dataset sont disponibles en open-source sur autonomousrobots.nl, ce qui facilite l'adoption par la communauté de recherche en SLAM sémantique.

Impact France/UE

Un laboratoire européen (Pays-Bas) publie en open-source un framework SLAM sémantique surpassant l'état de l'art, renforçant la compétitivité de la recherche UE face au MIT ; ETH Zurich figure parmi les acteurs concurrents cités.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

VeriGraph : graphes de scène pour la vérification de plans de robots

Des chercheurs ont publié VeriGraph (arXiv:2411.10446v3), un système de planification robotique qui combine des modèles vision-langage (VLM) avec un mécanisme de vérification formelle des actions. Le principe central repose sur l'utilisation de graphes de scène comme représentation intermédiaire : à partir d'images en entrée, le système construit un graphe capturant les objets présents et leurs relations spatiales, puis s'en sert pour valider et corriger en boucle les séquences d'actions générées par un planificateur LLM. Les gains rapportés sur des tâches de manipulation sont significatifs : +58 % de taux de complétion sur les tâches guidées par langage, +56 % sur des puzzles tangram, et +30 % sur les tâches guidées par image, par rapport aux méthodes de référence testées. Ce résultat pointe un problème structurel bien documenté dans le domaine : les VLM et LLM génèrent des plans plausibles en surface mais géométriquement ou physiquement incorrects, un objet posé sur une surface inexistante, une saisie dans un ordre impossible. VeriGraph traite ce gap en introduisant une couche de vérification symbolique ancrée dans l'état réel de la scène, ce qui réduit les hallucinations de planification sans nécessiter de fine-tuning du modèle sous-jacent. Pour les intégrateurs industriels et les équipes robotique, cela suggère une voie pragmatique : greffer un vérificateur léger sur des LLM généralistes plutôt que de tout réentraîner, ce qui abaisse potentiellement le coût d'adaptation à de nouveaux environnements. VeriGraph s'inscrit dans un courant de recherche actif autour des architectures hybrides neuro-symboliques pour la robotique, où des travaux comme SayPlan (Rana et al.), LLMTAMP ou les approches PDDL-guided cherchent tous à contraindre la génération de plans par des vérificateurs formels ou géométriques. La nouveauté ici réside dans l'usage du graphe de scène comme interface universelle entre perception et planification. Les auteurs publient le code sur un site dédié, ce qui facilite la reproductibilité, mais les expériences restent en environnement simulé ou de laboratoire contrôlé, aucun déploiement en conditions industrielles réelles n'est mentionné à ce stade.

RechercheOpinion

1 source

2arXiv cs.RO

Graphes de scènes spatio-temporels prédictifs pour scènes semi-statiques

Une équipe de chercheurs publie dans un preprint arXiv (réf. 2605.00121, mai 2025) une méthode de représentation spatio-temporelle-sémantique permettant à un robot de prédire l'état futur d'un environnement qui change de manière structurée entre les observations. La méthode repose sur deux composants : un filtre bayésien nommé Perpetua\, chargé d'inférer les états successifs de l'environnement, et une structure de graphe de scène 3D baptisée PredictiveGraphs, dans laquelle les nœuds représentent des objets et les arêtes encodent des relations spatio-sémantiques via des instances de Perpetua\. L'exemple illustratif donné est celui d'une tasse se déplaçant cycliquement entre placard, plan de travail et évier selon une routine quotidienne. La validation expérimentale couvre simulations et tests en environnement réel, où un espace domestique a subi des changements semi-statiques à raison d'une perturbation toutes les deux heures sur une période de trois semaines. L'enjeu opérationnel est significatif pour les robots déployés dans des environnements non contrôlés comme les entrepôts, les hôpitaux ou les domiciles. La grande majorité des représentations spatiales actuelles, des NeRF sémantiques aux graphes de scène 3D comme Hydra ou SceneGraphFusion, sont statiques ou réactives : elles gèrent les changements détectés en direct mais ne prévoient pas les états futurs. PredictiveGraphs s'attaque au "semi-static gap" : l'objet n'est pas présent au moment de l'observation, mais le robot doit pouvoir le localiser pour une tâche ultérieure. Dans les conditions de test, la méthode surpasse les approches de référence y compris face à des shifts de distribution, autrement dit lorsque les habitudes d'utilisation des objets dévient du schéma appris. Cette robustesse est une propriété critique pour des déploiements industriels où les routines humaines évoluent dans le temps. Les graphes de scène 3D pour la robotique ont connu un essor marqué depuis les travaux fondateurs de Rosinol et al. au MIT SPARK Lab en 2020 et le système open-source Hydra. Le raisonnement temporel sur ces structures reste néanmoins peu exploré : quelques travaux récents ont esquissé la piste via du SLAM probabiliste ou des représentations dynamiques partielles, sans modélisation explicite des cycles comportementaux récurrents. PredictiveGraphs occupe ce créneau. Ce preprint ne mentionne ni partenariat industriel ni calendrier de déploiement, et les expériences restent à l'échelle d'un appartement. La suite logique impliquerait une validation en environnement plus large, entrepôt ou établissement de soin, territoire où des acteurs européens comme Enchanted Tools avec son robot Mirokaï, ou des intégrateurs AMR opérant en espace contraint, commencent à chercher exactement ce type de raisonnement prédictif sur la disposition des objets.

UEImpact indirect : des robots opérant en espaces semi-contrôlés, comme le Mirokaï d'Enchanted Tools (France) ou les AMR européens en entrepôt, sont précisément les cibles applicatives identifiées, mais aucun partenariat ni transfert technologique n'est engagé à ce stade.

RecherchePaper

1 source

3arXiv cs.RO

RoboAlign-R1 : alignement multimodal des récompenses pour les modèles du monde vidéo robotique

Des chercheurs ont publié le 6 mai 2026 sur arXiv (arXiv:2605.03821) un framework baptisé RoboAlign-R1, conçu pour améliorer l'alignement des modèles vidéo du monde robotique avec les objectifs réels de prise de décision. Le coeur du travail repose sur un benchmark inédit, RobotWorldBench, qui rassemble 10 000 paires vidéo-instruction annotées issues de quatre sources de données robotiques, et sur un juge multimodal, RoboAlign-Judge, capable d'évaluer les vidéos générées selon six dimensions distinctes (instruction following, manipulation accuracy, plausibilité physique, entre autres). Ce juge enseignant est ensuite distillé en un modèle récompense léger pour un post-entraînement par renforcement. En parallèle, les auteurs introduisent une stratégie d'inférence sans entraînement supplémentaire, le Sliding Window Re-encoding (SWR), qui rafraichit périodiquement le contexte de génération pour limiter la dérive lors des prédictions à long horizon. Les gains mesurés sont de 10,1 % sur le score agrégé à six dimensions par rapport au meilleur baseline, dont 7,5 % en précision de manipulation et 4,6 % en suivi d'instructions. Le SWR apporte quant à lui une réduction de 9,8 % en LPIPS et une hausse de 2,8 % en SSIM, avec seulement environ 1 % de latence additionnelle. Ce travail pointe un problème structurel rarement nommé aussi clairement dans la littérature : les modèles vidéo robotiques sont généralement optimisés pour des métriques visuelles basses (reconstruction pixel, SSIM) qui ne corrèlent pas avec la performance réelle en manipulation ou en suivi d'instructions. Autrement dit, un modèle peut produire des vidéos visuellement cohérentes tout en étant inutilisable pour le contrôle d'un bras robotique. En transposant la logique du post-entraînement par récompense, inspirée du RLHF appliqué aux LLM, aux world models vidéo, RoboAlign-R1 propose une voie pour aligner simulation et tâche réelle. Pour les équipes qui utilisent ces modèles comme simulateurs de planification ou générateurs de données synthétiques, l'évaluation multi-dimensionnelle de RoboAlign-Judge pourrait devenir un protocole de référence, à condition que le benchmark soit publié et reproductible. Cette publication s'inscrit dans une dynamique plus large d'application des techniques d'alignement (post-training, distillation, RL) à la robotique incarnée, un domaine où des travaux comme UniSim, GROOT de NVIDIA ou IRASim ont posé les bases des world models vidéo. Le code et les données ne sont pas encore disponibles publiquement au moment de la publication, ce qui limite l'évaluation indépendante des résultats. La prochaine étape naturelle serait une validation sur robot physique en dehors du protocole in-domain utilisé ici, car les gains mesurés en simulation n'impliquent pas directement un transfert sim-to-real amélioré.

RechercheOpinion

1 source

4arXiv cs.RO

Mémoire à long terme pour agents VLA dans l'exécution de tâches en environnement ouvert

Une équipe de chercheurs a publié le 22 avril 2026 sur arXiv (ref. 2504.15671) les résultats de ChemBot, un système robotique conçu pour automatiser des protocoles d'expérimentation chimique complexes en laboratoire. ChemBot repose sur une architecture à deux couches couplant un agent IA planificateur à un modèle Vision-Language-Action (VLA) baptisé Skill-VLA, capable de décomposer hiérarchiquement des tâches longues, typiquement des protocoles multi-étapes, puis de les exécuter sur des robots collaboratifs. Le système intègre une mémoire persistante à double niveau qui archive les trajectoires réussies sous forme d'assets réutilisables, et s'appuie sur un serveur Model Context Protocol (MCP) pour orchestrer les sous-agents et les outils. Un mécanisme d'inférence asynchrone basé sur la prédiction d'états futurs est également implémenté pour réduire les discontinuités de trajectoire, un défaut récurrent des VLA standards. Les expériences rapportées montrent des taux de succès et une précision opérationnelle supérieurs aux baselines VLA existantes sur des scénarios longs et multi-étapes. Ce travail adresse une limite structurelle bien documentée des modèles VLA : leur incapacité à capitaliser sur les expériences passées, ce qui force le système à recommencer par tâtonnements à chaque nouvelle session. En intégrant une mémoire persistante récupérable, ChemBot réduit concrètement le "trial-and-error gap" dans des environnements à longue horizon de planification, un problème critique pour l'automatisation de laboratoire où une erreur en milieu de protocole peut invalider toute une expérience. C'est également une démonstration applicative du sim-to-real dans un domaine non industriel, le laboratoire chimique, traditionnellement peu couvert par les benchmarks robotiques. Pour les intégrateurs B2B dans le pharma ou la recherche chimique, cela constitue un signal concret vers des robots de laboratoire autonomes capables de gérer des workflows non déterministes. Les modèles VLA ont connu une montée en puissance rapide depuis 2023 avec des travaux comme RT-2 (Google DeepMind), OpenVLA et Pi-0 (Physical Intelligence), mais la majorité des déploiements restent limités à des tâches courtes et répétitives. ChemBot se positionne dans le segment émergent des "long-horizon VLA", aux côtés de travaux comme SayCan ou des architectures hiérarchiques de Carnegie Mellon. Aucun déploiement industriel n'est annoncé à ce stade, il s'agit d'une publication académique avec validation sur robots collaboratifs en environnement contrôlé. Les prochaines étapes logiques incluent des tests sur des plateformes comme les robots Universal Robots ou Franka, et une intégration potentielle avec des systèmes LIMS existants dans les laboratoires pharmaceutiques.

RechercheOpinion

1 source