RecherchearXiv cs.RO 15 octobre 2026

Fusion intelligente pour la pondération adaptative visuel-IMU dans l'ajustement de faisceaux creux de cuVSLAM

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Dans cuVSLAM, la brique de localisation et cartographie visuelle de NVIDIA accélérée sur GPU, les résidus visuels et ceux de l'unité de mesure inertielle (IMU) sont fusionnés dans un ajustement de faisceaux creux (SBA) avec une pondération figée par des covariances de bruit calibrées en amont. Aucun mécanisme ne permet donc d'ajuster l'équilibre visuel-inertiel à l'exécution. Les auteurs introduisent un scalaire α supérieur ou égal à 1 qui amplifie la matrice d'information visuelle par rapport à la contrainte de préintégration IMU. Testées sur l'ensemble {1, 2, 5, 10, 20}, les trajectoires se regroupent en deux régimes empiriques: « IMU-TRUST » (α = 1 ou 2, proche de la calibration d'origine) et « VISION-TRUST » (α = 10 ou 20), α = 5 faisant office de transition. Les écarts à l'intérieur d'un régime sont faibles devant ceux entre régimes. Un estimateur de qualité visuelle (VQE), perceptron multicouche de seulement 914 paramètres, prend en entrée un vecteur de 10 caractéristiques tirées de statistiques déjà tenues par le tracker et prédit le régime à chaque SBA. L'erreur absolue de trajectoire (RMSE APE) moyenne baisse de 27,7 % sur EuRoC MAV et de 14,9 % sur TUM-VI Room en validation croisée leave-one-out (LOOCV).

L'intérêt tient à la simplicité du dispositif. Plutôt que de régresser un poids continu, les auteurs ramènent le problème à une décision binaire, ce qui permet un modèle minuscule, quasi gratuit en calcul et sans nouveau capteur ni nouvelle chaîne de traitement. Pour les équipes qui embarquent du SLAM visuel-inertiel sur robots mobiles, drones ou humanoïdes, la fiabilité en conditions dégradées (flou de mouvement, éclairage changeant, scènes pauvres en textures) reste un point de friction, et un gain de 15 à 28 % sans surcoût notable est pertinent. Il faut toutefois rester prudent: les résultats portent sur deux jeux de données académiques de petite taille, la validation LOOCV mesure la généralisation entre séquences d'un même corpus et non en environnement industriel, et rien n'est indiqué sur la latence ni sur le comportement en cas de bascule fréquente entre régimes. Il s'agit d'un résultat de recherche, pas d'un composant livré.

Ce travail s'inscrit dans l'essor de cuVSLAM, bibliothèque de NVIDIA proposée dans l'écosystème Isaac ROS et exploitée pour la navigation de robots mobiles et de manipulateurs. Jusqu'ici, la pondération visuel-inertielle y restait statique, comme dans de nombreux systèmes concurrents, tels que ORB-SLAM3, VINS-Fusion ou OpenVINS, dont les approches adaptatives passent souvent par des covariances estimées en ligne ou par des réseaux plus lourds. Le choix d'un modèle de moins d'un millier de paramètres répond à des contraintes d'embarqué. Les prochaines étapes naturelles seraient des tests sur des plateformes réelles, des environnements extérieurs et industriels, et une éventuelle intégration dans les versions publiques de cuVSLAM, sans calendrier annoncé à ce stade.

À lire aussi

1arXiv cs.RO

Ajustement adaptatif de faisceau guidé par carte de profondeur pour le recalage de nuages de points multivues sans correspondance

Une équipe de robotique a publié sur arXiv début septembre 2026 (référence 2609.01089v1) une méthode baptisée ADM-BA, Adaptive Depth-Map-Guided Bundle Adjustment, pour le recalage multi-vues de nuages de points sans extraction de correspondances visuelles. Elle vise le traitement robotisé de ferraille d'acier irrégulière dans des cellules de découpe dangereuses, où la reconstruction 3D doit remplacer l'inspection visuelle manuelle pour estimer dimensions des pièces, contours et trajectoires de torche sans collision. La scène est modélisée par une grille 2.5D globale où chaque cellule peut porter plusieurs hypothèses de profondeur ; un mécanisme d'assignation par softmax relie chaque observation à la surface compatible, et un ajustement de faisceaux aux moindres carrés non linéaires affine conjointement poses des capteurs et carte de profondeur en couches. Testée sur des jeux de données industrielles collectés en interne, la méthode affiche une précision compétitive à faible coût de calcul ; le code est publié en open source sur GitHub, dépôt YiranZhou-Robotics/ADM-BA. Les méthodes classiques de recalage multi-vues s'appuient sur l'extraction de caractéristiques et l'association de données pour établir des correspondances entre prises de vue. Sur des surfaces métalliques lisses, avec structures répétitives, occlusions et recouvrements partiels, elles établissent souvent de fausses correspondances, faussant l'estimation des poses et déformant la reconstruction, avec un effet direct sur les décisions de planification en aval. En s'affranchissant de toute correspondance explicite, ADM-BA cible ce point de fragilité, pertinent pour les intégrateurs confrontés à des environnements industriels pauvres en texture, du recyclage de métaux à la logistique lourde. L'absence de comparaison à des bancs d'essai externes et le recours à des données propriétaires appellent toutefois à la prudence avant toute généralisation. Le travail s'inscrit dans la continuité des recherches en SLAM et en ajustement de faisceaux, où les techniques fondées sur les caractéristiques, type ICP ou structure-from-motion, restent la norme mais peinent sur les matériaux réfléchissants et répétitifs typiques de la ferraille. Il ne s'agit ni d'un produit commercial ni d'un déploiement industriel documenté : c'est un preprint arXiv non encore relu par les pairs, sans partenaire industriel ni pilote annoncé. La seule suite concrète est la publication du code source, qui permet à d'autres équipes de reproduire et d'étendre l'approche sur leurs propres cellules de découpe.

RecherchePaper

1 source

2arXiv cs.RO

WARP-VLA : adaptation de la caméra de poignet pour une exécution robuste aux changements de point de vue dans les modèles vision-langage-action

WARP-VLA, un modèle décrit dans un preprint arXiv (2610.11508v1), s'attaque à une faiblesse connue des modèles Vision-Language-Action (VLA) pour la manipulation robotique : leur sensibilité à la configuration des caméras. Les auteurs ciblent en particulier la caméra montée au poignet, dont le point de vue se déplace avec le robot. Un léger écart de fixation suffit alors à modifier les indices géométriques fins dont dépend la politique. Leur solution repose sur une architecture Mixture-of-Experts (MoE) : chaque expert apprend une transformation de features propre à un type de vue, et un routeur les combine à partir d'informations de vue implicites. La politique peut ainsi être déployée sans fournir les paramètres extrinsèques de la caméra en entrée. Sur le benchmark LIBERO, le taux de succès moyen de pi-0.5 passe de 39,2 % à 78,3 % sous perturbations de la vue poignet, soit un doublement. Des essais sur robot réel indiquent que l'adaptation au niveau des features, apprise en simulation, se transfère à plusieurs configurations de déploiement. Le benchmark de robustesse aux points de vue poignet et une implémentation « plug-and-play » sont publiés. Ce résultat touche un point bloquant du passage des VLA du laboratoire à l'atelier. Reproduire exactement la pose de caméra utilisée à l'entraînement est quasi impossible d'un site à l'autre. Les supports se desserrent, les intégrateurs choisissent des fixations différentes et les générations de robots varient. Une politique qui perd la moitié de ses performances pour un déplacement modéré du capteur oblige à recalibrer ou à réentraîner à chaque déploiement, ce qui pèse directement sur les coûts d'intégration. Le gain mesuré sur pi-0.5 montre que cette fragilité vient en bonne part de la représentation visuelle, et qu'on peut la corriger sans exiger les extrinsèques en entrée. Il faut toutefois rester prudent : les chiffres viennent surtout de LIBERO, un benchmark simulé aux tâches relativement standardisées. Le résumé ne chiffre pas la performance sur robot réel, ni le nombre de plateformes, de tâches ou d'essais. Le taux de 78,3 % reste aussi nettement inférieur à ce qu'exigerait une exploitation industrielle, et le texte fourni ne dit pas quel est le niveau de référence sans perturbation. Le travail s'inscrit dans une série de recherches sur la robustesse des VLA aux changements de point de vue, après l'essor de modèles généralistes comme pi-0 et pi-0.5 de Physical Intelligence. Ces modèles sont entraînés sur des données massives, mais avec des configurations de caméras peu variées. Les approches concurrentes passent par l'augmentation de données multi-vues, la randomisation de domaine ou l'injection explicite de la géométrie de caméra. WARP-VLA évite l'entrée extrinsèque et mise sur un routage implicite, ce qui simplifie le déploiement. Le code et le benchmark publics permettront à d'autres équipes de comparer leurs méthodes, une étape utile avant toute validation en conditions de production. Aucune annonce de pilote industriel n'accompagne ce preprint, qui n'a pas encore été évalué par des pairs.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

AIM : réseaux de modélisation adaptative des interactions pour la simulation de corps mous du réel vers la simulation

Des chercheurs proposent AIM (Adaptive Interaction Modeling), un cadre de simulation de corps mous « real-to-sim » qui reconstruit à partir d'observations réelles un simulateur capable de prédire la déformation d'un objet soumis à des interactions externes. Le papier, publié sur arXiv (2610.07116), traite la simulation comme un problème de modélisation d'interactions locales et globales. AIM adapte les relations entre particules à partir de l'historique de mouvement et de la géométrie, en combinant les voisins spatiaux courants et des connexions conservées. Une communication globale conditionnée par la géométrie coordonne la réponse de l'objet entier. Une interface unifiée de points de contrôle cinématiques représente différentes configurations de manipulation, et une supervision autorégressive multi-pas entraîne le modèle sur ses propres trajectoires prédites. Sur les bancs d'essai PhysTwin et PGND, les auteurs rapportent une réduction de 20,0 % de l'erreur de suivi en prédiction future par rapport à PhysTwin, et de 22,8 % de l'erreur moyenne de particules à long horizon sur six catégories d'objets par rapport à PGND. L'enjeu touche la manipulation d'objets déformables (pliage de linge, manipulation d'aliments), où le robot doit contrôler la forme autant que la position. Un simulateur prédictif fiable permet de planifier ou d'entraîner des politiques sans multiplier les essais physiques. Le papier cible deux faiblesses connues. D'une part, le voisinage spatial peut mal représenter les dépendances de déformation, et les erreurs locales s'accumulent au fil des prédictions. D'autre part, les modèles ajustés scène par scène généralisent mal aux changements de géométrie ou de conditions de manipulation. Les auteurs affirment un transfert entre actions, instances d'objets et scènes, y compris un transfert zero-shot d'interactions robotiques vers la manipulation humaine, sans ajustement de la dynamique sur le domaine cible. Ces résultats restent des mesures de laboratoire sur des benchmarks de reconstruction. Ils ne disent rien sur un déploiement industriel, sur le coût de calcul ni sur la vitesse d'inférence, et aucun gain n'est chiffré en tâche robotique de bout en bout. AIM se situe dans la lignée des jumeaux numériques physiques appris à partir de vidéo. PhysTwin reconstruit des objets déformables à partir d'observations éparses, tandis que PGND s'appuie sur des dynamiques neuronales fondées sur les particules. Les deux servent ici de références. L'approche répond à la limite des modèles ajustés à une scène unique, qui peinent dès que l'objet ou la manipulation change. Le papier est une prépublication v1, sans relecture par les pairs, et il ne mentionne ni code, ni partenaire industriel, ni calendrier de pilote. La suite logique est une validation sur robot réel en boucle fermée, avec des objets plus variés et des contraintes de temps réel. Ces conditions décideront si ce type de simulateur sert la planification de manipulation ou reste un outil de prédiction hors ligne.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage de marges de sécurité adaptatives pour la navigation visuelle

Des chercheurs présentent un nouveau système de sélection de trajectoires pour la navigation robotique en intérieur encombré, détaillé dans un preprint arXiv (2607.18200v1). Le problème ciblé : les marges de sécurité fixes utilisées par les robots mobiles sont mal calibrées, trop conservatrices elles provoquent détours et dépassements de temps, trop permissives elles autorisent des trajectoires limites dangereuses en cas de biais de perception. Les auteurs proposent un "safety critic" conditionné par le contexte qui apprend une préférence de dégagement adaptative pour classer les propositions générées par un planificateur par diffusion à partir d'images RGB-D égocentriques. Le critique combine trois composantes : un terme de sécurité avec pénalité de budget de dégagement et résidu de fonction barrière de contrôle, un terme d'efficacité mêlant lissage et pénalité de détour conditionnée à la sécurité, et un terme d'ancrage aux clearances ESDF réelles pour éviter l'effondrement de la marge apprise. L'entraînement s'appuie sur une géométrie ESDF privilégiée en simulation, puis le modèle est distillé en un sélecteur ne nécessitant que la perception, via une procédure enseignant-élève en deux temps. Sur les benchmarks PointGoal HM3D et MP3D, y compris en transfert cross-dataset, la méthode obtient les meilleurs taux de réussite et scores SPL face à des références par diffusion, par optimisation et par apprentissage par renforcement. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement concret : la plupart des planificateurs par diffusion génèrent déjà des trajectoires diverses et valables, mais peinent à choisir laquelle exécuter en toute sécurité. Une marge de sécurité apprise et adaptative plutôt que codée en dur pourrait réduire les échecs de navigation des robots déployés en environnements réels, entrepôts, usines, intérieurs domestiques, sans réglage manuel site par site. Le transfert direct vers un humanoïde Unitree G1, entraîné uniquement en simulation et sans ajustement spécifique à la tâche, illustre une réduction crédible de l'écart simulation-réel, un point sensible pour les intégrateurs qui restent souvent méfiants face aux démonstrations purement simulées. Ce travail s'inscrit dans la lignée des planificateurs par diffusion pour la navigation, une approche récente qui a gagné du terrain face aux méthodes d'optimisation classiques et au RL, en s'appuyant sur les fonctions barrière de contrôle et les champs de distance signée (ESDF) pour formaliser la sécurité. Le papier reste à ce stade une publication de recherche non revue par les pairs, sans lien annoncé avec un acteur industriel ; aucune date de déploiement produit ni partenariat n'est mentionné.

RecherchePaper

1 source