RecherchearXiv cs.RO 25 septembre 2026

Inspection robotique autonome multimodale sans marqueurs des grandes structures spatiales

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un pipeline d'inspection robotique autonome sans marqueurs pour de grandes structures spatiales a été présenté dans un preprint publié sur arXiv (2609.29644). Le système repose sur un bras manipulateur Kinova Gen2 équipé d'une tête de capteurs multimodale montée sur l'effecteur, combinant une caméra RGB-D, une caméra thermique et un LiDAR 2D. Le pipeline estime d'abord un volume d'inspection approximatif, génère des points de vue, planifie des trajectoires sans collision via MoveIt, puis enregistre de façon synchronisée images RGB-D, données thermiques et poses du robot sous ROS2. Pour la reconstruction 3D, plusieurs méthodes candidates ont été comparées avant de retenir Nerfacto pour la reconstruction géométrique et Thermal-Nerfacto pour un rendu sensible à la température. Le système a été validé dans un simulateur Gazebo et testé de façon préliminaire en laboratoire, où il a démontré sa capacité à acquérir des données d'inspection spatialement cohérentes et à produire des reconstructions exploitables pour une évaluation visuelle et géométrique.

Cette approche cible les limites des méthodes actuelles de maintenance en orbite, qui dépendent généralement de trajectoires prédéfinies, d'interfaces standardisées, de marqueurs fiduciaires ou de modèles CAO précis de la cible, des contraintes qui ne tiennent pas face à de futures infrastructures orbitales hétérogènes, partiellement inconnues ou trop vastes, telles que grandes antennes déployables ou fermes solaires. En s'appuyant sur la reconstruction 3D par champs de radiance neuronaux (NeRF) comme représentation support de l'inspection plutôt que sur un modèle préexistant de la cible, ce travail répond à un besoin concret des opérateurs de servicing orbital et de retrait de débris, pour qui la variabilité et l'inconnu des cibles restent un obstacle majeur à l'automatisation. Il faut toutefois souligner que la validation reste circonscrite à une simulation Gazebo et à des essais préliminaires en laboratoire terrestre: aucune démonstration en orbite réelle n'est revendiquée, et rien n'indique encore une robustesse face aux contraintes propres à l'espace, comme l'éclairage extrême ou les limites de masse et de puissance embarquées.

Ce travail s'inscrit dans la montée en puissance du secteur du service en orbite et de la gestion de fin de vie des satellites, un domaine où des acteurs comme Northrop Grumman, Astroscale ou Airbus développent des missions de ravitaillement, de réparation ou de désorbitation généralement conçues pour des cibles coopératives et bien caractérisées. L'apport de cette recherche est de traiter le cas inverse, celui de structures non coopératives et faiblement documentées, un scénario appelé à se multiplier avec la croissance des grandes plateformes orbitales et des débris spatiaux. Le choix de Nerfacto après comparaison d'autres méthodes de reconstruction suggère que des variantes concurrentes de NeRF ont été jugées moins adaptées au contexte embarqué. Le papier se présente comme une étape intermédiaire, sans calendrier de test en orbite ni partenaire industriel identifié à ce stade, les prochaines étapes attendues portant sur le passage à des environnements réels et à des structures de taille et de complexité supérieures.

Impact France/UE

La recherche pourrait a terme intéresser des acteurs européens du service en orbite comme Airbus, mais aucun partenariat ni test européen n'est mentionne dans l'article.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Auditer les écarts entre instructions et trajectoires dans les démonstrations robotiques multimodales

Des chercheurs décrivent, dans un article publié sur arXiv (2608.07895), une méthode d'audit ciblant un défaut discret des jeux de démonstrations robotiques utilisés pour entraîner les politiques vision-langage-action (VLA) : les Instruction-Trajectory Mismatches (ITM), des trajectoires physiquement correctes mais associées à la mauvaise instruction textuelle. Contrairement aux trajectoires ratées, ces erreurs paraissent plausibles et corrompent l'association langage-comportement apprise par le modèle. Les auteurs proposent Multimodal Probabilistic Fusion (MMPF), un cadre d'audit sans réentraînement qui traite vision, langage et trajectoire comme des experts distincts, estime une distribution de labels par accord de voisinage local et similarité à des prototypes globaux, puis fusionne ces signaux par pondération d'entropie prédictive dans un produit d'experts. Testé sur les benchmarks LIBERO avec mismatches injectés et sur des données bruitées de vrais robots, MMPF obtient la meilleure précision de détection et de correction des labels parmi les méthodes comparées. Pour l'industrie des modèles VLA généralistes, ce travail souligne que la qualité de l'étiquetage linguistique des démonstrations pèse autant que le volume de données ou l'architecture du réseau. Les pipelines de collecte à grande échelle, par téléopération ou vidéo humaine, produisent souvent des instructions mal associées aux trajectoires, un problème moins visible que les échecs physiques mais tout aussi corrosif pour l'apprentissage. Les auteurs montrent que l'audit améliore surtout les politiques dans les tâches où le langage est nécessaire pour distinguer entre plusieurs comportements possibles, un signal utile pour les laboratoires qui industrialisent la préparation de données d'entraînement robotique. Cette approche s'inscrit dans la montée des efforts de curation de données pour l'apprentissage robotique à grande échelle, à mesure que les politiques VLA se généralisent au-delà des démonstrations parfaitement contrôlées. Elle se distingue des méthodes de filtrage post-hoc classiques, qui repèrent des rollouts physiquement incorrects, en ciblant des erreurs sémantiques invisibles à l'œil nu. Les expériences sur robot réel mettent en évidence un arbitrage entre deux stratégies correctives : supprimer les démonstrations suspectes ou les réétiqueter automatiquement. Chacune modifie différemment la performance finale de la politique, ouvrant la voie à une intégration de ce type d'audit dans les pipelines de préparation de données, avant même l'entraînement des modèles.

RecherchePaper

1 source

2arXiv cs.RO

Le défi ERR@HRI 3.0 : détection multimodale des erreurs et anticipation dans les interactions homme-robot

Détecter en temps réel qu'un robot vient de se tromper, ou qu'un humain à proximité va bientôt subir un échec, reste un problème ouvert pour l'interaction homme-robot. La troisième édition du challenge ERR@HRI, présentée dans un article déposé sur arXiv le 14 juillet 2026, propose deux jeux de données inédits pour faire avancer ce sujet. Le premier, Bystander Affect Detection (BAD), rassemble des enregistrements webcam de 45 participants réagissant spontanément à des scénarios d'échec robotique ou humain. Le second, Bad Idea, contient les réactions faciales anticipatoires de 29 participants tentant de prédire l'issue d'une action avant qu'un échec ne survienne. Les deux corpus, collectés par crowdsourcing avec des vidéos brutes non anonymisées, capturent la variabilité de conditions réelles plutôt que des données contrôlées en laboratoire. Trois pistes étaient proposées aux participants: détection des réactions de témoins (Track 1), prédiction anticipatoire d'issue (Track 2), et une piste optionnelle de généralisation cross-dataset (Track 3). Trois équipes ont soumis des modèles valides, tous supérieurs aux baselines à réseaux convolutifs (CNN) des organisateurs. L'enjeu dépasse la simple compétition académique: la plupart des systèmes de détection d'erreur actuels fonctionnent sur des contextes restreints, des environnements contrôlés ou des caractéristiques pré-extraites, ce qui limite fortement leur transfert vers des déploiements réels. En forçant les équipes à travailler sur de la vidéo brute multimodale et des scénarios naturalistes, ERR@HRI 3.0 teste directement si les approches actuelles tiennent face à l'écart classique entre démonstration en laboratoire et usage terrain. Pour les intégrateurs et concepteurs de robots sociaux ou collaboratifs, la capacité à anticiper un échec avant qu'il ne se produise, et pas seulement à le constater après coup, conditionne la confiance des utilisateurs et l'acceptabilité au quotidien de ces systèmes. Le fait qu'il s'agisse d'une troisième édition traduit un effort continu de la communauté recherche en interaction homme-robot pour structurer ce champ encore jeune, à travers des benchmarks partagés plutôt que des évaluations isolées propres à chaque laboratoire. Seules trois équipes ayant soumis des modèles valides, malgré le dépassement des baselines, l'article souligne que la détection et l'anticipation d'erreurs en conditions réelles restent un domaine en construction, avec des perspectives explicites vers des systèmes plus généralisables et conscients du contexte.

RecherchePaper

1 source

3arXiv cs.RO

Reconstruction de robots à structure continue par recalage de forme sans marqueurs à partir d'images, via un modèle cinématique

Un algorithme de reconstruction de forme pour robots continus, décrit dans une version mise à jour d'un article déposé sur arXiv (arXiv:2405.15336v2), reconstruit la courbe tridimensionnelle du squelette de ces manipulateurs souples directement à partir d'images, sans marqueurs physiques. La méthode ajuste une courbe paramétrique aux pixels du robot détectés dans un pipeline photogrammétrique classique, sans connaître a priori sa position dans l'image. Sur la majorité des configurations testées, l'écart entre la reconstruction et la vérité terrain reste inférieur à 1 mm, soit 0,67% de la longueur du robot. Sur des robots continus réels à tubes concentriques, les résultats concordent avec dix mesures manuelles de référence prises sur 18 configurations différentes, et le pipeline automatisé traite chaque configuration en environ 0,5 seconde. Cette avancée cible un problème concret pour les concepteurs de robots continus, utilisés en aérospatiale, en inspection industrielle et en chirurgie mini-invasive: les modèles physiques seuls prédisent mal la déformation réelle du squelette, ce qui oblige à mesurer précisément la forme obtenue pour valider ces modèles et constituer des jeux de données de référence. Remplacer une procédure manuelle et lente par un pipeline automatisé de l'ordre de la demi-seconde par configuration accélère significativement les cycles de validation en laboratoire, sans nécessiter de marqueurs qui seraient difficiles à poser ou à observer dans des espaces confinés et courbes, typiques de ces applications. Il s'agit toutefois d'un résultat de recherche mesuré en conditions contrôlées, pas d'un produit commercial déployé. Les robots continus, structures fines et flexibles inspirées des tentacules ou des trompes, gagnent du terrain face aux manipulateurs rigides classiques précisément parce qu'ils naviguent dans des environnements encombrés inaccessibles autrement, notamment via des robots à tubes concentriques insérés par de petites incisions en chirurgie. Les approches historiques de mesure de forme reposent sur des capteurs embarqués, des fibres optiques ou un suivi manuel par marqueurs, chacune avec ses limites de coût, d'encombrement ou d'occlusion. Publié sans affiliation industrielle ni site de déploiement mentionnés, ce travail s'adresse aux laboratoires de robotique et de dispositifs médicaux en quête d'outils de validation plus rapides, sans annonce de pilote ni de calendrier de transfert vers l'industrie.

RecherchePaper

1 source

4arXiv cs.RO

AquaWorld : génération de mondes sous-marins structurellement cohérents pour la simulation robotique

Des chercheurs ont présenté AquaWorld, un framework de génération de mondes sous-marins pour la simulation robotique, détaillé dans un article publié sur arXiv (2609.22670v1). L'outil génère terrain 3D, placement d'assets, définition de tâches et champs de courants à partir d'un plan conditionné par le langage, tout en conservant la cohérence structurelle entre ces éléments grâce à une bibliothèque de plus de 10 000 assets compatibles milieu sous-marin et un modèle résiduel supervisé par CFD (mécanique des fluides numérique) qui prédit des champs de flux moyens réutilisables et conditionnés au terrain. Le système prend en charge aussi bien les véhicules sous-marins conventionnels que les robots-poissons bio-inspirés. Sur 24 paires de terrains testées, la randomisation structurée produit une consistance croisée nettement supérieure à une randomisation indépendante des facteurs, et dans une comparaison d'entraînement de politiques à budget égal, elle atteint un taux de succès en validation supérieur de 21%. En conditions physiques réelles, une politique de navigation visuelle entraînée uniquement en simulation réussit 95% des essais en bassin, sans mise à jour de ses modules de perception ou de contrôle. Pour l'industrie robotique sous-marine, ce résultat s'attaque à un goulot d'étranglement connu: contrairement aux robots terrestres ou aériens, les systèmes sous-marins doivent composer avec courants, visibilité dégradée et dynamique fluide complexe, ce qui limitait jusqu'ici la quantité de données synthétiques réellement exploitables pour l'entraînement. En montrant qu'une randomisation tenant compte de la structure du terrain améliore le transfert simulation-réalité jusqu'à un taux de réussite physique de 95% sans recalibrage, AquaWorld apporte une preuve empirique que le fossé sim-to-real, souvent pointé comme un obstacle majeur dans les publications robotiques, peut être réduit pour des tâches de navigation visuelle sous-marine. Pour les intégrateurs de véhicules sous-marins autonomes ou de robots d'inspection, cela ouvre une voie pour réduire coûts et risques des essais en mer en s'appuyant davantage sur l'entraînement simulé, à condition que les pipelines de génération respectent les contraintes physiques du domaine plutôt que de randomiser chaque facteur indépendamment. Ce travail s'inscrit dans une tendance plus large de la robotique où la génération procédurale de mondes à grande échelle est devenue un levier central de l'entraînement de politiques, un domaine longtemps dominé par les environnements terrestres et la manipulation. Le sous-marin restait en retard faute d'outils intégrant simultanément géométrie de terrain, dynamique des fluides et diversité d'assets de façon cohérente. À ce stade, il s'agit d'une contribution de recherche publiée sur arXiv, sans indication de produit commercial, de partenariat industriel ou de déploiement opérationnel annoncé, et les auteurs ne précisent ni affiliation ni feuille de route de diffusion publique du code ou des assets. Les suites attendues pour ce type de travaux passent généralement par l'extension du nombre de tâches et de robots supportés, ainsi que des essais en environnement réel au-delà du bassin contrôlé.

RecherchePaper

1 source