Utilisation de l'inpainting pour la détection de points clés pour le contrôle visuel de manipulateurs robotiques

Des chercheurs présentent, dans une version mise à jour d'un papier arXiv (2604.13309v2, avril 2026), un système d'asservissement visuel pilotant un bras manipulateur robotique via des caractéristiques visuelles naturelles, sans marqueur permanent. Pour entraîner leur détecteur de points clés, ils fixent des marqueurs ArUco sur le bras, utilisent leurs centres comme étiquettes, puis appliquent de l'inpainting pour effacer ces marqueurs et reconstruire les zones occultées, générant des images markerless étiquetées automatiquement, sans calibration caméra ni modèle CAO du robot. À l'exécution, un second modèle d'inpainting reconstruit les zones masquées pour une détection continue, et un filtre de Kalman sans parfum (UKF) stabilise les estimations dans le temps. Le contrôle vision-based fonctionne en visibilité totale comme en occultation partielle, et le pipeline est aussi testé sur des bras souples origami à deux et trois modules.

Cette méthode s'attaque à une dépendance classique du contrôle robotique par vision : la calibration caméra précise, les modèles CAO exacts ou les marqueurs fiduciaires visibles en permanence, autant de contraintes fragiles dès qu'un bras s'auto-occulte ou qu'un objet manipulé masque une partie de sa structure. En générant automatiquement des données d'entraînement markerless à partir de données marquées, l'approche réduit le coût d'annotation pour des manipulateurs arbitraires. Son extension aux bras souples origami, où les modèles cinématiques classiques s'appliquent mal faute de structure rigide, élargit sa pertinence à la robotique souple et chirurgicale, un terrain où l'absence de modèle géométrique fiable freine encore l'automatisation.

L'asservissement visuel repose traditionnellement sur deux options limitées : une calibration précise caméra-robot, ou des marqueurs fiduciaires comme ArUco, efficaces mais intrusifs et peu adaptés à une interaction naturelle. Les détecteurs de points clés basés sur l'apprentissage profond promettaient une alternative sans marqueur, mais butaient sur le coût d'annotation des données d'entraînement. Ce travail ferme la boucle en utilisant les marqueurs eux-mêmes, via inpainting, pour générer puis effacer leurs propres étiquettes. Aucune entreprise ni laboratoire n'est nommé dans le résumé : il s'agit d'une contribution de recherche méthodologique, dont la suite logique serait une validation plus large sur des manipulateurs industriels et d'autres plateformes de robotique souple.