Participer à RoboCup@Home et remporter le prix du meilleur article 2026 : entretien avec Raphael Memmesheimer

Raphael Memmesheimer, qui dirige l'équipe NimbRo en ligue RoboCup@Home, a reçu avec ses coauteurs le prix du meilleur article du symposium RoboCup 2026 pour « Efficient Image Annotation via Semi-Supervised Object Segmentation with Label Propagation ». Le travail répond à une contrainte de la compétition: les équipes disposent de seulement deux jours de préparation pour assembler leur robot et l'adapter à un appartement témoin inconnu. Dans ce délai, le robot doit apprendre à reconnaître jusqu'à 50 objets jamais vus, comme une cuillère ou une boisson précise. La méthode est multi-étapes. Un premier modèle de segmentation, entraîné sur les objets rencontrés lors des éditions précédentes, détecte simplement qu'il y a « quelque chose qui pourrait être un objet ». Il est ensuite combiné avec des images de référence des objets réels pour étiqueter les données de façon semi-automatique. Selon Memmesheimer, environ 60 % des données sont ainsi annotées automatiquement, ce qui représenterait sinon de nombreuses heures de travail humain. L'équipe a remporté la compétition @Home à cinq reprises.

L'intérêt dépasse le concours. Beaucoup de démonstrations robotiques reposent sur des modèles réglés sur des jeux de données ou montrés dans une vidéo unique. Ici, le robot doit entrer dans l'arène et opérer en autonomie, dans un environnement qu'il n'a jamais vu. Le travail souligne aussi une limite pratique des approches à vocabulaire ouvert, que l'équipe connaît mais juge peu fiables pour distinguer des objets d'une même catégorie, par exemple des boissons. Pour un intégrateur, le constat est transposable: dans un déploiement chez un client, avec des références produits spécifiques et inédites, une chaîne d'annotation rapide et peu coûteuse en main-d'œuvre peut compter autant que la taille du modèle de fondation. L'entretien publié ne fournit toutefois, dans sa partie disponible, ni précision de reconnaissance ni gain de temps chiffré en heures. Le chiffre de 60 % d'annotation automatique reste donc une déclaration de l'auteur, sans comparaison à une référence.

Memmesheimer participe à la ligue @Home depuis ses études et a découvert la Coupe du monde en 2013, une expérience qui l'a conduit vers un doctorat. La difficulté vient de la nature du concours: les organisateurs achètent des produits locaux dans un centre commercial et les répartissent dans l'appartement, si bien que le détail des objets ne peut pas être anticipé. Une partie de l'ensemble provient toutefois du jeu de données public YCB, ce qui permet de collecter des données et de pré-entraîner les modèles à l'avance sur de grands corpus généraux. La méthode primée vise précisément ce qui reste imprévisible. Les approches à vocabulaire ouvert constituent l'alternative la plus évidente, mais l'équipe estime qu'elles ne conviennent pas à ce cas. Il s'agit ici d'une technique de recherche employée en compétition, non d'un produit commercial ni d'un déploiement réel, et la suite dépendra de sa reprise dans les prochaines éditions de RoboCup@Home.