Au-delà de la scène actuelle : préhension référencée par événements avec sélection active de la vue

Des chercheurs présentent BeyondSCe, un système de préhension robotique « zero-shot » conçu pour un cas inédit : exécuter une demande qui désigne un objet, ou une partie d'objet, par le rôle qu'il a joué dans un événement passé plutôt que par son nom ou son apparence. Le robot observe d'abord des personnes manipuler des objets, puis reçoit plus tard une consigne qui renvoie à cet historique. Il doit alors identifier la cible à partir de l'historique des événements et de la scène courante, puis la localiser pour la saisir. Si la cible est masquée, le système combine un a priori d'événement, reconstitué à partir de l'historique, avec la géométrie de la scène actuelle afin de choisir des points de vue de caméra susceptibles de la révéler. L'ensemble repose uniquement sur des modèles pré-entraînés, sans entraînement spécifique à la tâche. Les tests sur robot réel utilisent une seule caméra RGB-D montée au poignet. Le taux de réussite atteint 76 % pour les cibles initialement visibles et 77 % pour les cibles occultées, contre 40 % et 55 % pour la meilleure référence de chaque condition. Sur quatre scènes supplémentaires fortement encombrées, il passe de 75 % à 95 % de réussite et réduit le nombre moyen de vues de 3,35 à 2,20.

Le résultat touche à une limite concrète des robots de service et d'assistance : la plupart des systèmes de saisie pilotés par le langage supposent que l'objet est visible et nommable. Une consigne du type « rapporte la tasse que Paul a utilisée tout à l'heure » suppose au contraire une mémoire des interactions et la capacité d'aller chercher l'objet hors du champ de vue. Le gain sur les cibles occultées est le point le plus parlant : l'a priori d'événement améliore à la fois la réussite et l'efficacité de la perception active, y compris face à une référence qui disposait de la boîte englobante 3D réelle de la cible. Pour un intégrateur, l'intérêt est qu'une chaîne de modèles de fondation, sans réentraînement, suffit à franchir ce palier avec un capteur bon marché. Il faut toutefois relativiser : il s'agit d'un résultat académique en laboratoire, publié sur arXiv (pré-publication non évaluée par des pairs). Le nombre d'essais et la diversité des scènes ne sont pas précisés, et 76 % de réussite reste loin des seuils exigés en production.

Ce travail s'inscrit dans la montée des systèmes de manipulation zero-shot qui assemblent des modèles de vision-langage, de segmentation et de planification de grasp, et dans l'essor de la perception active, où le robot déplace sa caméra pour réduire l'incertitude. Les approches de type VLA (vision-langage-action) se concentrent surtout sur la scène présente, sans mémoire explicite d'événements passés. L'article ne cite ni déploiement industriel ni calendrier de transfert. Les suites logiques seraient des historiques plus longs et bruités, des environnements dynamiques et une validation sur d'autres robots que le dispositif de test.