CLARO : orchestrateur de robot sensible à l'encombrement pour la préhension à vocabulaire ouvert avec des agents VLM

CLARO (CLutter-Aware Robot Orchestrator) est un agent basé sur un modèle vision-langage (VLM) qui pilote un ensemble de compétences de perception et de manipulation pour retrouver un objet désigné en langage naturel dans une scène encombrée. Il enchaîne la détection d'objets à vocabulaire ouvert, la segmentation, la saisie à 6 degrés de liberté et la poussée non préhensile, qui sert à dégager un objet avant de le saisir. L'agent garde en mémoire ses actions passées pour tenir des séquences longues, et produit des cibles de manipulation (poses de saisie, points de passage 3D) plutôt que des commandes propres à un robot, ce qui permet de changer de bras sans réentraînement spécifique. Testé en simulation dynamique et sur des benchmarks d'images standards, il atteint 89,1 % de réussite en moyenne, soit plus de 16 % d'amélioration relative sur la meilleure méthode concurrente dans les scènes très encombrées. Sur un bras réel, dans diverses scènes encombrées, le taux de réussite est de 88,8 %.

L'intérêt tient à l'approche : un VLM qui orchestre des briques éprouvées, sans modèle vision-langage-action entraîné de bout en bout. La planification multi-étapes avec replanification en encombrement dense reste un point faible des systèmes de préhension en pratique. Un taux réel proche de celui de la simulation (88,8 % contre 89,1 %) suggère un écart sim-to-real limité, mais le cadre est étroit. Les résumés ne donnent ni le nombre d'essais réels, ni le modèle de bras, ni les temps de cycle, ni la fréquence des échecs de planification. Les auteurs analysent séparément les erreurs de grounding (identifier la bonne cible) et de saisie, ce qui aide à savoir où investir. Pour un intégrateur en logistique ou en laboratoire, c'est une preuve de faisabilité du tri en bac encombré, pas un résultat de fiabilité industrielle.

Ce travail s'inscrit dans la lignée des agents robotiques pilotés par LLM/VLM, en concurrence avec les modèles VLA entraînés sur de grandes bases de démonstrations, comme Pi-0 ou Helix, plus intégrés mais plus coûteux en données et liés à une plateforme. CLARO fait le pari inverse : modularité, portabilité entre bras, latence potentiellement plus élevée à cause des appels au VLM, un point non chiffré ici. Il s'agit d'un article de recherche, sans produit ni déploiement annoncé. La suite logique serait des tests sur davantage de plateformes, des objets plus variés et des mesures de cadence.