OMAR : raisonnement multi-attributs en monde ouvert pour l'organisation d'étagères selon la scène

OMAR, un pipeline de raisonnement multi-attributs en monde ouvert, a été publié sur arXiv (2610.29761v1). Il vise à ranger un objet inconnu sur une ététagère de façon cohérente avec ce qui s'y trouve déjà, sans instruction détaillée, sans vocabulaire d'objets prédéfini et sans table d'association objet-rangement. Un modèle vision-langage propose d'abord des étiquettes accompagnées d'attributs, comme le contenu et le type d'emballage. Ces propositions sont ancrées par segmentation, estimation de profondeur et association multi-vues, ce qui produit un graphe de scène 3D au niveau de l'instance. Un LLM raisonne ensuite sur cette représentation pour déduire l'organisation latente de l'étagère, puis classe les emplacements possibles pour le nouvel objet. Ce classement alimente des vérifications de faisabilité géométrique et cinématique avant l'exécution. Les auteurs annoncent de meilleurs résultats que des références fondées sur l'ancrage langagier mono-vue ou sur la seule géométrie, à la fois pour la cartographie des instances et pour la cohérence des placements. Le résumé ne donne aucun chiffre, ni robot, ni jeu de tests, ni taux de réussite.

L'intérêt tient au problème visé. Les robots suivent de mieux en mieux des consignes explicites, mais les tâches ouvertes, où il faut déduire quoi faire de la scène elle-même, restent difficiles. Le résultat dépasse le cadre domestique. Un robot de réassort, de logistique ou de préparation de commandes doit souvent ranger un article nouveau sans règle écrite, et l'absence de réentraînement par classe est un argument concret pour les intégrateurs. L'approche ne passe pas par un VLA de bout en bout. Elle compose des modèles de fondation avec un raisonnement symbolique et des contrôles de faisabilité classiques. Cela suggère que, pour ce type de tâche, la modularité reste compétitive. Une réserve s'impose : le résumé ne dit rien de la robustesse hors laboratoire, de la latence d'un pipeline aussi long ni de la dépendance aux erreurs de perception.

Ce travail prolonge deux lignées de recherche : les robots qui apprennent des préférences de rangement à partir de démonstrations, et les robots qui exécutent des instructions en langage naturel. Il s'en distingue en déduisant l'organisation d'une scène qui évolue de temps en temps. Les concurrents sont les approches de rangement domestique pilotées par LLM et les politiques VLA généralistes, qui visent le même résultat par un apprentissage direct. Il s'agit ici d'un article académique en prépublication, sans produit ni déploiement annoncé. Les prochaines étapes à surveiller sont la publication du code et des jeux de données, des comparaisons chiffrées sur des plateformes mobiles réelles et des tests dans des environnements moins structurés qu'une étagère.