Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
RecherchearXiv cs.RO 

MolmoSpaces-CommonSense : évaluer le bon sens des politiques de manipulation robotique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Des chercheurs rattachés à l'Allen Institute for AI (Ai2) publient MolmoSpaces-CommonSense, un benchmark de simulation qui évalue le raisonnement de sens commun des politiques de manipulation robotique, et pas seulement leur exécution motrice. Il s'appuie sur une taxonomie de processus de raisonnement inspirée des sciences cognitives du développement. Les tâches portent sur l'occlusion, le confinement, les relations de support, le choix de points de préhension sémantiquement corrects, les affordances spatiales et les objets cachés. Les auteurs testent plusieurs politiques généralistes en zéro-shot, sans que le résumé les nomme. Le taux de succès chute de plus de 50 % quand le nombre d'objets distracteurs augmente. Dans les scènes encombrées, les politiques agissent sur le mauvais objet dans 30 % des cas. Pour les tâches sensibles aux affordances, la bonne partie de l'objet n'est saisie qu'environ une fois sur deux, même avec des instructions très précises. Le code et un classement des politiques sont publiés sur GitHub.

Ces résultats viennent de simulation et non de déploiements réels, mais ils touchent un point sensible pour le secteur. Les benchmarks actuels privilégient des environnements propres, peu encombrés et aux tâches étroites, ce qui peut surestimer la préparation réelle des modèles VLA (vision-langage-action) en zéro-shot. Pour un intégrateur ou un COO, cela rappelle qu'une démonstration réussie sur une table dégagée ne garantit rien dans un bac désordonné ou devant des objets partiellement masqués. Les auteurs relèvent aussi que les modèles vision-langage utilisés pour estimer automatiquement le succès d'un essai sont peu fiables dans ces scénarios. Le problème dépasse donc le contrôle moteur et concerne toute la chaîne perception, raisonnement, action, y compris les outils d'évaluation automatisée.

Le travail s'inscrit dans l'écosystème MolmoSpaces d'Ai2, qui prolonge la famille de modèles Molmo. Il arrive alors que les politiques généralistes de type Pi-0, GR00T ou Helix sont présentées comme prêtes à passer à l'échelle. Le résumé ne chiffre pas l'écart entre modèles et ne dit pas lesquels sont testés, ce qui limite la portée des comparaisons tant que le classement détaillé n'a pas été examiné. La suite dépendra de l'adoption du benchmark par les autres laboratoires, et de la correction ou non de ces lacunes par plus de données encombrées ou un meilleur ancrage sémantique. Il faudra aussi vérifier que ces échecs se retrouvent sur robots physiques.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLANVIDIA GR00TManipulation robotique

À lire aussi

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes
1arXiv cs.RO 

RoboDojo : un benchmark unifié simulation-réel pour évaluer les politiques de manipulation robotique généralistes

Une équipe de chercheurs présente RoboDojo, un banc d'essai unifié combinant simulation et monde réel pour évaluer les politiques génératives de manipulation robotique, celles capables d'exécuter des tâches variées à partir d'instructions en langage naturel. Le système comprend 42 tâches en simulation et 18 tâches en conditions réelles, couvrant des capacités complémentaires. Le volet simulation mesure cinq dimensions : la généralisation, la mémoire, la précision, l'exécution de tâches longues, et la compréhension d'instructions en vocabulaire ouvert. Le volet réel expose les politiques aux difficultés concrètes du déploiement physique. La plateforme s'appuie sur Isaac Sim pour la simulation parallèle à grande échelle, et sur RoboDojo-RealEval, un système d'évaluation réelle accessible à distance via le cloud, avec matériel standardisé, réinitialisation automatisée des scènes et protocole reproductible. Trente politiques ont été intégrées via XPolicyLab et testées sur ce banc d'essai, donnant lieu à un classement public consultable sur robodojo-benchmark.com. L'initiative répond à un problème structurel du secteur : la prolifération de politiques génératives de manipulation (VLA) ces deux dernières années s'est faite sans étalon de mesure commun, chaque laboratoire publiant ses propres métriques sur ses propres tâches. Les évaluations en simulation seule ignorent les aléas physiques du réel (éclairage, frottements, imprécisions de préhension), tandis que les tests réels restent coûteux, lents et rarement reproductibles d'un labo à l'autre. En forçant une comparaison directe entre simulation et déploiement physique sur les mêmes politiques, RoboDojo permet de quantifier l'écart entre performance démontrée et robustesse réelle, un point sensible pour tout intégrateur ou décideur industriel cherchant à choisir une politique de contrôle avant un déploiement en usine ou en entrepôt. Le projet s'inscrit dans une dynamique où plusieurs équipes de recherche ont développé des systèmes de contrôle génératifs concurrents sans cadre d'évaluation partagé. En proposant à la fois l'infrastructure logicielle (XPolicyLab) et le protocole de test standardisé, RoboDojo vise à devenir une référence commune, avec un classement public appelé à s'enrichir au fur et à mesure que de nouvelles politiques y seront soumises.

RecherchePaper
1 source
RoboProcessBench : un benchmark pour évaluer la compréhension des processus dans la manipulation robotique vision-langage
2arXiv cs.RO 

RoboProcessBench : un benchmark pour évaluer la compréhension des processus dans la manipulation robotique vision-langage

Des chercheurs ont publié le 16 juin 2026 sur arXiv (référence 2606.13040) RoboProcessBench, un benchmark conçu pour évaluer la compréhension processuelle des modèles vision-langage (VLM) appliqués à la manipulation robotique. L'outil décompose cette capacité en deux axes complémentaires : la surveillance statique (static monitoring) et le raisonnement dynamique (dynamic reasoning), déclinés en 12 familles de questions diagnostiques couvrant la phase d'exécution, le contact physique, le mouvement, la coordination, la progression locale, l'ordre temporel, les résultats et les transitions entre primitives. Le corpus associé, ProcessData, regroupe environ 58 000 paires questions-réponses extraites de 260 tâches de manipulation physiquement simulées, divisé en deux sous-ensembles : ProcessData-SFT pour le fine-tuning et ProcessData-Eval pour l'évaluation. Appliqué à plusieurs VLM représentatifs du marché, le benchmark révèle des lacunes systématiques sur la quasi-totalité des 12 familles de tâches. Toutefois, après fine-tuning sur ProcessData-SFT, les modèles Qwen2.5-VL-7B (Alibaba) et InternVL-3-8B (Shanghai AI Lab) affichent des gains mesurables sur la détection d'état local, de mouvement, de progression et de primitives. Ce travail pointe une faille structurelle dans l'usage croissant des VLM comme critiques visuels, générateurs de récompenses et détecteurs d'échecs dans les pipelines de contrôle robotique : ces modèles sont habituellement évalués sur le succès final d'une tâche, pas sur la qualité de son déroulement. Or, pour un intégrateur ou un COO industriel qui déploie un bras manipulateur en production, la capacité d'un modèle à détecter un contact mal positionné en milieu de séquence ou un désalignement temporel entre deux primitives est aussi critique que le résultat terminal. RoboProcessBench fournit un cadre d'évaluation granulaire là où les benchmarks existants restaient aveugles à cette dimension intermédiaire. Les résultats montrent que les gains obtenus après fine-tuning ciblé sont réels mais localisés, ce qui suggère que la compréhension processuelle fine n'émerge pas spontanément à partir des données d'entraînement généralistes actuels. L'initiative s'inscrit dans une tendance de fond : depuis 2024, les laboratoires de robotique cherchent à intégrer les VLM comme modules de supervision autonomes, à la suite des travaux sur les Visual Language Action models (VLA) comme pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). Le benchmark comble un angle mort laissé par des suites comme RoboSuite, LIBERO ou BehaviorBench, qui mesurent principalement les taux de succès end-to-end. Côté compétiteurs directs dans l'espace des benchmarks de compréhension robotique, on citera MECCANO et ProcTHOR, mais aucun n'adresse explicitement le suivi de primitives en contexte de manipulation physique. La page projet est publiquement accessible, et les données ProcessData sont présentées comme réutilisables pour l'entraînement, ce qui pourrait accélérer leur adoption dans les pipelines de RL basés sur des récompenses apprises. Aucun déploiement industriel ni partenariat n'est annoncé à ce stade : il s'agit d'un preprint académique.

RecherchePaper
1 source
CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique
3arXiv cs.RO 

CaP-X : un cadre pour évaluer et améliorer les agents de codage pour la manipulation robotique

Des chercheurs publient CaP-X, un framework open-access destiné à évaluer et améliorer les agents de type "Code-as-Policy" pour la manipulation robotique, selon un article déposé sur arXiv (2603.22435v2). Le système s'appuie sur CaP-Gym, un environnement interactif où des agents pilotent des robots en générant et exécutant du code combinant des primitives de perception et de contrôle. Sur cette base, les auteurs construisent CaP-Bench, un banc d'essai qui compare 12 modèles de langage et modèles vision-langage frontier selon différents niveaux d'abstraction, d'interaction et d'ancrage perceptif. Le travail aboutit à deux propositions concrètes : CaP-Agent0, un framework ne nécessitant aucun entraînement supplémentaire, et CaP-RL, une méthode d'apprentissage par renforcement avec récompenses vérifiables, testée en simulation puis transférée sur robots réels. L'enjeu dépasse le simple exercice académique : l'approche "code comme politique de contrôle" est présentée comme un complément aux méthodes Vision-Language-Action (VLA), très gourmandes en données, qui dominent aujourd'hui la robotique humanoïde et industrielle. CaP-Bench met en évidence une faiblesse structurelle des agents actuels, leur performance chute nettement dès que les abstractions conçues par des humains sont retirées, ce qui révèle une dépendance excessive au travail d'ingénierie préalable plutôt qu'à une véritable autonomie de raisonnement. Pour les intégrateurs et décideurs industriels, ce résultat tempère l'idée que les grands modèles suffiraient seuls à piloter des bras ou des humanoïdes sans échafaudage logiciel dédié. À l'inverse, les auteurs montrent que multiplier les tours d'interaction, le retour d'exécution structuré, la différenciation visuelle et la synthèse automatique de compétences comble une grande partie de cet écart, même sur des primitives de bas niveau. Ce travail s'inscrit dans le prolongement des recherches sur le "Code-as-Policy", initiées pour donner aux modèles de langage une interface exécutable vers le contrôle robotique, en alternative aux pipelines VLA de bout en bout. En documentant précisément où les agents actuels échouent et en ouvrant l'accès à son environnement de test, CaP-X vise à devenir une plateforme de référence pour comparer objectivement les approches futures, avant un possible passage à l'échelle sur des tâches de manipulation réelles plus complexes.

RecherchePaper
1 source
ComManip : surajuster les politiques de manipulation aux zones confortables
4arXiv cs.RO 

ComManip : surajuster les politiques de manipulation aux zones confortables

Des chercheurs proposent ComManip, une méthode d'apprentissage pour la manipulation robotique qui prend le contre-pied de la stratégie dominante de collecte de données. Au lieu de multiplier les positions d'objets, les points de vue et les configurations du robot pendant les démonstrations, l'approche concentre l'apprentissage sur une « région de manipulation confortable », c'est-à-dire une zone compacte, stable visuellement et cinématiquement. À l'inférence, le robot mobile déplace sa base jusqu'à ce que le centre de la cible détectée entre dans la plage d'image observée dans les démonstrations, puis exécute la même politique de manipulation. Les auteurs ont testé la méthode sur plusieurs tâches et budgets de démonstrations, avec cinq familles de politiques : ACT, π0.5, RDT, OpenVLA-OFT et SmolVLA. Dans de grands espaces de travail et avec peu de démonstrations, le taux de réussite gagne environ 20 points de pourcentage ou plus selon les architectures. Il s'agit de résultats de laboratoire publiés sur arXiv (v1), sans déploiement industriel annoncé. Ce travail remet en cause une hypothèse répandue : pour généraliser, il faudrait de la diversité visuelle à tout prix. Sous budget de démonstrations limité, cette diversité force la politique à modéliser des observations très variées avec trop peu de supervision par situation locale, donc à apprendre de moins bonnes correspondances observation-action. Les auteurs constatent que des politiques entraînées dans une zone stable réussissent mieux que celles entraînées sur des conditions variées. Pour les intégrateurs et les responsables de sites, l'enseignement est pratique : une partie de la généralisation peut être déléguée à la navigation de la base mobile plutôt qu'à la politique elle-même. Cela réduit le coût de collecte de données par tâche, qui reste le principal frein au passage à l'échelle des politiques apprises. Le gain est mesuré sur des politiques très différentes, ce qui suggère un effet lié à la stratégie de données plutôt qu'à un modèle particulier. Il faut toutefois rester prudent : le résumé ne précise ni les tâches, ni le nombre de démonstrations, ni les valeurs absolues de succès, et rien n'indique de validation en environnement non contrôlé. La méthode s'inscrit dans la course aux modèles VLA (vision-langage-action) généralistes, où π0.5, OpenVLA-OFT, RDT et SmolVLA sont souvent entraînés sur des jeux de données larges et hétérogènes, tandis qu'ACT reste une référence économe en données. ComManip adopte la logique inverse : spécialiser plutôt que généraliser, puis compenser par un recentrage de la base mobile. Ses limites probables sont la dépendance à un détecteur de cible fiable, la nécessité de pouvoir repositionner la base sans obstacle, et le temps ajouté par ces déplacements, que le résumé ne chiffre pas. La suite logique serait des tests sur robots mobiles manipulateurs réels, avec des scènes encombrées et des cibles multiples, et une comparaison à budget de données égal avec les approches de diversité à grande échelle.

RecherchePaper
1 source