RecherchearXiv cs.RO 1 juillet 2026

Freeform Preference Learning pour la manipulation robotique

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs présentent Freeform Preference Learning (FPL), une méthode d'apprentissage de politiques robotiques à partir de préférences humaines exprimées en langage libre, publiée sur arXiv le 30 juin 2026. Le problème ciblé est connu dans la manipulation robotique à long horizon : les signaux de succès binaires (réussite ou échec) sont trop rares pour guider l'apprentissage, et les préférences par paires classiques (« la trajectoire A est meilleure que B ») écrasent en un seul score des critères de qualité pourtant distincts, comme la vitesse, la sécurité du geste ou la précision du placement d'un objet. FPL change l'approche en laissant les annotateurs définir eux-mêmes des axes de préférence en langage naturel, par exemple « rapidité », « prudence » ou « qualité du placement », puis en collectant des comparaisons par paires spécifiques à chaque axe. Ces annotations servent à entraîner un modèle de récompense conditionné par le langage, capable d'associer une trajectoire et un axe donné à un score de récompense propre à cet axe, sur lequel est ensuite entraînée une politique unique optimisant simultanément ces multiples dimensions. Sur quatre tâches de manipulation en conditions réelles et deux tâches simulées, toutes à horizon long, FPL améliore les taux de réussite de 38 points de pourcentage par rapport aux méthodes à récompense éparse et aux méthodes à préférence binaire classique.

L'enjeu dépasse le simple gain de performance chiffré. FPL produit un signal de progression dense sans nécessiter de découpage manuel en sous-tâches, ce qui allège considérablement le travail d'ingénierie de récompense, souvent le vrai goulot d'étranglement des pipelines d'apprentissage par renforcement appliqués à la robotique. Le résultat le plus notable pour les équipes qui conçoivent ces systèmes est la possibilité de piloter le comportement de la politique au moment de l'inférence, en pondérant différemment les axes appris, sans réentraînement, une flexibilité rarement démontrée à ce niveau. Les auteurs rapportent aussi une forme de compositionnalité : la politique combine des comportements qui n'apparaissaient pas ensemble dans les données d'entraînement, un indice que le modèle de récompense capture des notions de qualité généralisables plutôt que de simples heuristiques mémorisées.

Ce travail s'inscrit dans la lignée des efforts récents pour dépasser les limites du reinforcement learning from human feedback (RLHF) appliqué au-delà du texte, notamment dans la manipulation robotique où des méthodes comme les préférences binaires ou le reward shaping manuel dominent encore. Il ne s'agit pas d'un système déployé commercialement mais d'une contribution méthodologique testée en laboratoire sur un nombre limité de tâches, avec du matériel de démonstration disponible en ligne (freeform-pl.github.io/fpl.website). Les prochaines étapes attendues concernent le passage à l'échelle sur des jeux de tâches plus vastes et l'intégration éventuelle à des architectures VLA (vision-language-action) génériques, où la définition de récompenses reste un obstacle central au déploiement industriel de robots généralistes.

Dans nos dossiers

Manipulation robotique arXiv cs.RO

À lire aussi

1arXiv cs.RO

Modèles du monde pour la manipulation robotique

Des chercheurs ont publié en juin 2026 sur arXiv (2606.24742) un modèle généraliste de valeur pour la manipulation robotique, le WVM (World Value Model). La proposition centrale consiste à substituer les backbones VLM (Vision-Language Model) habituellement utilisés par un modèle de monde, nativement mieux adapté à la modélisation temporelle nécessaire pour évaluer la progression d'une tâche. Sur les benchmarks standards, WVM atteint les meilleures performances connues en Value-Order Correlation (VOC), la métrique de référence pour les modèles de valeur robotiques. L'équipe introduit également Suboptimal-Value-Bench, un benchmark multi-embodiment composé de 800 trajectoires sous-optimales annotées frame par frame par des humains, comblant un angle mort des évaluations existantes qui ne contenaient que des données expertes. L'enjeu est directement opérationnel pour quiconque entraîne des systèmes de manipulation à grande échelle : les données collectées en conditions réelles sont rarement uniformément expertes. Un modèle de valeur précis permet de pondérer ou filtrer ces trajectoires hétérogènes, améliorant la qualité de l'entraînement sans nettoyage manuel coûteux. WVM démontre des gains de performance sur plusieurs approches d'extraction de politique, en simulation comme en déploiement réel, ce qui renforce la thèse que l'estimation de valeur est un composant orthogonal et complémentaire au choix d'architecture de politique. La robustesse maintenue sur données sous-optimales est l'aspect le plus significatif : c'est précisément dans ce régime que les VLMs classiques décrochent, leurs préentraînements sur observations visuelles statiques ne suffisant pas à capturer les dynamiques temporelles longues. La montée en puissance des VLA comme Pi-0 de Physical Intelligence ou GR00T N2 de NVIDIA a rendu critique la question de la qualité des données d'entraînement à grande échelle. L'approche WVM s'inscrit dans une tendance émergente qui consiste à spécialiser les composants : un backbone temporel dédié pour l'évaluation de la valeur, distinct du modèle d'action. Aucun partenariat industriel ni calendrier de déploiement n'est mentionné dans cet article purement académique. Les prochaines étapes naturelles incluent l'intégration du WVM dans des pipelines d'imitation à grande échelle ou en combinaison avec du reinforcement learning offline (IQL, CQL), et une extension à des environnements multi-tâches plus complexes.

RechercheOpinion

1 source

2arXiv cs.RO

IMBench : un benchmark pour la manipulation robotique intuitive

Une équipe de recherche publie IMBench, un nouveau benchmark conçu pour évaluer ce qu'elle appelle la « manipulation intuitive » des robots, c'est-à-dire la capacité à combiner raisonnement physique et exécution motrice de façon intégrée, plutôt que de tester ces deux compétences séparément. L'article, déposé sur arXiv le 15 juillet 2026, propose un jeu de 35 tâches couvrant la manipulation avec contact riche, l'usage d'outils et les dépendances multi-étapes, accompagné de 14 000 trajectoires filtrées et d'outils permettant de générer de nouveaux scénarios à l'échelle. Contrairement aux benchmarks existants, IMBench exige des modèles qu'ils identifient d'abord la structure physique pertinente d'une scène (poids, friction, contraintes géométriques) avant de produire une séquence d'actions exécutable sous contraintes explicites. Les auteurs ont testé à la fois des modèles vision-langage (VLM) et des modèles vision-langage-action (VLA) de dernière génération sur cet ensemble de tâches. Les résultats mettent en évidence un écart systématique dans les systèmes actuels : les VLM montrent une capacité de raisonnement physique partielle mais ne parviennent pas à traduire ce raisonnement en plans d'action exécutables, tandis que les VLA de pointe échouent à respecter les contraintes des tâches et généralisent mal d'un scénario à l'autre. Pour l'industrie robotique, ce constat confirme un doute déjà répandu chez les intégrateurs : la performance affichée par les politiques génératives sur des démonstrations contrôlées ne garantit pas une compréhension physique transférable à des scènes nouvelles. IMBench propose ainsi une mesure plus rigoureuse pour distinguer les systèmes qui « comprennent » réellement une scène de ceux qui reproduisent des schémas d'entraînement. Ce travail s'inscrit dans une vague récente de benchmarks cherchant à combler le fossé entre évaluation en simulation et déploiement réel, alors que des modèles comme GR00T N2, Pi-0 ou Helix visent une manipulation généraliste dans des environnements variés. En isolant explicitement la composante « raisonnement intuitif » comme axe manquant des politiques robotiques actuelles, les auteurs positionnent IMBench comme un outil de diagnostic pour orienter les prochaines générations de modèles fondation en robotique, plutôt que comme un simple classement de performance brute.

RecherchePaper

1 source

3arXiv cs.RO

AnnotateAnything : annotation automatique d'objets 3D pour la manipulation robotique

Des chercheurs ont publié sur arXiv le 17 juin 2026 un framework baptisé AnnotateAnything (arXiv:2606.17446) pour annoter automatiquement des assets 3D bruts et les rendre exploitables dans des pipelines d'entraînement robotique. Le système convertit des modèles 3D passifs en assets "manipulation-ready" enrichis de labels sémantiques, physiques et interactifs sans intervention humaine, en s'appuyant sur deux pipelines complémentaires : un module de raisonnement visio-linguistique (VLM) infère les sémantiques d'objet et les contraintes d'interaction ; un second pipeline de physique, massivement parallèle, ancre ces priors dans la géométrie de chaque asset pour générer automatiquement poses de préhension, contacts dextres, waypoints d'articulation, directions d'insertion, affordances de suspension et cibles de navigation. Un système de collecte de données de simulation asynchrone s'appuie ensuite sur ces annotations pour couvrir objets, tâches et morphologies robotiques variés. L'enjeu est central : les assets 3D bruts ne contenant que de la géométrie, annoter manuellement des bibliothèques à l'échelle reste coûteux et non scalable. AnnotateAnything automatise cette étape en combinant priors sémantiques VLM et optimisation géométrique pour produire des labels physiques exécutables. Les auteurs rapportent des gains en efficacité d'annotation, en efficacité de collecte et en taux de réussite de tâches face aux pipelines existants, des résultats à prendre avec précaution puisque les benchmarks comparatifs sont ceux des auteurs eux-mêmes. Le support natif du VQA robotique et du fine-tuning d'instructions visuelles ouvre une intégration directe dans des pipelines VLA (Vision-Language-Action), paradigme dominant pour l'apprentissage de politiques généralisables à l'échelle. Ce travail s'inscrit dans une vague de recherche sur la scalabilité des données synthétiques, aux côtés de MimicGen (NVIDIA), RoboGen ou UniSim, tous ciblant la réduction du sim-to-real gap par voie simulée. La pénurie d'annotations structurées dans les assets 3D existants est un problème documenté depuis plusieurs années, faute d'alternative viable aux approches manuelles. AnnotateAnything se positionne comme infrastructure de données en amont de tout pipeline de simulation, sans cibler un robot ou un déploiement industriel précis. Les auteurs annoncent la publication du code complet, des annotations et d'un benchmark, un engagement qui, s'il est tenu, pourrait en faire une ressource partagée par la communauté ; aucun partenaire industriel ni déploiement terrain n'est mentionné à ce stade.

RechercheActu

1 source

4arXiv cs.RO

NativeMEM : compression native de la mémoire pour la manipulation robotique long horizon

Des chercheurs présentent, dans un preprint publié sur arXiv début juillet 2026, NativeMEM, une politique Vision-Language-Action (VLA) dotée d'une mémoire longue durée mise à jour en temps réel. Le cœur du système, baptisé Native Memory Compression, réutilise l'encodeur visuel du VLA lui-même pour compresser chaque image historique de chaque caméra en un unique token, ajouté à la séquence d'entrée du modèle. Cette approche permet au VLA préentraîné d'exploiter un historique long avec un surcoût de latence négligeable, sans planificateur externe ni module mémoire réinitialisé à part. L'entraînement se fait en deux temps : d'abord un tokenizer de mémoire générique, entraîné sous la supervision d'un VLA gelé sur des données exigeantes en mémoire, puis un dégel complet du modèle pour un fine-tuning spécifique à la tâche. Les résultats annoncés sont marqués : le taux de réussite passe de 32,4% à 84,0% en simulation, et grimpe jusqu'à 98,7% sur robots réels, avec une latence d'inférence et une consommation GPU maîtrisées. Le système atteint aussi des performances comparables aux méthodes précédentes en n'utilisant que 20% des données d'entraînement. L'enjeu adressé est concret pour la manipulation robotique longue horizon, un point dur reconnu du secteur : les VLA préentraînés peinent à retenir un historique visuel étendu à haute fréquence de mise à jour sans sacrifier leur réactivité, et les solutions de gestion mémoire externe existantes limitent soit l'horizon temporel, soit la vitesse de réaction. Que la compression tienne dans l'encodeur visuel déjà présent, sans architecture séparée, va à l'encontre de l'hypothèse répandue qu'une mémoire longue nécessite un module dédié coûteux à entraîner. Le saut de performance observé, notamment sur robots réels et non seulement en simulation, est le signal à surveiller pour les intégrateurs qui cherchent à dépasser les tâches courtes et réactives. Ce travail s'inscrit dans la vague de recherche actuelle sur les architectures VLA à mémoire pour la manipulation robotique, un axe activement exploré en parallèle des efforts de robots humanoïdes commerciaux. Le papier n'ayant pas encore été relu par les pairs, ses chiffres restent à confirmer par des évaluations indépendantes ; les prochaines étapes attendues concernent la généralisation à davantage de plateformes robotiques et de tâches multi-étapes en conditions réelles.

RechercheActu

1 source