Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses
RecherchearXiv cs.RO 

Représentation des préférences humaines déployable en robotique : apprendre des récompenses représentatives à partir de préférences humaines diverses

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe de recherche a publié sur arXiv (2607.12466v1) un nouveau framework baptisé PREC (Preference-based REward Clustering), conçu pour aligner les politiques de contrôle robotique sur les préférences humaines lors du déploiement auprès d'utilisateurs finaux variés. Le problème que les auteurs cherchent à résoudre est concret : quand chaque utilisateur fournit un retour de préférence binaire (trajectoire A préférée à trajectoire B), ce signal est souvent trop rare et bruité pour apprendre une politique individualisée fiable, tandis qu'une politique unique partagée entre tous les utilisateurs écrase les préférences minoritaires. PREC contourne ce dilemme en mettant de côté les labels de préférence dans un premier temps pour apprendre un encodeur de trajectoires au niveau de la population entière, puis en regroupant les utilisateurs en clusters cohérents selon leurs préférences et en entraînant un modèle de récompense représentatif par cluster, à partir duquel une politique dédiée est optimisée. Les tests, menés sur des environnements de locomotion simulés, montrent que PREC identifie mieux les groupes d'utilisateurs aux préférences divergentes que les méthodes de référence, même avec un retour humain sparse et bruité.

Pour l'industrie robotique, l'enjeu dépasse la simple curiosité académique : c'est un problème de scalabilité du déploiement. Multiplier les politiques individualisées pour chaque client rend la validation de sécurité intraitable avant mise en production, alors qu'une politique générique déçoit une partie des utilisateurs et nuit à l'adoption. En réduisant le nombre de politiques à un jeu de clusters gérable tout en couvrant les préférences hétérogènes, PREC propose un compromis directement pertinent pour les intégrateurs qui doivent certifier et maintenir un nombre limité de comportements robotiques plutôt qu'une politique par client.

Ce travail s'inscrit dans la lignée des recherches sur l'alignement par préférences humaines (RLHF appliqué à la robotique), un champ qui a longtemps oscillé entre alignement individuel coûteux et alignement collectif appauvri. Les auteurs positionnent explicitement PREC face aux approches d'alignement par utilisateur et à l'alignement par politique unique partagée, sur lesquelles il montre des gains sur trois métriques de bien-être social. L'étude reste pour l'instant limitée à des environnements de locomotion simulés, sans validation sur robots physiques ni indication de partenaires industriels ou de calendrier de déploiement.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations
1arXiv cs.RO 

Au-delà des pixels : apprendre des récompenses invariantes pour la robotique réelle à partir de quelques démonstrations

Des chercheurs ont publié fin mai 2026 (arXiv:2605.22123) un framework permettant d'apprendre des fonctions de récompense symboliques invariantes à partir de seulement cinq démonstrations pour des tâches de manipulation robotique. Le système repose sur deux composants couplés : une formulation structurelle de récompense encodant des stratégies de niveau tâche et des contraintes physiques, et une procédure hybride symbolique-numérique qui distille des invariants comportementaux depuis ces démonstrations sans requérir d'interaction en ligne avec l'environnement. La méthode a été évaluée sur huit tâches du benchmark Meta-World et trois tâches de manipulation sur bras Franka, affichant de meilleures capacités d'alignement procédural et de classement de rollouts de politique par rapport aux baselines existantes. Trois expériences réelles out-of-distribution valident une généralisation zero-shot à des variations de position, de point de vue caméra et d'instances d'objets inédites. Le problème adressé est structurel : les modèles de récompense basés sur la vision tendent à mémoriser des distributions de pixels spécifiques et s'effondrent dès que les conditions visuelles changent, qu'il s'agisse d'un objet déplacé, d'un angle de caméra différent ou d'une variante d'objet inconnue. Pour un intégrateur déployant un système de manipulation en milieu industriel, cela impose de recollectecter des démonstrations ou de réentraîner le modèle à chaque variation du contexte opérationnel. Le passage aux invariants symboliques, c'est-à-dire des propriétés comportementales constantes indépendamment de l'apparence visuelle, propose une représentation de récompense réutilisable sur de multiples variantes de tâche sans interaction supplémentaire, ce qui réduit significativement le coût itératif du déploiement en apprentissage par renforcement. Ce travail s'inscrit dans une dynamique de recherche active visant à résoudre le goulot d'étranglement du reward engineering en RL robotique. Les approches récentes fondées sur des embeddings visuels issus de VLMs, comme VIP ou RoboCLIP, ont progressé sur la généralisation visuelle mais restent fragilisées par les variations de distribution en dehors des conditions d'entraînement. La méthode proposée se distingue en substituant aux embeddings bruts une abstraction symbolique de la tâche. Des laboratoires comme Berkeley BAIR, Stanford ou le CMU Robotics Institute travaillent sur des directions similaires d'abstraction pour le RL. La capacité à bootstrapper une récompense généralisable depuis cinq démonstrations seulement ouvre la voie à des pipelines de fine-tuning robotique plus accessibles, potentiellement utilisables par des intégrateurs sans expertise RL avancée.

RecherchePaper
1 source
DeFM : apprentissage de représentations fondation à partir de la profondeur pour la robotique
2arXiv cs.RO 

DeFM : apprentissage de représentations fondation à partir de la profondeur pour la robotique

DeFM (Depth Foundation Model) est un modèle de fondation auto-supervisé entraîné exclusivement sur des images de profondeur, présenté sur arXiv (v2 de l'article 2601.18923) avec une page projet et la publication de tous les modèles pré-entraînés. Il s'appuie sur un objectif d'auto-distillation de type DINO, appliqué à un jeu de données curé de 60 millions d'images de profondeur. Les auteurs ajoutent une stratégie de normalisation d'entrée inédite, conçue pour conserver la notion d'échelle métrique à travers différentes distances. Le modèle principal est aussi distillé en versions compactes, destinées aux robots aux ressources de calcul limitées. Il est évalué sur la classification, la segmentation, la navigation, la locomotion et la manipulation, et les auteurs revendiquent des performances à l'état de l'art ainsi qu'une bonne généralisation de la simulation vers le monde réel. Les modèles s'utilisent tels quels, sans réglage fin propre à chaque tâche. L'enjeu est de combler un déséquilibre. Les capteurs de profondeur (caméras stéréo, temps de vol, lidar) équipent une grande partie des robots, et la simulation rapide et fidèle de la profondeur permet déjà d'entraîner des politiques qui passent en conditions réelles avec robustesse. Pourtant, l'apprentissage de représentations pour cette modalité reste très en retard sur le RGB, où les modèles de fondation de type DINO servent de base standard. Si DeFM tient ses promesses, les équipes de locomotion et de navigation pourraient disposer d'un encodeur de profondeur réutilisable, comme elles le font pour le RGB, au lieu de réentraîner un réseau pour chaque tâche et chaque capteur. La déclinaison en petits modèles compte pour l'embarqué. Quelques réserves s'imposent : il s'agit d'un résumé d'article, sans chiffres détaillés dans le texte. Le gain réel face aux encodeurs RGB ou aux modèles de profondeur existants, la robustesse entre capteurs et le coût d'inférence sur matériel embarqué devront être confirmés par les benchmarks complets et par une reproduction indépendante. Ce travail s'inscrit dans la montée en puissance des politiques robotiques entraînées en simulation, notamment pour les robots à pattes et humanoïdes, qui utilisent souvent la profondeur comme entrée principale. Il prolonge la logique des modèles de fondation visuels auto-supervisés, dont DINO est la référence, en l'étendant à une modalité longtemps traitée au cas par cas. La publication des poids ouvre la voie à une adoption rapide par les laboratoires et les intégrateurs, qui pourront tester DeFM comme encodeur de base dans leurs pipelines de navigation ou de préhension. La suite dépendra de la reproduction des résultats par des équipes tierces, de l'intégration dans des politiques de type VLA, et de la capacité du modèle à tenir ses promesses hors des benchmarks, sur des robots déployés.

RecherchePaper
1 source
EgoWild2Dex apprend la manipulation robotique dextérique à partir d'expériences humaines réelles
3arXiv cs.RO 

EgoWild2Dex apprend la manipulation robotique dextérique à partir d'expériences humaines réelles

EgoWild2Dex, présenté le 22 septembre 2026 dans un article arXiv, apprend la manipulation dextre à des robots bimanuels à partir de vidéos humaines filmées à la première personne, non en studio mais dans des domiciles, des usines et des pharmacies, via des caméras portées sur la tête. Cette collecte en conditions réelles capture des gestes variés mais produit des vues instables, avec une rotation cumulée moyenne de 15,93 degrés par seconde due aux mouvements de tête. Pour corriger ce bruit, les auteurs introduisent GeoFormer, un transformeur géométrique différentiable qui recale les observations humaines sur le point de vue du robot, complété par un entraînement conjoint humain-robot réduisant l'écart d'incarnation entre main humaine et main robotique. Ils publient aussi EgoWild, 538,9 heures de vidéo, 179 049 épisodes, 125 961 descriptions de tâches et 1 282 catégories d'objets, sur lequel EgoWild2Dex atteint 96,7% de réussite sur trois tâches bimanuelles longues et 33,3% en zero-shot au niveau objet. Ce travail s'inscrit dans une tendance de la robotique dextre visant à remplacer téléopération coûteuse et données simulées par de la vidéo humaine égocentrique collectée à grande échelle, une direction aussi suivie par des modèles comme GR00T N2 ou Helix, mais généralement en environnement contrôlé. En allant chercher ses démonstrations dans des usines et pharmacies réelles, l'équipe teste si l'apprentissage par imitation résiste au désordre du monde réel plutôt qu'à des trajectoires propres et répétables. L'écart entre le taux de réussite sur tâches entraînées (96,7%) et le taux zero-shot sur objets nouveaux (33,3%) confirme toutefois que la généralisation reste le principal verrou du secteur, bien avant l'exécution du geste lui-même. Cette approche prolonge des travaux antérieurs de collecte par caméra portée, généralement menés en environnements aménagés pour limiter bruit visuel et occlusions, une contrainte qu'EgoWild2Dex cherche explicitement à lever. L'article ne nomme ni robot commercial ni partenaire industriel, seulement une plateforme bimanuelle à mains dextres, ce qui situe ce travail du côté recherche académique plutôt que produit, loin des démonstrations comme Figure 03 de Figure AI ou Optimus Gen 3 de Tesla. Les auteurs annoncent la publication à venir des données, modèles et code, sans date précise, ce qui permettra à la communauté d'évaluer la reproductibilité de résultats obtenus sur seulement trois tâches, et de mesurer si EgoWild sera repris pour entraîner d'autres modèles vision-langage-action.

RechercheOpinion
1 source
Problème de tournée d'orientation à récompenses variables et incertaines : cadre et référentiel pour la robotique de service quotidienne
4arXiv cs.RO 

Problème de tournée d'orientation à récompenses variables et incertaines : cadre et référentiel pour la robotique de service quotidienne

Un article publié sur arXiv (référence 2608.18672v1) présente le OP-UTVR, « orienteering problem with uncertain time-varying rewards », une nouvelle variante du problème d'orientation (orienteering problem, OP), un problème classique d'optimisation combinatoire proche du voyageur de commerce où l'agent doit choisir un sous-ensemble de points à visiter sous contrainte de temps pour maximiser une récompense cumulée. Contrairement aux formulations existantes de l'OP, qui supposent des récompenses connues à l'avance, cette variante autorise des récompenses incertaines et variables dans le temps, comme la demande client fluctuante pour un robot de livraison. Les auteurs proposent trois planificateurs se différenciant par leur horizon de planification et leur degré d'adaptivité en ligne, et établissent des bornes théoriques sur leur performance en présence de récompenses stochastiques. Ils introduisent également un benchmark pour robot de service mobile, où un robot navigue parmi des piétons en environnement intérieur, afin de tester ces stratégies dans des conditions proches du réel. Ce travail s'attaque à un écart persistant entre la théorie de la planification robotique et son usage réel : la plupart des méthodes de routage supposent des récompenses figées et connues à l'avance, alors que la demande opérationnelle, nombre de colis, d'appels client ou de tâches à effectuer, évolue en continu et de façon imprévisible. Pour les intégrateurs de robots de service et de livraison, l'enjeu est direct : un robot qui replanifie sa tournée en tenant compte d'une demande incertaine peut mieux allouer son temps qu'un système suivant un plan figé, sans pour autant nécessiter un horizon de planification démesuré ni un recalcul permanent coûteux en ressources de calcul. Les résultats montrent un compromis net entre horizon de planification et adaptivité, et indiquent qu'une planification à long horizon combinée à une adaptation en ligne surpasse les approches purement réactives ou purement statiques, un signal utile pour calibrer les futurs systèmes de gestion de flottes robotiques. Le problème d'orientation trouve son origine dans la recherche opérationnelle, où il sert depuis des décennies à modéliser des tournées sous contrainte de temps avec récompenses associées aux points visités, avant d'être repris en robotique pour la planification de trajectoires de robots mobiles, de drones ou de flottes de livraison. La formulation proposée ici s'inscrit dans une tendance plus large visant à rapprocher ces modèles théoriques des conditions réelles rencontrées par les robots de service, entre incertitude de la demande, dynamique des environnements humains et contraintes de calcul embarqué. L'étude reste à ce stade un travail de recherche publié en prépublication sur arXiv, validé sur un benchmark simulé de navigation parmi des piétons plutôt que déployé sur une flotte commerciale, sans partenaire industriel ni calendrier de mise en production mentionnés. Les auteurs indiquent vouloir étendre ces planificateurs à des scénarios multi-robots et à des environnements de service plus complexes.

RecherchePaper
1 source