Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Au-delà de l'imitation : politiques robotiques auto-améliorées par Q-planning hors politique
RecherchearXiv cs.RO 

Au-delà de l'imitation : politiques robotiques auto-améliorées par Q-planning hors politique

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Un article publié le 24 août 2026 sur arXiv (2608.21204) présente Q-Planning, une méthode qui permet à une politique robotique de manipulation entraînée par imitation (behaviour cloning, BC) de progresser seule après un échec, sans nouvelle démonstration humaine. Le système couple une grande politique visuomotrice BC à une petite fonction Q entraînée hors politique, capable d'apprendre aussi bien des réussites que des essais ratés collectés en déploiement. Sur les bancs d'essai simulés LIBERO et RoboTwin, dix itérations d'auto-amélioration font passer les scores de 93% à 99% sur LIBERO-10 et de 83,8% à 91,4% sur RoboTwin. Sur deux tâches réelles bimanuelles à fort contact, empiler des tasses et insérer un portefeuille, le taux de réussite grimpe de 40% à 90% et de 25% à 80% en cinq itérations, sans aucune intervention humaine.

Ce résultat s'attaque à une limite structurelle du behaviour cloning, colonne vertébrale de la plupart des politiques robotiques actuelles: un modèle qui échoue ne peut normalement rien en tirer sans démonstrations supplémentaires, ce qui freine l'amélioration continue à l'échelle industrielle. Le fine-tuning par renforcement promettait cette autonomie mais peinait à passer à l'échelle des modèles à plusieurs milliards de paramètres qui équipent les politiques génératives actuelles. En cantonnant l'apprentissage à une petite fonction Q plutôt qu'à l'acteur complet, Q-Planning propose une mise à jour continue nettement moins coûteuse en calcul. Les auteurs comparent leur méthode à cinq alternatives (Best-of-N, filtered SFT, IBRL, DSRL, DAWR) sous budget identique et affirment qu'elle est la seule à s'améliorer de façon stable à partir des échecs, sans entraîner d'acteur auxiliaire distinct.

Ces travaux s'inscrivent dans la recherche actuelle sur l'apprentissage continu des politiques robotiques généralistes, un terrain où plusieurs laboratoires cherchent à combler l'écart entre démonstrations en simulation et robustesse en déploiement réel. Les gains rapportés reposent pour l'instant sur des bancs d'essai contrôlés et deux tâches manipulées en laboratoire; aucun déploiement industriel, partenariat ou intégration produit n'est mentionné, l'article restant au stade de publication de recherche. La suite logique consisterait à valider la méthode sur davantage de tâches et de plateformes bimanuelles ou humanoïdes avant toute exploitation commerciale.

Dans nos dossiers

arXiv cs.RO

À lire aussi

Tir dans l'espace des compétences pour l'amélioration autonome des politiques robotiques
1arXiv cs.RO 

Tir dans l'espace des compétences pour l'amélioration autonome des politiques robotiques

Une équipe de chercheurs publie sur arXiv (v1, septembre 2026) une méthode baptisée « skill-space shooting », conçue pour permettre à un robot déployé de corriger seul les échecs de sa politique de contrôle, sans que l'humain ait à démontrer chaque correction. Le principe repose sur un modèle de fondation, qui guide l'exploration de corrections à travers des compétences courtes et réutilisables (les « skills »). Ces comportements récurrents d'une tâche à l'autre, comme saisir, pousser ou repositionner un objet, sont choisis par le modèle à partir de la scène observée. Les essais réussis sont ensuite convertis en supervision corrective pour réentraîner la politique. Les auteurs affirment que des expériences en conditions réelles montrent une amélioration répétée de politiques agissant de manière autonome, et que les skills peuvent être partagés entre tâches pour réduire l'effort d'enseignement sur de nouvelles tâches. Le résumé ne donne ni taux de réussite, ni nombre d'essais, ni plateforme robotique, ni gain chiffré. Ces éléments devront être vérifiés dans le papier complet et sur la page de résultats vidéo associée. L'enjeu est un goulot d'étranglement bien connu du déploiement de robots : l'amélioration après mise en service dépend encore largement de téléopérateurs qui produisent des démonstrations correctives. Les systèmes dits agentiques, où un modèle de fondation compose des comportements appris pour finir une tâche, contournent l'humain, mais ne rendent pas la politique elle-même meilleure. Elle échouera de nouveau au même endroit. Le travail cherche à combler cet écart en transformant les succès obtenus par composition de skills en données d'apprentissage. Si le résultat tient à l'échelle, il réduirait le coût marginal de chaque correction, un poste critique pour les intégrateurs qui exploitent des flottes de robots. Il faut toutefois rester prudent : il s'agit d'un préprint non évalué par des pairs, et les vidéos publiées par les auteurs sont généralement sélectionnées. La généralisation entre tâches reste à démontrer sur des cas plus variés que ceux d'un laboratoire. Ce travail s'inscrit dans la course aux politiques vision-langage-action (VLA), comme Pi-0 ou GR00T, qui sont pré-entraînées sur de grands volumes de démonstrations, puis affinées, souvent avec de la téléopération humaine. Il rejoint aussi les recherches sur l'apprentissage par renforcement et l'auto-amélioration en conditions réelles, qui butent sur le coût des essais physiques et sur la conception des récompenses. L'usage de skills comme espace de recherche restreint l'exploration et la rend plus sûre et plus efficace que des actions brutes. La suite dépendra de la publication du code, des comparaisons avec les approches d'amélioration existantes et d'éventuels tests sur des robots industriels. Aucun pilote commercial n'est annoncé à ce stade.

RecherchePaper
1 source
Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques
2arXiv cs.RO 

Robots à trois bras : apprentissage par imitation visuomotrice de politiques robotiques

Voici l'article traduit et résumé. Une équipe de recherche présente TriManPolicy, un système d'apprentissage par imitation conçu pour piloter des robots à trois bras simultanément. Le problème de départ est concret : la téléopération bi-manuelle classique fonctionne bien quand le nombre de canaux de contrôle correspond entre l'opérateur humain et le robot, mais elle échoue dès qu'un robot dispose d'un troisième bras, puisqu'un seul opérateur ne peut piloter en continu que deux membres à la fois. Basculer entre paires de bras force alors à enregistrer des mouvements indépendants de façon séquentielle, ce qui pousse l'apprentissage par clonage comportemental à reproduire des délais imposés par l'interface de contrôle plutôt que par la tâche elle-même. Le composant central de TriManPolicy est le Dependency-Aware Tri-Arm Scheduling (DATS), un algorithme qui retraite les démonstrations hors ligne : il conserve les segments sensorimoteurs locaux tels que démontrés mais les repositionne dans le temps selon des contraintes d'ordre des tâches et d'usage des bras, validées par un humain. Le résultat entraîne une politique unique et synchrone pour les trois bras, sans nécessiter le graphe de dépendances ni le planificateur au moment du déploiement. Sur six tâches réelles complexes, les politiques entraînées sur données retimées par DATS montrent une coordination plus efficace, avec un taux de succès comparable aux méthodes classiques. Cette avancée s'attaque à un goulot d'étranglement peu discuté de la robotique humanoïde et multi-bras : la collecte de données de démonstration reste le facteur limitant pour entraîner des politiques visuomotrices de type VLA, et les systèmes à trois bras ou plus (bras additionnels, mains bimanuelles montées sur base mobile) sont de plus en plus courants dans les plateformes industrielles. En prouvant qu'il est possible de découpler la structure temporelle de la démonstration humaine de celle exigée par la tâche, TriManPolicy ouvre la voie à une collecte de données plus rapide et moins coûteuse pour des architectures robotiques complexes, un enjeu direct pour les intégrateurs qui cherchent à réduire le coût par démonstration sans sacrifier la qualité de coordination entre membres. Ce travail s'inscrit dans la lignée plus large des recherches sur l'apprentissage par imitation visuomoteur, où la majorité des systèmes existants (type ALOHA, Mobile ALOHA ou les plateformes bimanuelles standard) suppose une correspondance stricte entre canaux de téléopération humains et effecteurs robotiques. En proposant une méthode de retiming offline validée par supervision humaine plutôt qu'un simple filtrage des temps morts, les auteurs montrent que DATS modifie réellement la structure de supervision entre bras. Les six tâches testées en conditions réelles suggèrent une piste concrète pour les futurs travaux sur les architectures à quatre bras ou plus, notamment pour les robots humanoïdes à deux bras plus une base mobile ou un troisième effecteur dédié à une tâche auxiliaire.

RecherchePaper
1 source
Au-delà du progrès monotone : apprentissage de la valeur supervisé par réessais pour l'imitation robotique
3arXiv cs.RO 

Au-delà du progrès monotone : apprentissage de la valeur supervisé par réessais pour l'imitation robotique

Des chercheurs proposent ReTVL (ReTry-Supervised Value Learning), publié sur arXiv (2606.24633) le 24 juin 2026, un cadre d'apprentissage par imitation conçu pour exploiter les démonstrations robotiques imparfaites plutôt que de les éliminer. Le constat de départ : lorsqu'un opérateur humain rate une prise, repositionne un objet ou recommence une séquence, ces instants de relance constituent une information structurée sur l'échec d'exécution et la manière d'en sortir. ReTVL identifie ces événements de "retry" comme supervision parcimonieuse sous forme de keypoints annotés, combine une calibration de progression globale avec un apprentissage par préférence par paires (pairwise preference learning) au niveau local, puis utilise le modèle de valeur résultant pour repondérer les chunks de démonstration en behavior cloning. Des tests sur des tâches de manipulation réelle montrent des estimations de valeur plus fines que les baselines à progression monotone. L'enjeu est direct pour les équipes qui constituent des datasets de téléopération : le tri manuel des démonstrations imparfaites est coûteux, et les modèles de récompense classiques, qui mesurent l'avancement global d'une tâche, ne capturent pas les dégradations locales d'exécution (prise instable, mauvais alignement, contact incertain). Ces erreurs propagées dans le policy appris dégradent silencieusement les performances. ReTVL ouvre une voie pour entraîner des politiques robustes depuis des données non curées, ce que visent des pipelines à grande échelle comme Open X-Embodiment, sans passer par un étiquetage dense ou un RLHF robotique onéreux. Ce travail s'inscrit dans un courant actif sur la qualité des données pour le contrôle robotique, aux côtés de l'apprentissage par renforcement inverse (IRL), des méthodes de préférence de type DPO adaptées au robot, et du filtrage automatique via modèles de fondation tels que Pi-0 (Physical Intelligence) ou GR00T N2 (NVIDIA). La distinction de ReTVL est d'exploiter la structure temporelle des retries comme signal disponible naturellement dans toute session de téléopération, sans reward engineering explicite. Il s'agit pour l'instant d'un preprint ; valider l'approche sur des architectures VLA à plus grande échelle et des datasets publics reste la prochaine étape pour confirmer la portée réelle de la méthode.

RecherchePaper
1 source
Au-delà de l'état comme action : exploiter l'écart commande-état pour l'apprentissage par imitation en robotique
4arXiv cs.RO 

Au-delà de l'état comme action : exploiter l'écart commande-état pour l'apprentissage par imitation en robotique

Une équipe de recherche publie, dans la version 2 de l'article arXiv 2609.33145, une méthode baptisée Command-State Discrepancy Weighting (CSDW) pour l'apprentissage par imitation en robotique. Elle porte sur la construction des cibles d'action. Une pratique établie consiste à les déduire du mouvement mesuré du robot (« state-as-action ») plutôt que de la commande envoyée. Les auteurs montrent que, lorsque l'interaction est contrainte, par exemple en contact avec un objet ou une surface, l'écart entre commande et état mesuré contient une information que le mouvement seul ne restitue pas. Trois tâches sur robot réel ont servi aux tests. Les analyses par tâche et par phase révèlent des écarts de supervision plus grands sous contrainte, et conserver sélectivement la commande s'avère localement utile. CSDW pondère la supervision de la commande de façon continue. Il tient compte des temps de réponse du robot et combine la progression ultérieure, la demande persistante non satisfaite et les variations de cette demande. Le résumé ne donne aucun chiffre de gain. L'intérêt est pratique. La méthode n'exige ni annotation des phases de tâche, ni modification de l'architecture de la politique, ni changement à l'inférence, ce qui la rend greffable sur des pipelines existants, y compris de type VLA (vision-language-action). Elle s'attaque à un angle mort des tâches riches en contact, comme l'insertion, l'essuyage ou le serrage, où l'effort demandé ne se voit pas dans la trajectoire. Les résultats restent nuancés. CSDW fait mieux qu'une supervision uniforme de la commande sur les tâches contraintes, mais les méthodes se valent sur la tâche la moins contrainte. Le gain se limite donc à la manipulation en contact, sans être universel. Le résumé ne précise ni les robots, ni les taux de réussite, ni l'ampleur des améliorations, ce qui empêche d'évaluer la portée réelle avant lecture des expériences. Ce travail relève de la recherche académique. Il n'y a ni produit, ni déploiement, ni calendrier de pilote. Il s'inscrit dans un débat plus large sur la meilleure représentation de l'action pour les politiques apprises, entre commandes de téléopération, positions mesurées et efforts. Ce débat concerne les acteurs qui misent sur des modèles généralistes entraînés sur des démonstrations, ainsi que les équipes européennes actives en manipulation. Aucun acteur français ou européen n'est cité ici. La page projet, seen-e.github.io/CSDW, devrait permettre de vérifier les vidéos et les protocoles. Les prochaines étapes probables sont des validations sur davantage de plateformes et de tâches, et une confrontation avec les grands modèles de fondation.

RecherchePaper
1 source