Apprentissage de l'affectation des tâches…

1arXiv cs.RO

Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels

Une étude empirique menée sur trois plateformes robotiques distinctes a testé l'apprentissage par renforcement (RL) en ligne directement sur des robots physiques, à travers 100 sessions d'entraînement réelles. Les chercheurs ont systématiquement isolé les choix de conception algorithmiques, matériels et expérimentaux habituellement laissés implicites dans les travaux précédents sur le sujet. Résultat principal : certains réglages par défaut largement utilisés dans la pratique du RL se révèlent contre-productifs sur du matériel réel, tandis qu'un ensemble restreint de choix de conception robustes, faciles à adopter dans le cadre standard du RL, permet d'obtenir un apprentissage stable sur différentes tâches et différents types de robots. Il s'agit, selon les auteurs, de la première étude empirique à grande échelle de ce type portant sur ces choix de conception. Cette cartographie répond à un point de friction bien identifié chez les intégrateurs et équipes de recherche robotique : le RL en ligne sur robot réel reste réputé fragile, coûteux en ingénierie et peu reproductible d'une plateforme à l'autre, ce qui pousse la majorité des équipes vers l'apprentissage en simulation (sim-to-real) ou l'imitation à partir de démonstrations. En identifiant quels réglages par défaut nuisent réellement à l'apprentissage et lesquels le stabilisent, ce travail réduit potentiellement l'effort d'ingénierie nécessaire pour déployer du RL en ligne directement sur du hardware, sans passer par un simulateur intermédiaire. C'est un signal utile pour évaluer si le RL en ligne peut devenir une option pratique face aux architectures VLA (vision-langage-action) qui dominent actuellement la communication du secteur, en offrant une alternative plus frugale en données de démonstration. Le papier s'inscrit dans une lignée de travaux cherchant à combler l'écart entre les promesses du RL en robotique, démontrées depuis longtemps en simulation, et sa fiabilité en conditions réelles, où le coût d'échantillonnage et les risques matériels limitent les expérimentations à grande échelle. Contrairement aux annonces de plateformes humanoïdes commerciales, ce travail relève de la recherche fondamentale reproductible, avec des ablations systématiques plutôt qu'une démonstration ponctuelle. Publié sur arXiv en tant que version révisée ("replace"), il ouvre la voie à des protocoles standardisés que d'autres laboratoires pourront reprendre et à des comparaisons futures avec des approches sim-to-real ou par imitation sur les mêmes tâches.

RecherchePaper

1 source

2arXiv cs.RO

Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes

Des chercheurs de l'Université de technologie de Delft (TU Delft) publient sur arXiv un simulateur analytique de caméra événementielle qui produit des observations sans aucun rendu visuel, et l'utilisent pour entraîner par apprentissage par renforcement un pilote de navigation autonome pour nano-drone. Le simulateur génère directement les flux d'événements à partir de la géométrie de la scène et du mouvement propre du robot, en exploitant ce que mesure réellement ce type de capteur : les arêtes de contraste en mouvement. Une observation d'événements de 64x64 pixels est produite en 17 microsecondes sur un seul GPU, soit plus de 400 fois plus vite qu'une chaîne de rendu de référence. L'entraînement pour l'évitement d'obstacles vers un but converge en moins de 30 minutes, trois ordres de grandeur de moins qu'avec des événements rendus. En simulation, la politique atteint 83 % de réussite sur des parcours encombrés inédits (difficulté intermédiaire, probabilité de traversabilité d'environ 0,57) à 2,4 m/s de vitesse moyenne vers le but, et 70 % dans un hall intérieur riche en textures. Elle se transfère sans réglage vers des simulations physiquement réalistes par lancer de rayons (Isaac Sim). Le réseau a ensuite été quantifié en int8 (1,2 Mo) et exécuté entièrement à bord d'un Crazyflie de 56 grammes, équipé d'une caméra événementielle Prophesee GenX320 et d'une carte microcontrôleur OpenMV N6. Sans réglage fin, traitement externe ni système de positionnement, il réussit 82 % des vols sur trois parcours réels de difficulté croissante (5/5, 5/6 et 4/6). Ces chiffres reposent sur très peu d'essais, soit 17 vols au total, et sur des parcours dont les caractéristiques restent propres au laboratoire. L'intérêt tient à un goulot bien connu : les caméras événementielles, à faible latence, grande plage dynamique et consommation de l'ordre du milliwatt, conviennent aux petits robots agiles, mais les simulateurs existants génèrent des images photoréalistes avant de les convertir en événements, ce qui rend l'apprentissage par renforcement à grande échelle trop lent. Passer à des itérations de quelques minutes change la boucle de développement et suggère que la fidélité photoréaliste n'est pas toujours nécessaire pour un transfert sim-to-real réussi, dès lors que la physique du capteur est bien modélisée. Le fait que toute la pile tienne sur un microcontrôleur avec un modèle de 1,2 Mo est aussi un signal pour les intégrateurs de drones miniatures à budget énergétique et massique très contraint, notamment en inspection d'espaces confinés ou en logistique intérieure. La limite reste la simplicité de la scène géométrique modélisée et l'absence de validation en environnements très texturés ou dynamiques. Le travail s'inscrit dans la lignée des recherches de TU Delft sur le vol autonome embarqué à très faible puissance et sur la vision neuromorphique, avec Crazyflie comme plateforme habituelle. Il prolonge les simulateurs d'événements fondés sur le rendu, et le code est publié en open source sur GitHub (tudelft/rendering-free-évent-nav). Il s'agit d'un résultat de recherche, sans produit ni pilote commercial annoncé. Les prochaines étapes naturelles seraient des environnements plus riches, des vitesses plus élevées et des essais plus nombreux pour consolider les taux de réussite.

UERésultat d'une université européenne (TU Delft, Pays-Bas) avec code ouvert, exploitable par les intégrateurs et laboratoires de drones miniatures de l'UE, sans impact réglementaire direct sur la France.

RecherchePaper

1 source

3arXiv cs.RO

Navigation par apprentissage pour robots mobiles en intérieur

Des chercheurs ont publié sur arXiv (référence 2605.30468) un framework de navigation hybride pour robots mobiles intérieurs, combinant un planificateur global neuronal et un planificateur local affiné par apprentissage par renforcement. Le planificateur global est un réseau de neurones supervisé, entraîné à partir de trajectoires générées par un algorithme A* pondéré par les coûts, ce qui lui permet de produire des routes globalement cohérentes et évitant les zones dangereuses. Le planificateur local, baptisé Learning-Based DWA, reformule l'approche classique Dynamic Window Approach (DWA) comme un problème de sélection discrète sur une grille d'actions prédéfinies. La politique locale est d'abord initialisée par clonage comportemental (imitation d'un expert), puis optimisée par Proximal Policy Optimization (PPO) avec un masquage de faisabilité, un mécanisme éliminant les actions physiquement irréalisables ou à risque de collision avant même l'exploration. Les résultats expérimentaux, conduits en simulation et en environnement réel intérieur, montrent une navigation sûre et fiable vers des objectifs en présence d'obstacles. L'intérêt de cette contribution réside dans son positionnement hybride : plutôt que d'abandonner DWA au profit d'une approche entièrement apprise, les auteurs l'utilisent comme squelette structurant pour contraindre le problème d'apprentissage. Ce choix de conception présente deux avantages pour les intégrateurs. D'abord, le masquage de faisabilité réduit l'espace d'exploration du policy gradient aux seules actions physiquement admissibles, limitant les comportements dangereux en phase d'apprentissage et facilitant le transfert sim-to-réel. Ensuite, conserver la logique DWA comme substrat rend la politique plus interprétable qu'un réseau boîte noire, un critère non négligeable pour les déploiements industriels soumis à certification. La méthode démontre qu'un classique de la robotique réactive, largement jugé dépassé par les approches end-to-end, peut encore être un socle pertinent pour des pipelines d'apprentissage modernes. Le DWA a été introduit par Fox, Burgard et Thrun en 1997 et reste une brique fondamentale des stacks de navigation ROS et Nav2, déployés sur une large partie des flottes d'AMR (robots mobiles autonomes) industriels actuels. C'est dans cet écosystème très installé que s'inscrit ce travail, face à des approches concurrentes plus radicales : navigation end-to-end par apprentissage (ETH Zurich, MIT CSAIL), planificateurs à modèle comme TEB ou MPPI, et méthodes VLA émergentes pour la navigation en langage naturel. Les auteurs annoncent la mise à disposition du code source sur leur page projet. Aucun partenaire industriel ni déploiement commercial n'est mentionné : il s'agit d'une contribution de recherche académique, pas d'un produit commercialisé.

RecherchePaper

1 source

4arXiv cs.RO

L'apprentissage par robot en contexte simplifié : une recette accessible pour les tâches de manipulation

Des chercheurs proposent SimpleICL, un cadre minimaliste et reproductible pour l'apprentissage en contexte (ICL, in-context learning) en robotique. Le principe est de laisser un robot déduire puis exécuter une tâche à partir de démonstrations visuelles, sans réentraînement. L'étude, publiée sur arXiv (2609.38173v1), commence par corriger un défaut de formulation. Une démonstration visuelle mélange trajectoires d'actions, sémantique des objets, affordances de manipulation, relations spatiales et but de la tâche. On ne sait donc pas ce que le robot doit réellement imiter. Les auteurs définissent explicitement la cible d'apprentissage pour lever cette ambiguïté du prompt visuel. Sur cette base, ils construisent SimpleICL, qui associe un encodeur de prompt visuel à un protocole de collecte de données à faible coût. Selon eux, il n'exige ni pré-entraînement massif ni infrastructure de données spécialisée. Ils annoncent de bonnes performances en simulation et en environnement réel. Le résumé ne donne ni score, ni taux de réussite, ni plateforme robotique, ni volume de données, et ces points restent à vérifier dans l'article complet. Les expériences mettent en évidence quatre propriétés de l'ICL robotique : la discrimination des actions, de la sémantique, de la composition et des affordances. Les données et le pipeline d'entraînement doivent être publiés en open source. L'intérêt tient moins à un résultat chiffré qu'à la remise à plat du problème. Une grande partie des travaux sur les VLA (vision-language-action, modèles qui transforment images et instructions en actions) repose sur des instructions textuelles et des volumes de pré-entraînement très élevés. L'ICL par démonstration visuelle promet une autre logique : montrer une fois la tâche plutôt que reprogrammer ou affiner un modèle. Pour un intégrateur, cela pourrait réduire le coût de changement de série ou de poste. Si l'approche se confirme sans données massives, elle abaisse la barrière d'entrée pour les laboratoires et les PME, et fournit une base de comparaison reproductible dans un domaine où les protocoles divergent. La définition de la cible d'apprentissage donne aussi un cadre pour évaluer ce que le robot a compris d'une démonstration, ce qui manque souvent aux démos spectaculaires. Ce texte reste un travail de recherche. Il ne décrit ni produit livré ni déploiement industriel, et l'écart entre laboratoire et atelier reste entier. Ces travaux s'inscrivent dans la suite de l'ICL apparu avec les grands modèles de langage, puis transposé à la manipulation robotique par imitation à un ou peu de coups. Les grands acteurs des modèles fondation, comme Physical Intelligence avec Pi-0, NVIDIA avec GR00T ou Figure avec Helix, misent sur des volumes de données et de calcul importants. SimpleICL vise une voie plus légère et ouverte, dont la pertinence dépendra de la généralisation à des tâches longues, à d'autres robots et à des scènes non vues. La suite dépend de la publication effective du code et des données, promise mais pas encore vérifiable. Une réplication indépendante, notamment par des laboratoires européens, serait le vrai test.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

Apprentissage de l'affectation des tâches multi-agents et de la navigation en usine : de la simulation aux robots réels

À lire aussi

Ce qui compte pour le transfert de l'apprentissage par renforcement en simulation vers l'apprentissage en ligne sur des robots réels

Simulation de trames d'événements sans rendu pour accélérer l'apprentissage par renforcement de la navigation de robots autonomes

Navigation par apprentissage pour robots mobiles en intérieur

L'apprentissage par robot en contexte simplifié : une recette accessible pour les tâches de manipulation