RecherchearXiv cs.RO 21 octobre 2026

Apprentissage par différence temporelle de fonctions de valeur probabilistes d'atteinte et d'évitement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Un preprint arXiv (2610.28106) présente la Probabilistic reach-avoid Value Function (PVF), une méthode auto-supervisée, entraînée par apprentissage à différence temporelle, qui calcule des ensembles « reach-avoid ». Il s'agit des états depuis lesquels une tâche peut être menée à bien sans entrer dans une zone dangereuse. Là où l'analyse d'atteignabilité classique de Hamilton-Jacobi (HJR) et ses extensions neuronales, comme Lipschitz Continuous Reachability Learning ou DeepReach, calculent l'ensemble sous la pire perturbation possible dans un domaine borné, PVF retient les états dont la probabilité de réussite dépasse un seuil choisi. La méthode s'applique à des systèmes de type boîte noire, sous des perturbations stochastiques pouvant être non bornées. Les auteurs la comparent à des références HJR sur des systèmes de complexité croissante, jusqu'à une tâche de locomotion d'un Hopper (robot sauteur monopode). Selon eux, les ensembles probabilistes sont moins conservateurs et plus précis que les ensembles adversariaux lorsque les perturbations ne sont pas adverses. Le résumé ne chiffre pas ce gain, et il s'agit d'un résultat de recherche, sans produit ni déploiement.

L'intérêt tient à un écart fréquent entre garanties théoriques et usage réel. Une garantie de pire cas rassure, mais elle réduit l'espace où le robot peut opérer, surtout si les perturbations réelles (bruit de contact, glissement, variations de charge) sont plutôt aléatoires qu'hostiles. Elle suppose aussi de connaître à l'avance l'ensemble des perturbations, ce qui est rarement le cas sur site. Une approche probabiliste permet de surveiller en ligne si une tâche reste faisable, avec un niveau de risque explicite que l'exploitant peut régler. C'est une logique plus proche de la gestion du risque industrielle. Elle reste à valider sur des systèmes plus complexes que le Hopper et sur du matériel réel.

Ces travaux s'inscrivent dans la montée des méthodes neuronales d'atteignabilité, qui cherchent à contourner la malédiction de la dimension des solveurs HJR par grille, et dans le besoin croissant de moniteurs de sécurité pour des politiques apprises, notamment les modèles VLA déployés sur humanoïdes et manipulateurs. Les concurrents directs sont les approches HJR adversariales citées plus haut. Le compromis est clair : on échange la garantie de pire cas contre une garantie probabiliste, moins stricte mais moins pénalisante. Les prochaines étapes à surveiller sont le passage à des robots à plus haute dimension, des essais physiques et l'intégration à des filtres de sécurité pour politiques apprises.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

Apprentissage par renforcement efficace pour les VLA par masquage probabiliste de séquences

Une équipe de chercheurs propose dans un preprint arXiv (2605.16154, mai 2026) une modification algorithmique baptisée Probabilistic Chunk Masking (PCM), conçue pour réduire le coût computationnel de l'entraînement par renforcement (RL) des politiques vision-langage-action (VLA). Testée sur trois benchmarks LIBERO, PCM atteint les mêmes taux de réussite finale que l'algorithme GRPO standard tout en réduisant le temps d'entraînement d'un facteur 2,38x en temps réel, les mises à jour de gradient de 4,8x, et la mémoire d'activation de pointe de 60 %. Elle y parvient en ne rétropropageant que moins de 20 % des chunks de trajectoire, sans recourir à un modèle de récompense ni à un critic appris. Le résultat le plus structurant de ce travail n'est pas le speedup lui-même, mais la remise en cause d'une hypothèse dominante dans la communauté : l'idée que le goulot d'étranglement du RL pour VLA se situe dans la collecte de rollouts (via simulateurs ou world models). Les mesures des auteurs montrent que le calcul de gradient représente 78 % du temps CPU par étape, contre seulement 21 % pour la collecte. GRPO distribue uniformément le signal d'apprentissage sur toute la trajectoire, y compris les phases que le modèle maîtrise déjà après pré-entraînement et fine-tuning supervisé. PCM corrige cela en concentrant le budget de gradient sur les phases où les rollouts réussis et échoués divergent réellement, proxy mesurable de la variance de gradient par phase. Pour les équipes qui entraînent des VLA sur robot physique avec des budgets GPU contraints, ce type d'optimisation change concrètement ce qui est faisable en interne. Le contexte immédiat est l'essor du post-training RL pour VLA, une tendance portée notamment par Physical Intelligence avec π0, par les travaux OpenVLA, et par l'adaptation de GRPO (initialement développé par DeepSeek pour les LLM) à la manipulation robotique. PCM s'insère comme brique orthogonale à ces approches : elle ne modifie ni l'architecture ni le schéma de récompense, ce qui facilite son intégration dans des pipelines existants. Le papier reste un preprint académique sans déploiement annoncé, mais sa reproductibilité sur LIBERO et l'absence de composants supplémentaires en font un candidat sérieux pour être adopté rapidement par les laboratoires qui expérimentent le RL sur VLA.

UELes laboratoires européens travaillant sur l'entraînement RL de politiques VLA (INRIA, CEA-List) pourraient bénéficier de cette optimisation pour réduire leurs coûts GPU, mais aucun acteur européen n'est directement impliqué dans ce preprint.

RechercheOpinion

1 source

2arXiv cs.RO

Navigation sociale sûre de bout en bout par apprentissage par renforcement multitâche et perception probabiliste

Une équipe de chercheurs publie JESSI (JAX-based E2E Safe Social Interpretable navigation), un cadre d'apprentissage par renforcement (RL) de bout en bout, léger, qui transforme directement les scans LiDAR bruts en commandes de contrôle cinématiquement réalisables. Le système repose sur des espaces d'actions continus paramétrés par une loi de Dirichlet, associés à un bornage déterministe des commandes, ce qui renforce la sécurité. Un module de perception à base d'attention en extrait des états humains probabilistes, ce qui rend les décisions interprétables. Les auteurs ont testé JESSI en simulation, puis sur un robot à entraînement différentiel en conditions réelles. Ils le comparent à plusieurs méthodes de référence de l'état de l'art. Le résumé disponible ne donne ni taux de réussite chiffré, ni taille de l'échantillon d'essais, ni densité de piétons, ni nom de la plateforme robotique. Il n'est pas possible de vérifier l'ampleur de l'avantage annoncé. Il s'agit d'un travail de recherche académique (arXiv, version 2), sans produit ni déploiement commercial. L'apport principal tient à l'entraînement conjoint de la politique RL et d'un signal de perception supervisé, dans un paradigme multi-tâches. Les auteurs affirment que ce couplage améliore le comportement social du robot, c'est-à-dire sa capacité à éviter les piétons de façon naturelle et prévisible, au-delà du simple évitement de collision. Beaucoup de méthodes de navigation sociale par RL supposent que la position et la vitesse des humains sont connues, hypothèse peu réaliste hors laboratoire, où le robot ne dispose que de ses capteurs. En partant du LiDAR brut, JESSI s'attaque à ce décalage entre simulation et réalité. Pour un intégrateur ou un responsable d'exploitation qui vise des robots mobiles dans des hôpitaux, des commerces ou des entrepôts partagés avec du personnel, trois points comptent : l'interprétabilité des états humains estimés, des commandes bornées par construction, et un modèle léger, donc compatible avec du calcul embarqué. Ces résultats restent à confirmer sur des environnements plus denses et plus variés que ceux du papier. Ce travail s'inscrit dans une littérature où la navigation sociale par RL a d'abord reposé sur des modèles d'interaction entre agents avec états humains parfaitement observés, puis a évolué vers des approches de bout en bout partant des capteurs. Il s'oppose aussi aux piles classiques, qui séparent perception, prédiction et planification et dont l'assemblage est plus lourd à régler. L'implémentation en JAX suggère un entraînement massivement parallélisé sur accélérateur, ce qui raccourcit les itérations de recherche. Les suites naturelles seraient des essais avec des foules plus denses, des plateformes variées et une validation sur des sites réels. Aucun pilote ni calendrier n'est annoncé dans le résumé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Apprentissage par auto-imitation temporelle

Un preprint arXiv déposé fin juin 2026 (référence 2606.19752) présente TSIL (Temporal Self-Imitation Learning), un cadre d'apprentissage par renforcement pour les politiques de manipulation robotique sur longues séquences d'actions. Le principe : identifier, au fil de l'entraînement, les trajectoires réussies les plus rapides, puis les convertir en supervision réutilisable pour les itérations suivantes via des cibles temporelles adaptatives conditionnées par la configuration ("configuration-conditioned adaptive temporal targets") et une réimitation pondérée par l'efficacité relative de chaque comportement. La méthode a été évaluée sur 15 tâches de manipulation longue séquence distinctes ; aucun déploiement sur robot physique n'est annoncé dans le papier. L'apport adresse un défaut bien documenté des approches par récompense dense (reward shaping) : un agent peut satisfaire le signal de récompense tout en produisant des comportements lents ou redondants, puisque rien ne pénalise explicitement l'inefficacité temporelle, et les rares séquences vraiment rapides tendent à être oubliées au fil de l'entraînement. TSIL propose de traiter le temps d'exécution lui-même comme signal d'auto-supervision scalable, complémentaire aux récompenses manuelles. Sur les 15 tâches testées, la méthode améliore simultanément l'efficacité d'apprentissage global, l'efficacité de complétion de tâche, la réintégration des comportements rapides et la robustesse aux instabilités d'entraînement. Pour les équipes cherchant à réduire l'ingénierie de récompense sur des tâches industrielles complexes, le signal est pertinent, mais il s'agit d'un résultat de recherche en simulation, non d'un produit validé terrain. TSIL s'inscrit dans la lignée de SAIL (Self-Imitation Learning, Oh et al. 2018) et de HER (Hindsight Experience Replay), deux méthodes exploitant les expériences passées pour guider l'apprentissage par renforcement, en y ajoutant une dimension temporelle explicite absente des approches précédentes. La manipulation longue séquence reste un verrou majeur pour les bras industriels et les humanoïdes ; des acteurs comme Physical Intelligence (Pi-0), Figure AI ou les équipes RL de Boston Dynamics travaillent sur des problématiques similaires. Ce preprint, non encore évalué par des pairs, ne mentionne ni partenaire industriel ni horizon de transfert sur robot réel. La prochaine étape logique sera de tester la robustesse de l'approche hors simulation, là où le sim-to-real gap remet généralement en cause les gains obtenus en environnement contrôlé.

RecherchePaper

1 source

4arXiv cs.RO

Apprentissage par imitation : sélection efficace des données d'échec via les différences de distribution dans l'attention

Des chercheurs ont déposé sur arXiv en mai 2026 (arXiv:2605.07560) une méthode visant à exploiter les démonstrations d'échec dans l'apprentissage par imitation pour la robotique. La quasi-totalité des politiques d'imitation sont actuellement entraînées exclusivement sur des démonstrations réussies, bien que la collecte humaine produise inévitablement une proportion significative d'échecs. La méthode proposée apprend des représentations latentes des divergences succès-échec et les intègre dans le mécanisme d'attention du réseau, permettant au système de sélectionner au moment de l'inférence un mode latent adapté à partir de l'observation initiale. Les auteurs introduisent également une métrique post-entraînement qui quantifie la divergence d'attention entre chaque démonstration d'échec et le corpus de succès, afin de filtrer automatiquement les échantillons d'échec réellement bénéfiques à l'apprentissage. L'enjeu est considérable pour les pipelines industriels de collecte de données robotiques : une fraction structurelle des démonstrations humaines sont des échecs, jusqu'ici systématiquement écartés ou nécessitant un traitement manuel coûteux. Les approches existantes pour exploiter ces données s'appuient généralement sur des mises à jour itératives de la politique via des rollouts autonomes, ce qui complique leur intégration stable et directe dans un pipeline de production. Cette méthode opère en revanche directement sur les données brutes collectées sans itérations supplémentaires, ce qui la rend potentiellement plus accessible pour des équipes travaillant en conditions réelles de déploiement. Les résultats en simulation montrent une amélioration des taux de succès par rapport à un entraînement basé uniquement sur des démonstrations réussies, et la métrique proposée identifie correctement les échantillons d'échec dont l'ajout est bénéfique. L'apprentissage par imitation est devenu un paradigme central en robotique manipulatrice, porté par des architectures comme ACT, Diffusion Policy ou pi-0 de Physical Intelligence, et la gestion des données hors-distribution reste un défi ouvert du domaine. Que faire des trajectoires partiellement réussies ou des démonstrations ambiguës constitue une question de recherche active, d'autant que les coûts de re-collecte sur robot physique sont prohibitifs à grande échelle. Ce travail s'inscrit dans ce courant sans rupture radicale : les résultats sont limités à la simulation et aucun déploiement sur hardware réel n'est mentionné dans le preprint, ce qui appelle une validation expérimentale indépendante. La prochaine étape naturelle sera la validation sur robots physiques en manipulation dextère, contexte où le taux d'échec lors de la collecte humaine est structurellement élevé et où le gain potentiel d'un tel filtrage automatique serait le plus significatif.

RecherchePaper

1 source