
Coordination d'objectifs dépendante de l'état pour l'équilibre et la navigation de bout en bout
Un preprint déposé sur arXiv (2610.29142) propose une méthode de coordination d'objectifs dépendante de l'état pour faire naviguer et rester en équilibre un robot à deux roues de type pendule inversé avec une seule politique apprise de bout en bout. Un coefficient de pondération β(s), compris entre 0 et 1 et conditionné par l'angle de tangage, règle pendant l'entraînement la part respective de la stabilisation d'assiette et de la navigation (progression vers le but, évitement d'obstacles) dans la récompense. Il n'y a ni hiérarchie de contrôle supplémentaire ni contrôleur PID ou LQR auxiliaire. La politique, entraînée par PPO (proximal policy optimization), est conçue pour un déploiement zero-shot. La simulation modélise le délai d'exécution, le maintien d'action, des observations asynchrones et bruitées, ainsi que l'incertitude dynamique. Le taux de succès atteint 98 % sur une carte d'obstacles fixe et 95 % sur une carte générée aléatoirement à forte densité d'obstacles, avec de faibles excursions d'assiette. Les auteurs affirment aussi, sur matériel réel, un comportement d'assiette borné et un évitement cohérent à partir des seuls capteurs embarqués.
L'intérêt dépasse ce robot précis. Les architectures classiques enchaînent cartographie, planification et contrôle bas niveau, ce qui ajoute de la charge de calcul et de la latence cumulée. Sur une plateforme instable, la navigation peut entrer en conflit avec la tenue d'assiette, et ce conflit varie selon l'état. L'analyse de gradient du papier montre une interférence directionnelle persistante entre les deux objectifs et des échelles relatives qui changent avec l'état. Cela expliquerait pourquoi des poids de récompense fixes fonctionnent mal. Il faut toutefois rester prudent. Les 95 à 98 % sont des résultats de simulation. L'abstract ne donne ni taux de succès ni nombre d'essais sur matériel, et ne précise pas la plateforme. Il s'agit d'un preprint non relu par les pairs, et le transfert à des systèmes plus complexes (bipèdes, robots à roues-jambes, humanoïdes) n'est pas démontré.
Ce travail s'inscrit dans la tendance de l'apprentissage par renforcement à remplacer les contrôleurs d'équilibre classiques, déjà bien établie en locomotion. Il se concentre ici sur l'intégration de la navigation dans la même politique. Les auteurs le comparent à d'autres stratégies de pondération de récompense, de contraintes, d'entraînement et de structure de contrôle, et présentent PPO+β(s) comme la meilleure. Le code d'entraînement et d'évaluation sera publié seulement après acceptation, ce qui empêche pour l'instant toute reproduction indépendante.
Dans nos dossiers




