La robustesse à la permutation ne suffit pas : l'effondrement des actions dans les politiques multi-agents à base de transformeurs

Une étude publiée sur arXiv (2610.02848) examine un défaut peu discuté des politiques multi-agents à base de transformers. Les équipes de robots n'ont pas d'ordre naturel, alors que les transformers lisent les agents comme une séquence de tokens ordonnée. Les auteurs testent des politiques de navigation coopérative sous permutation de l'ordre des agents. Ils mesurent la cohérence aux permutations, mais aussi l'effondrement des actions, via trois indicateurs : la diversité des actions, la fraction d'agents jouant la même action et la fréquence maximale d'une action. Le résultat central est qu'une faible erreur de permutation peut tromper, car une politique paraît robuste dès que tous les agents choisissent la même action. La base PPO-ID évite cet effondrement mais reste sensible à l'ordre. Une forte régularisation d'équivariance produit un comportement homogène. Une pénalité faible améliore la robustesse tout en conservant des actions variées avec N=3 agents, tandis que N=4 exige des poids de régularisation nettement plus petits. Le résumé ne donne aucune valeur chiffrée.

Pour les intégrateurs et les équipes qui visent des flottes coopératives (AMR, bras multiples, futurs humanoïdes en équipe), l'enseignement est méthodologique. Le retour cumulé et la robustesse aux permutations ne suffisent pas à valider une politique, car une politique dégénérée, où tous les agents font la même chose, passe ces tests sans coordonner quoi que ce soit. La sensibilité de la bonne régularisation à la taille de l'équipe est plus inquiétante pour le passage à l'échelle : si le réglage change dès le passage de 3 à 4 agents, rien ne garantit qu'il tienne sur des flottes de dizaines de robots. Il faut toutefois relativiser. Le cadre est une tâche de navigation en simulation, avec de très petites équipes et sans robots réels, et la portée pratique reste donc à démontrer.

Le travail s'inscrit dans le débat sur les architectures adaptées aux ensembles non ordonnés. Les approches invariantes ou équivariantes, comme les Deep Sets ou les réseaux de graphes, sont l'alternative classique aux transformers ordonnés, et les politiques multi-agents à base de transformers gagnent en popularité en apprentissage par renforcement. Aucun acteur industriel, ni européen ni autre, n'est cité. Aucune suite n'est annoncée. Les prolongements logiques seraient de tester des équipes plus grandes, des actions continues et des plateformes physiques, et d'intégrer ces diagnostics d'effondrement aux protocoles d'évaluation standard.