CHOP : des étiquettes de préférence humaine contrefactuelles améliorent l'évitement d'obstacles des politiques de navigation visuomotrices

Des chercheurs proposent CHOP (Counterfactual Human Preference Labels), une méthode d'alignement des politiques de navigation visuomotrices sur l'intuition humaine de la sécurité et de l'évitement d'obstacles. Le principe: pour chaque observation visuelle, la trajectoire réellement exécutée par le robot est placée dans un ensemble de trajectoires contrefactuelles, c'est-à-dire des alternatives que le robot aurait pu suivre dans des conditions identiques. Des annotateurs humains les comparent deux à deux selon des critères comme le risque de collision et l'efficacité du chemin. Ces préférences agrégées servent ensuite à affiner (fine-tuning) les politiques existantes. Sur le jeu de données SCAND, et en moyenne sur plusieurs modèles de pointe, les politiques ajustées avec CHOP réduisent de 49,7 % les quasi-collisions, diminuent de 45,0 % l'écart aux trajectoires préférées par les humains et augmentent de 19,8 % la distance moyenne aux obstacles, par rapport aux versions pré-entraînées. En conditions réelles, sur un quadrupède Ghost Robotics Vision60, le taux moyen de réussite des objectifs progresse de 24,4 %, la distance minimale aux obstacles de 6,8 %, les collisions et interventions humaines reculent de 45,7 % et la complétion normalisée des trajets gagne 38,6 %.

L'intérêt tient moins à l'algorithme qu'à la nature de la supervision. Les grandes politiques visuomotrices apprises par imitation reproduisent des comportements démontrés, mais ne disposent d'aucun signal explicite sur ce qu'un humain juge dangereux ou simplement inconfortable. Comparer des trajectoires alternatives permet d'injecter ce jugement sans avoir à téléopérer chaque correction, ce qui est moins coûteux que de collecter de nouvelles démonstrations. Pour un intégrateur ou un responsable d'exploitation, le message est que la sécurité de navigation peut s'améliorer par une couche d'alignement post-entraînement, appliquée à des modèles déjà disponibles, plutôt que par un réentraînement complet. Le transfert vers un robot physique atténue aussi le reproche habituel de gains limités à la simulation ou au benchmark. Il faut toutefois rester prudent: les pourcentages sont des moyennes relatives sur des scénarios choisis par les auteurs, l'article ne précise pas dans ce résumé le nombre d'essais ni la diversité des environnements, et un gain de 6,8 % sur la distance minimale reste modeste.

Ce travail s'inscrit dans le courant de l'apprentissage par préférences humaines, popularisé avec les grands modèles de langage (RLHF, optimisation directe des préférences) et désormais transposé à la robotique, où l'alignement des politiques de navigation et des modèles vision-langage-action (VLA) devient un sujet central. SCAND, jeu de données de navigation sociale démontrée par des humains, sert ici de base d'évaluation. Le Vision60 de Ghost Robotics, quadrupède utilisé dans des contextes industriels et de défense, constitue la plateforme de validation. Cet article est une prépublication arXiv (version 2 révisée) et non un produit livré: aucun déploiement commercial ni calendrier de pilote n'est annoncé. La suite logique serait de tester la méthode sur davantage de morphologies, d'environnements dynamiques et de volumes d'annotation, afin de mesurer le coût réel du labeling humain à grande échelle.