De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée

Des chercheurs proposent CPR, un cadre d'apprentissage en deux étapes qui apprend à des politiques de manipulation robotique des représentations prédictives complémentaires à partir de clips vidéo multi-vues. Lors du pré-entraînement, un modèle de fondation 3D gelé fournit des caractéristiques géométriques denses, compressées en représentations géométriques prédictives. Celles-ci sont optimisées pour préserver la structure de la scène et son évolution temporelle. Une supervision par l'action est ensuite appliquée aux transitions géométriques afin d'extraire une représentation motrice complémentaire, centrée sur les transitions pertinentes pour l'action. En post-entraînement, la géométrie prédictive est transférée au moyen de requêtes de géométrie (geometry queries), tandis que la représentation motrice guide les caractéristiques intermédiaires le long du chemin de génération d'actions. Les observations futures ne servent que de supervision privilégiée à l'entraînement et ne sont pas nécessaires à l'inférence. L'évaluation couvre les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que des tâches réelles bimanuelles et à un seul bras. Le gain absolu atteint 10,4 points de pourcentage sur l'évaluation WidowX. Les auteurs annoncent aussi un transfert vers plusieurs architectures VLA (vision-langage-action) et vers des WAM (modèles d'action du monde), avec des progrès en prédiction du monde futur comme en prédiction d'actions. Le code doit être publié sur GitHub (dépôt xuxiaoxxxx/CPR), mais ne l'est pas encore.

Ce travail s'attaque à une question laissée ouverte : comment représenter la géométrie prédictive pour qu'elle serve réellement à générer des actions. Les approches existantes se limitent à enrichir la politique avec la géométrie des observations courantes, ou à ajouter la prédiction du futur comme simple supervision auxiliaire. Séparer la représentation géométrique de la représentation motrice, puis ne garder que les requêtes et le guidage au moment de l'inférence, évite de dépendre d'images futures coûteuses ou indisponibles en déploiement. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la compatibilité annoncée avec plusieurs architectures VLA : l'approche se présente comme un module de pré-entraînement réutilisable, pas comme une politique de plus. Il faut toutefois rester prudent. Les gains les plus chiffrés viennent de benchmarks simulés, notamment SimplerEnv avec WidowX, dont le rapport à la fiabilité en production reste faible. Le résumé ne donne ni taux de réussite absolus, ni nombre d'essais réels, ni temps de cycle, ni coût de calcul du pré-entraînement. Il s'agit d'un preprint non évalué par des pairs.

Le travail s'inscrit dans la course à la manipulation généraliste fondée sur des VLA, où les modèles de fondation visuels et 3D sont de plus en plus réutilisés comme briques de perception. Les benchmarks cités, LIBERO et LIBERO-Plus (robustesse aux perturbations) et SimplerEnv (évaluation reproductible de politiques réelles en simulation), sont devenus des références courantes mais restent des proxys imparfaits. La suite dépendra de la publication du code et de réplications indépendantes, en particulier sur des tâches longues et des plateformes différentes de WidowX. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé.