RecherchearXiv cs.RO 2 novembre 2026

TRACE : exécution conditionnelle alignée sur le risque de l'état cible pour le suivi incarné

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Des chercheurs montrent qu'améliorer la persistance d'un robot suiveur peut accroître le nombre de violations de sécurité, puis proposent TRACE, une porte de risque appliquée à l'exécution. Le travail porte sur le suivi visuel incarné (embodied visual tracking). Le robot doit suivre une personne désignée par une instruction en langage naturel, malgré les occlusions, les sosies distracteurs et les consignes ambiguës. Les auteurs partent d'un tracker VLA (vision-language-action) compact de 0,6 milliard de paramètres, dont le backbone est gelé. Seule la tête de planification est mise à jour par optimisation de politique proximale (PPO). Cet entraînement améliore les taux de succès et de suivi dans les trois configurations du benchmark EVT-Bench. Il augmente en revanche le taux de collision dans le scénario de suivi avec distracteurs: des épisodes qui se terminaient auparavant par une perte de la cible finissent désormais par un contact.

TRACE (Target-State Risk-Aligned Conditional Execution) corrige ce défaut sans réentraîner la politique. Une tête de risque légère analyse 84 indices: boîtes candidates, marges d'identité, une sonde apprise de distance et de relèvement, et les commandes émises par la politique. Quand le risque calibré dépasse un seuil, le système réduit la composante de translation du prochain waypoint et laisse le lacet (yaw) inchangé. L'action exécutée est identique à celle de PPO sur plus de 98 % des pas. Sur des épisodes identiques appariés, le taux de collision en suivi avec distracteurs baisse de 3,96 points de pourcentage, avec de meilleurs taux de succès et de suivi. Une évaluation concurrente retrouve une baisse de 3,77 points, contre 0,29 point pour des paires nulles de bras identiques, ce qui place l'effet au-delà de la variabilité d'évaluation. Des ralentissements témoins sans déclenchement fondé sur l'état de la cible ne reproduisent pas le gain.

L'intérêt dépasse le seul suivi de personnes. Le post-entraînement par apprentissage par renforcement est devenu la voie standard pour améliorer les VLA, mais l'on mesure presque toujours le succès de la tâche, rarement le coût de sécurité caché derrière. Ici, le gain de persistance se paie directement en contacts, ce qui concerne tout robot mobile évoluant près d'humains: livraison, logistique, accompagnement. L'approche est aussi pragmatique pour un intégrateur: une couche de sécurité qui n'intervient que sur 2 % des pas, sans toucher à la politique apprise, se valide et s'audite plus facilement qu'un réentraînement complet. Il faut toutefois relativiser l'ampleur: près de 4 points de collision en moins, mesurés en simulation sur un benchmark, ne disent rien de la fiabilité sur robot réel, et le modèle de 0,6B reste petit.

Ce travail s'inscrit dans le mouvement de la sécurité à l'exécution (runtime shielding) appliquée aux politiques apprises, face à la montée du fine-tuning par RL pour les modèles VLA. Il s'agit d'un preprint arXiv (v1), sans validation par les pairs ni déploiement annoncé. Les prochaines étapes naturelles seraient le test sur plateforme physique, la généralisation à d'autres politiques et backbones, et la comparaison avec des méthodes de RL sous contraintes qui intègrent la sécurité dès l'entraînement.

Dans nos dossiers

arXiv cs.RO

À lire aussi

1arXiv cs.RO

IA incarnée sous contrôle : gouvernance à l'exécution pour agents contraints par des politiques

Des chercheurs ont publié sur arXiv (2604.07833) un cadre architectural pour la gouvernance d'exécution des agents incarnés, ces systèmes IA capables d'agir sur des robots, outils ou environnements physiques. La proposition centrale est une couche de gouvernance dédiée, externe à la boucle d'inférence de l'agent, chargée de cinq fonctions : vérification de politiques, admission de capacités, surveillance d'exécution, gestion des rollbacks et déclenchement d'override humain. Cette architecture formalise une frontière de contrôle entre l'agent incarné, des modules de capacité baptisés ECMs (Embodied Capability Modules) et la couche de gouvernance runtime. Les auteurs ont validé l'approche sur 1 000 essais de simulation randomisés couvrant trois dimensions de gouvernance : taux d'interception des actions non autorisées à 96,2 %, réduction des continuations non sécurisées de 100 % à 22,2 % en cas de dérive d'exécution, et 91,4 % de récupération avec conformité totale aux politiques, tous significativement supérieurs aux baselines testés (p<0,001). L'enjeu dépasse la robotique académique. À mesure que des agents IA obtiennent une autorité d'exécution réelle sur des bras industriels, des AMR (Autonomous Mobile Robots) ou des systèmes cyber-physiques, leur contrôlabilité devient un problème d'ingénierie système critique. L'approche dominante actuelle consiste à enfouir la logique de sécurité à l'intérieur de la boucle agent, ce qui rend l'audit difficile et la standardisation quasi impossible dans des environnements réglementés (santé, industrie critique). En externalisant la gouvernance dans une couche séparée, les auteurs proposent un modèle où la politique d'usage peut être modifiée ou vérifiée sans toucher aux poids du modèle, répondant à un besoin concret des intégrateurs industriels qui composent avec plusieurs fournisseurs et des référentiels de sécurité imposés par leurs clients. Ce papier s'inscrit dans un mouvement plus large de "safety at deployment", distinct de l'alignment par entraînement (RLHF, Constitutional AI). Il dialogue avec les architectures de contrôle comme ROS 2 et les travaux sur les systèmes multi-agents à responsabilité distribuée. Le contexte concurrentiel est direct : OpenAI, Google DeepMind, Figure AI, Physical Intelligence et Sanctuary AI développent tous des agents incarnés à capacité d'exécution croissante, mais la gouvernance runtime reste un angle mort industriel. Une telle architecture trouverait une application prioritaire dans les déploiements d'humanoïdes en environnement contrôlé, entrepôts ou lignes d'assemblage, où les opérateurs exigent des garanties d'auditabilité que les architectures end-to-end ne fournissent pas encore.

UEL'architecture de gouvernance externe proposée répond directement aux exigences d'auditabilité et de traçabilité de l'AI Act pour les systèmes d'IA à haut risque, offrant aux intégrateurs robotiques européens un cadre de référence concret pour démontrer la conformité de leurs agents incarnés sans modifier les poids des modèles.

RechercheOpinion

1 source

2arXiv cs.RO

Vérification prédictive alignée sur la politique pour l'exécution adaptative de blocs d'actions VLA

Des chercheurs proposent un vérificateur prédictif aligné sur la politique, baptisé PAV (policy-aligned prédictive vérifier), pour décider combien d'une séquence d'actions générée par un modèle vision-langage-action (VLA) doit être exécuté avant de relancer l'inférence. Ces modèles produisent des « action chunks », des blocs d'actions qui évitent d'appeler le réseau à chaque pas de contrôle, mais la longueur du segment exécuté pèse directement sur le taux de réussite. Le PAV anticipe les conséquences de chaque préfixe d'actions candidat et estime, avant exécution, s'il reste compatible avec une poursuite réussie de la tâche. Il travaille dans l'espace de représentation interne du VLA, conditionné par la tâche, et n'utilise pas la prédiction du futur pour générer des actions mais pour évaluer celles déjà proposées. L'entraînement combine une supervision de « survie » au niveau de la trajectoire, déduite des seuls résultats terminaux, et un a priori de localisation qui préserve les comportements utiles au sein des essais échoués. Les scores de validité obtenus pilotent le choix de l'horizon d'exécution. Les tests portent sur pi0 et pi0.5 de Physical Intelligence, sur les benchmarks LIBERO et RoboTwin 2.0 ainsi que sur des tâches de manipulation réelles. Le résumé annonce de meilleurs compromis entre taux de succès et nombre de requêtes au modèle, mais ne donne aucun chiffre. L'enjeu est très concret pour les intégrateurs et les équipes qui déploient des VLA. Chaque inférence d'un grand modèle coûte du temps de calcul, de la latence et de l'énergie, surtout en embarqué. Exécuter de longs segments sans revérifier réduit ces coûts, mais augmente le risque de dérive quand la scène change. Les méthodes adaptatives actuelles s'appuient sur la stabilité de la génération ou sur l'accord entre prédictions, des signaux qui ne disent pas si l'exécution d'un préfixe laisse la tâche réalisable. Le travail soutient qu'il faut juger la validité d'une action plutôt que la confiance du modèle. Il suggère aussi un autre usage de la prédiction du futur : calibrer la confiance accordée à une politique plutôt que produire de nouvelles actions. Si cela tient à l'échelle, on peut espérer plus de robustesse à coût de calcul constant, sans réentraîner le VLA de base. Le contexte est celui d'une course à l'efficacité des VLA, où le découpage en action chunks, popularisé par ACT puis par les modèles pi0 et pi0.5, est devenu standard. Il laisse ouverte la question de l'horizon optimal, que la plupart des systèmes fixent encore à la main. Ce travail s'ajoute aux approches d'exécution adaptative et de vérification, au moment où les acteurs du secteur cherchent à fiabiliser leurs modèles hors démonstration. Il s'agit d'une prépublication arXiv sans relecture par les pairs, et les benchmarks de simulation pèsent peu face aux conditions d'usine. L'évaluation réelle n'est décrite que brièvement, sans détail sur les tâches ou le nombre d'essais, ce qui invite à la prudence tant que le code, les chiffres complets et des validations indépendantes ne sont pas disponibles.

RecherchePaper

1 source

3arXiv cs.RO

VP-EVT : préservation active de la visibilité pour le suivi visuel incarné

Des chercheurs proposent VP-EVT, un cadre de suivi visuel incarné (Embodied Visual Tracking, EVT) qui traite la visibilité de la cible comme un objectif explicite du contrôle de mouvement, et non comme un simple effet secondaire du suivi. L'EVT consiste à faire suivre à un robot une personne désignée en dynamique, avec pour seule source la perception visuelle égocentrique de sa caméra. Le système utilise une perception guidée par le langage pour extraire séparément les observations de la cible et celles des piétons environnants. Lorsqu'une occlusion rend les observations incomplètes, il combine l'historique visuel et l'ego-motion pour maintenir une estimation des positions et mouvements relatifs. À partir de ces estimations et des waypoints de suivi courants, il prédit si poursuivre le suivi va prolonger l'obstruction. Si le risque est faible, le mouvement initial est conservé. Sinon, un contrôleur récurrent, qui intègre le contexte des manoeuvres précédentes, coordonne un changement de point de vue puis le retour à un suivi stable. Les auteurs introduisent aussi OccEVT-Bench, un banc d'essai en boucle fermée dédié aux occlusions persistantes, et collectent des démonstrations d'experts pour l'entraînement. Sur son split Risk, VP-EVT améliore le taux de succès de 121,4 % face à une base de comparaison jugée compétitive, et réduit le déficit de visibilité de 78,8 % ainsi que la plus longue durée de perte de la cible de 74,4 %. L'intérêt tient à un changement de posture : la plupart des méthodes de suivi sont réactives et ne réagissent qu'une fois la cible perdue, ce qui provoque de longues pertes en présence de foule. Pour la robotique de service, la logistique et la collaboration homme-robot, par exemple des robots suiveurs en entrepôt, en hôpital ou en commerce, la fiabilité en environnement encombré conditionne le passage de la démonstration à l'usage réel. Raisonner sur ce qui masque la cible et sur la façon dont le robot peut modifier cette obstruction rapproche le suivi d'une forme de planification active de la perception. Les chiffres sont toutefois à nuancer : le gain de 121,4 % est relatif, donc dépend fortement d'un taux de base potentiellement bas, il est mesuré sur le split le plus exigeant, et le banc d'essai est introduit par les auteurs eux-mêmes. Aucune validation sur robot physique ni indication de coût de calcul embarqué n'apparaît dans le résumé, ce qui laisse ouverte la question du transfert simulation vers réel. Ce travail s'inscrit dans la lignée des approches de suivi de personne apprises de bout en bout, guidées par le langage ou par des modèles vision-langage-action, qui se sont surtout évaluées dans des scènes où les occlusions restent brèves. En proposant un benchmark dédié, les auteurs cherchent à fixer un terrain d'évaluation commun, et sa diffusion, ainsi que celle des données de démonstration, dira si d'autres équipes l'adoptent. Les suites logiques sont des essais sur plateformes mobiles réelles, une comparaison avec davantage de méthodes concurrentes et une intégration dans des systèmes de navigation plus larges. Il s'agit à ce stade d'une publication de recherche (arXiv, version 1), sans produit ni déploiement commercial annoncé.

RecherchePaper

1 source

4arXiv cs.RO

Video Assessment Conditionnée par l'Action et le Langage pour le Contrôle Incarné

ALVA, pour Action- and Language-Conditioned Video Assessment, est une méthode d'évaluation de trajectoires présentée dans une prépublication arXiv d'août 2026 (référence 2608.08273), qui vérifie si un agent robotique a réellement exécuté une instruction en langage naturel donnée en plusieurs étapes. Le système s'appuie sur un modèle vision-langage pré-entraîné en deux temps : il résume d'abord les transitions visuelles conditionnées sur les actions exécutées, puis confronte ce résumé à l'instruction pour produire un score discret de progression sur la trajectoire. Testé dans des environnements domestiques 3D simulés, ALVA se montre conservateur, avec un taux de faux positifs proche de zéro, et utilisé comme récompense terminale pour l'optimisation de politiques, il surpasse les références fondées sur l'image finale ou la similarité d'embeddings et réduit l'écart avec un oracle de vérité terrain. Ce travail s'attaque à un point faible connu de l'apprentissage par renforcement pour agents suivant des instructions : concevoir une récompense fiable capable de détecter si une tâche multi-étapes est vraiment accomplie, sans se laisser tromper par des états visuellement proches mais fonctionnellement incorrects. Pour les équipes qui entraînent des politiques VLA (vision-language-action), un évaluateur conservateur, quitte à sous-noter certaines réussites, limite le risque qu'un agent apprenne à exploiter les failles d'une récompense trop permissive et conforte l'idée que des VLM généralistes peuvent servir de juges interprétables pour le contrôle robotique. Ces résultats restent toutefois circonscrits à des environnements simulés, sans validation sur robot physique, ce qui limite pour l'instant leur portée industrielle directe. La démarche s'inscrit dans un courant de recherche plus large visant à remplacer les récompenses figées, fondées sur l'appariement de l'image finale ou la distance d'embedding, par des juges basés sur des modèles de fondation capables de raisonner sur une trajectoire complète et le langage de la consigne. Cette prépublication arXiv n'a pas encore été relue par les pairs et ne compare pas ALVA à des systèmes commerciaux. Les auteurs le présentent comme un mécanisme de feedback interprétable pour les tâches de contrôle robotique simulées étudiées, laissant ouverte son extension à des tâches plus complexes ou à des robots réels, étape logique mais non annoncée à ce stade.

RecherchePaper

1 source