Aller au contenu principal
Attention spatiale : adapter les horizons d'exécution des politiques de diffusion via la sensibilité à l'observationIllustration générée par IA
RecherchearXiv cs.RO 

Attention spatiale : adapter les horizons d'exécution des politiques de diffusion via la sensibilité à l'observation

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Les chercheurs à l'origine de ce papier arXiv (2607.04739v1) s'attaquent à un problème central des politiques robotiques par imitation basées sur des modèles génératifs : l'échantillonnage de blocs d'actions ("action chunks") via diffusion. Ces méthodes, aujourd'hui largement utilisées pour l'apprentissage par démonstration, exécutent généralement chaque bloc d'actions pendant un horizon fixe, ce qui oblige à choisir entre réactivité et coût de calcul. Les auteurs proposent une métrique baptisée "Spatial Attention", définie comme la norme carrée attendue du gradient de la log-vraisemblance de l'action par rapport à l'observation. Elle mesure la sensibilité de la distribution d'actions de la politique aux variations de l'observation. Leur résultat théorique montre que, à budget d'échantillonnage fixe, l'horizon d'exécution qui minimise la perte de vraisemblance cumulée causée par des perturbations diminue quand la Spatial Attention augmente. En prévoyant les valeurs futures de cette métrique en parallèle du bloc d'actions, le système ajuste dynamiquement l'horizon : plus court dans les phases sensibles, plus long dans les phases stables. Des tests en simulation et sur robot réel, sur tâches standards et perturbées, montrent une amélioration significative des taux de succès par rapport aux méthodes à horizon fixe, à horizon moyen d'exécution comparable.

Pour l'industrie robotique, ce travail cible un compromis très concret rencontré par les architectures VLA et de type Diffusion Policy (ACT, Pi-0, RT-2 et consorts) : plus un bloc d'actions est long, moins le système coûte cher en inférence, mais plus il devient vulnérable aux imprévus entre deux replanifications. Une adaptation automatique de cet horizon, sans capteur supplémentaire ni coût de calcul additionnel notable, pourrait rendre les politiques de diffusion plus robustes en environnement réel, un enjeu clé pour tout déploiement en usine ou en logistique où les perturbations sont fréquentes.

Ce papier s'inscrit dans la lignée des travaux sur les Diffusion Policies et l'apprentissage par imitation à base de modèles génératifs, un courant de recherche en forte expansion depuis l'introduction de l'action chunking comme alternative aux politiques réactives image-par-image. L'abstract ne précise ni l'institution ni la plateforme robotique utilisée pour les essais réels, et reste pour l'instant au stade de contribution méthodologique validée expérimentalement, sans annonce de déploiement industriel.

Dans nos dossiers

À lire aussi

Certifier puis sélectionner : pilotage à l'exécution, sensible à la viabilité, de politiques de diffusion figées
Illustration générée par IA
1arXiv cs.RO 

Certifier puis sélectionner : pilotage à l'exécution, sensible à la viabilité, de politiques de diffusion figées

Des chercheurs proposent CAST (Certified Action Selection at Test time), une méthode de pilotage à l'exécution pour les politiques de diffusion, ces modèles qui génèrent de courtes séquences d'actions en débruitant un bruit aléatoire et qui comptent parmi les approches dominantes pour apprendre des compétences robotiques à partir de démonstrations. Le principe : tirer quelques séquences d'actions (« chunks ») de la politique gelée, certifier chacune par une condition de barrière, puis exécuter parmi les chunks certifiés celui qu'un ensemble de fonctions de valeur apprises classe en tête. Une variante, CAST-V, ajoute une notion de viabilité conditionnée par la politique, estimée soit avec un modèle sous garantie à échantillon fini, soit apprise à partir des journaux du contrôleur (CAST-VL). Les tests couvrent la manipulation robomimic, un quadrirotor planaire, un humanoïde MuJoCo et un monocycle, toujours avec des politiques gelées. CAST améliore le taux de réussite conjoint tâche et contraintes par rapport au filtre appliqué en sortie dans presque tous les cas, et la viabilité élimine l'essentiel des impasses que la certification à un pas ne détecte pas. L'enjeu est très concret pour qui déploie des politiques apprises : une fois en production, elles rencontrent des contraintes absentes des démonstrations (zones interdites, limites de vitesse, obstacles), et réentraîner pour chacune est impraticable. Le filtre de sécurité classique corrige l'action sans tenir compte de la tâche, et une correction importante peut laisser le robot dans un état d'où la politique ne sait plus poursuivre. CAST déplace la sécurité de la correction vers la sélection : on ne modifie plus l'action, on choisit parmi des actions que la politique aurait elle-même pu produire. Les auteurs démontrent qu'un pas certifié reste sûr quel que soit le critique, et que le chunk exécuté reste à moins de log N nats de la politique conditionnée à la faisabilité, alors qu'une projection peut en être singulièrement éloignée. Pour un intégrateur, cela suggère une couche de sécurité ajoutable après coup, sans réentraînement. Les réserves sont claires : les garanties portent sur des conditions de barrière que l'utilisateur doit savoir spécifier, et les validations restent en simulation, sur des systèmes de petite dimension ou des benchmarks académiques, sans essai sur robot réel mentionné. Le travail s'inscrit dans la montée des politiques de diffusion et des modèles vision-langage-action, dont la fiabilité hors distribution demeure le principal frein industriel. Il s'oppose aux filtres de sécurité à base de fonctions de barrière de contrôle, qui projettent l'action, et complète les approches de sélection au moment du test. Les auteurs identifient aussi une limite structurelle : certifier le prochain chunk ne suffit pas, car un contrôleur génératif peut disposer d'actions sûres maintenant et plus aucune plus tard, d'où la caractérisation de l'autorité de contrôle sûre d'une politique gelée sous échantillonnage fini. Les prochaines étapes naturelles seraient le passage à des plateformes physiques, des dimensions d'état plus élevées et des politiques de plus grande taille, où le coût de l'échantillonnage de plusieurs chunks et de leur certification en temps réel sera déterminant. Une page de projet accompagne la publication.

RecherchePaper
1 source
Guidage d'évitement d'obstacles couplé à l'horizon pour les politiques de diffusion à actions relatives
Illustration générée par IA
2arXiv cs.RO 

Guidage d'évitement d'obstacles couplé à l'horizon pour les politiques de diffusion à actions relatives

Des chercheurs proposent un cadre de guidage d'évitement d'obstacles appliqué à l'inférence, conçu pour les politiques de diffusion préentraînées qui produisent des actions relatives (arXiv 2611.09340). L'objectif est d'adapter une politique apprise à des obstacles inédits sans collecter de nouvelles démonstrations ni réentraîner le modèle. La méthode déroule les actions relatives cumulées en une trajectoire dans l'espace de travail, évalue les interactions avec les obstacles le long de cette trajectoire grâce à un modèle d'obstacles fondé sur des fonctions de distance signée (SDF), puis répercute chaque correction sur tous les incréments d'action qui y contribuent pendant le débruitage. Les essais sur robot réel couvrent sept scénarios contraints par des obstacles, répartis sur quatre tâches de manipulation. Le cadre atteint 105 succès sans collision sur 140 essais (75,0 %), contre 8 sur 140 (5,7 %) pour un guidage ponctuel en actions absolues. Les ablations indiquent que la formulation en actions relatives couplées à l'horizon explique l'essentiel du gain, avec les deux types de modèles d'obstacles testés. L'intérêt tient à un point de blocage concret du déploiement. Une politique de manipulation imitée à partir de démonstrations se comporte bien dans son environnement d'entraînement, mais la moindre obstruction imprévue (un objet posé sur la table, un équipement ajouté sur la cellule) impose en général de nouvelles démonstrations ou un réentraînement. Un correctif appliqué à l'inférence, sans données supplémentaires, réduirait ce coût pour les intégrateurs. L'écart de 75 % contre 5,7 % montre aussi que corriger chaque pas de l'horizon séparément ne suffit pas. Cela peut résoudre une violation locale sans produire un contournement cohérent qui mène encore à la tâche. Il faut toutefois rester prudent: il s'agit d'un preprint, sans relecture par les pairs à ce stade. Le protocole (140 essais, soit 20 par scénario en moyenne) reste de taille modeste, et la base de comparaison est un seul guidage ponctuel en actions absolues. Les résultats ne disent rien sur des obstacles mobiles, des scènes encombrées ou des cadences industrielles. Par ailleurs, 25 % d'échecs restent trop élevés pour un usage en production sans supervision. Ce travail s'inscrit dans la montée des politiques de diffusion pour la manipulation, popularisées par Diffusion Policy puis intégrées à des modèles vision-langage-action (VLA) comme Pi-0. Le guidage à l'inférence, inspiré du guidage par classifieur ou par fonction de coût en génération d'images, permet d'injecter des contraintes sans modifier les poids. Les précédentes approches de ce type corrigeaient les actions point par point sur l'horizon prédit, ce que l'article cherche précisément à dépasser. Le texte disponible ne précise ni les noms des tâches, ni le robot utilisé, ni le code ou un calendrier de diffusion. Les suites logiques seraient une validation sur des politiques généralistes plus grandes, des obstacles dynamiques et une évaluation par des tiers, pour savoir si cette approche passe de la démonstration de laboratoire à un composant fiable des chaînes de manipulation industrielles.

RecherchePaper
1 source
ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions
Illustration générée par IA
3arXiv cs.RO 

ChunkTrust : adapter les horizons d'exécution des politiques robotiques grâce aux indices de l'expert en actions

Les politiques robotiques de type « foundation model » prédisent des séquences d'actions (action chunks), mais le nombre d'actions à exécuter avant de replanifier reste généralement un hyperparamètre fixe. Une équipe académique, dont le projet est hébergé sur Hugging Face, publie sur arXiv ChunkTrust, un cadre qui traite cet horizon d'exécution comme une variable latente, inférée à partir des signaux internes de l'action expert. Son composant central, l'Action-aware Horizon Selector (AHS), ne demande aucun entraînement. Il combine la stabilité spectrale intra-chunk des traces de génération avec la continuité inter-chunk entre l'historique exécuté et les actions prédites. Un posterior Beta en ligne, avec oubli par noyau, suit les préférences d'horizon d'une replanification à l'autre. Un module optionnel léger, le Query-based Horizon Adapter (QHA), apprend un a priori dense conditionné par le contexte, tandis que la politique de base reste gelée. Sur RoboTwin2.0 (50 tâches), l'AHS gagne 6,80 points de succès sur π0.5. Sur RoboCasa GR1 Tabletop, il gagne 9,67 points sur Qwen3GR00T. Avec QHA, le gain monte à 9,44 points sur un sous-ensemble de huit tâches avec π0.5. Sur quatre tâches domestiques réelles, le score de processus normalisé moyen passe de 50,4 % à 57,5 %. L'intérêt pratique tient à ce que le réglage de l'horizon d'exécution est souvent traité comme un détail de déploiement, alors qu'il pèse directement sur la réussite. Un horizon long donne des mouvements fluides, mais il réagit mal aux perturbations. Un horizon court est plus réactif, mais plus saccadé et plus coûteux en calcul. Obtenir un gain sans réentraîner ni modifier le modèle de base est précieux pour les intégrateurs, qui peuvent amender des politiques existantes sans repasser par la collecte de données. Le gain mesuré en conditions réelles est plus modeste que celui des simulateurs, avec +7,1 points sur un score de processus. Cet écart rappelle que les benchmarks simulés surestiment souvent les progrès transférables. Seules quatre tâches réelles sont évaluées, et l'article ne détaille ni la taille des essais ni la variance. Ces résultats restent donc des indications, pas une validation à l'échelle. Ce travail s'inscrit dans la lignée des méthodes de découpage d'actions (action chunking) et de commande à horizon glissant, popularisées par ACT et les politiques de diffusion, puis reprises par les modèles VLA comme π0.5 de Physical Intelligence et la famille GR00T de NVIDIA. Il rejoint d'autres travaux sur l'exécution asynchrone et le lissage des transitions entre chunks, qui visent à réduire les à-coups lors de la replanification. Aucun déploiement industriel ni calendrier de pilote n'est annoncé, il s'agit d'une prépublication v1 non évaluée par les pairs. La suite logique consisterait à valider l'approche sur davantage de plateformes, de tâches longues et de politiques à architectures variées, ainsi qu'à mesurer le surcoût de latence de l'AHS et du QHA en boucle fermée.

RecherchePaper
1 source
Diffusion de politique multimodale asynchrone via fusion de guidage sensible à la latence
Illustration générée par IA
4arXiv cs.RO 

Diffusion de politique multimodale asynchrone via fusion de guidage sensible à la latence

Des chercheurs ont publié le 24 juillet un article arXiv (2607.17257v1) présentant LAG-Fusion, un framework de fusion multimodale pour les politiques de diffusion utilisées en apprentissage par imitation robotique. Le problème visé : les architectures multimodales actuelles combinent vision, force et autres capteurs via une fusion synchrone ou des architectures multi-fréquences conçues manuellement, ce qui ralentit le retour haute fréquence ou limite l'ajout de nouvelles modalités. LAG-Fusion permet à chaque politique spécifique à une modalité de tourner à sa propre cadence d'inférence et d'injecter sa guidance de débruitage dès qu'elle est disponible, sans attendre les autres flux. L'innovation technique centrale est une règle de recalage du référentiel pour les variables de diffusion exprimées en représentations d'action relatives, ce qui permet d'aligner une guidance arrivée en retard avant de la fusionner avec le reste. Les chercheurs ont testé l'approche sur une tâche de manipulation à contact riche, en combinant une politique vision basse fréquence avec une politique force haute fréquence. Sous des latences hétérogènes entre modalités, LAG-Fusion améliore la réactivité de la politique et la performance de la tâche par rapport à une fusion synchrone classique et à des bases de référence spécifiquement conçues pour intégrer la force. Pour l'industrie robotique, ce travail touche un point de friction bien réel dans le déploiement de politiques génératives type diffusion ou VLA sur des bras manipulateurs : dès qu'on ajoute un capteur de force ou tactile pour des tâches d'assemblage ou d'insertion, la cadence de la caméra (souvent 10 à 30 Hz) et celle du capteur de force (potentiellement 100 Hz et plus) imposent des compromis douloureux, soit en bridant le capteur rapide au rythme du plus lent, soit en construisant une architecture ad hoc peu réutilisable. Une méthode générique qui laisse chaque modalité tourner à sa vitesse native, sans repenser l'architecture à chaque nouvelle combinaison de capteurs, s'attaque directement à un frein à l'extensibilité que rencontrent les intégrateurs travaillant sur la manipulation fine (assemblage électronique, insertion de connecteurs, tri fragile). Cela reste toutefois un résultat validé sur une seule paire de modalités et une tâche contrôlée en laboratoire, loin d'une brique prête à industrialiser. Les politiques de diffusion se sont imposées ces deux dernières années comme l'une des approches dominantes de l'apprentissage par imitation en robotique, aux côtés de modèles vision-langage-action comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI, qui fusionnent eux aussi plusieurs signaux capteurs mais généralement à une cadence unique et synchronisée. La fusion asynchrone multi-fréquence reste peu explorée dans la littérature, la plupart des travaux traitant chaque capteur additionnel comme un module séparé nécessitant un réglage manuel. Le résumé ne précise ni publication de code ou de poids, ni application industrielle prévue à court terme ; l'article, encore non révisé par les pairs, ouvre surtout une piste pour de futurs travaux combinant tactile, force et vision sur des tâches à contact riche, un axe stratégique pour les humanoïdes et bras collaboratifs visant l'assemblage fin.

RecherchePaper
1 source