RecherchearXiv cs.RO 21 octobre 2026

PACT-VLA : vérification spéculative de segments d'actions grâce aux observations pré-engagement

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

Les politiques vision-langage-action (VLA) déployées sur robot réel tournent le plus souvent en inférence asynchrone: le prochain « chunk » d'actions (une séquence d'actions prédite d'un bloc) est calculé pendant que le robot exécute le précédent. Au moment où il est validé, la scène a évolué et le chunk repose sur une observation périmée, ce qui fait chuter le taux de réussite quand le délai d'inférence augmente. Des chercheurs proposent PACT-VLA, un cadre sans entraînement qui génère plusieurs chunks candidats à partir de l'observation du début d'inférence, puis en choisit un à l'aide d'une observation plus récente, captée juste avant la validation. Le score, nommé FlowRes, mesure l'écart entre la direction de flux impliquée par chaque candidat et la vitesse prédite par la politique gelée sur la nouvelle observation, sans vérificateur séparé. Une implémentation en pipeline recouvre le traitement des observations et la génération, et groupe le scoring par lots, si bien que la sélection n'ajoute aucun délai de contrôle sur le matériel évalué. Avec un délai de quatre pas, PACT-VLA gagne 15,0 points de réussite moyenne sur RTC dans Kinetix, et 5,2 points sur l'exécution asynchrone à candidat unique avec GR00T N1.7 sur LIBERO. Sur trois tâches réelles, avec le même checkpoint π0.5 gelé, la réussite moyenne passe de 60 % à 82 % face à l'asynchrone naïf.

L'intérêt tient à la reformulation: le délai d'inférence, d'ordinaire subi, devient un temps de décision. Pour un intégrateur, la latence est l'un des écarts concrets entre démonstration et exploitation, surtout avec des modèles de grande taille tournant sur des calculateurs embarqués ou déportés. Une méthode qui se greffe sur un modèle existant, sans réentraînement ni vérificateur dédié, abaisse le coût d'adoption et se combine avec les méthodes robustes au délai: les auteurs indiquent qu'elle les améliore aussi. Les réserves sont classiques: les résultats viennent de simulation (Kinetix, LIBERO) et de seulement trois tâches réelles, sans précision dans ce résumé sur le nombre d'essais, la plateforme ou les variations de scène. L'absence de délai supplémentaire n'est démontrée que sur le matériel testé, et la génération de plusieurs candidats a un coût de calcul et de mémoire qui reste à chiffrer sur des plateformes contraintes.

Ces travaux s'inscrivent dans la recherche sur l'exécution temps réel des politiques à base de flow matching ou de diffusion, dont RTC (real-time chunking) est la référence citée, face aux approches multi-candidats critiquées ici pour leur notation sur observation périmée ou leurs changements de candidat en cours d'exécution, sources de discontinuités. Le choix de π0.5 et de GR00T N1.7 montre que la méthode vise les familles de VLA actuelles, des modèles ouverts ou accessibles en poids, par opposition aux piles propriétaires fermées. La suite logique serait une validation sur des tâches plus longues et des plateformes variées, notamment humanoïdes ou mobiles, où les délais sont plus pénalisants, ainsi qu'une mise à disposition du code. Il s'agit pour l'instant d'un préprint, non évalué par les pairs.

Dans nos dossiers

IA physique & VLA NVIDIA GR00T Physical Intelligence — π0

À lire aussi

1arXiv cs.RO

Vérification prédictive alignée sur la politique pour l'exécution adaptative de blocs d'actions VLA

Des chercheurs proposent un vérificateur prédictif aligné sur la politique, baptisé PAV (policy-aligned prédictive vérifier), pour décider combien d'une séquence d'actions générée par un modèle vision-langage-action (VLA) doit être exécuté avant de relancer l'inférence. Ces modèles produisent des « action chunks », des blocs d'actions qui évitent d'appeler le réseau à chaque pas de contrôle, mais la longueur du segment exécuté pèse directement sur le taux de réussite. Le PAV anticipe les conséquences de chaque préfixe d'actions candidat et estime, avant exécution, s'il reste compatible avec une poursuite réussie de la tâche. Il travaille dans l'espace de représentation interne du VLA, conditionné par la tâche, et n'utilise pas la prédiction du futur pour générer des actions mais pour évaluer celles déjà proposées. L'entraînement combine une supervision de « survie » au niveau de la trajectoire, déduite des seuls résultats terminaux, et un a priori de localisation qui préserve les comportements utiles au sein des essais échoués. Les scores de validité obtenus pilotent le choix de l'horizon d'exécution. Les tests portent sur pi0 et pi0.5 de Physical Intelligence, sur les benchmarks LIBERO et RoboTwin 2.0 ainsi que sur des tâches de manipulation réelles. Le résumé annonce de meilleurs compromis entre taux de succès et nombre de requêtes au modèle, mais ne donne aucun chiffre. L'enjeu est très concret pour les intégrateurs et les équipes qui déploient des VLA. Chaque inférence d'un grand modèle coûte du temps de calcul, de la latence et de l'énergie, surtout en embarqué. Exécuter de longs segments sans revérifier réduit ces coûts, mais augmente le risque de dérive quand la scène change. Les méthodes adaptatives actuelles s'appuient sur la stabilité de la génération ou sur l'accord entre prédictions, des signaux qui ne disent pas si l'exécution d'un préfixe laisse la tâche réalisable. Le travail soutient qu'il faut juger la validité d'une action plutôt que la confiance du modèle. Il suggère aussi un autre usage de la prédiction du futur : calibrer la confiance accordée à une politique plutôt que produire de nouvelles actions. Si cela tient à l'échelle, on peut espérer plus de robustesse à coût de calcul constant, sans réentraîner le VLA de base. Le contexte est celui d'une course à l'efficacité des VLA, où le découpage en action chunks, popularisé par ACT puis par les modèles pi0 et pi0.5, est devenu standard. Il laisse ouverte la question de l'horizon optimal, que la plupart des systèmes fixent encore à la main. Ce travail s'ajoute aux approches d'exécution adaptative et de vérification, au moment où les acteurs du secteur cherchent à fiabiliser leurs modèles hors démonstration. Il s'agit d'une prépublication arXiv sans relecture par les pairs, et les benchmarks de simulation pèsent peu face aux conditions d'usine. L'évaluation réelle n'est décrite que brièvement, sans détail sur les tâches ou le nombre d'essais, ce qui invite à la prudence tant que le code, les chiffres complets et des validations indépendantes ne sont pas disponibles.

RecherchePaper

1 source

2arXiv cs.RO

Regarder avant d'agir : relier perception active et modèles vision-langage-action (VLA) par l'adaptation de données alignées sur les observations

Des chercheurs proposent ActiveAlign, un cadre d'adaptation de données qui relie la perception active (déplacer la caméra pour voir une cible occultée) aux modèles Vision-Language-Action (VLA). Le problème identifié, baptisé « sensibilité à la distribution de la première image », est mesuré sur le benchmark de simulation LIBERO : lorsqu'on ajoute naïvement une phase de repositionnement de caméra devant pi0.5, le taux de succès chute de 46,3 % à 11,5 % sous départs perturbés. ActiveAlign procède en trois temps. Un module de point de vue génère d'abord une trajectoire de caméra. Hors ligne, un alignement en boucle fermée raccorde ensuite le point d'arrivée de cette trajectoire à une démonstration existante, rejoue la suite de la manipulation et ne conserve que les continuations réussies pour le fine-tuning. Au déploiement, le même module précède le VLA adapté, dont l'architecture reste inchangée. Sur 40 tâches LIBERO, la méthode atteint 70,7 % de succès avec pi0 et 72,7 % avec pi_0.5, soit +40,0 et +26,4 points face à l'entraînement standard. En conditions réelles d'occultation physique, le succès passe de 35/90 à 83/90. Le résultat compte parce qu'il isole une cause précise d'échec que beaucoup d'équipes rencontrent sans la nommer : brancher une caméra active sur une politique de manipulation préentraînée ne suffit pas, car le mouvement de caméra place le robot dans des états initiaux hors de la distribution d'entraînement. Le gain ne vient donc pas de la perception active seule, mais de l'alignement entre les données d'entraînement et les états où la recherche de point de vue s'arrête. Pour les intégrateurs travaillant sur du bin-picking ou des étagères encombrées, c'est une piste pragmatique : elle réutilise des démonstrations existantes sans changer l'architecture du VLA ni collecter de nouvelles téléopérations. Les contrôles à états appariés et à données appariées écartent l'explication par un simple raccourcissement des trajectoires ou par une augmentation générique de points de vue. La même tendance apparaît avec OpenVLA et GR00T N1, ce qui suggère une portée plus large que la seule famille pi. Quelques réserves s'imposent. Les chiffres principaux proviennent de LIBERO, un benchmark simulé aux scènes relativement standardisées, et l'évaluation réelle (90 essais) reste limitée en taille, sans indication ici sur la diversité des objets ni des scènes. Le travail s'inscrit dans la course aux VLA généralistes (pi0 et pi0.5 de Physical Intelligence, GR00T de NVIDIA, OpenVLA), qui supposent le plus souvent des caméras fixes ou montées au poignet. ActiveAlign montre qu'un levier de robustesse se situe dans l'adaptation des données plutôt que dans l'agrandissement des modèles. Les suites naturelles seraient des tests sur des plateformes mobiles, des scènes plus denses et des modèles plus récents que GR00T N1, ainsi qu'une mesure du coût en temps de cycle du repositionnement, que l'étude ne chiffre pas ici.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

VeriVLA : vérification adaptative au moment du test pour les VLA à flux, avec modèles du monde latents

Des chercheurs proposent VeriVLA, une méthode de vérification au moment de l'inférence pour les politiques Vision-Language-Action (VLA) à base de flow matching, publiée sur arXiv (2610.21985). Le point de départ est que ces politiques sont stochastiques: selon la graine de bruit, une même observation produit des séquences d'actions (« action chunks ») de qualité très variable, alors que le robot exécute en pratique un seul échantillon, sans estimation de sa qualité. VeriVLA ajoute un déclencheur sans entraînement, à deux axes. À partir de deux échantillons initiaux, il mesure la variation temporelle au sein d'un chunk et la variance entre échantillons, afin de repérer les états critiques. Une fois le déclencheur activé, un modèle de monde latent de type JEPA classe les candidats en prédisant les états latents futurs conditionnés par les actions, ainsi que l'évolution de la progression de la tâche. Le travail dans l'espace latent évite toute reconstruction de pixels. Sur trois tâches réelles (insertion de stylo, pipetage, placement de pomme), le score moyen d'achèvement passe de 50,8 % à 65,5 %. Le surcoût est de 326 ms par décision déclenchée sur une seule RTX 4090. En simulation, le taux de succès passe de 66,4 % à 73,6 % sur RoboTwin 2.0 en configuration propre, de 62,8 % à 69,6 % en configuration randomisée, et de 96,9 % à 97,6 % sur LIBERO. L'intérêt est double pour les équipes qui déploient des VLA. D'abord, la méthode améliore des politiques existantes sans les réentraîner, ce qui en fait un module ajoutable à un modèle déjà en production. Ensuite, elle cible la manipulation fine, là où une seule action ratée peut rendre une tâche irrécupérable: un gain d'environ 15 points en conditions réelles pèse davantage qu'un gain à l'échelle d'un benchmark. Le déclenchement adaptatif compte aussi, car la vérification n'est payée que dans les moments risqués, ce qui limite le coût de calcul sur la boucle de contrôle. Les résultats appellent toutefois la prudence. Les gains en simulation sont modestes, et ils sont quasi nuls sur LIBERO, déjà proche de la saturation à 96,9 %. Les expériences réelles ne portent que sur trois tâches, avec une seule configuration matérielle, et le papier ne précise pas ici le nombre d'essais ni la variabilité. Un surcoût de 326 ms reste notable pour des tâches dynamiques. Il est acceptable pour l'insertion ou le pipetage, moins pour des gestes rapides. Ce travail s'inscrit dans une tendance où l'on fait du calcul supplémentaire à l'inférence (échantillonnage multiple, vérificateurs, modèles de monde) pour améliorer des VLA basés sur le flow matching, de la famille de Pi-0, au lieu de seulement augmenter les données et la taille des modèles. Il rejoint l'usage de JEPA, l'architecture prédictive latente portée par Meta, comme brique de modèle de monde. Les concurrents directs sont les approches de type best-of-N avec fonction de valeur ou critique apprise, et les méthodes de planification par modèles de monde générant des vidéos, plus coûteuses car elles passent par les pixels. La suite logique serait de tester VeriVLA sur d'autres politiques et sur des robots plus variés, y compris des humanoïdes, et de mesurer la robustesse sur de longs horizons. Il s'agit à ce stade d'une publication de recherche, sans produit ni déploiement industriel annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

SEAM : exécution fluide de mouvements segmentés en actions pour les politiques vision-langage-action (VLA)

Une équipe de recherche publie SEAM (Smooth Execution of Action-Chunked Motion), une méthode d'inférence sans entraînement destinée aux politiques Vision-Language-Action (VLA) à appariement de flux (flow matching), décrite dans un article déposé sur arXiv (2607.04609). Testée sur le benchmark de simulation LIBERO-10 avec le modèle pi0.5 de Physical Intelligence, la méthode réduit de 28% les à-coups (jerk) aux frontières entre segments de trajectoire et de 27% la discontinuité de transition entre ces segments, tout en préservant le taux de réussite des tâches et en ajoutant un coût de calcul quasi nul par rapport à la version non guidée. Son mécanisme central, le Velocity-guided Loss Steering (VLS), exploite le fait que la fin non exécutée du segment précédent reste disponible comme référence de cohérence une fois le préfixe consommé par le robot, et applique une correction analytique après chaque étape d'Euler sans rétropropager dans le réseau. Le problème visé, la bifurcation multimodale, touche toutes les architectures VLA qui découpent leurs actions en segments de longueur fixe pour limiter la fréquence d'inférence, une approche partagée par des modèles comme pi0, GR00T N2 ou Helix. Quand deux segments adjacents, générés à partir de latents gaussiens indépendants, convergent vers des modes de trajectoire incompatibles, le robot produit des à-coups brusques aux jonctions, un symptôme visible de l'écart entre démonstration et exécution réelle. Les solutions existantes, rétropropagation à chaque étape de débruitage, échantillonnage par rejet ou réentraînement complet, imposaient toutes un compromis entre coût de calcul et fiabilité des tâches. Une correction déployable à l'inférence, sans toucher aux poids du modèle, intéresse directement les intégrateurs qui opèrent des politiques VLA figées sur du matériel de production. L'évaluation reste toutefois cantonnée à la simulation LIBERO-10, un banc d'essai standard mais éloigné des conditions réelles d'un bras ou d'un humanoïde en usine. La validation sur matériel physique et l'extension à d'autres politiques que pi_0.5 constituent les étapes naturelles avant toute adoption industrielle.

RechercheActu

1 source