Aller au contenu principal
Génération de commandes tenant compte du contrôle pour une exécution asynchrone et une inférence d'actions avec politiques visuelles plus rapidesIllustration générée par IA
RecherchearXiv cs.RO 

Génération de commandes tenant compte du contrôle pour une exécution asynchrone et une inférence d'actions avec politiques visuelles plus rapides

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Une équipe de chercheurs publie sur arXiv (identifiant 2611.11089, version 2) un cadre logiciel qui accélère l'exécution des politiques de contrôle basées sur la vision, y compris les modèles vision-langage-action (VLA), sans toucher à leur apprentissage. Le principe repose sur une architecture asynchrone : l'inférence du modèle, coûteuse en calcul, tourne en parallèle du contrôle moteur au lieu de le bloquer. Le problème central est que les prédictions du modèle arrivent de façon discontinue, ce qui provoque des à-coups si on les envoie telles quelles au robot. Les auteurs le reformulent comme un problème de poursuite de trajectoire (tracking control) : ils génèrent des positions cibles continues à partir de ces sorties discrètes. Une seconde brique, le saut d'actions adaptatif (adaptive action skipping), saute certaines actions en se basant sur la variance des positions prédites, c'est-à-dire sur le degré d'incertitude du modèle. Les tests ont été menés sur un robot bimanuel avec deux politiques, Action Chunking Transformer (ACT) et OpenVLA-OFT. Les auteurs annoncent des gains de vitesse substantiels avec un taux de réussite des tâches resté élevé, sans fournir dans le résumé de facteur d'accélération chiffré ni de liste de tâches.

L'intérêt pour l'industrie est pragmatique : la lenteur d'exécution est l'un des freins les plus concrets au passage des VLA de la démonstration à la production. Un robot qui s'arrête pour « réfléchir » entre deux séquences d'actions, ou dont la cadence est plafonnée par la latence d'inférence, a un temps de cycle incompatible avec les exigences d'un site logistique ou d'une ligne d'assemblage. Le fait d'agir uniquement au niveau du contrôle, sans réentraîner ni modifier le modèle, rend l'approche potentiellement applicable à des politiques existantes, ce qui intéresse les intégrateurs qui n'ont pas la main sur les poids des modèles. Cela nuance aussi l'idée que seule une montée en puissance de calcul ou de nouvelles architectures résoudra la vitesse : une partie du fossé entre démo et réalité se joue dans l'ingénierie de la couche de commande. Il faut toutefois rester prudent : les résultats portent sur une seule plateforme bimanuelle de laboratoire, avec deux politiques, et le résumé ne précise ni les temps de cycle absolus ni la robustesse en environnement non contrôlé. Il s'agit d'un travail de recherche, pas d'un produit ni d'un déploiement.

Ce travail s'inscrit dans une série de efforts pour réduire la latence des VLA. ACT, popularisé avec les systèmes ALOHA, a introduit la prédiction de séquences d'actions (action chunking) pour lisser l'exécution, tandis qu'OpenVLA-OFT est une variante affinée d'OpenVLA visant une inférence plus rapide et un meilleur contrôle fin. Du côté industriel, Physical Intelligence avec Pi-0, NVIDIA avec GR00T et Figure avec Helix explorent des architectures à double système ou de l'inférence en temps réel, souvent par des changements de modèle plutôt que de contrôle. L'approche décrite ici est complémentaire de ces pistes. Les suites logiques seraient des validations sur d'autres robots, des tâches plus longues et des politiques plus lourdes, ainsi qu'une comparaison chiffrée avec les méthodes d'inférence asynchrone déjà utilisées dans les piles robotiques récentes. Aucun partenaire industriel ni calendrier de transfert n'est mentionné.

À lire aussi

Évaluation comparative de modèles génératifs de trajectoires pour le contrôle par inférence active
Illustration générée par IA
1arXiv cs.RO 

Évaluation comparative de modèles génératifs de trajectoires pour le contrôle par inférence active

Des chercheurs publient sur arXiv (2610.05692, deuxième version) GenAIF, un cadre de commande par inférence active générative. Un seul modèle génératif de trajectoires, entraîné sur des démonstrations et des interventions d'action mesurées, fournit deux éléments. Le premier est une politique conditionnée par un objectif. Le second est une correspondance probabiliste entre états et observations. Les auteurs en tirent trois exigences pour le modèle: des propositions d'actions utiles, une prédiction fidèle sous actions imposées, et une évidence d'observation probabiliste pour la mise à jour des croyances et le calcul du gain d'information attendu. Ils comparent quatre familles (diffusion, Transformers autorégressifs, autoencodeurs variationnels conditionnels ou CVAE, et flow matching) sur une tâche de manipulation MuJoCo avec plusieurs conditions physiques. La diffusion donne le meilleur contrôle sur toutes les dynamiques testées. Le CVAE offre une prédiction à court horizon comparable pour une inférence nettement plus rapide. Après un changement d'inclinaison non annoncé, la diffusion préentraînée met à jour sa croyance le plus vite parmi les modèles d'origine. Un fine-tuning sur des démonstrations de récupération accélère encore l'identification et maintient un suivi précis. Pour les équipes qui construisent des politiques apprises, le résultat chiffre un arbitrage concret entre qualité de contrôle et coût d'inférence. La diffusion est la plus performante mais la plus lourde, le CVAE est un compromis crédible quand la latence compte, et la réutilisation de trajectoires réduit le calcul. L'intérêt tient aussi à la capacité d'adaptation. Un modèle capable de dire quand ses observations contredisent ses prédictions peut détecter un changement physique, comme une charge ou une pente modifiée, sans modèle dynamique explicite. Les limites sont nettes: tout reste en simulation, sur une seule tâche, et le résumé ne donne aucun chiffre de taux de réussite ni de temps de calcul. L'écart simulation-réel n'est donc pas abordé, et il s'agit d'un travail académique, pas d'un produit. Le travail se situe au croisement de deux courants. Les politiques génératives dominent la manipulation apprise: Diffusion Policy, ACT (basé sur un CVAE) et Pi-0 (flow matching) en sont les références. L'inférence active, issue des neurosciences computationnelles, peine à s'imposer en robotique appliquée faute de modèles de dynamique exploitables. GenAIF propose de combler ce manque avec des modèles appris sur démonstrations. La suite logique passe par une validation sur robots physiques, davantage de tâches et des comparaisons directes avec les politiques de type VLA déjà déployées.

RecherchePaper
1 source
Décision interactive et exécution tenant compte des affordances pour des instructions ambiguës
Illustration générée par IA
2arXiv cs.RO 

Décision interactive et exécution tenant compte des affordances pour des instructions ambiguës

Des chercheurs proposent AIDE (Affordance-Aware Interactive Decision-Making and Execution for Ambiguous Instructions), un cadre logiciel destiné aux robots qui doivent agir dans des environnements inconnus à partir de consignes humaines ambiguës. L'exemple type est « j'ai soif » : le robot doit déduire par lui-même que des objets comme une tasse ou une boisson sont pertinents, puis aller les identifier en explorant la scène. L'architecture repose sur deux flux inspirés de la cognition humaine. Le premier, Multi-Stage Inference (MSI), joue le rôle de flux de décision, plus délibératif. Le second, Accelerated Decision-Making (ADM), assure l'exécution, de manière plus intuitive. Ensemble, ils permettent une analyse d'affordances (ce qu'un objet permet de faire) en zero-shot et l'interprétation d'instructions floues. Les auteurs annoncent, en simulation comme en conditions réelles, plus de 80 % de réussite en planification de tâches et plus de 95 % de précision d'exécution continue en boucle fermée à 10 Hz. Ils affirment dépasser les méthodes existantes fondées sur des modèles vision-langage (VLM) dans divers scénarios ouverts. Il s'agit d'un travail académique publié sur arXiv (version 2 du preprint 2602.05273), sans produit ni déploiement industriel associé. L'intérêt est surtout architectural. Les approches à base de VLM souffrent de deux limites : un raisonnement coûteux en temps d'inférence, incompatible avec la planification et l'exécution en temps réel, et une interaction limitée avec l'environnement, qui empêche de lever l'ambiguïté en allant regarder. En séparant un raisonnement lent et un exécuteur rapide cadencé à 10 Hz, AIDE vise le compromis que cherchent aussi les modèles vision-langage-action (VLA) à double système, où un modèle « lent » planifie et un contrôleur « rapide » agit. Pour un intégrateur ou un responsable d'exploitation, le sujet est concret : des opérateurs ne donnent pas des instructions formelles, et la capacité à résoudre l'ambiguïté sans reprogrammation conditionne l'usage en environnement non structuré. Il faut toutefois rester prudent. Le chiffre de 80 % de réussite en planification signifie encore un échec sur cinq tâches, ce qui reste loin des exigences industrielles. Le résumé ne précise ni la nature des tâches, ni le nombre d'essais, ni la plateforme robotique, ni les méthodes de référence utilisées pour la comparaison. Les 95 % portent sur la précision d'exécution, pas sur la réussite de bout en bout. Ce travail s'inscrit dans la vague des méthodes qui utilisent les VLM pour ancrer le langage dans la perception et l'action, après les approches fondées sur les affordances et les modèles de type Pi-0, Helix ou GR00T, qui cherchent eux aussi à marier raisonnement sémantique et contrôle à haute fréquence. La concurrence se joue autant dans les laboratoires académiques que chez les acteurs industriels comme Figure, Physical Intelligence ou NVIDIA. Aucune société européenne n'est mentionnée ici. La suite logique serait une validation sur des plateformes variées, avec des protocoles et des métriques publiés, avant tout transfert vers des pilotes. Aucun calendrier n'est annoncé.

RecherchePaper
1 source
BICPO-VLA : optimisation de préférence par continuation comportementale pour un contrôle VLA fluide et asynchrone
Illustration générée par IA
3arXiv cs.RO 

BICPO-VLA : optimisation de préférence par continuation comportementale pour un contrôle VLA fluide et asynchrone

BICPO-VLA (Behavior-Identified Continuation Preference Optimization), publié en août 2026 sur arXiv sous la référence 2608.13924v1, cible un problème précis des modèles vision-langage-action (VLA) en robotique temps réel : le délai entre la réception d'une nouvelle instruction et la prise de relais effective du nouveau bloc d'actions. Les auteurs isolent trois causes couplées : l'ambiguïté du comportement visé par la commande, la dérive physique accumulée pendant la génération, et l'incompatibilité résiduelle au moment de la bascule. Un encodeur d'historique causal identifie d'abord le comportement attendu, puis une décomposition séquentielle en ondelettes de Haar sépare chaque bloc d'actions en coefficients grossiers et résiduels, générés en deux étages spécialisés puis reconstruits exactement, ce qui raccourcit la fenêtre de mouvement avant que le nouveau bloc soit disponible. Enfin, le module BICPO recale les actions sortantes sur l'état réel de bascule et applique un Flow-DPO relatif à une référence, parmi des candidats de même comportement, pour corriger l'écart résiduel sans changer l'intention initiale. Ce travail répond à un point de friction connu des architectures VLA actuelles, qui génèrent l'action par blocs (action chunking) pour limiter la latence d'inférence : chaque frontière entre deux blocs peut produire un à-coup ou une incohérence de trajectoire, surtout quand une instruction arrive en cours d'exécution. Pour les équipes de recherche et les intégrateurs en robotique, cela touche l'écart entre démonstrations de laboratoire, où les transitions sont souvent masquées ou ralenties, et déploiement réel, où la continuité du mouvement conditionne la sécurité d'un robot évoluant près d'humains. En réduisant cette fenêtre d'incertitude entre commande et exécution, BICPO-VLA s'inscrit dans la tendance vers des systèmes VLA véritablement asynchrones et réactifs, jugée nécessaire pour des humanoïdes ou bras manipulateurs opérant en environnement dynamique plutôt qu'en cycles scriptés. La méthode s'inscrit dans la lignée des travaux récents sur le contrôle par blocs d'action, approche désormais répandue dans les architectures VLA mais qui introduit mécaniquement des points de rupture entre segments consécutifs. BICPO-VLA combine une analyse en ondelettes de Haar, technique classique de traitement du signal pour séparer composantes grossières et fines, avec l'optimisation de préférence directe adaptée aux modèles de flux (flow matching), une famille de méthodes d'alignement de plus en plus utilisée pour affiner des politiques d'action générées par diffusion. L'article ne mentionne ni implémentation sur un robot physique précis ni partenariat industriel ; il s'agit à ce stade d'une contribution méthodologique dont la validation sur plateformes matérielles réelles reste l'étape suivante.

RechercheActu
1 source
Esquisses proprioceptives comme intention à long terme pour des politiques d'action génératives
Illustration générée par IA
4arXiv cs.RO 

Esquisses proprioceptives comme intention à long terme pour des politiques d'action génératives

Des chercheurs proposent les Proprioceptive Action Models (PAM), une architecture de politique générative qui produit, dans un même transformer de débruitage (diffusion), deux sorties jointes : un « croquis » compact du chemin articulaire restant à parcourir, et un chunk d'actions dense directement exécutable. Le croquis est paramétré par l'abscisse curviligne (arc length) plutôt que par le temps, ce qui encode une intention géométrique indépendante du rythme d'exécution. Une attention block-causal et un calendrier de débruitage décalé (staggered) imposent une dépendance orientée du croquis vers les actions : les tokens d'action sont conditionnés sur un croquis de plus en plus propre au fil de l'échantillonnage. En simulation, PAM améliore ses équivalents « actions seules » sur Push-T et LIBERO-Long. Sur quatre tâches bimanuelles réelles, le taux de réussite passe de 47,5 % à 75,0 %. L'étude, publiée sur arXiv (2610.02759), est accompagnée d'une page projet. Aucun matériel commercial ni déploiement n'est annoncé : il s'agit d'un résultat de recherche. Le problème visé est bien connu des équipes qui déploient des politiques de type VLA ou diffusion : ces modèles prédisent des chunks d'actions courts et n'ont pas de représentation explicite de l'intention à long horizon, d'où des dérives ou des hésitations sur les tâches longues. Les solutions existantes (plans en langage, images de sous-buts, prévisions vidéo) sont coûteuses à générer et doivent encore être converties en mouvement robot. Prédire directement des trajectoires futures évite cette traduction, mais une trajectoire dense indexée sur le temps exige beaucoup de paramètres pour couvrir toute la tâche restante, et sur un horizon court elle répète le chunk d'actions. Le croquis en espace articulaire, léger et sans temps, offre un compromis : un signal de guidage long horizon qui reste dans l'espace propre du robot. Un bémol : un gain de 47,5 % à 75,0 % sur quatre tâches réelles est encourageant, mais le résumé ne donne ni le nombre d'essais, ni les plateformes, ni la variance, et la comparaison se fait uniquement avec la version sans croquis du même modèle, pas avec des baselines externes comme Pi-0 ou des modèles à plans en langage. Ce travail s'inscrit dans la course pour doter les politiques génératives (Diffusion Policy, ACT, puis les VLA de type Pi-0, GR00T ou Helix) d'une planification plus longue sans alourdir l'inférence. Il se positionne contre les approches qui passent par la vidéo ou le langage, plus lourdes à calculer. Les prochaines étapes à surveiller sont une validation sur des modèles de fondation à grande échelle, des tâches de manipulation plus variées et des comparaisons directes avec les VLA actuels, avant que l'idée ne passe en intégration industrielle.

RecherchePaper
1 source