Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
Robots Jetson-PI : contrôle robotique en temps réel embarqué via inférence asynchrone alignée sur l'anticipation
IA physiquearXiv cs.RO 

Robots Jetson-PI : contrôle robotique en temps réel embarqué via inférence asynchrone alignée sur l'anticipation

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

Une équipe du PKU-SEC-Lab (Peking University) publie Jetson-PI, une méthode pour déployer des modèles Vision-Language-Action (VLA) directement à bord de cartes embarquées à faible consommation comme le Nvidia Jetson Orin, très utilisées en robotique mobile et humanoïde. Le problème ciblé est connu : l'inférence asynchrone, qui parallélise l'exécution des actions et le calcul de l'action suivante pour masquer la latence, introduit en pratique un décalage entre ce que le robot perçoit et ce qu'il exécute, ainsi qu'un temps de réaction dégradé. Jetson-PI corrige cela via un module léger de "correction par anticipation" qui prédit la représentation future de l'environnement à partir des actions déjà engagées, permettant à l'expert d'action de raisonner directement sur l'état futur plutôt que sur un état périmé. S'y ajoute un ordonnancement piloté par la confiance du modèle, qui arbitre dynamiquement entre appels au VLM et à l'expert d'action, complété par des optimisations bas niveau (réutilisation de CUDA graphs, buffers intermédiaires résidents en mémoire GPU, déroulement de flux). Résultat mesuré : un gain de fréquence de contrôle de 8,66x face à une implémentation PyTorch naïve et de 5,41x face à vla.cpp, avec un taux de réussite supérieur de 14,8% à VLASH sur le benchmark LIBERO.

L'enjeu dépasse la performance brute : c'est le goulot d'étranglement classique du déploiement de VLA en robotique embarquée qui est visé, celui qui empêche des modèles entraînés en simulation ou sur GPU serveur de tourner en temps réel sur du matériel embarqué bon marché. Pour les intégrateurs et fabricants de robots mobiles ou humanoïdes, cela réduit un frein concret à la mise en production de piles de contrôle par VLA, sans dépendre d'une puissance de calcul embarquée démesurée.

Le travail s'inscrit dans la lignée des recherches sur l'accélération des VLA (dont VLASH, utilisé ici comme référence de comparaison) et sur les moteurs d'inférence légers type llama.cpp. Les auteurs publient à la fois leur algorithme d'inférence asynchrone et un moteur d'inférence dédié, Jetson-PI-Edge, en open source sur GitHub, ouvrant la voie à une reproduction et une adoption par la communauté robotique.

À lire aussi

VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs
1arXiv cs.RO 

VLASH : des VLA en temps réel grâce à une inférence asynchrone anticipant les états futurs

Des chercheurs du MIT Han Lab publient VLASH, une méthode d'inférence asynchrone pour les modèles Vision-Language-Action (VLA) qui vise à résoudre le problème de latence de réaction sur les robots. Aujourd'hui, la plupart des VLA fonctionnent en mode synchrone : le robot suspend son action pendant que le modèle calcule la suivante, ce qui crée des à-coups visibles et l'empêche de réagir aux changements de son environnement pendant l'exécution. L'inférence asynchrone permettait déjà d'agir et de calculer en parallèle, mais générait un décalage temporel entre l'état prédit et l'état réel au moment de l'exécution, provoquant de l'instabilité. VLASH corrige ce décalage en projetant l'état futur du robot à partir du chunk d'action précédent, sans changement d'architecture ni surcoût de calcul. Les auteurs annoncent une réduction de la latence de réaction jusqu'à 11,8 fois par rapport à l'inférence synchrone, une précision supérieure à toutes les méthodes asynchrones existantes, et, combinée à une quantification des actions, une accélération de 1,5 à 2 fois du temps de complétion des tâches avec une perte de précision minime. Le code est disponible sur GitHub (mit-han-lab/vlash). Pour l'industrie robotique, cette avancée s'attaque directement à un goulot d'étranglement connu des VLA à l'échelle : leur difficulté à gérer des tâches rapides et dynamiques, un point faible régulièrement cité face aux approches de contrôle classiques. En améliorant un modèle existant comme π0.5 sans le réentraîner ni alourdir son architecture, VLASH illustre une voie d'optimisation logicielle low-cost pour rendre les VLA déployables sur des cas d'usage à haute cadence, un enjeu clé pour les intégrateurs qui cherchent à sortir ces modèles du seul cadre de la démonstration en laboratoire. Les auteurs démontrent concrètement ce gain sur des tâches exigeant une réaction fine et rapide, comme jouer au ping-pong ou au jeu de la taupe, des scénarios où l'inférence synchrone échoue purement et simplement. Ce travail s'inscrit dans une course plus large autour des VLA temps réel, aux côtés de modèles comme GR00T N2, Pi-0 ou Helix, où la latence de contrôle devient un critère de différenciation aussi important que la précision des gestes.

IA physiqueActu
1 source
Reflex : contrôle VLA en temps réel par inférence en continu
2arXiv cs.RO 

Reflex : contrôle VLA en temps réel par inférence en continu

Des chercheurs présentent Reflex, un framework permettant l'inférence en temps réel pour les modèles Vision-Language-Action (VLA) basés sur le flow matching, une technique de contrôle continu prisée pour sa précision mais jusqu'ici incompatible avec la robotique temps réel. Le problème identifié est structurel : l'injection globale du timestep dans le processus de débruitage itératif invalide le KV-caching classique, obligeant à choisir entre un recalcul coûteux en O(N²) ou une réutilisation de cache mathématiquement incorrecte. Reflex exploite ce que les auteurs nomment la "Timestep-Invariance Property", le fait que les encodeurs de perception fonctionnent indépendamment de la boucle de débruitage, pour partitionner le contexte d'attention en régions statique, glissante et dynamique, permettant des mises à jour de cache incrémentales en O(1) sans perte de précision sur les sorties d'attention. Une couche de normalisation adaptative baptisée AdaRMSNorm évite l'effondrement numérique en BFloat16 lors d'inférences continues à haute fréquence, en se calant sur la phase du flux. Un pipeline asynchrone découple encodage visuel et génération d'action, complété par de la fusion d'opérateurs pour réduire l'overhead des kernels. Sur les benchmarks LIBERO et Kinetix, Reflex atteint une accélération d'inférence de 2,58x et un streaming stable à 50Hz, avec une latence de réaction réduite jusqu'à 54%, sans dégradation de performance. Pour l'industrie robotique, ce travail s'attaque à un goulot d'étranglement rarement discuté publiquement : les modèles VLA à flow matching, malgré leurs résultats impressionnants en démonstration, peinent à tourner en boucle fermée à des fréquences compatibles avec un contrôle robotique réactif. Un déploiement stable à 50Hz sans compromis sur la qualité change la donne pour les intégrateurs qui cherchent à faire tourner ces politiques sur du matériel embarqué à budget de calcul limité, plutôt que de dépendre d'un GPU distant surdimensionné. C'est aussi une réponse concrète à l'écart fréquemment pointé entre les métriques de benchmark et la viabilité en conditions réelles de contrôle continu. Ce travail s'inscrit dans la lignée des politiques VLA à diffusion ou flow matching comme Pi-0 ou GR00T N2, qui ont démontré la faisabilité du contrôle continu appris mais restent contraintes par leur coût d'inférence. Reflex ne propose pas un nouveau modèle mais une couche d'infrastructure d'inférence, potentiellement transférable à d'autres architectures de flow matching. Publié sur arXiv (2607.14695), l'article ouvre la voie à des évaluations sur du matériel physique réel, au-delà des environnements simulés LIBERO et Kinetix utilisés pour la validation actuelle.

IA physiqueActu
1 source
Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor
3Pandaily 

Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor

Infinigence AI, en collaboration avec des équipes de l'université Tsinghua et de Shanghai Jiao Tong University, a mis en open source APXInf, un moteur d'inférence conçu pour faire fonctionner des modèles de robotique embarquée directement sur l'appareil, sans passer par le cloud, afin de fermer localement la boucle percevoir-décider-agir. Le code est disponible sur GitHub sous RLinf/APXinf-robo, avec un runtime écrit en Rust et des bindings Python, ciblant les cartes Jetson de NVIDIA ainsi que des GPU de bureau. Selon Infinigence et les relais du média chinois QbitAI, le chiffre phare est une latence d'inférence de bout en bout ramenée de 278 ms à moins de 26 ms pour le modèle PI 0.5 en FP8 sur une carte Jetson Thor, soit environ 38,46 Hz, une réduction d'un facteur 10 par rapport à la version non optimisée prise comme référence. Cette performance reposerait sur des optimisations de pipeline, de graphe de calcul, de noyaux de calcul (kernels) et de quantification, complétées par une fusion de kernels CUDA assistée par un agent baptisé Agent4Kernel. Le support initial couvre les modèles PI 0.5 et WALL-OSS, sur Jetson Orin, Jetson Thor et GeForce RTX 4090. Pour l'industrie robotique, cette annonce s'adresse directement aux intégrateurs et aux équipes R&D confrontées au fossé entre modèles vision-langage-action (VLA) impressionnants en démonstration et contrôle stable et réactif sur robot réel. En ciblant explicitement le "dernier kilomètre" entre un modèle VLA capable et un contrôle embarqué fiable, Infinigence répond à une critique récurrente du secteur: la latence cloud rend beaucoup de VLA inutilisables pour du contrôle temps réel en environnement industriel. Le choix architectural, un runtime Rust minimal pour la sécurité mémoire et la stabilité sur de longues durées, plutôt qu'une simple optimisation de vitesse de pointe, cible les déploiements industriels continus plutôt que les démonstrations ponctuelles. Toutefois, le chiffre de latence doit être lu avec prudence: il concerne un modèle et une configuration matérielle précis, et Infinigence lui-même invite les équipes à reproduire ces mesures sur leurs propres checkpoints et contraintes de puissance, ce qui suggère que la portabilité de la performance à d'autres modèles ou tailles de batch n'est pas garantie. APXInf s'inscrit dans la continuité de RLinf, la pile d'entraînement par apprentissage par renforcement déjà développée par Infinigence, étendant ainsi son écosystème open source de la phase de post-entraînement vers le déploiement embarqué, avec une compatibilité de service annoncée avec OpenPI. La feuille de route évoquée inclut de nouveaux portages de modèles VLA, VLM et de modèles du monde (des travaux liés à Qwen et à la famille GR00T sont déjà mentionnés), une optimisation au format nvfp4, des backends AMD, ainsi que des backends d'inférence et des systèmes d'exploitation robotiques domestiques chinois. Le projet se positionne ainsi face aux piles d'inférence propriétaires ou semi-fermées des acteurs occidentaux du VLA, en misant sur l'ouverture du code comme argument de diffusion auprès des intégrateurs.

UELes intégrateurs et équipes R&D européennes en robotique peuvent tester cet outil open source pour réduire la latence d'inférence VLA embarquée sur leurs propres plateformes Jetson.

IA physiqueActu
1 source
Post-entraînement en ligne stable et efficace pour VLA en conditions réelles via l'amélioration de politique ancrée sur le replay asynchrone
4arXiv cs.RO 

Post-entraînement en ligne stable et efficace pour VLA en conditions réelles via l'amélioration de politique ancrée sur le replay asynchrone

Une équipe de recherche publie sur arXiv (papier 2609.22888, soumis en septembre 2026) une méthode baptisée RAPolicy (Replay-Anchored Policy improvement), destinée a l'entrainement en ligne de modèles vision-langage-action (VLA) sur robot réel. Le système fait tourner en parallèle la collecte de trajectoires et l'apprentissage, en ancrant les mises a jour du critique et de l'acteur sur les actions rejouées depuis un buffer de replay plutôt que sur des prédictions d'actions futures. Le critique apprend des valeurs au niveau de blocs d'actions et construit ses cibles de Bellman sans prédire l'action suivante, ce qui réduit le calcul nécessaire. L'acteur, a flux en une seule étape, réutilisé le bruit initial stocke pendant le rollout et s'entraine par vraisemblance conditionnelle pondérée par l'avantage. Teste sur quatre taches isolées et un scenario conjoint a cinq taches en conditions réelles, avec un budget d'entrainement en ligne de seulement une a deux heures, RAPolicy part de politiques déjà affinées sur dix démonstrations par tache. Il atteint un taux de réussite moyen de 86,3% sur les taches isolées, et fait grimper le taux de réussite global du scenario multi-tache de 52% a 88%, tout en préservant les taches déjà maîtrisées et en améliorant les plus faibles. Ce résultat s'attaque a un point de friction connu du post-entrainement en ligne des VLA sur robot réel: l'instabilité de l'apprentissage par renforcement lorsque les données arrivent en flux continu et que la politique change pendant la collecte. Pour les intégrateurs et décideurs B2B, l'enjeu concret est le cout d'adaptation: passer d'une politique généraliste a une compétence fiable sur une nouvelle tache en une a deux heures de pratique, avec seulement dix démonstrations de départ et moins d'interventions humaines que les méthodes de référence, change l'économie d'un déploiement capable d'apprendre sur site plutôt qu'en laboratoire. Le résultat va aussi a l'encontre de l'hypothèse répandue selon laquelle le fine-tuning en ligne des VLA reste trop instable hors des environnements simules, même si l'évaluation reste limitée a cinq taches et aux conditions de laboratoire des auteurs, sans réplication indépendante ni comparaison sur des taches plus complexes ou des robots tiers. Cette approche s'inscrit dans la lignée des modèles VLA généralistes tels que Pi-0, GR00T N2 ou Helix, pretraines sur de larges corpus de démonstrations puis adaptes a des taches spécifiques, une étape qui repose habituellement sur davantage de démonstrations ou sur du reinforcement learning hors ligne, deux voies gourmandes en données ou fragiles en stabilité. RAPolicy se positionne comme une alternative asynchrone a ces méthodes, misant sur l'ancrage dans les trajectoires rejouées pour stabiliser simultanément critique et acteur. Les auteurs mettent a disposition une page de projet avec, selon toute vraisemblance, code et vidéos de démonstration, mais ne précisent ni institution ni calendrier pour une intégration a des piles VLA commerciales existantes.

IA physiqueOpinion
1 source