Aller au contenu principal
Le Fil Robotique
Le Fil RobotiqueHumanoïdes · IA physique · Industriel
IA embarquée : optimiser la mémoire pour faire tourner de grands modèles sur NVIDIA Jetson
IA physiqueNVIDIA Developer Blog 

IA embarquée : optimiser la mémoire pour faire tourner de grands modèles sur NVIDIA Jetson

1 source couvre ce sujet·Source originale ↗·
Résumé IASource uniqueImpact UE

L'article source est tronqué (coupé après le premier paragraphe). Je vais rédiger à partir du contenu visible et des faits techniques documentés sur ce sujet, en restant factuel.

---

La démocratisation des modèles d'IA générative open source crée une nouvelle pression sur les plateformes embarquées : les développeurs veulent désormais faire tourner des modèles de plusieurs milliards de paramètres directement sur des robots et agents autonomes opérant dans le monde physique, sans connexion permanente au cloud. Sur les modules NVIDIA Jetson Orin, la contrainte principale est la mémoire unifiée partagée entre CPU et GPU, plafonnée à 64 Go sur le Jetson AGX Orin et à 8 ou 16 Go sur les variantes Orin NX et Nano. Des techniques comme la quantification INT4 et INT8 via TensorRT-LLM, le paged KV cache et le flash attention permettent de faire tourner des modèles comme Llama 3 8B, Mistral 7B ou Phi-3 sur ces plateformes avec des compromis mesurés sur la précision.

L'enjeu n'est pas académique : pour les intégrateurs robotiques et les OEM industriels, la capacité à exécuter un VLA (Vision-Language-Action model) localement sans latence réseau est un prérequis pour la manipulation en environnement non structuré, l'inspection autonome ou la navigation en entrepôt. La quantification agressive réduit l'empreinte mémoire d'un facteur 4 à 8x par rapport au FP16, mais introduit une dégradation de précision qu'il faut valider tâche par tâche. NVIDIA positionne cette optimisation comme un élément central de sa stack Physical AI via l'écosystème Isaac ROS.

La plateforme Jetson est déployée dans des centaines de produits robotiques en production, des AMR d'entrepôt aux bras collaboratifs et drones d'inspection industrielle. Sur le segment concurrent, Qualcomm pousse ses puces RB3/RB5 avec le moteur Hexagon NPU, et Hailo (Israël) vise spécifiquement l'inférence embarquée légère. La prochaine étape pour NVIDIA sera l'intégration native de GR00T N2, son modèle de fondation humanoïde, sur Jetson Thor, une puce annoncée pour les robots humanoïdes haut de gamme et attendue dans les déploiements pilotes courant 2025-2026.

Dans nos dossiers

IA physique & VLANVIDIA GR00T

À lire aussi

Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor
1Pandaily 

Infinigence AI publie en open source APXInf pour l'inférence embarquée sur Jetson Thor

Infinigence AI, en collaboration avec des équipes de l'université Tsinghua et de Shanghai Jiao Tong University, a mis en open source APXInf, un moteur d'inférence conçu pour faire fonctionner des modèles de robotique embarquée directement sur l'appareil, sans passer par le cloud, afin de fermer localement la boucle percevoir-décider-agir. Le code est disponible sur GitHub sous RLinf/APXinf-robo, avec un runtime écrit en Rust et des bindings Python, ciblant les cartes Jetson de NVIDIA ainsi que des GPU de bureau. Selon Infinigence et les relais du média chinois QbitAI, le chiffre phare est une latence d'inférence de bout en bout ramenée de 278 ms à moins de 26 ms pour le modèle PI 0.5 en FP8 sur une carte Jetson Thor, soit environ 38,46 Hz, une réduction d'un facteur 10 par rapport à la version non optimisée prise comme référence. Cette performance reposerait sur des optimisations de pipeline, de graphe de calcul, de noyaux de calcul (kernels) et de quantification, complétées par une fusion de kernels CUDA assistée par un agent baptisé Agent4Kernel. Le support initial couvre les modèles PI 0.5 et WALL-OSS, sur Jetson Orin, Jetson Thor et GeForce RTX 4090. Pour l'industrie robotique, cette annonce s'adresse directement aux intégrateurs et aux équipes R&D confrontées au fossé entre modèles vision-langage-action (VLA) impressionnants en démonstration et contrôle stable et réactif sur robot réel. En ciblant explicitement le "dernier kilomètre" entre un modèle VLA capable et un contrôle embarqué fiable, Infinigence répond à une critique récurrente du secteur: la latence cloud rend beaucoup de VLA inutilisables pour du contrôle temps réel en environnement industriel. Le choix architectural, un runtime Rust minimal pour la sécurité mémoire et la stabilité sur de longues durées, plutôt qu'une simple optimisation de vitesse de pointe, cible les déploiements industriels continus plutôt que les démonstrations ponctuelles. Toutefois, le chiffre de latence doit être lu avec prudence: il concerne un modèle et une configuration matérielle précis, et Infinigence lui-même invite les équipes à reproduire ces mesures sur leurs propres checkpoints et contraintes de puissance, ce qui suggère que la portabilité de la performance à d'autres modèles ou tailles de batch n'est pas garantie. APXInf s'inscrit dans la continuité de RLinf, la pile d'entraînement par apprentissage par renforcement déjà développée par Infinigence, étendant ainsi son écosystème open source de la phase de post-entraînement vers le déploiement embarqué, avec une compatibilité de service annoncée avec OpenPI. La feuille de route évoquée inclut de nouveaux portages de modèles VLA, VLM et de modèles du monde (des travaux liés à Qwen et à la famille GR00T sont déjà mentionnés), une optimisation au format nvfp4, des backends AMD, ainsi que des backends d'inférence et des systèmes d'exploitation robotiques domestiques chinois. Le projet se positionne ainsi face aux piles d'inférence propriétaires ou semi-fermées des acteurs occidentaux du VLA, en misant sur l'ouverture du code comme argument de diffusion auprès des intégrateurs.

UELes intégrateurs et équipes R&D européennes en robotique peuvent tester cet outil open source pour réduire la latence d'inférence VLA embarquée sur leurs propres plateformes Jetson.

IA physiqueActu
1 source
TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA
2arXiv cs.RO 

TTT-VLA : optimisation de prompts latents à l'inférence pour les modèles VLA

Des chercheurs ont publié le 3 juin 2026 un article (arXiv:2606.03127) proposant TTT-VLA, un cadre d'entraînement au moment du test (test-time training, TTT) spécifiquement conçu pour les modèles Vision-Langage-Action (VLA). La méthode repose sur ce qu'ils appellent l'Optimisation de Prompt Latent (LPO) : pendant la phase d'entraînement, un vecteur de prompt latent est appris via une tâche auxiliaire de proxy qui génère un signal d'auto-supervision. Lors du déploiement, seul ce prompt latent est réoptimisé à partir des données d'interaction collectées dans l'environnement réel, sans toucher aux poids du modèle de base. Les expériences sont conduites sur SimplerEnv, un benchmark de manipulation robotique simulée, et montrent des gains de taux de succès cohérents sur des scénarios monolithiques et multi-embodiment. L'intérêt principal pour l'industrie robotique tient à la nature du problème résolu : le décalage de distribution (distribution shift) entre l'environnement d'entraînement et le site de déploiement est l'un des freins les plus documentés au passage en production des VLA. TTT-VLA propose une voie d'adaptation légère, puisque seul le prompt est modifié et non la politique elle-même. L'analyse des résultats révèle que les gains proviennent principalement de la correction d'un petit nombre de décisions critiques dans la séquence d'action, et non d'un changement global de comportement. C'est un résultat conceptuellement intéressant : il suggère que l'inadaptation d'un VLA en production est localisée, ce qui rend les approches de correction chirurgicale potentiellement plus efficaces que les fine-tunings complets. Les VLA sont devenus un axe de recherche central depuis les travaux fondateurs sur RT-2 (Google DeepMind, 2023), et des modèles comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA (Berkeley) illustrent la course actuelle. Le problème du sim-to-real et de l'adaptation au domaine reste entier pour tous ces systèmes dès qu'ils quittent les environnements contrôlés. TTT-VLA s'inscrit dans une tendance plus large qui emprunte aux LLMs la notion d'adaptation au test-time, appliquée ici à la manipulation physique. Les expériences restent pour l'instant limitées à SimplerEnv, ce qui laisse ouverte la question du transfert vers des robots réels et des environnements industriels non structurés.

UELes laboratoires de robotique européens (INRIA, CEA-List) travaillant sur les VLA pourraient exploiter cette méthode d'adaptation légère pour réduire le sim-to-real gap sans fine-tuning complet, mais aucun acteur européen n'est impliqué directement dans ces travaux.

IA physiqueOpinion
1 source
Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarqué
3NVIDIA Developer Blog 

Post-entraîner NVIDIA Cosmos 3 Edge pour le contrôle de robots embarqué

NVIDIA a présenté Cosmos 3 Edge, une version allégée de sa famille de modèles du monde Cosmos 3, taillée pour tourner sur le calculateur embarqué des robots plutôt que dans le cloud. Le modèle associe un omni-modèle de 4 milliards de paramètres à un module de raisonnement de 2 milliards de paramètres bâti sur l'architecture Nemotron. NVIDIA a publié un guide de post-entraînement pour ce modèle, sans communiquer de tarif ni de benchmarks chiffrés de temps de cycle ou de charge utile. Cette démarche s'inscrit dans une tendance: réduire la taille des modèles VLA (vision-language-action) et des world models pour les faire tenir sur des puces embarquées sans sacrifier leur capacité à généraliser. Pour les intégrateurs et fabricants de robots, un modèle du monde compact et ajustable en local réduit la dépendance au cloud, la latence, et permet d'affiner le modèle sur des données propres à un site industriel. NVIDIA renforce ainsi sa présence dans la couche logicielle du contrôle robotique, au-delà de son rôle de fournisseur de calculateurs Jetson. Cosmos, la plateforme de modèles du monde de NVIDIA pour la simulation et l'entraînement de politiques robotiques, s'est élargie en une famille de tailles variées, dont Cosmos 3 Edge est la déclinaison pensée pour l'inférence embarquée. Elle se positionne face à des modèles de contrôle généralistes comme Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA ou Helix de Figure AI. Le document ne mentionne ni partenaire robotique ni calendrier: il s'agit pour l'instant d'un outil pour développeurs, en amont d'un déploiement produit.

IA physiqueActu
1 source
Le mur de l'IA embarquée : pourquoi l'IA incarnée exige de nouvelles mathématiques
4Robotics Business Review 

Le mur de l'IA embarquée : pourquoi l'IA incarnée exige de nouvelles mathématiques

Wandercraft, Exotec, Pollen ou Enchanted Tools ne sont pas mentionnés dans cet article, il s'agit d'un texte d'opinion technique et non d'une annonce produit. Dans un article publié sur The Robot Report, l'ingénieur Zhengis Tileubay développe le concept du "mur de l'IA embarquée" (edge AI wall), une limite qu'il juge propre à l'ensemble des systèmes d'IA physique. Ce texte prolonge une précédente publication, "Phase stability regulator based on two dynamic parameters for autonomous mobile robots", consacrée à l'instabilité computationnelle des robots mobiles autonomes (AMR) évoluant dans des environnements complexes et changeants. Son constat initial : même lorsque capteurs, actionneurs et logiciels fonctionnent normalement, la qualité de décision d'un robot se dégrade quand son planificateur doit évaluer en temps réel un nombre croissant de trajectoires alternatives, un phénomène de surcharge informationnelle plutôt qu'une panne matérielle. Tileubay affirme désormais que ce problème, observé localement dans la navigation, traverse toute la pile technologique de l'IA incarnée (embodied AI), qu'il s'agisse d'assistants robotiques humanoïdes, de systèmes de livraison autonome ou de véhicules autonomes. Il pointe une hypothèse largement partagée dans l'industrie, celle d'une loi d'échelle linéaire : si l'augmentation de la puissance de calcul et des volumes de données a permis les progrès de l'IA dans le cloud, la même stratégie devrait fonctionner pour le contrôle de corps physiques. L'article ne présente ni produit ni déploiement chiffré, c'est une réflexion prospective relayée par un média spécialisé qui organise par ailleurs une session dédiée à l'IA physique lors de RoboBusiness 2026, les 20 et 21 octobre à Santa Clara, en Californie. Cette mise en garde vise directement les intégrateurs et décideurs qui misent sur la simple augmentation de puissance de calcul embarquée pour faire progresser leurs robots. Contrairement au cloud, où un manque de mémoire ou de puissance se compense en ajoutant des serveurs et où une latence de quelques secondes reste tolérable, l'IA physique subit des contraintes matérielles rigides : chaque watt supplémentaire consommé par un ordinateur embarqué impose une batterie plus grosse et plus lourde, et la chaleur générée complique le refroidissement. Dans les systèmes temps réel, la latence de décision devient critique à la milliseconde : un robot qui ne traite pas la scène assez vite réagit à un état obsolète de son environnement, ce qui provoque instabilité, oscillations comportementales et risques d'accident. L'argument remet en question l'hypothèse dominante selon laquelle le scaling qui a fonctionné pour les grands modèles de langage se transposerait sans adaptation au contrôle physique. Pour Tileubay, plus les tâches confiées aux robots deviennent complexes, plus l'explosion combinatoire des espaces de solutions à évaluer se manifestera fréquemment, posant une question architecturale de fond : existe-t-il un seuil au-delà duquel ajouter de la puissance de calcul embarquée cesse d'être une stratégie viable, physiquement et économiquement, pour faire progresser l'IA incarnée. Cette réflexion prolonge les travaux antérieurs de l'auteur sur la stabilité de phase des robots mobiles autonomes, initialement perçus comme un problème circonscrit à la navigation locale. L'accélération de l'IA générative au cours de l'année écoulée, portée par les grands modèles de langage et les modèles fondation multimodaux, a poussé une vague de projets ambitieux, robots humanoïdes polyvalents, systèmes de livraison de nouvelle génération, véhicules autonomes, à transposer directement ces architectures lourdes dans le monde physique. C'est cette généralisation rapide que Tileubay interroge, sans citer de plateforme ou de laboratoire en particulier, préférant une critique de fond de l'hypothèse de scaling à une comparaison entre acteurs. L'article ne fournit ni pilote annoncé ni calendrier de déploiement, il fonctionne comme un signal d'alerte académique destiné à la communauté robotique, publié en amont de RoboBusiness 2026, où l'IA physique fera l'objet d'un parcours de sessions dédié les 20 et 21 octobre à Santa Clara.

IA physiquePaper
1 source