Hydra-DP3 : dimensionnement adapté aux fréquences des politiques de diffusion 3D pour le contrôle visuomoteur

TIDAL : boucle diffusion-action à entrelacement temporel pour le contrôle VLA haute fréquence

Des chercheurs ont publié sur arXiv (papier 2601.14945, version 2) un cadre architectural nommé TIDAL, Temporally Interleaved Diffusion and Action Loop, qui s'attaque directement au goulot d'étranglement en latence des modèles Vision-Language-Action (VLA). Le problème est précis : les VLA actuels basés sur la diffusion tournent typiquement à environ 2,4 Hz sur hardware embarqué, imposant un paradigme "batch-and-execute" où le robot planifie en bloc puis exécute en boucle ouverte. TIDAL introduit une architecture à double fréquence qui découple le raisonnement sémantique (boucle basse fréquence qui met en cache les embeddings d'intention) de l'actuation motrice (boucle haute fréquence qui entrelace intégration de flux à un pas et exécution). Résultat mesuré : environ 9 Hz de mises à jour de contrôle sur edge hardware, soit 4x la fréquence de feedback des baselines, avec un gain de performance 2x sur des tâches d'interception dynamique. La méthode ajoute également un prédicteur différentiel de mouvement pour compenser l'insensibilité à la vélocité des encodeurs visuels statiques, et une stratégie d'entraînement à désalignement temporel pour apprendre à compenser la latence résiduelle. L'impact concret pour les intégrateurs robotiques réside dans ce que le papier nomme "l'angle mort d'exécution" : quand une cible se déplace pendant la fenêtre d'exécution en boucle ouverte, les baselines VLA échouent systématiquement sous protocole d'inférence non-pausée, TIDAL reste opérationnel. C'est architectural et orthogonal aux optimisations système (quantification, batching), ce qui signifie qu'il peut s'empiler sur d'autres gains de performance. La régression marginale sur les tâches statiques (cibles immobiles) est honnêtement reconnue par les auteurs, ce qui est de bonne pratique évaluative. Pour un décideur B2B, la question pertinente reste ouverte : les gains sont mesurés en simulation et sur tâches de laboratoire, pas sur déploiement réel. TIDAL s'inscrit dans une compétition dense autour de la latence des VLA, portée par les modèles Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA et OpenVLA. Ces architectures partagent le défi structurel du sim-to-real et de la fréquence de contrôle insuffisante pour les environnements industriels dynamiques (convoyeurs, pièces en mouvement, collaboration humain-robot). TIDAL est un travail de recherche académique sans annonce de déploiement ni partenaire industriel identifié, ce qui tempère toute projection immédiate. La prochaine étape naturelle serait une validation sur hardware réel, bras manipulateur ou humanoïde, avec métriques de robustesse en conditions non-contrôlées.

SCRIPT : politique de diffusion extensible, entraînement multi-étapes, contrôle physique d'humanoïdes par le langage

Une équipe de chercheurs a publié le 28 mai 2026 sur arXiv (2605.22894) SCRIPT, un système de contrôle de robots humanoïdes en simulation physique piloté par des instructions en langage naturel. L'architecture centrale, baptisée JAST-DiT (Joint Action-State-Text Diffusion Transformer), représente simultanément les actions du robot, ses états physiques et les commandes textuelles sous forme de flux de tokens distincts, reliés par un mécanisme d'attention conjointe. Cette conception permet une interaction directe entre la sémantique linguistique et la dynamique de contrôle, sans passer par une couche de traduction intermédiaire. Pour stabiliser le contrôle sur des horizons longs, SCRIPT intègre un conditionnement d'historique non linéaire qui conserve un contexte récent dense tout en échantillonnant des repères de plus en plus épars dans l'historique à long terme. Le pré-entraînement par imitation supervisée est ensuite renforcé par une phase RLHR (Reinforcement Learning with Hybrid Rewards), qui injecte un bruit apprenable dans le processus de diffusion pour améliorer la qualité de mouvement et le suivi d'instruction en boucle fermée. Les évaluations quantitatives montrent que SCRIPT dépasse les méthodes antérieures sur trois métriques : alignement textuel, qualité de mouvement et réalisme physique. Les études de passage à l'échelle sur le dataset MotionMillion, qui totalise 1 200 heures de données de mouvement, confirment une progression continue des performances à mesure que le modèle grossit. L'intérêt technique de SCRIPT est de s'attaquer frontalement à la tension structurelle du domaine : entre expressivité sémantique (un humanoïde qui comprend des ordres variés) et faisabilité physique (un humanoïde qui ne tombe pas). Les approches existantes sacrifient généralement l'un pour l'autre. Le fait que SCRIPT améliore simultanément les trois métriques en boucle fermée est notable, car les simulations en boucle ouverte masquent souvent les dérives accumulées. La démonstration de scalabilité sur 1 200 heures de données suggère que l'architecture n'est pas un artefact de surapprentissage sur un corpus réduit, ce qui est un signal positif pour quiconque envisage un pré-entraînement à grande échelle de fondations motrices. Pour les intégrateurs et les équipes R&D, cela valide partiellement l'hypothèse selon laquelle les politiques de diffusion à grande échelle peuvent absorber la variabilité des commandes en langage naturel sans sacrifier la stabilité physique. Ce travail s'inscrit dans la vague des VLA (Vision-Language-Action models) appliqués aux humanoïdes en simulation physique, un axe de recherche très actif depuis 2024. Il entre en concurrence directe avec des approches comme PHC, UniHSI ou les variantes récentes de contrôle par diffusion de Nvidia (GR00T N2), qui ciblent des problèmes similaires de contrôle conditionné par le langage. SCRIPT se distingue par sa composante RLHR post-entraînement et son protocole de scaling explicite, deux éléments souvent absents des publications académiques concurrentes. Il s'agit ici d'une annonce de recherche préprint, pas d'un produit déployé : le code sera rendu public mais aucun calendrier de transfert vers du matériel réel n'est mentionné. Les prochaines étapes naturelles seront le transfert sim-to-real et l'évaluation sur des plateformes physiques comme Unitree H1 ou Figure 03.

💬 Tout le monde fait du contrôle d'humanoïde en simu physique en ce moment, mais SCRIPT se distingue par quelque chose de rare en académique : une phase de renforcement post-entraînement documentée. Sur 1 200 heures de données, les perfs progressent sans s'effondrer, ce qui élimine le scénario "artefact de sur-entraînement". Maintenant faut juste que ça tienne sur un vrai robot, et là c'est une autre histoire.

Toucher visible : rendu du contact pour les politiques visuomotrices

Des chercheurs publient sur arXiv (article 2609.14156v1, déposé en tant que nouvelle contribution) une méthode baptisée Visible Touch, destinée à intégrer le toucher dans les politiques visuomotrices des robots manipulateurs. Le système repose sur un capteur de contact magnétique bas coût, conçu en interne et mis en open source, fabriqué à partir de pièces standard via un pipeline paramétrique de conception assistée par ordinateur allant jusqu'au moulage. L'idée centrale consiste à afficher le signal de contact directement dans le même repère spatial que l'image de la scène observée par la politique, plutôt que de l'encoder séparément, ce qui le rend exploitable par n'importe quel modèle conditionné par l'image sans modification d'architecture. Sur le benchmark LIBERO, cette approche améliore le taux de réussite d'un modèle BC-Transformer de 15,7 points de pourcentage en moyenne en configuration à deux caméras, avec des gains comparables à une seule caméra. Appliquée au fine-tuning de modèles vision-langage-action (VLA) pré-entraînés, elle apporte 25 points de gain moyen à miniVLA sur LIBERO, et jusqu'à 30 points à π_0.5 sur quatre tâches réelles à fort contact, avec le capteur maison. Ce résultat s'attaque à un angle mort connu des politiques génératives de manipulation: la plupart des modèles VLA actuels, y compris les architectures pré-entraînées dominantes, fonctionnent uniquement à partir de la vision et de la proprioception, sans retour tactile. Les solutions existantes nécessitaient un matériel tactile spécialisé, un encodeur dédié, ou une architecture non basée sur l'image, incompatibles avec le paradigme actuel des modèles construits sur des représentations visuelles 2D pré-entraînées. En montrant qu'une simple reprojection du signal de contact dans le plan image suffit à obtenir des gains significatifs, l'étude suggère une voie d'intégration du toucher peu coûteuse et directement compatible avec les pipelines de fine-tuning industriels existants, un enjeu clé pour les tâches d'assemblage ou d'insertion où la vision seule échoue souvent. Le travail s'inscrit dans la lignée des recherches visant à combler l'écart entre perception visuelle et retour physique dans l'apprentissage robotique, alors que la génération actuelle de modèles VLA pré-entraînés se généralise dans l'industrie. Il s'agit d'un preprint académique et non d'un produit commercialisé: les auteurs annoncent l'ouverture du design du capteur, sans calendrier de déploiement industriel précisé à ce stade.

Adaptation de dense à MoE pour des politiques VLA compactes

Des chercheurs présentent AdaDE, une méthode publiée sur arXiv le 16 septembre 2026 (arXiv:2609.16503v1) pour réduire la taille des politiques vision-langage-action (VLA) sans sacrifier leurs performances. La technique convertit certains blocs feed-forward denses du modèle de langage embarqué en couches mixture-of-experts (MoE), puis dérive des masques de rétention d'experts à partir des statistiques d'utilisation du routeur pendant le fine-tuning. La conversion Dense2MoE préserve la fonction du FFN dense initial, ce qui permet de désactiver des experts dès le départ sans étape de récupération séparée ; les masques sont mis à jour dynamiquement, avec un entraînement par étapes et une protection des experts pour éviter un effondrement précoce. Résultat : avec 40% des paramètres du LLM désactivés, AdaDE conserve 95,1% de taux de réussite moyen sur le benchmark LIBERO et 42,0% sur l'ensemble des 50 tâches de RobotWin2.0. Pour l'industrie robotique, cette approche répond à un problème très concret : les politiques VLA, à mesure qu'elles gagnent en capacités, embarquent des modèles de langage toujours plus lourds, difficiles à faire tourner sur des plateformes robotiques aux ressources de calcul limitées. En montrant qu'on peut couper 40% des paramètres actifs côté LLM tout en gardant l'essentiel des performances sur des benchmarks de manipulation variés, les auteurs apportent un argument en faveur de la compressibilité des modèles VLA, une question centrale pour les intégrateurs qui veulent déployer ces politiques en périphérie plutôt que sur des serveurs distants. Cela dit, LIBERO et RobotWin2.0 restent des benchmarks en simulation : les chiffres valident la méthode de compression, pas encore un déploiement sur robot physique en conditions réelles, une nuance à garder en tête face à des résultats aussi élevés que 95,1%. Cette recherche s'inscrit dans la course à l'efficacité qui suit l'explosion des politiques VLA de type RT-2, OpenVLA, Pi-0 ou GR00T N2, dont la taille croissante complique l'inférence embarquée en temps réel, un défi que d'autres équipes attaquent par le pruning, la quantification ou la distillation plutôt que par une conversion dense-vers-MoE. AdaDE se distingue en ciblant spécifiquement la partie langage des modèles VLA plutôt que l'ensemble de l'architecture, et en évitant l'étape de récupération post-compression habituellement nécessaire. Publiée en préprint sans affiliation industrielle annoncée ni partenaire robot précisé, l'étude n'indique pas de calendrier de déploiement commercial ; la suite logique serait une validation sur robot physique et une extension à des modèles VLA de plus grande taille pour confirmer que le gain d'efficacité se maintient à l'échelle.