MimicIK : cinématique inverse générative en temps réel par téléopération avec cohérence FK

Sparse ActionGen : accélération de la politique de diffusion par élagage en temps réel

Publiée sur arXiv (identifiant 2601.12894v2), la méthode Sparse ActionGen (SAG) s'attaque au principal frein à l'utilisation en production de la Diffusion Policy : son processus de débruitage multi-étapes, dont la latence est incompatible avec un contrôle visuomoteur temps réel. SAG introduit un mécanisme adaptatif "prune-then-reuse" : à chaque itération du pipeline diffusif, un composant léger conditionné par l'observation courante de l'environnement, le "diffusion pruner", identifie les calculs redondants et les substitue par des activations précédemment mises en cache. La méthode ajoute une stratégie "one-for-all" en zigzag qui mutualise ces caches à la fois sur l'axe des pas de temps et des blocs du réseau. Testée sur plusieurs benchmarks robotiques (non précisés dans le résumé public), SAG annonce une accélération jusqu'à 4x par rapport à la Diffusion Policy standard, sans dégradation de performance mesurée. L'impact potentiel est significatif pour la robotique de manipulation. La Diffusion Policy s'est imposée depuis 2023 comme la méthode de référence pour l'imitation learning à haute précision, grâce à sa capacité à représenter des distributions d'actions multimodales : un robot peut évaluer plusieurs stratégies valides face à une même situation. Mais le débruitage itératif génère une latence qui rend le contrôle en boucle fermée haute fréquence difficile. Les approches existantes (DDIM, consistency models, schedules de cache statiques) contournaient le problème sans s'adapter à la dynamique réelle de l'interaction. La nouveauté de SAG est cet élagage adaptatif au rollout courant. Un facteur 4x sur la vitesse de génération, confirmé sur benchmarks académiques, est un résultat notable, même si les gains restent à valider sur matériel physique en conditions industrielles. La Diffusion Policy a été formalisée par Chi et al. (2023, Columbia University) et intégrée depuis dans des frameworks comme LeRobot de HuggingFace. SAG s'inscrit dans une vague d'optimisations post-entraînement qui cherchent à rendre les politiques génératives compatibles avec le temps réel embarqué sans reprendre un cycle d'entraînement complet, en concurrence avec des approches comme la distillation de consistency models. Aucun partenariat industriel ni déploiement terrain n'est annoncé; la méthode reste au stade de la publication académique, avec une page projet dédiée mais sans code public disponible à ce stade.

💬 Le problème de latence de la Diffusion Policy, c'était l'éléphant dans la pièce depuis 2023. SAG y répond sans toucher à l'entraînement, juste en élagant les calculs redondants à la volée, et un gain de 4x sur benchmarks c'est pas rien. Reste que le code n'est pas dispo et qu'on n'a aucun test sur matériel réel, donc pour LeRobot et compagnie, c'est à surveiller mais pas encore à intégrer.

Exécution en temps réel avec des politiques autorégressives

Un article de recherche déposé sur arXiv (référence 2606.13355) en juin 2026 démontre que les politiques autoregressives -- la famille de modèles qui génère les actions token par token, à la manière d'un LLM classique -- peuvent atteindre une exécution en temps réel sur des robots physiques. La méthode repose sur deux leviers combinés : l'ajustement de l'horizon de tokenisation (la granularité temporelle des séquences d'actions encodées) et le décodage contraint (constrained decoding), qui impose des bornes de latence strictes à chaque inférence. En rendant l'inférence asynchrone, le système garantit des trajectoires d'action fluides tout en maintenant une réactivité suffisante pour absorber les perturbations de l'environnement. Les auteurs montrent, sur des benchmarks simulés et en conditions réelles, que la politique autoregressive surpasse systématiquement son équivalent basé sur le flow-matching (variante des politiques de diffusion) tout en atteignant des vitesses de complétion de tâche nettement supérieures à celles obtenues en inférence synchrone. Le multi-trajectory decoding -- rendu possible par les garanties de latence -- permet en outre d'explorer plusieurs trajectoires candidates en parallèle pour maximiser la performance. Ce résultat est significatif car il remet en cause une hypothèse dominante dans la robotique d'apprentissage : celle selon laquelle les politiques de diffusion seraient structurellement mieux adaptées à l'exécution temps réel en raison de leur parallélisme d'échantillonnage. Les modèles VLA (Vision-Language-Action) autoregressifs, qui traitent séquentiellement pixels, instructions textuelles et commandes moteur dans un même réseau, souffraient d'un goulot d'étranglement de latence jugé rédhibitoire pour le déploiement sur robots industriels ou humanoïdes. Cette publication suggère que ce surcoût peut être absorbé par architecture -- sans sacrifier la performance ni la généralisation aux instructions. Pour un intégrateur ou un COO industriel évaluant des briques VLA, le message est pratique : les modèles autoregressifs offrent également une convergence plus rapide à l'entraînement et une meilleure généralisation aux nouvelles instructions, deux propriétés critiques pour les déploiements à petits volumes de données. Sur le plan du contexte, le débat autoregressif contre diffusion structure la recherche en politiques robotiques depuis la publication des diffusion policies (Chi et al., 2023), rapidement adoptées par des projets comme pi-0 de Physical Intelligence ou ACT. Les modèles VLA à architecture autoregressive, dont OpenVLA ou les variantes de GR00T N2 (NVIDIA), peinent en revanche à s'imposer en déploiement temps réel faute de latence acceptable. Ce preprint, qui n'est pas encore évalué par les pairs, repositionne cette famille comme compétitive pour l'exécution physique, à condition d'intégrer les deux mécanismes proposés dès la conception du pipeline d'inférence. Les prochaines étapes naturelles seront la validation sur des robots industriels à haute fréquence de contrôle (au-dessus de 50 Hz) et l'ouverture éventuelle du code.

💬 Le verrou de latence des VLA autoregressifs, c'était le seul argument solide qui restait pour privilégier les politiques de diffusion en robotique physique. Avec le décodage contraint plus l'ajustement de l'horizon de tokenisation, ils montrent que ce goulot était architectural, pas structurel. Bon, c'est encore un preprint, reste à voir si ça tient au-dessus de 50 Hz sur du vrai acier.

DexTwist : téléopération en réalité mixte pour la saisie en torsion avec une main dextérique

Une équipe de recherche a publié DexTwist, un framework de téléopération dextre via réalité mixte (MR) ciblant les manipulations rotationnelles en contact riche : ouverture de bouchons, rotation de clés, vissage de boulons. L'article, déposé sur arXiv (arXiv:2605.12182) en mai 2026, documente un échec connu des approches classiques de retargeting : minimiser l'erreur d'angle articulaire ou de position des doigts ne suffit pas quand les morphologies humaine et robot divergent. DexTwist opère en trois étapes - détection d'une prise tripode (pouce-index-majeur), estimation en temps réel de l'axe hélicoïdal (screw axis) et de la magnitude de torsion souhaitée, puis raffinement résiduel dans l'espace articulaire minimisant quatre termes simultanément : angle atteint, cohérence de l'axe, fermeture des doigts, stabilité tripode. Les expériences en simulation et en conditions réelles montrent des gains en suivi angulaire et en stabilité de l'axe par rapport à une baseline de retargeting vectoriel classique. Le problème central est l'embodiment gap : les différences de longueurs de segments, d'axes articulaires et de géométrie des phalanges distales entre main humaine et main robot provoquent un glissement tangentiel des doigts plutôt qu'une rotation stable de l'objet, phénomène désigné comme screw axis drift. Ce glissement dégrade directement la qualité des démonstrations collectées pour l'imitation learning ou les modèles VLA (Vision-Language-Action). Or, la téléopération MR est l'une des rares méthodes scalables pour générer des données de manipulation dextre à volume, et sa fiabilité sur les tâches rotationnelles conditionne directement la qualité des datasets sur lesquels reposent les futurs modèles généraux. La téléopération MR pour les mains robotiques s'est imposée ces dernières années comme alternative aux gants haptiques (DEXMO, SenseGlove) et à la capture de mouvement, avec un déploiement moins contraignant. Des travaux antérieurs comme DexPilot ou AnyTeleop avaient posé les bases du retargeting générique, sans adresser spécifiquement les mouvements de vissage. DexTwist se positionne dans un espace qui inclut également les approches par renforcement pur ou les diffusion policies pour mains dextres commerciales (Allegro, Shadow Hand, LEAP Hand). L'étape suivante naturelle serait d'intégrer ce retargeting fonctionnel dans un pipeline d'imitation learning complet afin de vérifier si la meilleure qualité de démonstration améliore effectivement les politiques autonomes en aval - un gap sim-to-real que l'article n'adresse pas encore.

VICX : manipulation robotique généralisable par génération vidéo et réseau d'opérateurs en contexte

Une équipe de chercheurs publie sur arXiv (juin 2026, ref. 2606.12028) VICX, un framework de manipulation robotique généraliste articulé autour d'une architecture découplée en deux blocs : un modèle de génération vidéo figé (non fine-tuné) produit des plans visuels de haut niveau conditionnés par langage naturel, tandis qu'un réseau baptisé V2T-ICON (Video-to-Trajectory In-Context Operator Network) traduit ces plans en trajectoires exécutables pour le robot. La particularité de V2T-ICON réside dans son fonctionnement par apprentissage en contexte : au moment de l'inférence, il récupère des paires image-état préenregistrées et travaille sur des images segmentées du seul bras robotique, permettant un mapping visuel-vers-état sans mise à jour des paramètres. Les expériences sont conduites sur Meta-World, un benchmark de simulation standard, et démontrent la généralisation inter-tâches, la correction en boucle fermée, et le transfert inter-corps (cross-embodiment). L'intérêt de cette approche pour les équipes de R&D réside dans sa modularité : en découplant planification visuelle et exécution motrice, VICX permet théoriquement de substituer l'un des deux blocs de façon indépendante, réduisant le coût d'adaptation à de nouvelles tâches sans réentraînement complet. Le mécanisme d'in-context learning évite de paramétrer le réseau pour chaque tâche inédite, ce qui est pertinent pour des environnements industriels changeants. Cela dit, les résultats restent cantonnés à Meta-World, un environnement de simulation simplifié : aucune validation sur robot physique n'est publiée dans ce preprint, une limite structurelle dans un domaine où le sim-to-real gap demeure l'obstacle central non résolu. VICX s'inscrit dans la vague des Visual Language Action models (VLA) cherchant à dépasser l'imitation learning classique via des représentations visuelles génératives. Les approches concurrentes comme Pi-0 (Physical Intelligence), GR00T N2 (NVIDIA) ou OpenVLA adoptent des architectures majoritairement end-to-end et ont déjà fait l'objet de déploiements ou démonstrations sur hardware réel, ce qui les positionne en avance sur l'applicabilité industrielle à court terme. VICX constitue une contribution méthodologique solide sur la question de la généralisation, mais son chemin vers un déploiement concret reste entièrement à démontrer.