Aller au contenu principal
DexHoldem : jouer au Texas Hold'em avec un système à IA incarnée dextériqueIllustration générée par IA
RecherchearXiv cs.RO 

DexHoldem : jouer au Texas Hold'em avec un système à IA incarnée dextérique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource uniqueImpact UE

Une équipe de chercheurs a publié DexHoldem, un benchmark système conçu pour évaluer les robots dextres sur du matériel physique réel. Structuré autour de la manipulation de cartes Texas Hold'em, il mobilise une ShadowHand (24 degrés de liberté) et propose 1 470 démonstrations téléopérées couvrant 14 primitives de manipulation : distribution, tri, retournement de cartes et autres gestes imposant précision et continuité de scène. Sur l'exécution des primitives, le modèle pi-0.5 de Physical Intelligence obtient le meilleur taux de complétion brute à 61,2 %, et s'aligne avec pi-0 sur le taux de succès "préservant la scène" à 47,5 %. Sur la perception agentique, Claude Opus 4.7 d'Anthropic décroche la meilleure précision stricte au niveau du problème complet à 34,3 %, tandis que GPT-5.5 d'OpenAI atteint la meilleure précision champ par champ à 66,8 %.

Ces résultats exposent une fracture structurelle dans les pipelines VLA actuels : reconnaître 66,8 % des éléments visuels individuellement ne garantit pas de reconstituer l'état global de la scène, indispensable au routage décisionnel. Pour un intégrateur ou un décideur industriel, cela signifie qu'un modèle performant sur des primitives isolées peut s'effondrer en boucle fermée dès que les erreurs de perception et d'exécution s'accumulent. Les trois études de cas en boucle complète du benchmark le confirment : attentes, replanifications, demandes d'aide humaine et réexécutions émergent comme comportements nécessaires à la robustesse. DexHoldem formalise ainsi une contrainte rarement évaluée dans la littérature : laisser la scène utilisable pour les décisions suivantes, et non simplement compléter chaque primitive en isolation.

La ShadowHand, produite par Shadow Robot Company (Royaume-Uni), est une référence académique de longue date dans la manipulation dextre. Le benchmark s'inscrit dans la vague des évaluations système intégrées qui émergent en 2025 face à la multiplication des VLA, dont pi-0, pi-0.5, GR00T N2 de NVIDIA ou encore Helix de Figure. En choisissant le poker comme cadre d'évaluation, les auteurs imposent une perception structurée, une séquence longue et une contrainte d'état partagé entre actions successives, trois propriétés que les benchmarks à primitives isolées ne capturent pas. Le jeu de données de 1 470 démonstrations et le code du benchmark sont disponibles en open source sur dexholdem.github.io, ce qui le rend directement exploitable pour calibrer des pipelines dextres sur des conditions réelles reproductibles.

Impact France/UE

La ShadowHand de Shadow Robot Company (Royaume-Uni) constitue la plateforme matérielle du benchmark, et le dataset open source de 1 470 démonstrations est directement exploitable par les équipes de recherche en manipulation dextre des universités et laboratoires européens.

À lire aussi

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée
Illustration générée par IA
1arXiv cs.RO 

eMEM : un système de mémoire spatio-temporelle hybride pour agents à base d'IA incarnée

Une équipe de recherche a déposé sur arXiv (arXiv:2606.03374, juin 2026) un système de mémoire baptisé eMEM (Embodied Memory), conçu spécifiquement pour les agents incarnés opérant dans des environnements physiques. Contrairement aux architectures existantes comme Generative Agents, MemGPT ou A-MEM, qui stockent la mémoire sous forme de flux textuels ou de graphes de connaissances, eMEM propose une architecture multi-index combinant SQLite pour le stockage structuré, hnswlib pour la recherche sémantique par voisins les plus proches (ANN), et un R-tree pour les requêtes spatiales, le tout unifié derrière un modèle de graphe unique. Un pipeline de consolidation par niveaux transforme les observations perceptuelles brutes en résumés compressés, en s'inspirant explicitement de la consolidation hippocampo-néocorticale observée chez les mammifères. Dix outils de rappel, exposés en natif au LLM, couvrent des primitives comme la résolution concept-vers-localisation ou le rappel inter-couches. Le système tourne entièrement en mémoire vive, en co-processus avec l'agent. Sur eMEM-Bench v1, un benchmark construit sur les scènes ProcTHOR-10K autour de huit paradigmes de psychologie cognitive (leurres DRM, séparation de patterns, complétion de patterns, surveillance de source, récupération dépendante du contexte, interférence à long horizon, position sérielle, courbe de rétention augmentée par des distracteurs), eMEM atteint un score pondéré moyen de 80,8 sur 988 sondes, avec une courbe de rétention plate au plafond de 1 heure à 1 an de délai simulé sur des objets uniques par pièce. Ce résultat est significatif parce qu'il isole deux problèmes structurels des approches purement RAG : une baseline flat_rag perd 30 points sur la récupération dépendante du contexte et 29 points sur le rejet des leurres DRM, ce qui valide respectivement la contribution du stockage multi-couches et du pipeline de consolidation. Pour les intégrateurs qui déploient des agents dans des environnements industriels ou domestiques complexes, cela met en évidence un angle mort majeur : un robot ou un agent LLM utilisant une récupération sémantique plate ne peut pas distinguer "le tiroir où j'ai vu les pinces hier dans cette pièce" de "les pinces en général". L'indexation spatiale couplée à la consolidation temporelle est ce qui permet à eMEM de maintenir des performances constantes sur de longues fenêtres simulées, là où les systèmes actuels dégradent. Le choix de benchmarker sur des paradigmes issus de la psychologie cognitive humaine est méthodologiquement solide : il rend les résultats comparables à la littérature sur la mémoire biologique, ce que des benchmarks surfaciques comme LoCoMo ou OpenEQA ne permettent pas. eMEM s'inscrit dans une vague de travaux sur la mémoire à long terme pour agents LLM, portée notamment par Generative Agents (Park et al., 2023) et MemGPT (Packer et al., 2023), qui ont posé les bases mais restent aveugles à la dimension spatiale, critique pour les robots physiques. L'environnement ProcTHOR-10K offre des scènes intérieures procédurales variées, mais les performances en transfert vers des environnements réels restent entièrement à démontrer : le sim-to-real gap s'applique autant aux systèmes de mémoire qu'aux politiques motrices. Le code du système et du benchmark est rendu public, ouvrant la voie à des évaluations indépendantes. Aucun partenariat industriel ni déploiement terrain n'est mentionné : c'est une contribution académique, pas un produit. Les étapes suivantes naturelles seraient de valider eMEM sur des plateformes embarquées à mémoire contrainte et de tester sa robustesse dans des scènes dynamiques où les objets se déplacent entre deux requêtes.

RecherchePaper
1 source
AutoDex : un système automatisé en conditions réelles pour collecter des données de préhension dextérique
Illustration générée par IA
2arXiv cs.RO 

AutoDex : un système automatisé en conditions réelles pour collecter des données de préhension dextérique

Des chercheurs du laboratoire SNU VCLab (Séoul) présentent AutoDex, un système qui collecte des données de préhension dextre en conditions réelles sans opérateur humain en continu. À partir de candidats de prises générés en simulation, le robot planifie et exécute chaque prise, étiquette le résultat (succès ou échec), puis remet l'objet en position pour enchaîner les essais sur plusieurs poses stables. Le suivi d'objet multi-vues permet l'étiquetage malgré l'occultation entre la main et l'objet, tandis qu'une surveillance des collisions par couple résiduel et une remise en place guidée par la pose maintiennent la boucle active sans supervision. Les auteurs ont réuni plus de 3 500 essais sur 100 objets, avec deux mains robotiques, Allegro et Inspire, en enregistrant succès et échecs avec observations visuelles et états du robot synchronisés. Le code et les données sont publics. L'enjeu principal est le coût humain, goulot d'étranglement habituel de la donnée de manipulation réelle. Selon les auteurs, collecter 500 trajectoires demande environ 0,2 heure-homme avec AutoDex, contre 9,3 heures en téléopération, soit une réduction de plus d'un ordre de grandeur. Il s'agit toutefois d'une estimation des auteurs, et non d'une mesure indépendante. Le résultat le plus parlant touche l'écart simulation-réel: dans de nouvelles configurations de placement d'objets et d'obstacles, la récupération dans la bibliothèque de prises validées physiquement atteint 76 % de succès, contre 34 % pour des candidats filtrés uniquement en simulation. Cela confirme que les prises « plausibles » en simulation se transfèrent mal au matériel, et que la validation physique à grande échelle apporte un gain concret. Pour les équipes qui entraînent des politiques de préhension dextre, le fait de disposer aussi des échecs, rarement conservés dans les jeux de données téléopérés, constitue une ressource utile pour apprendre à prédire la réussite d'une prise. Ce travail s'inscrit dans la montée de la manipulation dextre, où la collecte par téléopération (gants, exosquelettes, VR) reste coûteuse et peu évolutive, alors que la simulation produit des prises en masse sans garantie matérielle. AutoDex propose une voie intermédiaire: la simulation génère, le robot vérifie. Il faut cependant rester prudent: il s'agit d'un article de recherche (préprint arXiv, v2), avec 100 objets et deux mains seulement, sans déploiement industriel ni comparaison directe avec des systèmes concurrents. La généralisation à des objets déformables, des scènes encombrées plus complexes ou d'autres mains reste à démontrer. La publication du code et des données devrait permettre à d'autres laboratoires de reproduire l'approche et de l'étendre, notamment vers l'entraînement de modèles vision-langage-action qui exigent de gros volumes de données de manipulation réelles.

RecherchePaper
1 source
RLinf-USER : un système unifié et extensible pour l'apprentissage de politiques en ligne en conditions réelles pour l'IA incarnée
Illustration générée par IA
3arXiv cs.RO 

RLinf-USER : un système unifié et extensible pour l'apprentissage de politiques en ligne en conditions réelles pour l'IA incarnée

Le préprint arXiv:2602.07837 (quatrième version, publiée en remplacement d'une version antérieure) présente USER, un système conçu pour l'apprentissage de politiques en ligne directement dans le monde réel, et non en simulation. Contrairement à un environnement simulé, où l'on peut accélérer le temps, réinitialiser un robot instantanément ou dupliquer massivement les essais, l'entraînement physique impose des contraintes de vitesse, de coût et d'usure matérielle qui, selon les auteurs, transforment le problème en un défi d'ingénierie systémique autant qu'algorithmique. USER répond à ce constat par deux couches complémentaires. Côté infrastructure, une couche d'abstraction matérielle unifie la gestion de robots hétérogènes, tandis qu'un plan de communication adaptatif organise l'entraînement réparti entre cloud et périphérie (edge). Côté apprentissage, le système repose sur un entraînement entièrement asynchrone, un buffer de rejeu persistant et sensible au cache, ainsi que des abstractions extensibles pour définir récompenses, algorithmes et politiques. Les expériences, menées en simulation et sur du matériel réel, couvrent la coordination multi-robots, des manipulateurs de types différents, l'entraînement cloud-edge avec de grands modèles, et des sessions asynchrones de longue durée. L'abstract ne fournit toutefois aucun chiffre précis de charge utile, de degrés de liberté ou de temps de cycle, ce qui limite l'évaluation indépendante des gains annoncés. Pour l'industrie robotique, ce travail cible un goulot d'étranglement rarement documenté publiquement: faire fonctionner l'apprentissage par renforcement en ligne sur des flottes physiques hétérogènes, à l'heure où les modèles VLA (vision-langage-action) type Pi-0 ou GR00T nécessitent des volumes de données et des cycles d'entraînement continus. Une brique d'orchestration cloud-edge réutilisable, si elle tient ses promesses au-delà du cadre expérimental, réduirait le travail d'intégration pour les équipes qui déploient plusieurs types de bras ou de robots mobiles sous une même boucle d'apprentissage. Mais l'absence de métriques quantitatives comparatives dans l'abstract invite à traiter cette annonce comme une proposition d'architecture logicielle validée en laboratoire, pas comme un système prêt à l'échelle industrielle. Cette publication s'inscrit dans une tendance plus large: à mesure que les modèles fondation pour la robotique (Pi-0 de Physical Intelligence, GR00T N2 de NVIDIA, Helix de Figure) gagnent en taille, l'entraînement purement simulé montre ses limites face au fossé sim-to-réel, poussant les laboratoires vers l'apprentissage en ligne sur robot réel. Le statut de préprint en quatrième révision suggère un travail encore en itération académique, sans calendrier de déploiement pilote ni partenaire industriel annoncé à ce stade.

RecherchePaper
1 source
TypeGo : un runtime système pour agents incarnés
Illustration générée par IA
4arXiv cs.RO 

TypeGo : un runtime système pour agents incarnés

TypeGo est un nouveau runtime de type "système d'exploitation" pour agents incarnés, présenté dans un article arXiv (2607.05482v1) publié le 8 juillet 2026. Le prototype a été testé sur Kalos, un quadrupède Unitree Go2, et structure la planification par LLM en boucles asynchrones à plusieurs échelles de temps qui se chevauchent avec l'exécution physique du robot. Son composant central, le Skill Kernel, arbitre des sous-systèmes physiques typés entre plusieurs processus concurrents par tâche, tandis qu'un ordonnanceur peut préempter, reprendre ou remplacer ces processus selon leur source. Le système utilise aussi un mécanisme de "streaming" spéculatif de compétences qui masque la latence du LLM derrière le mouvement en cours, plus un chemin rapide pour la première action garantissant un retour visible en moins d'une seconde. Résultat mesuré sur la suite de tâches des chercheurs: le délai par étape chute de 50% par rapport à une planification pas-à-pas classique, et le délai avant première action baisse de 73% par rapport à une planification monolithique, avec une faible surcharge d'ordonnancement même en cas de tâches concurrentes. L'enjeu dépasse la simple optimisation de latence: TypeGo attaque un problème structurel largement ignoré par les démonstrations actuelles de robots pilotés par LLM, à savoir que traiter un modèle de langage comme un oracle requête/réponse sur le chemin critique de contrôle est incompatible avec le temps réel et la gestion de tâches concurrentes. En empruntant les principes d'un OS classique (gestion de ressources matérielles, préemption, ordonnancement) pour orchestrer un corps robotique, les auteurs proposent une réponse concrète à l'écart persistant entre les capacités de planification des VLA en démonstration et leur fiabilité en exécution réelle, sujet central pour tout intégrateur ou décideur évaluant le déploiement de robots pilotés par IA générative. Ce travail s'inscrit dans la lignée des architectures combinant LLM et contrôle robotique bas niveau, où la latence des modèles de langage reste un goulot d'étranglement majeur face aux exigences de réactivité physique. Il s'agit à ce stade d'un prototype de recherche académique, validé sur une suite de tâches restreinte avec un seul robot quadrupède, et non d'un produit commercialisé ou déployé en flotte. Les auteurs ne précisent pas de calendrier de transfert vers l'industrie, mais posent les bases conceptuelles d'un runtime générique que d'autres plateformes robotiques pourraient reprendre.

RecherchePaper
1 source