GhostShell : appels de fonctions LLM en streaming…

1arXiv cs.RO

OJOx : démonstrations conditionnées par des spécifications pour l'IA incarnée dans la construction

Des chercheurs ont publié sur arXiv (id 2609.22289) un article présentant OJOx, une interface de capture de démonstrations conçue pour l'IA incarnée appliquée au secteur de la construction. Le système délivre la géométrie d'un modèle de conception à un casque de réalité mixte, l'ancre dans l'espace de travail physique, puis la restitue dans la vue stéréo en passthrough du démonstrateur, tout en enregistrant simultanément le mouvement du corps entier et des mains. Les auteurs introduisent la notion de "démonstration conditionnée par la spécification" : un enregistrement synchronisé de l'état physique perçu par l'opérateur, de l'état visé fourni par une conception externe, et du comportement qui relie les deux. Une session entièrement instrumentée est rapportée, la pose d'un mur de 33 composants réalisée à partir d'une spécification qui évolue en cours de chantier, et vérifiée par rapport à la scène physique réelle via une caméra externe positionnée indépendamment du système de capture. Les données restent compatibles avec les infrastructures existantes de retargeting pour robots humanoïdes et ont été rejouées en simulation sur un Unitree G1. Ce travail cible un angle mort des pipelines de données pour les modèles vision-langage-action : les grands corpus de démonstrations égocentriques ou corps entier capturent ce qu'une personne fait, rarement pourquoi elle le fait, c'est-à-dire l'intention de conception qui donne son sens au geste. Dans la construction, où chaque ouvrage est défini par un modèle spécifique au projet, une politique entraînée par simple imitation risque de reproduire la géométrie observée sans apprendre à généraliser vers une spécification jamais vue à l'entraînement. OJOx propose donc un format de données permettant de tester explicitement cette capacité de généralisation, plutôt que de simplement supposer qu'elle émerge de l'échelle des données ; il s'agit néanmoins d'une contribution méthodologique et d'un outil de capture, pas d'un produit commercial ni d'un déploiement en usine, à ce stade une preuve de concept limitée à une seule session instrumentée. Cette publication s'inscrit dans la course plus large des laboratoires de robotique incarnée à constituer des jeux de démonstrations humaines à grande échelle pour entraîner des modèles fondation destinés aux robots humanoïdes, un effort généralement concentré sur des tâches de manipulation générique et répétable. La construction, où chaque tâche suit un plan différent, restait jusqu'ici peu couverte par ce type de capture. En rendant ses enregistrements compatibles avec les pipelines de retargeting existants et en les rejouant sur un Unitree G1, l'équipe positionne OJOx comme un module interopérable avec l'écosystème matériel humanoïde déjà en place. L'article ne fournit ni calendrier de déploiement ni partenaire industriel : il ouvre la voie à des jeux de données plus larges pour évaluer si des politiques VLA peuvent réellement agir vers des spécifications absentes de leur entraînement, une question encore ouverte pour l'ensemble du secteur.

RecherchePaper

1 source

2arXiv cs.RO

De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée

Des chercheurs proposent CPR, un cadre d'apprentissage en deux étapes qui apprend à des politiques de manipulation robotique des représentations prédictives complémentaires à partir de clips vidéo multi-vues. Lors du pré-entraînement, un modèle de fondation 3D gelé fournit des caractéristiques géométriques denses, compressées en représentations géométriques prédictives. Celles-ci sont optimisées pour préserver la structure de la scène et son évolution temporelle. Une supervision par l'action est ensuite appliquée aux transitions géométriques afin d'extraire une représentation motrice complémentaire, centrée sur les transitions pertinentes pour l'action. En post-entraînement, la géométrie prédictive est transférée au moyen de requêtes de géométrie (geometry queries), tandis que la représentation motrice guide les caractéristiques intermédiaires le long du chemin de génération d'actions. Les observations futures ne servent que de supervision privilégiée à l'entraînement et ne sont pas nécessaires à l'inférence. L'évaluation couvre les benchmarks LIBERO, LIBERO-Plus et SimplerEnv, ainsi que des tâches réelles bimanuelles et à un seul bras. Le gain absolu atteint 10,4 points de pourcentage sur l'évaluation WidowX. Les auteurs annoncent aussi un transfert vers plusieurs architectures VLA (vision-langage-action) et vers des WAM (modèles d'action du monde), avec des progrès en prédiction du monde futur comme en prédiction d'actions. Le code doit être publié sur GitHub (dépôt xuxiaoxxxx/CPR), mais ne l'est pas encore. Ce travail s'attaque à une question laissée ouverte : comment représenter la géométrie prédictive pour qu'elle serve réellement à générer des actions. Les approches existantes se limitent à enrichir la politique avec la géométrie des observations courantes, ou à ajouter la prédiction du futur comme simple supervision auxiliaire. Séparer la représentation géométrique de la représentation motrice, puis ne garder que les requêtes et le guidage au moment de l'inférence, évite de dépendre d'images futures coûteuses ou indisponibles en déploiement. Pour les intégrateurs et les équipes R&D, l'intérêt tient à la compatibilité annoncée avec plusieurs architectures VLA : l'approche se présente comme un module de pré-entraînement réutilisable, pas comme une politique de plus. Il faut toutefois rester prudent. Les gains les plus chiffrés viennent de benchmarks simulés, notamment SimplerEnv avec WidowX, dont le rapport à la fiabilité en production reste faible. Le résumé ne donne ni taux de réussite absolus, ni nombre d'essais réels, ni temps de cycle, ni coût de calcul du pré-entraînement. Il s'agit d'un preprint non évalué par des pairs. Le travail s'inscrit dans la course à la manipulation généraliste fondée sur des VLA, où les modèles de fondation visuels et 3D sont de plus en plus réutilisés comme briques de perception. Les benchmarks cités, LIBERO et LIBERO-Plus (robustesse aux perturbations) et SimplerEnv (évaluation reproductible de politiques réelles en simulation), sont devenus des références courantes mais restent des proxys imparfaits. La suite dépendra de la publication du code et de réplications indépendantes, en particulier sur des tâches longues et des plateformes différentes de WidowX. Aucun pilote industriel ni calendrier de commercialisation n'est annoncé.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

3arXiv cs.RO

Automatisation intelligente pour la construction de benchmarks en IA incarnée : pipelines, morphologies, simulateurs et tendances

Un article de synthèse déposé sur arXiv (identifiant 2606.12207) en juin 2026 cartographie les méthodes de construction de benchmarks pour l'intelligence incarnée, un domaine couvrant désormais la navigation, l'assistance domestique, la manipulation robotique, la conduite autonome, les agents aériens et le contrôle par grands modèles multimodaux. Les auteurs structurent leur analyse autour d'un pipeline en cinq étapes : définition des exigences et des tâches, acquisition des données, nettoyage et annotation, génération de la suite d'évaluation avec définition des métriques, puis exécution avec retour diagnostique. Pour chaque étape, l'étude compare la curation manuelle, l'automatisation traditionnelle, l'assistance par modèles de fondation et les workflows en boucle fermée pilotés par agents. Les coûts de construction sont analysés selon six axes : main-d'oeuvre humaine, acquisition de données et d'assets, calcul et simulation, validation et débogage, gouvernance et maintenance, et risque de rework. La conclusion centrale remet en cause l'hypothèse selon laquelle automatiser la construction de benchmarks réduirait mécaniquement les coûts. Les auteurs montrent qu'elle déplace les dépenses vers la validation, l'auditabilité, la gestion de versions et la gouvernance à long terme. Pour les équipes de recherche et les industriels qui s'appuient sur ces benchmarks pour comparer des systèmes (bras manipulateurs, humanoïdes, AMR), cela signifie qu'un benchmark peu coûteux à générer peut devenir onéreux à maintenir. Le risque de rework, souvent sous-estimé, est identifié comme le poste de coût le plus variable selon la stratégie de construction choisie. Ce survey s'inscrit dans un contexte de prolifération rapide des systèmes incarnés où les évaluations sur jeux de données statiques ne suffisent plus à capturer la complexité d'environnements dynamiques réels. La question est directement pertinente pour les VLA (Vision-Language-Action models) en cours de déploiement chez Figure, 1X, Agility ou Physical Intelligence (Pi-0), dont les performances dépendent de benchmarks robustes et maintenables. Le cadre d'analyse proposé s'applique aux initiatives de benchmarking publiées par Google DeepMind, Meta FAIR ou le Stanford HAI. La thèse centrale : les progrès en évaluation robotique dépendront autant de la qualité des pipelines de construction, auditables et actualisables, que de la taille des suites de tests elles-mêmes.

RecherchePaper

1 source

4arXiv cs.RO

Pyramide de données pour la manipulation incarnée

Une équipe de recherche publie sur arXiv (2607.24744) une revue structurant l'écosystème des données pour l'apprentissage robotique en une "pyramide" à cinq niveaux : données réelles issues de robots physiques, données de type UMI (capture de démonstrations humaines avec interface portable), vidéos égocentriques et exocentriques, données de simulation, et données vision-langage générales issues du web. Les auteurs organisent cette pyramide autour d'un compromis central entre scalabilité et alignement robotique, et évaluent chaque source selon quatre critères : qualité, diversité, réutilisabilité et fidélité physique. Ils passent ensuite en revue les modèles fondation récents pour la robotique, qu'il s'agisse de modèles de "cerveau" incarné, de modèles vision-langage-action (VLA) ou de modèles monde-action, en analysant comment chacun sélectionne, aligne et mélange ces différentes sources lors du pré-entraînement, et comment ce choix conditionne leurs capacités de perception, de raisonnement, de planification et de prédiction. Cette cartographie répond à un problème identifié depuis plusieurs années dans le secteur : contrairement aux modèles de langage ou de vision, qui s'entraînent sur la quasi-totalité du contenu textuel et visuel disponible sur internet, les agents incarnés ne peuvent pas se contenter de données passives puisqu'ils doivent apprendre le couplage entre observation, état physique et action. C'est ce goulot d'étranglement qui explique pourquoi des modèles comme Pi-0, GR00T N2 ou Helix combinent systématiquement plusieurs sources de données plutôt qu'une seule, et pourquoi des plateformes comme Figure 03 ou Optimus Gen 3 misent autant sur la collecte de données réelles en usine que sur la simulation. Les auteurs terminent par six chantiers non résolus : constituer des jeux de données tactiles à grande échelle, capturer des séquences d'échec et de récupération, développer des pipelines de collecte scalables, aligner les actions entre différentes morphologies de robots, exploiter les données égocentriques pour la manipulation dextre, et concevoir des recettes de données principielles plutôt qu'empiriques, autant de points de friction qui continuent de freiner le passage de la démonstration au déploiement industriel fiable.

RecherchePaper

1 source

GhostShell : appels de fonctions LLM en streaming pour la programmation incarnée concurrente

À lire aussi

OJOx : démonstrations conditionnées par des spécifications pour l'IA incarnée dans la construction

De la géométrie prédictive à l'action : apprendre des représentations prédictives complémentaires pour la manipulation incarnée

Automatisation intelligente pour la construction de benchmarks en IA incarnée : pipelines, morphologies, simulateurs et tendances

Pyramide de données pour la manipulation incarnée