RecherchearXiv cs.RO 26 octobre 2026

KiRoSe : utiliser les données cinématiques pour segmenter efficacement les démonstrations de robots

1 source couvre ce sujet·Source originale ↗·

Résumé IASource uniqueImpact UE

KiRoSe (Kinematics for Robot Segmentation) est un cadre de recherche décrit dans un preprint arXiv, dont le site de projet est hébergé par le groupe Berkeley Automation. Il vise à découper automatiquement des démonstrations robotiques en sous-segments temporels et sémantiques. Plutôt que de donner au modèle de langage multimodal (MLLM) les flux vidéo multi-caméras bruts, coûteux et rapidement saturants pour la fenêtre de contexte, les auteurs exploitent le flux cinématique qui accompagne la vidéo. Ils proposent des Sparse Motion Tokens (SMT), un vocabulaire discret où les motifs de mouvement récurrents, appelés événements cinématiques, sont codés de façon compacte, sur le principe du codage entropique de Huffman. Les SMT s'obtiennent en encodant les trajectoires avec une supervision par segments temporels, puis en quantifiant les représentations. Un modèle de langage ouvert, supervisé par des annotations de sous-tâches, apprend ensuite à interpréter ces séquences de tokens. Face à une segmentation annotée par des humains, la méthode dépasse nettement les approches de référence en score F1. Elle se transfère aussi sans réentraînement à des robots non vus et à des mouvements humains égocentriques, tout en conservant le vocabulaire ouvert du modèle. Elle suit en outre l'avancement d'une tâche sur un robot inconnu et détecte l'inversion d'une action.

L'enjeu est très concret pour quiconque entraîne des politiques par imitation ou des modèles vision-langage-action (VLA). Le nettoyage, l'indexation et le découpage des démonstrations restent largement manuels, et c'est un goulot d'étranglement à mesure que les jeux de données grossissent. Travailler sur la cinématique, bien plus légère que la vidéo, abaisse le coût d'inférence et contourne la limite de contexte. Le transfert zéro-shot entre morphologies suggère aussi que ces tokens capturent des primitives de mouvement indépendantes du robot. Des réserves s'imposent toutefois. Le résumé ne chiffre ni le gain en F1, ni les robots testés, ni les méthodes comparées, et il s'agit d'un preprint non évalué par des pairs, sans déploiement industriel.

Le travail s'inscrit dans la recherche sur l'usage des MLLM pour annoter et filtrer les données de manipulation. Il part du constat que les annotations de sous-tâches deviennent plus courantes dans les grands corpus de démonstrations. Ses concurrents implicites sont les pipelines qui segmentent à partir de la vidéo seule, plus coûteux, et les découpages heuristiques à base de seuils sur la vitesse ou l'ouverture de la pince, moins sémantiques. Aucun acteur français ou européen n'est cité. La suite logique serait une validation sur de grands jeux de données multi-robots, puis l'intégration dans des chaînes de collecte où la qualité des données conditionne celle des politiques.

Impact France/UE

Pas d\'impact direct sur la France/UE

Dans nos dossiers

IA physique & VLA arXiv cs.RO

À lire aussi

1arXiv cs.RO

EgoGuide : guidage égocentrique pour collecter des démonstrations sans robot et apprendre efficacement

Une équipe de chercheurs a publié en juin 2026 sur arXiv (2606.14665) EgoGuide, une interface de collecte de démonstrations robotiques sans robot physique. Le système enregistre simultanément deux flux vidéo : une caméra au poignet de l'opérateur (wrist view) et une caméra égocentrique portée sur la tête (egocentric view). Un module de guidage visuel-géométrique en ligne évalue la qualité de chaque épisode en temps réel et signale les données redondantes ou peu informatives avant leur accumulation dans le jeu d'entraînement. Les auteurs introduisent également une "Gated Egocentric Residual Policy", une architecture qui mobilise la vue égocentrique pour corriger les ambiguïtés de la vue poignet, tout en préservant la stabilité du contrôle moteur local. Les expériences en conditions réelles confirment une réduction du nombre d'épisodes de démonstration nécessaires et une meilleure robustesse face aux occultations visuelles. L'apport principal est de s'attaquer à un goulot d'étranglement bien identifié dans le domaine : le coût humain de la collecte de données de qualité. Les pipelines de type UMI (Universal Manipulation Interface), qui permettent à un opérateur de collecter des démonstrations manuellement sans robot dédié, produisent souvent des épisodes redondants et manquent de contexte global de scène. Le guidage en ligne réduit ce gaspillage dès la source. La politique résiduelle répond à un problème concret des systèmes d'imitation : la vue poignet seule est ambiguë lors d'occultations ou de passages critiques dans la trajectoire. Donner au modèle un accès conditionnel (gated) à la vue globale lève ces ambiguïtés sans déstabiliser le contrôle fin. Pour un intégrateur, cela signifie potentiellement moins d'heures de collecte humaine pour atteindre un niveau de performance équivalent. EgoGuide s'inscrit dans la lignée directe de l'UMI, développé par Cheng Chi et ses collaborateurs à Stanford et Columbia, qui a popularisé la collecte de démonstrations via des dispositifs portatifs instrumentés. Le verrou adressé ici n'est pas la quantité brute de données mais leur qualité et leur diversité informationnelle. Les approches concurrentes incluent ACT (Action Chunking Transformer), Diffusion Policy et les plateformes de téléopération à faible coût comme ALOHA. Ce travail reste une publication académique arXiv sans déploiement industriel annoncé, et les expériences présentées restent à l'échelle laboratoire. La combinaison guidage en ligne et politique bi-caméra présente toutefois un intérêt direct pour les équipes cherchant à réduire le coût opérationnel de la démonstration à grande échelle.

RechercheOpinion

1 source

2arXiv cs.RO

KODA : alignement des données de cinématique et d'observation pour l'apprentissage des humanoïdes à partir de démonstrations égocentriques humaines

KODA, un cadre présenté sur arXiv (2610.21152) par une équipe de chercheurs, propose de convertir des démonstrations humaines filmées en vue égocentrique (caméra RGB portée par l'opérateur) en données d'entraînement pour des politiques VLA (vision-langage-action) de contrôle du corps entier d'un humanoïde. Le système génère d'abord une trajectoire corps entier validée en simulateur, à l'aide d'un tracker parcimonieux et d'une optimisation de commandes par échantillonnage. Cette trajectoire fixe les poses de la caméra embarquée, utilisées pour synthétiser les observations du point de vue du robot. Mouvement, observations et instruction de tâche forment un enregistrement canonique. Pour chaque contrôleur de déploiement, KODA optimise ensuite les commandes qui reproduisent ce mouvement et enregistre les étiquettes d'action et les états proprioceptifs correspondants. Les tests portent sur quatre tâches de locomanipulation du Unitree G1, avec deux contrôleurs corps entier, SONIC et HEFT. À données robot constantes, le succès moyen (macro-moyenne) sur les conditions couvertes par les démonstrations humaines mais absentes des données robot progresse de 45,0 points avec SONIC et de 46,25 points avec HEFT. L'enjeu est le coût de la donnée. Les démonstrations téléopérées sur robot, avec observations alignées et étiquettes état-action compatibles avec le contrôleur, restent le principal goulot d'étranglement des VLA humanoïdes, alors que la vidéo humaine égocentrique se collecte à grande échelle. Les approches existantes butent sur deux limites: soit elles pré-entraînent des politiques qui exigent encore des données robot pour l'adaptation, soit elles produisent des commandes propres à un contrôleur, donc peu réutilisables. En conservant un enregistrement canonique et en régénérant la supervision à chaque changement de contrôleur, KODA vise à découpler la donnée humaine du pile logiciel de bas niveau, un point utile pour les intégrateurs qui font évoluer leurs contrôleurs. Les auteurs observent aussi une tendance à la hausse avec le volume de données humaines, ce qui suggère un potentiel de passage à l'échelle, sans le démontrer. Il faut toutefois relativiser. Il s'agit d'un préprint de simulation et de laboratoire, sur une seule plateforme et quatre tâches, sans déploiement industriel. Le gain porte sur des conditions précisément choisies car absentes des données robot, ce qui amplifie mécaniquement l'écart avec la référence; il ne mesure pas une performance générale. Le travail s'inscrit dans la course à la donnée pour humanoïdes, entre téléopération massive, simulation et vidéo humaine, où se positionnent aussi des acteurs comme NVIDIA (GR00T), Figure (Helix) ou Physical Intelligence (Pi-0). La suite logique consiste à tester des budgets de données humaines plus larges, d'autres morphologies et des tâches plus longues.

RecherchePaper

1 source

3arXiv cs.RO

Adaptation efficace au moment du test pour les politiques de robots

Des chercheurs proposent TEMPO, une méthode d'adaptation au moment du test (test-time adaptation, TTA) pour les politiques de locomotion issues de l'apprentissage par renforcement. Le principe est d'ajuster une politique déjà entraînée pendant son exécution, de manière auto-supervisée et sans accès à la récompense. Le point de départ est une base légère qui ne met à jour que l'acteur et utilise un critique gelé comme indicateur de performance. TEMPO ajoute deux mécanismes. Un régularisateur d'entropie sur la distribution prédictive du critique limite les extrapolations trop confiantes. Une mémoire à score, inspirée du prioritized replay, retient en priorité les observations de faible valeur, jugées difficiles, et les rééchantillonne par importance pour concentrer le calcul limité sur les conditions les plus informatives. Les tests portent sur trois robots (Go1, Go2 et l'humanoïde G1) dans MuJoCo Playground, avec quatre types de décalage et plusieurs architectures. Les gains sont constants et vont jusqu'à 80 % dans un cadre mono-appareil. Une validation physique a été faite sur un Unitree Go2 muni d'une charge au mollet, avec une adaptation entièrement embarquée. Les politiques de locomotion apprises échouent souvent quand le terrain devient glissant ou accidenté, quand la charge change ou que les capteurs se dégradent. Réentraîner ou recalibrer à la main n'est guère possible sur site, et les contraintes de latence et de mémoire embarquée sont réelles. Ces travaux visent donc un manque pratique : corriger une politique sans récompense ni retour en simulation. Il faut toutefois tempérer. Le chiffre de 80 % est un maximum, et l'article ne donne ni la valeur de la charge ni le nombre d'épisodes réels. Le résultat reste un résultat de laboratoire, pas un déploiement. L'adaptation en ligne est un sujet ancien en robotique, entre randomisation de domaine, identification de système en ligne et méta-apprentissage. TEMPO s'en distingue par son coût réduit et son absence de signal de récompense. Les prochaines étapes naturelles seraient des charges plus lourdes, des terrains variés, des mesures de consommation et de latence sur matériel réel, et l'extension aux humanoïdes, que l'étude n'a validée qu'en simulation.

UEPas d\'impact direct sur la France/UE

RecherchePaper

1 source

4arXiv cs.RO

DiscoDemo : découvrir des démonstrations robotiques efficaces et variées pour l'apprentissage par imitation

Des chercheurs du laboratoire DAVIAN Robotics présentent DiscoDemo, une méthode publiée sur arXiv qui utilise l'apprentissage par renforcement (RL) non pas comme contrôleur déployable, mais comme générateur de données pour l'apprentissage par imitation visuomotrice. Un générateur RL à accès privilégié (il observe l'état exact de la simulation) et conditionné par une variable latente est entraîné avec un curriculum inverse parallèle et un objectif de diversité conditionné au succès. Il découvre ainsi plusieurs modes de solution distincts sans sacrifier la réussite de la tâche. Les comportements obtenus en boucle fermée sont filtrés pour la sécurité, puis exportés sous forme de jeu de données statique. Sur quatre tâches de manipulation, le taux de réussite moyen des politiques aval passe de 40 % à 62 % en simulation par rapport à la meilleure référence, et de 39 % à 78 % sur robot réel. La politique aval testée est un VLA (vision-langage-action) préentraîné à flow matching. Ces résultats visent un point de blocage connu du clonage de comportement : la politique reste très sensible à la couverture des données d'entraînement, et la collecte de démonstrations réussies et variées par téléopération coûte cher. L'étude suggère que la diversité des solutions réussies compte plus que la répétition d'une solution unique. Elle indique aussi que des démonstrations synthétiques produites par RL peuvent remplacer une partie de la collecte humaine, ou la compléter : les auteurs observent que le gain reste complémentaire de la collecte corrective (de type DAgger). Pour un intégrateur, cela ouvre la voie à une réduction du coût de constitution des jeux de données. Quelques réserves s'imposent. Le périmètre est limité à quatre tâches. Le RL privilégié suppose un simulateur et un accès à l'état complet, ce qui n'est pas toujours réalisable pour des objets déformables ou des scènes industrielles complexes. Le gain de 39 % à 78 % sur robot réel vient d'un nombre d'essais que le résumé ne précise pas. Il s'agit d'un travail de recherche, sans produit ni déploiement associé. La méthode s'inscrit dans le courant plus large du transfert simulation-vers-réel et de la génération de données synthétiques pour les modèles fondation robotiques. Ces approches cherchent à réduire la dépendance à la téléopération, qui domine l'entraînement de modèles comme Pi-0 ou GR00T. Elle rejoint aussi les travaux sur la diversité de qualité en RL, qui cherchent à produire des répertoires de comportements variés plutôt qu'une seule politique optimale. Les prochaines étapes à surveiller sont la validation sur des tâches plus longues et plus variées, ainsi que la comparaison avec d'autres sources de données, comme la génération massive en simulation ou les démonstrations humaines à grande échelle. Le code et les résultats détaillés sont annoncés sur la page du projet.

RecherchePaper

1 source