IA physiqueThe Robot Report 11 novembre 2026

Memories.ai met en place un pipeline standardisé de vidéo égocentrique

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

Memories.ai, une entreprise basée à San Francisco, construit un pipeline de données destiné aux fabricants de robots : elle combine une collecte vidéo standardisée et une annotation assistée par IA pour transformer des images égocentriques du quotidien (filmées à la première personne) en données d'entraînement. Sa plateforme, présentée comme dédiée à la physical AI, aux modèles de monde, aux modèles vision-langage-action (VLA) et aux humanoïdes, repose sur un "data lake" vidéo curaté, des services d'annotation sur mesure et des outils de gestion de jeux de données. La vidéo est captée par des collecteurs et partenaires équipés d'un dispositif caméra modulaire et d'un protocole uniforme. Memories.ai traite ensuite elle-même les séquences, avec ses propres modèles : Memories-H0 pour la pose des mains et EgoAction pour la segmentation des actions. Le mois dernier, l'entreprise a indiqué utiliser NVIDIA Cosmos pour interpréter les vidéos entrant dans son data lake, puis post-entraîner Cosmos sur les données curatées pour les applications robotiques et industrielles de ses clients. Aucun volume d'heures de vidéo, nombre de clients ni tarif n'a été communiqué.

L'intérêt tient à l'endroit où se situe le goulot d'étranglement. Les modèles VLA et les politiques d'imitation manquent moins d'architectures que de données de manipulation à la fois nombreuses, cohérentes et correctement étiquetées. La vidéo égocentrique humaine est bien moins coûteuse à collecter que la téléopération robotique, mais son hétérogénéité (angles, optiques, conditions) la rend difficile à exploiter. En imposant un matériel et un processus de capture uniformes, puis en annotant en interne plutôt qu'en agrégeant des sources disparates, Memories.ai parie sur la qualité et la reproductibilité plutôt que sur le volume brut. Reste une question ouverte, que le communiqué n'aborde pas : quelle part de ces données humaines se transfère effectivement à un robot, compte tenu de l'écart de morphologie entre une main humaine et un préhenseur ? Aucun résultat de performance en aval, chez un client, n'est présenté. Le positionnement reste donc, à ce stade, celui d'une offre d'infrastructure dont la valeur n'est pas démontrée publiquement.

Le contexte est celui d'une course à la donnée où plusieurs approches coexistent : téléopération à grande échelle, simulation et génération synthétique, et capture humaine à la première personne, sur laquelle se positionne Memories.ai. L'entreprise a publié une partie de ses travaux sur GitHub et dans des conférences comme ICLR, NeurIPS et EMNLP, ce qui donne une crédibilité académique à ses modèles. Son CEO, Shawn Shen, affirme viser un rôle de partenaire d'infrastructure de long terme plutôt que de simple fournisseur de données, avec des données adaptées aux besoins de chaque client, des accords exclusifs ou non exclusifs, et une possible extension vers les modèles et l'infrastructure vidéo. Aucun pilote nommé ni calendrier n'est annoncé : il s'agit d'une stratégie déclarée, pas d'un déploiement vérifié. La suite dépendra de la capacité de l'entreprise à nommer des clients robotiques et à prouver, chiffres à l'appui, que ses données améliorent des politiques de manipulation réelles.

Dans nos dossiers

IA physique & VLA

À lire aussi

1arXiv cs.RO

EgoSteer : un système complet pour la manipulation dextre pilotable à partir de vidéos égocentriques

Des chercheurs publient EgoSteer, un système complet destiné à rendre les mains robotiques dextres pilotables par instructions en langage naturel, à partir de vidéos égocentriques humaines (arXiv:2607.09701). Le dispositif repose sur trois briques : EgoSmith, un pipeline de données qui a curé 9,6 mille heures de vidéos égocentriques filmées en conditions réelles pour constituer un corpus de pré-entraînement de haute qualité, avec un débit neuf fois supérieur et une précision meilleure que les méthodes précédentes ; une pile robotique unifiée gérant téléopération et correction humaine en boucle ; et EgoSteer lui-même, un modèle vision-langage-action (VLA) enrichi d'un modèle du monde, entraîné sur une infrastructure optimisée. Le système exécute des instructions en langage libre sur plus de 40 tâches distinctes, avec récupération après échec, dextérité fine et capacité de généralisation. Après un pré-entraînement sur données humaines suivi d'un ancrage par post-entraînement robotique et d'un raffinement DAgger, le modèle s'adapte en few-shot à des tâches longues et complexes comme le pliage de boîtes, avec un taux de réussite supérieur à 75% sur deux plateformes robotiques différentes. Le code, les données et le modèle sont mis en open-source sur egosteer.github.io. Ce travail s'attaque directement au principal goulot d'étranglement des mains robotiques dextres : l'absence de données de démonstration à grande échelle, alignées avec le langage et précises au niveau de l'action. En démontrant qu'un pré-entraînement massif sur vidéos humaines non robotiques peut ensuite être ancré efficacement sur robot réel avec relativement peu de données, l'équipe apporte un signal concret sur le transfert vidéo-vers-robot à l'échelle, un sujet central pour les intégrateurs et laboratoires qui cherchent à réduire le coût de collecte de démonstrations téléopérées. La généralisation cross-embodiment et la récupération après échec restent des points faibles connus des VLA actuels ; les résultats annoncés ici, à évaluer au-delà des tâches et conditions choisies par les auteurs, vont dans le sens d'un rapprochement entre démonstrations en laboratoire et usage réel. Le manque de données dextres de qualité freine depuis plusieurs années l'extension des architectures VLA, popularisées par des modèles généralistes comme Pi-0 ou GR00T, au-delà des bras et pinces simples vers des mains multi-doigts. EgoSteer s'inscrit dans cette course à l'échelle des données, aux côtés d'efforts similaires chez les acteurs de l'humanoïde et de la manipulation dextre. L'ouverture complète du code, du modèle et du jeu de données constitue la prochaine étape logique pour permettre une réplication indépendante des résultats annoncés.

IA physiqueActu

1 source

2arXiv cs.RO

EXE : préentraînement égocentrique inter-morphologies via des actions latentes factorisées pour les modèles VLA

Des chercheurs proposent EXE, un cadre de préentraînement « cross-embodiment » égocentrique décrit dans un preprint arXiv (2610.33685, première version, non évalué par les pairs). L'idée est d'apprendre, à partir de vidéos de manipulation humaine filmées à la première personne, une représentation latente d'actions « factorisée » qui sépare deux composantes. La première regroupe les primitives de manipulation communes aux mains humaines et aux robots (atteindre, saisir, placer). La seconde isole les signaux propres à l'humain, liés à sa cinématique. Le politique robotique de type VLA (Vision-Language-Action) hérite ainsi d'une sémantique de manipulation généralisable, sans être biaisé par les mouvements typiquement humains. Selon les auteurs, le même préentraînement profite à des pinces parallèles comme à des mains dextres. Les gains sont rapportés par rapport à une base sans préentraînement sur RoboTwin 2.0 et RoboCasa GR1 (deux bancs d'essai en simulation), ainsi que sur des tâches réelles. Le résumé ne donne ni chiffres, ni nombre de tâches, ni taille des jeux de données. L'enjeu est la pénurie de données robotiques, principal goulot d'étranglement des VLA. Les vidéos égocentriques humaines sont abondantes, variées et riches en intention sémantique, mais l'écart d'incarnation (embodiment gap) rend leur exploitation délicate. Si la factorisation tient ses promesses, elle offre aux intégrateurs et aux équipes de R&D une voie moins coûteuse que la téléopération à grande échelle pour amorcer des politiques généralistes. Elle viserait aussi à réutiliser un même socle sur des effecteurs différents, ce qui compte pour les constructeurs qui déclinent plusieurs mains ou pinces. Il faut toutefois rester prudent : « gains constants » sans amplitude ne dit rien sur l'ampleur de l'effet. Une partie de la validation passe par la simulation, et la robustesse en conditions industrielles (variabilité, cadence, fiabilité) n'est pas établie à ce stade. Ce travail s'inscrit dans une tendance bien identifiée : exploiter les vidéos humaines pour contourner le coût de la collecte robotique, via des actions latentes apprises sans étiquettes, des estimations de poses de mains ou des gants et caméras portés. Plusieurs acteurs de l'humanoïde et des modèles de fondation robotique, dont NVIDIA avec GR00T, Physical Intelligence avec Pi-0 ou Figure avec Helix, ont déjà évoqué le recours à des données humaines à grande échelle. EXE se distingue par la séparation explicite des signaux partagés et spécifiques. Les prochaines étapes à surveiller sont la publication du code et des poids, des comparaisons directes avec ces approches, et des évaluations sur davantage de robots physiques et de tâches longues.

IA physiquePaper

1 source

3arXiv cs.RO

SpatialVAM : une diffusion vidéo multi-vues consciente de l'espace pour un pilotage robotique économe en données

Une équipe de recherche présente SpatialVAM, un système décrit comme le premier "3D Video Action Model", capable de prédire simultanément des vidéos de heatmaps multi-vues sensibles à la structure spatiale et des vidéos RGB classiques pour piloter un bras robotique. Publié sur arXiv sous la référence 2604.03181 (version de remplacement d'un article existant), le modèle apprend à partir de seulement dix trajectoires de démonstration, sans pré-entraînement supplémentaire. Il est évalué sur les bancs d'essai simulés Meta-World et RoboCasa ainsi que sur des plateformes robotiques réelles, avec des gains de performance rapportés de 22% sur Meta-World, 15% sur RoboCasa et 16% en conditions réelles par rapport aux meilleures alternatives testées, qu'il s'agisse d'autres modèles vidéo-action, de modèles vision-langage-action (VLA) ou de politiques fondées sur des représentations 3D. Le système exécute des tâches longues et impliquant des contacts physiques, généralise à des situations hors distribution d'entraînement et produit des prédictions vidéo jugées réalistes pour anticiper l'évolution future de la scène. L'intérêt principal pour l'industrie robotique tient à l'efficacité en données. La plupart des politiques de manipulation actuelles reposent sur des observations visuelles 2D ou sur des backbones pré-entraînés sur des paires image-texte statiques, ce qui impose des volumes de démonstrations importants et limite la compréhension de la dynamique de l'environnement. En injectant nativement l'information spatiale 3D dans un modèle vidéo fondamental, tout en alignant le format de représentation entre le pré-entraînement vidéo et le finetuning pour l'action, SpatialVAM cherche à combler cet écart. Si ces résultats se confirment au-delà des bancs d'essai académiques, ils renforceraient l'hypothèse qu'un apprentissage par imitation avec très peu de démonstrations peut suffire pour des tâches de manipulation complexes, un enjeu direct pour les intégrateurs cherchant à éviter la collecte de jeux de données massifs et coûteux. Le travail se positionne explicitement contre trois familles d'approches existantes: les modèles vidéo-action classiques, les politiques vision-langage-action de type VLA, et les politiques fondées sur des représentations 3D, sans toutefois nommer de systèmes concurrents précis. Aucune affiliation d'entreprise ni de laboratoire n'est précisée dans le résumé, et le travail reste à ce stade une contribution de recherche évaluée en simulation et sur banc réel, sans indication de déploiement industriel ni de calendrier de commercialisation.

IA physiqueActu

1 source

4arXiv cs.RO

Ego-Pi : affinage VLA sur données égocentriques humaines et robotiques

Une équipe de recherche publie sur arXiv (2606.08107) les résultats d'Ego-Pi, une méthode de fine-tuning de modèle VLA (Vision-Language-Action) conçue pour exploiter des données égocentristes humaines dans l'entraînement de robots manipulateurs. L'étude prend comme fondation le modèle π₀.₅ de Physical Intelligence et cible des robots humanoïdes équipés de mains à cinq doigts dextres. Le résultat central : des données de manipulation filmées du point de vue humain permettent au robot d'apprendre de nouvelles sémantiques de tâches et de composer des compétences existantes en comportements inédits, sans nécessiter de données robot équivalentes pour ces mêmes tâches. Ce résultat adresse directement l'un des verrous les plus cités en robotique : la rareté des données d'entraînement à grande échelle. Contrairement au NLP ou à la vision, il n'existe pas de corpus internet pour la manipulation robotique. La démonstration qu'une capture égocentrique humaine, collectée plus facilement, à moindre coût et à plus grande échelle, peut servir de substitut partiel représente un changement de paradigme potentiel pour les pipelines de données. Cela valide aussi l'hypothèse du transfert inter-embodiment : un VLA peut généraliser entre morphologies humaine et robotique si le point de vue reste cohérent. Physical Intelligence, startup californienne fondée en 2023 et à l'origine des modèles π₀ et π₀.₅, positionne ainsi sa fondation comme un socle cross-embodiment viable. Ses concurrents directs, notamment NVIDIA avec GR00T N2 et Google DeepMind avec RT-2, explorent également l'apprentissage multi-source. Il faut souligner qu'Ego-Pi est un preprint non encore évalué par les pairs, sans benchmark industriel ni déploiement réel annoncé à ce stade.

UERésultats potentiellement utiles aux équipes européennes (CEA-List, INRIA) travaillant sur des VLA, mais aucun acteur ni déploiement européen directement impliqué.

IA physiqueOpinion

1 source