Aller au contenu principal
Pegasus 1.6 apporte la compréhension vidéo à l'IA physique, selon TwelveLabsIllustration générée par IA
IA physiqueThe Robot Report 

Pegasus 1.6 apporte la compréhension vidéo à l'IA physique, selon TwelveLabs

1 source couvre ce sujet·Source originale ↗·

Compilé et résumé par IA · sources vérifiables en un clic · publié sans lecture humaine préalable · méthodologie

Résumé IASource unique

TwelveLabs, société de vidéo intelligence fondée en 2021 et basée à Séoul, a publié Pegasus 1.6, la nouvelle version de son modèle vidéo qui marque son entrée dans l'IA physique. C'est son premier modèle conçu pour la vidéo égocentrique, c'est-à-dire filmée du point de vue de la personne qui travaille : cuisiner, assembler des pièces sur une ligne d'usine ou téléopérer un robot. Pegasus 1.6 n'exige ni caméra spécifique ni matériel propriétaire. Il traite aussi les images fixes et peut s'appliquer à des archives vidéo existantes. Il prend en charge cinq workflows, dont la segmentation et l'étiquetage d'actions, qui produit des labels horodatés (tâches, étapes, objets, interactions main-objet) alignés sur la taxonomie du client, et le sous-titrage dense. Les trois autres ne sont pas détaillés dans le matériel disponible. Le PDG Jae Lee a confirmé à The Robot Report que l'entreprise se concentre sur la couche de compréhension vidéo et non sur l'entraînement des modèles robotiques.

L'enjeu est le goulot d'étranglement des données. Les équipes robotiques accumulent des millions d'heures de vidéo, mais ces images brutes ne sont pas exploitables telles quelles : il faut savoir quelle action se déroule, à quel instant, avec quel objet, et quand un tiers entre dans le champ. Lee souligne que la vidéo égocentrique se collecte et se met à l'échelle bien plus facilement que les données de téléopération, aujourd'hui coûteuses et lentes à produire. Si l'annotation automatique tient ses promesses, elle pourrait réduire le coût de préparation des jeux de données pour les intégrateurs et les équipes qui entraînent des modèles vision-langage-action (VLA). La prudence s'impose toutefois : l'annonce ne fournit ni benchmark public, ni taux de précision d'annotation, ni client nommé, ni tarif. Les formules du type « comme jamais auparavant » relèvent du discours commercial, et la vidéo égocentrique, filmée par des caméras portées sur la tête, est connue pour dérouter les modèles entraînés sur des contenus diffusés, pédagogiques ou cinématographiques.

TwelveLabs s'est fait connaître avec Marengo et Pegasus, présentés comme une plateforme « full-stack » de recherche et d'analyse vidéo. Le pivot vers la robotique s'inscrit dans une tendance du secteur : face à la pénurie de données d'entraînement, les acteurs des humanoïdes et des VLA multiplient les sources, entre téléopération, simulation et vidéo humaine. TwelveLabs se positionne en fournisseur d'infrastructure plutôt qu'en concurrent des constructeurs, mais il devra convaincre face aux prestataires d'annotation et aux équipes qui développent leurs outils en interne. Les prochaines étapes à surveiller sont la publication de mesures de qualité sur des jeux de données robotiques, l'annonce de premiers partenaires industriels et la preuve que des modèles entraînés sur ces labels s'améliorent réellement sur des tâches physiques.

Dans nos dossiers

À lire aussi

CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique
Illustration générée par IA
1arXiv cs.RO 

CometVLA : co-entraînement sur une pyramide de données incarnées pour la compréhension physique

Un article publié sur arXiv (2608.30289v1) fin août 2026 présente CometVLA, un nouveau modèle vision-langage-action (VLA) pour la manipulation robotique. Le constat de départ : les jeux de données de question-réponse visuelle (VQA) physique sont désincarnés, mal alignés avec les données d'action réelles des robots, et les vidéos égocentriques ne servent qu'à un pré-entraînement auxiliaire, sans preuve claire que la compréhension physique du VLM améliore la génération d'actions en aval. Les auteurs construisent donc CometData et CometBench, un corpus et un benchmark de VQA physique alignés sur l'embodiment et les données d'action du robot, puis introduisent les "Global Action Prior" (GAP), des tokens formant un goulot d'étranglement appris qui isole les régularités de mouvement indépendantes de la tâche pour nourrir…

IA physiqueActu
1 source
IA sans pilotage : DeVA, un modèle vidéo-action découplé guidé par la physique
Illustration générée par IA
2arXiv cs.RO 

IA sans pilotage : DeVA, un modèle vidéo-action découplé guidé par la physique

Des chercheurs présentent DeVA (Decoupled Video-Action model), une nouvelle architecture pour l'apprentissage de politiques robotiques combinant génération vidéo et prédiction d'actions, détaillée dans un article publié sur arXiv le 28 juillet 2026. Contrairement aux modèles Vision-Language-Action (VLA) classiques, qui reposent sur un pré-entraînement essentiellement statique offrant peu de supervision sur la dynamique physique et la causalité temporelle, DeVA s'appuie sur des modèles génératifs vidéo capables d'anticiper l'évolution d'une scène pendant l'exécution d'une instruction en langage naturel. L'architecture sépare un expert vidéo et un expert action, reliés par un transfert de caractéristiques multi-niveaux, et ajoute une supervision par guidage physique explicite fondé sur l'affordance et la profondeur.

IA physiqueActu
1 source
PhysBrain 1.5 : des modèles vision-langage aux modèles fondation pour l'IA physique
Illustration générée par IA
3arXiv cs.RO 

PhysBrain 1.5 : des modèles vision-langage aux modèles fondation pour l'IA physique

PhysBrain 1.5, décrit dans une publication arXiv (2609.14973v1, soumission croisée), est un modèle unifié qui fusionne compréhension de scène, génération d'actions et prédiction d'états futurs dans un seul cadre d'apprentissage. Bâti sur un modèle vision-langage généraliste, il encode réponses textuelles, mouvements de l'effecteur terminal et cibles visuelles denses en séquences discrètes, optimisées conjointement par prédiction autorégressive du token suivant. Le pré-entraînement s'appuie entièrement sur des vidéos d'interaction humaine, sans donnée robot, via des épisodes centrés sur des tâches associant contexte sémantique et spatial au mouvement reconstruit et aux observations suivantes. L'ajustement supervisé combine ensuite démonstrations humaines, trajectoires robotiques et expérience simulée.

IA physiqueOpinion
1 source
Skild AI utilise l'IA physique de NVIDIA pour apprendre de nouvelles tâches aux robots à partir d'une seule vidéo
Illustration générée par IA
4NVIDIA Blog Robotics 

Skild AI utilise l'IA physique de NVIDIA pour apprendre de nouvelles tâches aux robots à partir d'une seule vidéo

Skild AI a lancé la semaine dernière S1, un modèle de fondation robotique capable d'apprendre une tâche inédite à partir d'une seule vidéo de démonstration, sans réentraînement ni mise à jour de ses poids, une méthode dite d'apprentissage "en contexte". Entraîné sur l'infrastructure NVIDIA (simulation Isaac Lab, modèles de monde Cosmos), S1 interprète l'intention, les objets et la séquence montrés, puis les transpose en actions pour le robot présent, même hors de ses données d'entraînement. Il exécute des tâches de jusqu'à dix minutes, rempotage de plantes, préparation de pancakes, café filtre, assemblage de kits, en enchaînant des dizaines d'étapes de manipulation.

IA physiqueActu
1 source