Amazon Nova Embeddings : construire un moteur de recherche audio intelligent par analyse sémantique

Amazon a lancé le 28 octobre 2025 Amazon Nova Multimodal Embeddings, un modèle d'embedding unifié disponible via Amazon Bedrock, capable de traiter simultanément du texte, des documents, des images, des vidéos et de l'audio au sein d'un seul et même système. Concrètement, ce modèle convertit n'importe quel contenu audio en vecteurs numériques denses dans un espace à haute dimension, avec quatre options de taille : 3 072 dimensions (par défaut), 1 024, 384 ou 256. Chaque vecteur encode à la fois les propriétés acoustiques d'un son, rythme, hauteur tonale, timbre, couleur émotionnelle, et son sens sémantique. Deux extraits musicaux similaires, par exemple un violon et un violoncelle jouant la même mélodie, obtiendront une similarité cosinus de 0,87, les plaçant proches dans cet espace vectoriel, tandis qu'un morceau de rock avec batterie n'obtiendra que 0,23 face à ces mêmes clips.

L'enjeu est considérable pour tous ceux qui gèrent de grandes bibliothèques audio : studios de production, plateformes de podcast, services de streaming, équipes de post-production. Les méthodes traditionnelles, transcription manuelle, balisage de métadonnées, conversion parole-texte, ne capturent que le contenu linguistique. Elles sont aveugles aux propriétés acoustiques pures : l'ambiance d'une pièce, l'émotion dans une voix, le genre musical, les sons environnementaux. Nova Multimodal Embeddings comble ce vide en permettant des requêtes en langage naturel comme "musique mélancolique avec piano" ou "bruit de foule dans un stade", sans qu'aucune transcription préalable ne soit nécessaire. Le résultat est une recherche sémantique sur le son lui-même, pas seulement sur ses métadonnées.

Le modèle repose sur une technique appelée Matryoshka Representation Learning (MRL), qui structure les embeddings de façon hiérarchique, à la manière des poupées russes : un vecteur de 3 072 dimensions contient toute l'information, mais on peut tronquer aux 256 premières dimensions et conserver des résultats précis. Cela permet de générer les embeddings une seule fois, puis d'ajuster la taille selon les contraintes de coût de stockage ou de performance, sans retraiter l'audio. Cette approche s'inscrit dans la tendance plus large des modèles d'embedding multimodaux unifiés, où Amazon rivalise directement avec Google (Vertex AI Embeddings) et OpenAI (CLIP, Whisper). L'intégration native dans Bedrock facilite le déploiement en production via des bases de données vectorielles compatibles k-NN. La prochaine étape logique sera l'intégration de ces capacités dans des pipelines RAG (retrieval-augmented generation) pour des agents conversationnels capables de répondre à des questions sur du contenu audio sans intervention humaine préalable.