Embeddings

📖 Qu'est-ce qu'un embedding ?

Un embedding est une représentation vectorielle numérique d'un texte (mot, phrase, document) qui capture son sens sémantique. Les mots ou phrases ayant des significations similaires ont des vecteurs proches dans l'espace vectoriel.

Propriétés fondamentales :

• ✅ Similarité sémantique : mots proches = vecteurs proches
• ✅ Relations vectorielles : "roi" - "homme" + "femme" ≈ "reine"
• ✅ Dimensions compressées : 384-1536 dimensions (vs vocabulaire de 50k+ mots)
• ✅ Transfer learning : pré-entraînés sur des corpus massifs

🧠 Principe des embeddings

Les embeddings sont générés par des modèles de deep learning entraînés sur des corpus massifs de texte. Ils apprennent à placer les mots sémantiquement proches dans des régions voisines de l'espace vectoriel.

L'analogie vectorielle

# "roi" - "homme" + "femme" ≈ "reine"
embedding("roi") - embedding("homme") + embedding("femme") ≈ embedding("reine")

🤖 Modèles d'embeddings

⚙️ Génération d'embeddings

Avec Sentence-BERT (Python)

from sentence_transformers import SentenceTransformer

# Charger le modèle (téléchargement la première fois)
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')

# Générer un embedding pour une phrase
phrase = "L'Appel du 18 juin est un discours historique"
embedding = model.encode(phrase)

print(embedding.shape)  # (384,) - vecteur de 384 dimensions
print(embedding[:5])    # [ 0.12, -0.34,  0.56, -0.08,  0.23]

Batch processing (plusieurs textes)

# Générer des embeddings pour plusieurs textes
textes = [
    "Charles de Gaulle a prononcé l'Appel du 18 juin",
    "Victor Hugo a écrit Les Misérables",
    "La Résistance française pendant la Seconde Guerre mondiale"
]

embeddings = model.encode(textes)
print(embeddings.shape)  # (3, 384)

Avec l'API Le Monde Sémantique

curl -X POST https://lemondesemantique.fr/api/v2/embed \
  -H "Authorization: Bearer kg_live_xxxxx" \
  -H "Content-Type: application/json" \
  -d '{"text": "Discours sur la liberté"}'

📊 Mesure de similarité

Une fois les embeddings générés, on compare les vecteurs pour mesurer la similarité sémantique.

Similarité cosinus

import numpy as np

def cosine_similarity(a, b):
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

# Calculer la similarité entre deux phrases
phrase1 = "discours sur la liberté"
phrase2 = "appel à la résistance"

emb1 = model.encode(phrase1)
emb2 = model.encode(phrase2)

similarite = cosine_similarity(emb1, emb2)
print(f"Similarité : {similarite:.3f}")  # > 0.7 si sémantiquement proches

Autres métriques

🔍 Recherche vectorielle

La recherche vectorielle consiste à trouver les k vecteurs les plus similaires à un vecteur requête.

Avec FAISS

import faiss

# Créer un index FAISS
dimension = 384
index = faiss.IndexFlatIP(dimension)  # Similarité cosinus (produit scalaire)

# Ajouter les embeddings
index.add(embeddings)  # embeddings: matrice (nb_textes, 384)

# Rechercher les 5 plus similaires
requete = model.encode(["discours sur la liberté"])
scores, indices = index.search(requete, k=5)

for score, idx in zip(scores[0], indices[0]):
    print(f"{textes[idx]} (score: {score:.3f})")

🎯 Cas d'usage des embeddings

1. Recherche sémantique

Trouver des documents par sens, pas par mots-clés.

2. RAG (Retrieval-Augmented Generation)

Récupérer les documents pertinents pour alimenter un LLM.

3. Détection de similarité / plagiat

Comparer des documents pour trouver des passages similaires.

4. Clustering de documents

Grouper des documents par thèmes (classification non supervisée).

5. Recommandation

"Les utilisateurs qui ont aimé ce discours ont aussi aimé..."

📚 Ressources pour aller plus loin

• Sentence-BERT (SBERT) - Site officiel
• FAISS - Recherche vectorielle (Meta)
• 🔍 Guide complet recherche vectorielle
• 🤖 RAG et graphes de connaissances
• Modèles Sentence-BERT sur Hugging Face