Concepts et Glossaire IA

Définitions essentielles

Terme	Définition
LLM	Large Language Model — Modèle de langage entraîné sur des milliards de textes
Token	Unité de texte traitée par le modèle (~0.75 mot en français)
Prompt	L’instruction ou question donnée au modèle
Inference	L’exécution du modèle pour générer une réponse
Context Window	Quantité maximale de tokens que le modèle peut traiter à la fois
Quantization	Compression du modèle pour réduire la mémoire nécessaire
VRAM	Video RAM — Mémoire de la carte graphique, cruciale pour les LLM
Temperature	Paramètre contrôlant le caractère aléatoire des réponses (0=déterministe, 1+=créatif)
Fine-tuning	Réentraînement d’un modèle sur des données spécifiques
Embedding	Représentation vectorielle d’un texte pour la recherche sémantique
RAG	Retrieval-Augmented Generation — Combiner recherche documentaire et génération
Hallucination	Quand le modèle génère des informations fausses avec assurance
Agent IA	Système autonome capable de planifier et d’utiliser des outils
Shadow AI	Usage d’outils IA non approuvés par l’organisation

Comment fonctionne un LLM

Un LLM est un programme entraîné sur d’énormes quantités de texte pour prédire le mot suivant dans une phrase. Il utilise une architecture appelée Transformer (Google, 2017) qui traite les mots en parallèle grâce à un mécanisme d’attention.

Tokens

Les LLM ne lisent pas des mots mais des tokens (fragments de texte).

Texte	Tokens	Nombre
`Hello`	`Hello`	1
`Bonjour`	`Bon` `jour`	2
`console.log("Hello")`	`console` `.` `log` `("` `Hello` `")`	6

Règle approximative : 1 token ≈ 0.75 mot en français. Les API facturent par token (entrée + sortie).

Context Window

Le contexte est la quantité de texte que le LLM peut “voir” à la fois.

Modèle	Contexte	Équivalent
GPT-3.5	4K tokens	~3 pages
Claude 3	200K tokens	~150 pages
Llama 3.2	128K tokens	~100 pages
Modèles locaux (Ollama)	2K-32K tokens	Variable

Plus le contexte est grand, plus le modèle consomme de RAM et plus la génération ralentit.

Local vs Cloud

	Cloud (API)	Local (Ollama)
Avantages	Modèles performants, pas besoin de GPU	Confidentialité totale, gratuit, hors ligne
Inconvénients	Données envoyées sur Internet, coût par token	GPU/RAM requis, modèles moins puissants

Pour du code propriétaire ou des données sensibles → Local. Pour des questions générales → Cloud.

Paramètres clés

Temperature

Contrôle le caractère aléatoire de la réponse.

Tâche	Temperature	Justification
Génération de code	0.05 - 0.1	Précision maximale
Refactoring	0.1 - 0.2	Déterministe
Documentation	0.3 - 0.5	Précis mais naturel
Explication de concepts	0.5 - 0.7	Naturel et varié
Commit messages	0.1 - 0.2	Cohérent
Brainstorming	0.8 - 1.2	Créatif

Autres paramètres courants

max_tokens : Limite la longueur de la réponse
top_p : Alternative à temperature pour contrôler la diversité
system prompt : Instructions générales données au modèle
num_ctx : Taille du contexte dans Ollama
num_gpu : Nombre de GPU à utiliser

Quantization

La quantization réduit la précision des poids du modèle pour diminuer l’utilisation mémoire et accélérer l’inférence.

Format	Taille	RAM (30B)	Qualité	Usage recommandé
FP16	100%	~60 GB	Excellente	Workstation GPU haut de gamme
Q8_0	50%	~30 GB	Très bonne	Compromis idéal
Q5_K_M	35%	~21 GB	Bonne	Usage quotidien
Q4_K_M	30%	~18 GB	Acceptable	Laptop / RAM limitée
Q3_K_M	20%	~12 GB	Moyenne	Configurations très limitées

# Exemples Ollama
ollama pull qwen3-coder:30b          # FP16 (défaut)
ollama pull qwen3-coder:30b-q8_0     # 8-bit
ollama pull qwen3-coder:30b-q4_K_M   # 4-bit

Calcul de la RAM nécessaire

RAM = (Taille modèle en B × RAM par B selon format) + (num_ctx × 0.5 MB)

Exemple — Qwen3-Coder 30B (Q4_K_M) avec contexte 32K :

16.5 GB (modèle) + 16 GB (contexte) = ~32.5 GB

Métriques de performance

Token Generation (tok/s)

La vitesse à laquelle le modèle génère la réponse. C’est la métrique la plus visible au quotidien.

Configuration	Q4_K_M	Q8_0	FP16
i9 + RTX 5090 32GB	60-80 tok/s	40-60 tok/s	30-50 tok/s
DGX Spark (mémoire unifiée)	35-45 tok/s	25-35 tok/s	15-25 tok/s

Facteurs : taille du modèle, format de quantization, VRAM disponible, taille du contexte.

Prompt Processing

La vitesse d’analyse du prompt d’entrée. Moins visible mais impacte le temps de première réponse.

Configuration	Vitesse
GPU NVIDIA (RTX 5090)	800-1500 tok/s
DGX Spark	400-800 tok/s
CPU seul	50-100 tok/s

Impact du contexte sur les performances

Contexte	RAM supplémentaire	Vitesse	Usage
4096	+1 GB	Rapide	Conversations courtes
8192	+2 GB	Rapide	Fichiers de code moyens
32768	+8 GB	Lent	Projets entiers
65536	+16 GB	Très lent	Analyse massive

Limites et risques

Ce que les LLM font mal

Limite	Solution
Hallucinations — invente des fonctions/faits	Vérifier contre la doc officielle
Connaissances datées	Préciser la version dans le prompt
Raisonnement long — se perd	Décomposer en étapes
Contexte limité — oublie le début	Résumer périodiquement

Risques de sécurité

Menace	Description
Prompt Injection	Tromper le modèle avec des requêtes piégées
Shadow AI	Usage d’outils IA non approuvés par l’organisation
Exfiltration	Extraire des données sensibles du modèle

Pour du code sensible, privilégiez l’exécution locale (Ollama).