Infrastructure IA - Kodetis

Architecture

Chez Kodetis, l’exécution de LLM en local repose sur deux machines dédiées, chacune avec un rôle distinct. Chaque développeur utilise Ollama en local sur sa machine.

┌─────────────────────────────────────────────────────┐
│                  Infra Compute IA                   │
│                                                     │
│  ┌──────────────────┐    ┌───────────────────────┐  │
│  │   Desktop PC     │    │    NVIDIA DGX Spark   │  │
│  │   i9 + RTX 5090  │    │    Grace Blackwell    │  │
│  │                  │    │                       │  │
│  │  Rôle :          │    │  Rôle :               │  │
│  │  INFÉRENCE       │    │  FINE-TUNING / DATA   │  │
│  │  (tok/s élevé)   │    │  (mémoire unifiée)    │  │
│  └──────────────────┘    └───────────────────────┘  │
└─────────────────────────────────────────────────────┘

Les machines

Desktop PC - Inférence

Composant	Spec
CPU	Intel Core i9 Ultra 285K (24 cores / 32 threads)
GPU	NVIDIA RTX 5090 — 32 GB VRAM
RAM	128 GB DDR5-6000
Storage	12 TB SSD NVMe

Pourquoi cette config ? La VRAM dédiée de 32 GB permet de charger des modèles larges et de générer rapidement. La séparation RAM / VRAM offre un débit d’inférence supérieur au DGX Spark.

NVIDIA DGX Spark - Fine-tuning & Data

Composant	Spec
SOC	NVIDIA GB10 Grace Blackwell Superchip
CPU	20-core ARM (Cortex-X925 + Cortex-A725)
GPU	Blackwell Architecture — 6 144 CUDA cores
Mémoire unifiée	128 GB LPDDR5x-4266 (partagée CPU/GPU)
Bande passante	273 GB/s
Storage	4 TB NVMe SSD (auto-chiffrement)
Format	150 x 150 x 50 mm — 1,2 kg — 240W

Pourquoi cette config ? La mémoire unifiée de 128 GB (partagée CPU/GPU, sans copie de données) permet de charger des modèles très larges (jusqu’à 200B) en mémoire. Format compact et faible consommation.

Comparaison des rôles

Critère	Desktop PC (RTX 5090)	DGX Spark
Inférence (tok/s)	50-80 tok/s (30B)	15-20 tok/s (70B)
Fine-tuning	Limité par VRAM (32 GB)	Optimal — 128 GB unifiés
Traitement data	Standard	Optimal — bande passante 273 GB/s
Modèle max (natif)	~120B (avec quantization)	200B (natif), 405B (x2 DGX)
Multi-modèles	Possible (RAM + VRAM)	Limité (mémoire partagée)
Consommation	800-1000W	240W

Retour d’expérience

Le DGX Spark n’est pas une machine d’inférence

C’est la leçon principale. Sur le papier, le DGX Spark avec ses 128 GB de mémoire unifiée et 1 PFLOP de puissance semble idéal pour tout. En pratique :

• Inférence pure : les performances en tokens/s sont décevantes comparées au Desktop PC. La bande passante mémoire (273 GB/s) est inférieure à celle d’une RTX 5090 avec sa VRAM dédiée. Pour du code quotidien où la vitesse de génération compte, le Desktop reste largement supérieur.
• Fine-tuning et traitement data : c’est là que le DGX Spark excelle. La mémoire unifiée de 128 GB permet de charger des datasets et des modèles larges sans les contraintes de transfert RAM → VRAM. Le fine-tuning de modèles 70B se fait sans quantization, ce qui préserve la qualité du modèle.

À retenir

Ne choisissez pas le DGX Spark pour de l’inférence rapide. Utilisez-le pour le fine-tuning, le traitement de données, et les expérimentations sur des modèles larges où la capacité mémoire prime sur le débit.

Matrice de décision

Tâche	Machine recommandée	Raison
Coding assisté (Copilot local)	Desktop PC	Tok/s élevé, réactivité
Fine-tuning d’un modèle	DGX Spark	Mémoire unifiée, pas de quantization
Traitement de datasets	DGX Spark	Bande passante mémoire
Tests de modèles 120B+	DGX Spark	Capacité mémoire native
Utilisation multi-modèles	Desktop PC	RAM + VRAM séparées

Prochaines étapes

• Configurer votre environnement — Installation d’Ollama et des outils
• Glossaire IA — Formats de quantization et concepts clés