Linux, processus et GPU

Le GPU n'est pas un CPU plus rapide

Un CPU moderne : ~16 cœurs complexes, excellents pour du code branchu et séquentiel. Un GPU : des milliers de cœurs simples, excellents pour appliquer la même opération à des millions de nombres en parallèle. Or le ML, c'est précisément ça : des multiplications de matrices géantes.

CPU : 16 chefs étoilés    → parfaits pour 16 plats compliqués différents
GPU : 10 000 commis       → imbattables pour éplucher 10 000 pommes de terre identiques

Conséquence directe : un code ML est rapide s'il formule le problème en opérations matricielles (on dit « vectorisé »). Une boucle for Python qui traite les éléments un à un n'utilise ni le GPU, ni même les instructions SIMD du CPU.

La VRAM : ta nouvelle métrique de prod

Sur ton backend, tu surveilles RAM et CPU. En ML, la ressource critique est la VRAM (mémoire du GPU) :

• les poids du modèle doivent y tenir (un modèle 7B en float16 ≈ 14 Go) ;
• l'activation de chaque requête en cours s'y ajoute (le KV-cache d'un LLM grossit avec la longueur du contexte) ;
• dépassement = CUDA out of memory — le OOMKilled du ML, sauf qu'il arrive en pleine requête.

Ton htop ne montre rien de tout ça : l'outil est nvidia-smi (utilisation GPU %, VRAM occupée, processus).

Processus, conteneurs et le GPU

Les mécaniques Linux que tu connais s'appliquent, avec une subtilité : le GPU est un périphérique (/dev/nvidia*). Un conteneur Docker n'y accède que si on le lui passe explicitement (--gpus all, via le NVIDIA Container Toolkit). En Kubernetes, le GPU est une ressource déclarée (nvidia.com/gpu: 1) — non partageable par défaut : un pod = un GPU entier, d'où l'importance de bien le saturer (retour au batching !).

Quantization : faire tenir l'éléphant

Réduire la précision des poids (float32 → float16 → int8 → int4) divise la VRAM nécessaire, avec une perte de qualité souvent négligeable. C'est LA technique qui permet de servir un gros modèle sur un GPU modeste — l'équivalent ML de la compression gzip : un compromis taille/fidélité que tu choisis.