Aller au contenu
selfhostr

faire tourner un modèle

Ce que vous pouvez faire tourner sur une NVIDIA GeForce RTX 5090 32 GB (ASUS ROG Astral OC)

32 Go utilisables sur 32.

ça rentre confortablement

Qwen3.5 4BTourne sur un portable sans carte graphique. Reformuler, résumer, trier — pas raisonner.2,7 Go
Llama 3.1 8BCelui que tous les tutoriels supposent. Assez ancien pour que chaque problème rencontré ait déjà sa réponse quelque part.5,4 Go
Qwen3.5 9BL'assistant du quotidien, et le plus petit qui réponde utilement sur un document qu'on lui colle.6,1 Go
Gemma 4 12BLa taille intermédiaire de Google : à l'aise sur la langue ordinaire, et il lit les images.8,2 Go
Phi-4 14BRaisonne et calcule bien au-dessus de sa taille, pour le peu de mémoire qu'il occupe.9,5 Go
gpt-oss 20BLe modèle ouvert d'OpenAI, dans la taille prévue pour une seule machine.13,6 Go
Gemma 4 26B-A4BUn modèle à experts : il se charge comme un 25 milliards et répond plus vite qu'un.17,1 Go
Qwen3.6 27BLa taille où une machine chez soi commence vraiment à remplacer un abonnement payant.18,4 Go
Qwen3-Coder 30B-A3BFait pour le code, et celui à installer si c'est toute la raison de votre venue.20,4 Go
Gemma 4 31BLe plus gros Gemma qui tienne encore sur une seule carte grand public.20,9 Go
DeepSeek-R1 Distill 32BMontre son raisonnement en travaillant. Plus lent à répondre, et ça vaut le coup sur les questions difficiles.21,8 Go
Qwen3.6 35B-A3BUn cran au-dessus du 27B, et le moment où 24 Go ne suffisent plus.23,8 Go

ça ne rentre pas

Llama 3.1 70BLe grand modèle de Meta. Demande du matériel acheté pour ça, et pour rien d'autre.47,6 Go
gpt-oss 120BTient sur une seule carte de 80 Go, ou sur un Mac largement doté en mémoire unifiée.81,6 Go

Chiffré avec des poids en 4 bits — ce que presque tout le monde utilise — et un contexte de 8 mille jetons. Les deux changent le résultat : raccourcir le contexte est le premier levier quand ça passe de peu. Fiche du modèle relevée le 2026-08-02.

ce que la génération coûte

1 h par jour
52 € par an · 210 kWh
2 h par jour
105 € par an · 420 kWh
8 h par jour
420 € par an · 1679 kWh

À 575 W en charge et 0.25 € le kWh — la moyenne européenne, puisque cette page ne demande pas où vous habitez. La consommation au repos n'est pas comptée ici : c'est le métier du configurateur, et l'additionner reviendrait à facturer deux fois la même prise.

comment on le fait tourner

ce que cette page ne vous dira pas

Combien de jetons par seconde vous obtiendrez. C'est un benchmark — ça dépend de la bande passante mémoire, du moteur, du contexte et de la longueur des réponses. Ce site n'invente pas de benchmark, et tous ceux qui vous en citent un pour votre configuration exacte devinent.

Chiffrer la machine autour

Une carte n'est pas un serveur. Le configurateur s'occupe du reste — la machine, les disques, l'électricité et la sauvegarde.