faire tourner un modèle
Faire tourner Llama 3.1 8B
Celui que tous les tutoriels supposent. Assez ancien pour que chaque problème rencontré ait déjà sa réponse quelque part.
8 milliards de paramètresles poids ↗
mémoire nécessaire
5,4 Go
le plus petit matériel qui le fait tourner correctement
le moins cher qu'on peut réellement acheter aujourd'hui
les autres qui le font tourner
sur le processeur seul : lent, et ça marche
sur le processeur seul : lent, et ça marche
sur le processeur seul : lent, et ça marche
si vous changez de format
- poids en 4 bitsce que presque tout le monde fait tourner, et l'hypothèse du tableau ci-dessous
- 5,4 Go
- poids en 8 bitsvisiblement meilleur sur les réponses longues ou précises
- 9,8 Go
- poids en 16 bitsle modèle tel qu'il a été entraîné, rarement rentable à la maison
- 19,4 Go
Tout ce qui précède suppose des poids en 4 bits et un contexte de 8 mille jetons. Monter en précision coûte de la mémoire ; raccourcir le contexte est l'autre levier, et le moins cher quand il ne manque pas grand-chose. Fiche du modèle relevée le 2026-08-02.
comment on le fait tourner
ce que cette page ne vous dira pas
Combien de jetons par seconde vous obtiendrez. C'est un benchmark — ça dépend de la bande passante mémoire, du moteur, du contexte et de la longueur des réponses. Ce site n'invente pas de benchmark, et tous ceux qui vous en citent un pour votre configuration exacte devinent.
configurateur
Chiffrer une machine complète autourUne carte n'est pas un serveur. Le configurateur ajoute la machine, les disques, l'électricité et la sauvegarde.