Faire tourner Llama 3.1 70B

les autres qui le font tourner

« Tout juste » veut dire que ça marche, jusqu'au jour où vous rallongez le contexte ou ouvrez autre chose. C'est-à-dire le jour où vous concluez que l'outil vous a menti.

pas assez de mémoire

• NVIDIA GeForce RTX 3060 8 GB · 8 Go utilisables
• NVIDIA GeForce RTX 3070 · 8 Go utilisables
• NVIDIA GeForce RTX 5060 8 GB (MSI Shadow 2X OC) · 8 Go utilisables
• Sans carte graphique, 16 Go de RAM · 9,6 Go utilisables
• NVIDIA GeForce RTX 3080 · 10 Go utilisables
• NVIDIA GeForce RTX 3060 12 GB · 12 Go utilisables
• NVIDIA GeForce RTX 4070 · 12 Go utilisables
• NVIDIA GeForce RTX 5070 12 GB (MSI Shadow 2X OC) · 12 Go utilisables
• Puce Apple, 16 Go unifiés · 12 Go utilisables
• NVIDIA GeForce RTX 4060 Ti 16 GB · 16 Go utilisables
• NVIDIA GeForce RTX 4080 · 16 Go utilisables
• NVIDIA GeForce RTX 5060 Ti 16 GB (MSI Shadow 2X OC Plus) · 16 Go utilisables
• NVIDIA GeForce RTX 5070 Ti 16 GB (MSI Shadow 3X OC) · 16 Go utilisables
• Puce Apple, 24 Go unifiés · 18 Go utilisables
• Sans carte graphique, 32 Go de RAM · 19,2 Go utilisables
• NVIDIA GeForce RTX 3090 · 24 Go utilisables
• NVIDIA GeForce RTX 4090 · 24 Go utilisables
• Puce Apple, 32 Go unifiés · 24 Go utilisables
• NVIDIA GeForce RTX 5090 32 GB (ASUS ROG Astral OC) · 32 Go utilisables
• NVIDIA RTX PRO 4500 Blackwell 32 GB (PNY) · 32 Go utilisables
• Puce Apple, 48 Go unifiés · 36 Go utilisables
• Sans carte graphique, 64 Go de RAM · 38,4 Go utilisables

si vous changez de format

poids en 4 bitsce que presque tout le monde fait tourner, et l'hypothèse du tableau ci-dessous

47,6 Go

poids en 8 bitsvisiblement meilleur sur les réponses longues ou précises

85,4 Go

poids en 16 bitsle modèle tel qu'il a été entraîné, rarement rentable à la maison

169,4 Go

Tout ce qui précède suppose des poids en 4 bits et un contexte de 8 mille jetons. Monter en précision coûte de la mémoire ; raccourcir le contexte est l'autre levier, et le moins cher quand il ne manque pas grand-chose. Fiche du modèle relevée le 2026-08-02.

comment on le fait tourner

ce que cette page ne vous dira pas

Combien de jetons par seconde vous obtiendrez. C'est un benchmark — ça dépend de la bande passante mémoire, du moteur, du contexte et de la longueur des réponses. Ce site n'invente pas de benchmark, et tous ceux qui vous en citent un pour votre configuration exacte devinent.