Wie viel System-RAM brauche ich für lokale LLMs?
Kurz gesagt
Wie viel System-RAM brauche ich für lokale LLMs?
Weniger als die meisten Ratgeber behaupten — wenn Modellgewichte und KV-Cache in den GPU- oder Unified-Memory passen. Die Ausgabegeschwindigkeit kommt dann von der GPU-Bandbreite, nicht vom DDR. 32 GB System-RAM reichen oft für Multi-GPU-Rigs, bei denen das Modell komplett auf den Karten liegt. Mehr RAM brauchst du beim Offload von Layern/Experten in den Arbeitsspeicher.
Zuletzt aktualisiert:
Die meisten „du brauchst 128 GB RAM“-Tipps gehen von CPU-Offload aus. Passt das Modell in den VRAM, ist System-RAM deutlich weniger wichtig als GPU-Speicher und Bandbreite.
Warum VRAM die Decode-Geschwindigkeit bestimmt
Die Generierungsgeschwindigkeit hängt davon ab, wie schnell die Runtime die Gewichte pro Token lesen kann. GPU-Bandbreite liegt bei Hunderten GB/s bis TB/s; DDR5 ist weit darunter. Modelle, die in den System-RAM ausweichen, werden meist deutlich langsamer. Der VRAM-Rechner trennt Gewichtsgröße und KV-Cache.
32 GB System-RAM als Multi-GPU-Setup
Ein 8×RTX-3090-Rig (192 GB VRAM) mit nur 32 GB DDR5-ECC-RDIMM funktioniert gut, wenn das Modell ganz auf den GPUs bleibt — der Host-RAM hält OS, Runtime und Staging-Puffer. Das ist das Gegenteil von „erst 256 GB kaufen“.
Example from RigBase: EPYC 7F52 jank rig: 4x3090 + 4090 + 4080 (136 GB VRAM) lists 32 GB RDIMM 3200 with 4x RTX 3090, RTX 4090, RTX 4080 running Llama 3.1 70B at 9 tok/s (Q8_0).
Gemessene Builds mit ca. 32 GB System-RAM
| GPUs | System-RAM | Modell | Quant | tok/s |
|---|---|---|---|---|
| Apple M6 (12-core GPU, unified) | 32 GB unified | Qwen3.6 35B-A3B | MLX 4-bit | 63.2 |
| RTX 3090 24GB | 32 GB DDR5 | Qwen3.8 27B | Unsloth UD-Q4_K_M (nextn/MTP head em | 56.37 |
| RX 9070 XT 16 GB + Radeon AI PRO R9700 32 GB | 32 GB DDR5-6000 | Qwen3.8 27B | IQ4_XS-v3, q8_0 KV | 31.49 |
| RTX 5070 12GB | 32 GB DDR4-2400 | Qwen3.8 Flash-Next | UD-IQ3_XXS, experts streamed from RA | 11.5 |
| 4x RTX 3090, RTX 4090, RTX 4080 | 32 GB RDIMM 3200 | Llama 3.1 70B legacy | Q8_0 | 9 |
Weiter: Multi-GPU-3090-Ratgeber (EN) · Ist Q4 gut genug? · Beste LLMs nach VRAM
Häufige Fragen
Wie viel System-RAM brauche ich für lokale LLMs?
Weniger als die meisten Ratgeber behaupten — wenn Modellgewichte und KV-Cache in den GPU- oder Unified-Memory passen. Die Ausgabegeschwindigkeit kommt dann von der GPU-Bandbreite, nicht vom DDR. 32 GB System-RAM reichen oft für Multi-GPU-Rigs, bei denen das Modell komplett auf den Karten liegt. Mehr RAM brauchst du beim Offload von Layern/Experten in den Arbeitsspeicher.
Kann eine 8×RTX-3090 mit nur 32 GB RAM laufen?
Ja, wenn das Modell vollständig im VRAM liegt. Builder betreiben 8×3090 (192 GB VRAM) mit 32 GB DDR5-ECC-RDIMM erfolgreich. Streamst du Experten aus dem System-RAM (häufig bei 100B+-MoE auf weniger Karten), plane eher 128–256 GB — siehe den 6×3090-Flash-Next-Build mit 192 GB DDR5.
Wann hilft mehr RAM?
Experten-/Layer-Offload, sehr langer Kontext mit CPU-KV, mehrere Modelle parallel, oder OS + Browser + IDE daneben. Unified-Memory-Boxen (Mac, Strix Halo, DGX Spark) teilen einen Pool — dort zählt die Gesamtgröße für Gewichte + KV.
English version: How much system RAM for local LLMs?