Source: https://getrigbase.com/de/guides/quantisierung-ist-q4-gut-genug/ Last updated: 2026-10-28 # Quantisierung für lokale LLMs: ist Q4 gut genug? Kurz gesagt **Ist Q4 gut genug für lokale LLMs?** Für die meisten Chat- und Coding-Anwendungen: ja. Q4_K_M (≈4,89 Bit/Gewicht in llama.cpp) ist der übliche Sweet Spot zwischen Qualität und VRAM. RigBase nutzt Q4 als Basis für Fit-Schätzungen. Unter Q4 (Q3, Q2, schweres IQ2) spart man VRAM, riskiert aber schlechtere Instruction-Following- und Langkontext-Qualität — nicht als erste Wahl empfohlen. Zuletzt aktualisiert: 28. Okt. 2026 Quantisierung verkleinert Gewichte, damit Modelle auf Heim-GPUs passen. Q4 ist der übliche Startpunkt; RigBase rät, für den Alltag nicht darunter zu gehen. **Kurze Antwort:Ja — starte mit Q4_K_M (oder einem soliden ≈4-Bit-Format).** Gegenüber Q8 halbiert das oft den VRAM-Bedarf bei meist kleinem Qualitätsverlust. Unter Q4 nur als Notlösung für riesige Modelle. ## Ungefähre Gewichtsgröße (GB) nach Quant | Modell | Q8_0 | Q5_K_M | Q4_K_M | Q3_K_M | |---|---|---|---|---| | [Qwen3.8 27B](https://getrigbase.com/models/qwen3-8-27b/) | 28.7 | 19.2 | 16.5 | 13.5 | | [Qwen3.6 35B-A3B](https://getrigbase.com/models/qwen3-6-35b-a3b/) | 37.7 | 25.3 | 21.7 | 17.7 | | [Gemma 4 31B](https://getrigbase.com/models/gemma-4-31b/) | 32.6 | 21.9 | 18.8 | 15.3 | | [gpt-oss 20B](https://getrigbase.com/models/gpt-oss-20b/) | 22.2 | 14.9 | 12.8 | 10.4 | GB ≈ Parameter × Bits ÷ 8. Bits: [llama.cpp quantize README](https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md). ## Praktische Regeln - **Standard:** Q4_K_M (GGUF) oder AWQ/NVFP4 ≈4-Bit unter vLLM/Blackwell. - **Noch VRAM übrig?** Q5_K_M oder Q6_K versuchen, bevor eine weitere GPU gekauft wird. - **Unter Q4:** nur zum Quetschen, wenn das Modell sonst nicht lädt. Mehr: [Format-Ratgeber (EN)](https://getrigbase.com/guides/gguf-vs-awq-vs-fp8-vs-nvfp4/) · [Läuft es?](https://getrigbase.com/can-it-run/) · [VRAM pro Modell (EN)](https://getrigbase.com/vram/) ## Häufige Fragen ### Ist Q4 gut genug für lokale LLMs? Für die meisten Chat- und Coding-Anwendungen: ja. Q4_K_M (≈4,89 Bit/Gewicht in llama.cpp) ist der übliche Sweet Spot zwischen Qualität und VRAM. RigBase nutzt Q4 als Basis für Fit-Schätzungen. Unter Q4 (Q3, Q2, schweres IQ2) spart man VRAM, riskiert aber schlechtere Instruction-Following- und Langkontext-Qualität — nicht als erste Wahl empfohlen. ### Q4 vs Q5 vs Q8 — wann höher gehen? Q5/Q6/Q8 helfen, wenn noch VRAM frei ist und bei Q4 Qualitätsprobleme auffallen. Die Gewichtskosten skalieren grob mit den Bits: Q8_0 ≈8,5 Bit/Gewicht vs Q4_K_M ≈4,89 ([llama.cpp-Tabelle](https://github.com/ggml-org/llama.cpp/blob/master/tools/quantize/README.md)). ### Was ist mit NVFP4 / AWQ 4-Bit? Das sind ebenfalls ≈4-Bit-Formate mit ähnlichem Qualitäts-/Größen-Tradeoff auf anderen Engines. Siehe [GGUF vs AWQ vs FP8 vs NVFP4 (EN)](https://getrigbase.com/guides/gguf-vs-awq-vs-fp8-vs-nvfp4/). English version: [Is Q4 quantization good enough?](https://getrigbase.com/guides/quantization-is-q4-good-enough/) Ad · this space is available **Sponsor this spot: reach people building local AI rigs.** One clearly-labeled slot per page, no tracking scripts. [Sponsor this spot →](https://getrigbase.com/advertise/#inquiry)