Quantisierung für lokale LLMs: ist Q4 gut genug?

Kurz gesagt

Ist Q4 gut genug für lokale LLMs?
Für die meisten Chat- und Coding-Anwendungen: ja. Q4_K_M (≈4,89 Bit/Gewicht in llama.cpp) ist der übliche Sweet Spot zwischen Qualität und VRAM. RigBase nutzt Q4 als Basis für Fit-Schätzungen. Unter Q4 (Q3, Q2, schweres IQ2) spart man VRAM, riskiert aber schlechtere Instruction-Following- und Langkontext-Qualität — nicht als erste Wahl empfohlen.

Zuletzt aktualisiert: 28. Okt. 2026

Quantisierung verkleinert Gewichte, damit Modelle auf Heim-GPUs passen. Q4 ist der übliche Startpunkt; RigBase rät, für den Alltag nicht darunter zu gehen.

Kurze Antwort: Ja — starte mit Q4_K_M (oder einem soliden ≈4-Bit-Format). Gegenüber Q8 halbiert das oft den VRAM-Bedarf bei meist kleinem Qualitätsverlust. Unter Q4 nur als Notlösung für riesige Modelle.

Ungefähre Gewichtsgröße (GB) nach Quant

Modell	Q8_0	Q5_K_M	Q4_K_M	Q3_K_M
Qwen3.8 27B	28.7	19.2	16.5	13.5
Qwen3.6 35B-A3B	37.7	25.3	21.7	17.7
Gemma 4 31B	32.6	21.9	18.8	15.3
gpt-oss 20B	22.2	14.9	12.8	10.4

GB ≈ Parameter × Bits ÷ 8. Bits: llama.cpp quantize README.

Praktische Regeln

Standard: Q4_K_M (GGUF) oder AWQ/NVFP4 ≈4-Bit unter vLLM/Blackwell.
Noch VRAM übrig? Q5_K_M oder Q6_K versuchen, bevor eine weitere GPU gekauft wird.
Unter Q4: nur zum Quetschen, wenn das Modell sonst nicht lädt.

Mehr: Format-Ratgeber (EN) · Läuft es? · VRAM pro Modell (EN)

Häufige Fragen

Ist Q4 gut genug für lokale LLMs?

Für die meisten Chat- und Coding-Anwendungen: ja. Q4_K_M (≈4,89 Bit/Gewicht in llama.cpp) ist der übliche Sweet Spot zwischen Qualität und VRAM. RigBase nutzt Q4 als Basis für Fit-Schätzungen. Unter Q4 (Q3, Q2, schweres IQ2) spart man VRAM, riskiert aber schlechtere Instruction-Following- und Langkontext-Qualität — nicht als erste Wahl empfohlen.

Q4 vs Q5 vs Q8 — wann höher gehen?

Q5/Q6/Q8 helfen, wenn noch VRAM frei ist und bei Q4 Qualitätsprobleme auffallen. Die Gewichtskosten skalieren grob mit den Bits: Q8_0 ≈8,5 Bit/Gewicht vs Q4_K_M ≈4,89 (llama.cpp-Tabelle).

Was ist mit NVFP4 / AWQ 4-Bit?

Das sind ebenfalls ≈4-Bit-Formate mit ähnlichem Qualitäts-/Größen-Tradeoff auf anderen Engines. Siehe GGUF vs AWQ vs FP8 vs NVFP4 (EN).

English version: Is Q4 quantization good enough?