GGUF-Quantisierung erklärt: Q4_K_M, Q5 und Q8 für lokale KI

Wer lokale Sprachmodelle ausprobiert, stolpert schnell über Kürzel wie Q4_K_M, Q5_K_M oder Q8_0. Sie beschreiben, wie stark ein Modell komprimiert wurde, und entscheiden darüber, ob es in den Grafikspeicher passt und wie gut es antwortet. Dieser Ratgeber erklärt die Grundidee, nennt Größenordnungen und gibt eine Entscheidungshilfe. Zu den gesichteten Quellen zählen ein Händlerartikel von Evetech (17.08.2026, ein Händler aus Südafrika, also nicht unabhängig) und ein Blogbeitrag auf eastondev.com (22.04.2026, laut Seite am 14.07.2026 aktualisiert). Konkrete Zahlen und Faustregeln in diesem Text sind überwiegend eigene Kenntnis und eigene Einschätzung und deshalb als Näherungen zu verstehen. Wir haben hier keine Modelle geladen oder gemessen. Wie du Modelle überhaupt startest, steht in Ollama oder LM Studio einrichten.

Was Quantisierung bedeutet

Ein Sprachmodell besteht aus Milliarden Zahlen, den Gewichten. Im Originalzustand werden sie meist mit 16 Bit gespeichert. Quantisierung speichert sie mit weniger Bit, etwa 8, 5 oder 4. Das Modell wird dadurch deutlich kleiner und braucht weniger Speicher, verliert aber etwas Genauigkeit (eigene Kenntnis). Das gängige Dateiformat für lokale Modelle heißt GGUF und stammt aus dem Umfeld von llama.cpp. Programme wie Ollama und LM Studio laden solche Dateien.

Die gängigen Stufen im Überblick

Die Werte sind gerundete Näherungen und variieren je nach Modell. Als Rechenregel gilt: Dateigröße in GB ist ungefähr Parameterzahl in Milliarden mal Bit pro Gewicht geteilt durch acht. Prüfe die tatsächliche Dateigröße auf der Modellseite.

Was die Buchstaben bedeuten

Das „Q“ steht für Quantisierung, die Zahl für die Bit-Breite. „K“ bezeichnet ein Verfahren mit gruppenweise angepassten Werten, und „S“, „M“ oder „L“ stehen für kleine, mittlere oder große Variante innerhalb der Stufe (eigene Kenntnis). Q4_K_M ist also ein 4-Bit-Verfahren in mittlerer Ausprägung, bei dem wichtige Schichten etwas genauer gespeichert werden. Daneben gibt es Varianten mit „IQ“ im Namen, die mit zusätzlicher Wichtigkeitsinformation arbeiten und bei sehr niedrigen Bit-Zahlen oft besser abschneiden. Für den Einstieg reicht die Q-K-Familie.

Wie viel VRAM brauchst du wirklich?

Die Dateigröße ist nur ein Teil. Zusätzlich belegt der sogenannte Kontext-Speicher (KV-Cache) VRAM, und er wächst mit der Länge des Gesprächs. Dazu kommen Reserven für Windows und andere Programme (eigene Kenntnis). Plane daher mehrere Gigabyte Puffer ein.

Passt ein Modell nicht komplett in die Grafikkarte, lagert die Software Teile in den Arbeitsspeicher aus. Das funktioniert, ist aber spürbar langsamer. Mehr zur Hardware-Auswahl steht in PC für lokale KI.

Größeres Modell oder höhere Qualität?

Eine verbreitete Faustregel (eigene Einschätzung, kein Naturgesetz): Ein größeres Modell mit stärkerer Kompression schlägt oft ein kleineres Modell mit hoher Genauigkeit. Ein 14-Milliarden-Modell in Q4 ist daher häufig besser als ein 7-Milliarden-Modell in Q8, sofern der Speicher reicht. Unterhalb von etwa Q4 sinkt die Qualität dagegen schnell. Teste lieber zwei Varianten mit denselben Fragen, statt dich auf Benchmarks zu verlassen. Bei Programmieraufgaben und Rechenaufgaben fällt Qualitätsverlust früher auf als bei lockerem Chat.

Quantisierung in der Praxis auswählen

1. Notiere den freien VRAM deiner Grafikkarte nach dem Windows-Start.
2. Wähle eine Modellgröße, deren Q4_K_M-Datei etwa 2 bis 4 GB kleiner als der freie VRAM ist.
3. Lade die Datei oder den passenden Tag in Ollama beziehungsweise LM Studio.
4. Teste mit einem realistischen Auftrag und beobachte den Speicher, siehe Hardware überwachen.
5. Hast du Reserve, probiere Q5 oder Q6. Ist es zu knapp, verkürze den Kontext oder nimm eine kleinere Stufe.

Bei Ollama enthalten Modellseiten meist mehrere Tags mit Quantisierung im Namen. Welche Stufe ein Standard-Download hat, steht auf der Modellseite; prüfe das, statt es anzunehmen.

Wo Qualität leidet

Starke Quantisierung zeigt sich zuerst bei Fakten, Mathematik, Code und mehrsprachigen Texten (eigene Einschätzung). Das Modell wirkt dann fahriger, vergisst Details oder halluziniert häufiger. Für einfache Zusammenfassungen oder Brainstorming reicht Q4 meist völlig aus. Wer lokal Programmieren lassen will, sollte Reserve für höhere Stufen einplanen, siehe Lokaler Coding-Assistent. Die laufenden Kosten gegenüber Cloud-Diensten behandelt Lokale KI: Kosten sparen.

Beispielrechnung: Passt ein 14-Milliarden-Modell auf 12 GB?

Ein Modell mit 14 Milliarden Parametern in Q4_K_M belegt nach der Faustformel ungefähr 14 mal 4,8 geteilt durch 8, also etwa 8,4 GB. Dazu kommen Kontext-Speicher und Puffer von zwei bis drei Gigabyte (eigene Schätzung). Auf einer Karte mit 12 GB wird es damit eng, aber bei kurzem Kontext oft machbar. In Q5 wären es rund 10 GB nur für die Gewichte, das passt auf 12 GB praktisch nicht mehr sinnvoll. Auf 16 GB bleibt dagegen Luft für lange Dokumente. Solche Rechnungen helfen vor dem Download, ersetzen aber keinen Test, denn Architektur, Kontextlänge und Software beeinflussen den Verbrauch.

Häufige Fragen

Ist Q4_K_M für den Alltag gut genug?

Für die meisten Chat-Aufgaben ja. Es ist die häufigste Standardwahl, weil Größe und Qualität gut zusammenpassen (eigene Einschätzung).

Warum ist meine Datei größer als berechnet?

Manche Schichten werden höher genauigkeitsgespeichert, und es kommen Metadaten dazu. Die Rechenregel ist nur eine Näherung.

Kann ich eine Quantisierung selbst erzeugen?

Ja, mit Werkzeugen aus dem llama.cpp-Umfeld. Für den Einstieg lädst du aber fertige Dateien von der Modellseite.

Hilft mehr Arbeitsspeicher statt VRAM?

Er macht größere Modelle möglich, aber langsamer. Schnell bleibt es nur, wenn das Modell weitgehend in den Grafikspeicher passt.