PC für lokale KI: Wie viel VRAM Sprachmodelle wirklich brauchen

Wer ein KI-Modell lokal auf dem eigenen PC betreiben will, etwa einen Chatassistenten mit Ollama, stellt schnell fest: Die wichtigste Zahl ist nicht die Rechenleistung, sondern der Grafikspeicher. Passt das Modell in den VRAM, läuft es flott. Passt es nicht, wird es drastisch langsamer oder startet gar nicht. In diesem Ratgeber erfährst du, wie viel VRAM typische Modellgrößen brauchen, was die Quantisierung bewirkt, warum der Kontext zusätzlich Speicher kostet und welche Grafikkarten-Klassen sich dafür eignen. Die Zahlen stammen aus zwei Praxisberichten von 2026: dem Hardware-Leitfaden von Easton Dev (28.05.2026, aktualisiert 14.07.2026) und einer Übersicht von ComputingForGeeks (aktualisiert 10.10.2026). Beide sind keine Hersteller-Spezifikationen. Die Werte schwanken je nach Modell, Programm und Einstellungen. Wie sich lokale KI finanziell lohnt, behandelt unser Ratgeber Lokale KI und monatliche Kosten sparen. Hier geht es um die Hardware.

Warum VRAM entscheidend ist

Ein Sprachmodell besteht aus Milliarden Zahlen, den Parametern. Zum Rechnen muss das Modell im schnellen Speicher der Grafikkarte liegen. Ist dort zu wenig Platz, lagert das Programm einen Teil in den Arbeitsspeicher aus. Easton Dev nennt als Beispiel einen Einbruch von etwa 45 auf 2 bis 3 Token pro Sekunde, wenn der VRAM nicht reicht (Easton Dev). Ein Token entspricht grob einem Wortstück. Mit 2 bis 3 Token pro Sekunde ist eine Unterhaltung mühsam. Deshalb planst du die Hardware in der Regel nach dem größten Modell, das du nutzen willst.

Wie viel VRAM brauchen Modelle?

Der Bedarf hängt von der Parameterzahl ab und davon, wie stark das Modell komprimiert ist. Diese Komprimierung heißt Quantisierung. Q4 bedeutet etwa 4 Bit pro Parameter, Q8 etwa 8 Bit, FP16 volle 16 Bit. Easton Dev gibt folgende Richtwerte:

Die Faustformel dahinter: Parameter in Milliarden mal Bits geteilt durch 8, dazu 1 bis 2 GB für den Zwischenspeicher. Easton Dev empfiehlt zusätzlich etwa 2 GB Reserve und schätzt, dass Q4 gegenüber höherer Genauigkeit nur etwa 1 bis 3 Prozent Qualität kostet. Von Q3 und Q2 rät die Quelle ab, außer der Speicher ist sehr knapp. Als tatsächliche Dateigrößen nennt ComputingForGeeks beispielsweise 4,9 GB für Llama 3.1 8B in Q4_K_M, 5,7 GB für ein 9B-Modell und 7,1 GB für ein 12B-Modell sowie 42,5 GB für Llama 3.3 70B in Q4_K_M (ComputingForGeeks).

Der Kontext frisst zusätzlich Speicher

Neben den Modellgewichten braucht das Programm Speicher für den bisherigen Gesprächsverlauf, den sogenannten KV-Cache. Je länger der Kontext, desto mehr. ComputingForGeeks rechnet vor: Für Llama 3.1 8B sind es rund 4,3 GB bei 32.000 Token Kontext und rund 17,2 GB bei 128.000 Token. Bei Llama 3.3 70B sind es etwa 10,7 GB bei 32.000 Token. Hinzu kommen etwa 0,7 GB Laufzeit-Overhead und mindestens 1 GB Reserve. Die Quelle fasst zusammen: Gewichte plus Cache plus Overhead plus Reserve. Wenn ein Modell trotz passender Gewichte nicht läuft, liegt es meist am Kontext. Bei neueren, hybriden Architekturen kann der Bedarf deutlich geringer ausfallen.

Welche Grafikkarten-Klasse für welches Modell?

Easton Dev ordnet Grafikkarten nach Speicherklasse ein. Preise nennen wir nicht, sie ändern sich laufend:

Wichtig: Die Auswahl der Quelle spiegelt den Stand von Mai bis Juli 2026 und ihre eigene Einschätzung wider. Gebrauchte Karten bergen Risiken, siehe Gebrauchte Grafikkarte kaufen. Ob 16 oder 24 GB für Spiele nötig sind, steht im Ratgeber 16 GB oder 24 GB VRAM. Der Speicher ist hier wichtiger als bei Spielen.

Und der Arbeitsspeicher?

Easton Dev behandelt den Arbeitsspeicher nicht als Hauptfaktor. Er ist aber das Auffangbecken, wenn der VRAM nicht reicht, mit dem genannten Geschwindigkeitseinbruch. Zum Betrieb lokaler Modelle ohne Auslagerung genügt meist normaler Arbeitsspeicher. Wer ihn dennoch vergrößert, findet Hilfe im Ratgeber RAM-Kauf. Eine Auswertung zum Betrieb nur mit dem Prozessor, ohne Grafikkarte, enthalten die Quellen nicht, daher geben wir hier keine Empfehlung ab.

Netzteil, Kühlung und Strom

• Netzteil: Grafikkarten mit viel Speicher sind meist große Karten. Plane Leistung und Anschlüsse ein, siehe Netzteil kaufen.
• Kühlung: KI-Berechnungen belasten die Karte lange am Stück, ähnlich wie ein Videoexport. Eine gute Belüftung zahlt sich aus.
• Strom: Wer das Modell oft laufen lässt, spürt es auf der Rechnung, Beispiele im Ratgeber zu den Stromkosten. Undervolting kann helfen, siehe Undervolting.

So planst du deinen KI-Rechner

1. Modell festlegen: Welche Größe brauchst du wirklich? Für Alltagsfragen reicht oft ein kleines Modell, für anspruchsvolle Aufgaben ein größeres.
2. VRAM berechnen: Gewichte aus der Tabelle plus Kontext plus Overhead plus Reserve.
3. Karte wählen: Nimm die kleinste Karte, die dein Modell mit Reserve trägt. Mehr VRAM ist bei KI wichtiger als mehr Takt.
4. Rest abstimmen: Prozessor und Arbeitsspeicher in normaler Größe, schnelle SSD für die Modelle, siehe SSD-Planung. Modelldateien sind groß, Q4-Varianten allein belegen zweistellige Gigabyte.
5. Gaming nebenbei? Dann zählt auch die Spielleistung, siehe Grafikkarte kaufen 2026.

Häufige Fragen zu PC und lokaler KI

Wie viel VRAM brauche ich für ein 7B-Modell?

Laut Easton Dev etwa 4 bis 6 GB in Q4. Bei höherer Genauigkeit entsprechend mehr, plus Speicher für den Kontext.

Reichen 8 GB VRAM?

Für kleine Modelle in Q4 ja. Für größere Modelle oder lange Kontexte wird es eng.

Warum ist mein Modell so langsam?

Meist passt es nicht vollständig in den VRAM und wird teilweise in den Arbeitsspeicher ausgelagert. Verkleinere das Modell, nutze eine stärkere Quantisierung oder verkürze den Kontext.

Ist eine teure Gaming-Karte für KI nötig?

Nein, aber VRAM ist wichtiger als bei Spielen. Die Quelle nennt auch ältere Karten mit viel Speicher als Preis-Leistungs-Tipp.