Eigene Dokumente lokal mit KI durchsuchen: RAG mit Ollama einrichten

Du hast Hunderte PDFs, Notizen und Handbücher und willst Fragen stellen wie „Was steht in meinem Mietvertrag zur Kündigungsfrist?“ Ein Cloud-Chatbot würde die Dokumente hochladen. Lokal geht es auch: Das Verfahren heißt RAG (Retrieval-Augmented Generation). Dieser Ratgeber erklärt, wie es funktioniert, welche Schritte mit Ollama und AnythingLLM nötig sind, was die Hardware leisten muss und wo die Grenzen liegen. Die Hauptquelle ist ein Setup-Guide von InsiderLLM, erstmals am 8. Februar 2026 veröffentlicht und am 4. Juni 2026 aktualisiert. Er wurde laut Text mit AnythingLLM 1.13.0 und Ollama 0.30.0 geprüft. Es ist ein kleines Fachblog, kein Herstellerdokument. Programmversionen und Modellnamen ändern sich schnell, prüfe also, welche Versionen aktuell sind. Wir haben die Schritte hier nicht selbst auf einem Rechner ausgeführt. Grundlagen zu Ollama findest du in Ollama oder LM Studio einrichten.

Was ist RAG in einfachen Worten?

Ein Sprachmodell kennt deine Dokumente nicht. Bei RAG werden sie zuerst in Abschnitte zerlegt und in Zahlenvektoren („Embeddings“) umgewandelt, die in einer Datenbank liegen. Stellst du eine Frage, sucht das System die passendsten Abschnitte heraus und gibt sie dem Modell zusammen mit der Frage. So antwortet das Modell auf Basis deiner Texte. Laut InsiderLLM zerlegt AnythingLLM Dokumente standardmäßig in Stücke von 1000 Token. Die Qualität hängt stark davon ab, ob die richtigen Abschnitte gefunden werden. Das System zeigt deshalb zu jeder Antwort die verwendeten Textstücke an, und die Quelle rät, diese zu prüfen: Schwache Treffer führen zu schwachen Antworten.

Die Bausteine

Einrichtung in fünf Schritten

Laut InsiderLLM läuft die Einrichtung so:

1. Ollama installieren und ein Chat-Modell sowie nomic-embed-text laden. Prüfe, ob Ollama auf Port 11434 antwortet.
2. AnythingLLM als Desktop-App für Windows, macOS oder Linux installieren oder als Docker-Image betreiben. Unter Docker braucht der Container einen Host-Gateway-Parameter, damit er Ollama erreicht.
3. In AnythingLLM als LLM-Anbieter Ollama wählen (localhost:11434, unter Docker host.docker.internal) und das Chat-Modell festlegen. Als Embedding-Anbieter ebenfalls Ollama mit nomic-embed-text wählen. Die Standard-Vektordatenbank LanceDB kann bleiben.
4. Einen Workspace anlegen und Dateien hochladen. Jeder Workspace hat eigene Dokumente und einen eigenen Chatverlauf. Unterstützt werden unter anderem PDF, TXT, Markdown, DOCX, Web-Adressen, Code-Dateien und CSV.
5. Fragen stellen und die angezeigten Quellenabschnitte prüfen.

Welche Hardware reicht?

Die Quelle nennt als Untergrenze 8 GB RAM und empfiehlt 16 GB. Für die Grafikkarte empfiehlt sie 8 GB oder mehr VRAM, damit Chat- und Embedding-Modell gleichzeitig laufen. Mit der CPU allein funktioniert es, die Antworten dauern bei einem 7B-Modell laut Quelle aber etwa 5 bis 10 Sekunden. Zusätzlich braucht es mindestens 10 GB Speicherplatz, besser 20 GB oder mehr, und eine CPU mit vier oder mehr Kernen. Wie VRAM, RAM und Grafikkarte zu Modellgrößen passen, erklärt PC für lokale KI. Die laufenden Kosten im Vergleich zu Abos behandelt Lokale KI auf dem PC.

Embedding-Modell: Warum es zählt

AnythingLLM bringt einen eigenen Embedder (all-MiniLM-L6-v2) mit, der ohne weitere Einrichtung funktioniert. Die Quelle empfiehlt den Wechsel auf nomic-embed-text, weil die Suche besser sei, besonders bei technischen Dokumenten. Wichtig: Die Embedding-Einstellung gilt systemweit. Wechselst du das Modell, müssen alle Dokumente neu eingelesen werden. Entscheide dich also früh. Ein Hinweis aus der Quelle für Fortgeschrittene: Ollama 0.30.0 wandelt Eingaben von nomic-embed-text in Kleinbuchstaben um. Indizes, die mit älteren Versionen entstanden sind, können sich leicht unterscheiden, was vor allem bei Texten relevant ist, in denen Groß- und Kleinschreibung zählt.

Grenzen, die du kennen solltest

InsiderLLM nennt mehrere Schwächen. Diese Punkte solltest du einplanen, bevor du dich auf Antworten verlässt:

• Tabellen in PDFs sind die schwächste Stelle: Verbundene oder verschachtelte Tabellen kommen oft verstümmelt an.
• Gescannte PDFs brauchen vorher eine Texterkennung (OCR). Mehrspaltige Layouts erzeugen schlechte Abschnitte.
• Große Dokumentmengen verlangsamen das Einlesen beim Hochladen.
• Vergleiche über mehrere Dokumente sind uneinheitlich, weil das System oft nur Abschnitte aus einer Datei holt.
• Das Embedding-Modell gilt global und nicht pro Workspace.
• AnythingLLM hat laut Quelle ein festes Zeitlimit von fünf Minuten für Ollama-Antworten, das lange Ausgaben langsamer Modelle abschneiden kann.

Datenschutz: Was „lokal“ bedeutet

Wenn Ollama und AnythingLLM auf deinem PC laufen und kein Cloud-Anbieter eingestellt ist, bleiben deine Dokumente auf dem Rechner (eigene Einschätzung auf Basis der Funktionsweise). Prüfe trotzdem die Einstellungen: Wird als Modellanbieter oder Embedding-Anbieter ein Online-Dienst gewählt, verlassen die Texte den PC. Das gilt auch für Web-Adressen, die du als Quelle hinzufügst. Wie Cloud-Chatbots mit Eingaben umgehen, steht in KI-Chatbots und Datenschutz. Sensible Unterlagen wie Verträge, Gesundheits- oder Steuerdaten gehören zusätzlich in eine verschlüsselte Sicherung, siehe Backup-Strategie.

Praxis: So bekommst du bessere Antworten

• Dokumente vorher ordnen und pro Workspace ein Thema bündeln, zum Beispiel Verträge, Handbücher, Notizen (eigene Einschätzung).
• Fragen konkret stellen und den gesuchten Begriff nennen, statt allgemein zu fragen.
• Die angezeigten Quellen öffnen und gegenlesen. Das Modell kann sich irren.
• Bei Tabellen und Zahlen das Original prüfen.
• Dateinamen aussagekräftig wählen, damit Treffer leichter zuordenbar sind.
• Bei schlechten Treffern das Embedding-Modell wechseln und alles neu einlesen, statt immer wieder die Frage umzuformulieren.

Auch Sprachaufnahmen kannst du lokal in Text umwandeln und danach durchsuchen. Das beschreibt Whisper lokal. Ob ein Prozessor mit KI-Einheit dafür nötig ist, klärt NPU und Copilot+.

Häufige Fragen

Brauche ich eine Grafikkarte dafür?

Nicht zwingend. Laut Quelle läuft es auch mit der CPU, die Antworten dauern dann etwa 5 bis 10 Sekunden bei einem 7B-Modell. Eine Grafikkarte mit 8 GB oder mehr VRAM ist empfohlen.

Welche Dateitypen kann ich nutzen?

Laut Quelle unter anderem PDF, TXT, Markdown, DOCX, Web-Adressen, Code und CSV.

Warum sind die Antworten manchmal falsch?

Meist wurden die falschen Abschnitte gefunden oder die Datei ist schlecht lesbar. Prüfe die angezeigten Quellen.

Kann ich Scans einlesen?

Nur nach OCR. Gescannte PDFs ohne Text lassen sich laut Quelle sonst nicht sinnvoll verarbeiten.