RAG gilt als Standard für KI-Wissensdatenbanken – doch ein neuer Ansatz von KI-Pionier Andrej Karpathy stellt das Prinzip auf den Kopf. Was steckt dahinter, und wann lohnt sich der Wechsel?
Viele Mittelstandsunternehmen stehen vor demselben Problem: Sie haben wertvolles Wissen – in E-Mails, Handbüchern, Projektberichten, internen Wikis – aber kein verlässliches System, um es zugänglich zu machen. Retrieval Augmented Generation, kurz RAG, gilt seit einigen Jahren als Standardlösung. Ein neuer Ansatz aus dem KI-Forschungsumfeld deutet jedoch an, dass es auch anders geht. Ob er für Ihr Unternehmen relevant ist, hängt von Ihrem konkreten Einsatzzweck ab.
Wie klassisches RAG funktioniert – und wo es hakt
Beim klassischen RAG-Ansatz werden Dokumente in kleinere Textabschnitte zerlegt, als sogenannte Embeddings in einer Vektordatenbank gespeichert und bei jeder Nutzeranfrage erneut durchsucht. Das Sprachmodell bekommt dann die relevantesten Textschnipsel als Kontext und generiert darauf aufbauend eine Antwort.
Das Verfahren funktioniert – aber es hat strukturelle Schwächen. Widersprüche zwischen verschiedenen Dokumenten bleiben oft unbemerkt, weil das System keine inhaltliche Prüfung vornimmt, sondern nur Ähnlichkeiten misst. Verknüpfungen, die das Modell beim Antworten zieht, sind flüchtig: Nach jeder Anfrage verschwinden sie wieder, ohne dass Wissen dauerhaft aufgebaut wird. Und wer einmal versucht hat, einem Nicht-Techniker die Einrichtung einer Vektordatenbank zu erklären, weiß: Das Setup ist nicht trivial.
💡 Karpathys Idee: Denkarbeit einmalig erledigen
Andrej Karpathy, Mitgründer von OpenAI, hat einen Gegenentwurf skizziert, der unter dem Begriff LLM-Wiki diskutiert wird. Die Grundidee: Ein KI-Agent liest Ihre Quelldokumente nicht passiv – er verarbeitet sie aktiv. Er erkennt Zusammenhänge, löst Widersprüche auf und schreibt das Ergebnis in strukturierte, menschenlesbare Markdown-Dateien. Das Resultat ist ein durchsuchbares Wiki mit Inhaltsverzeichnis, das ohne Vektordatenbank und ohne Embedding-Infrastruktur auskommt.
Der entscheidende Unterschied: Die Denkarbeit findet einmalig beim Einpflegen statt, nicht bei jeder einzelnen Anfrage. Das Wissen liegt danach transparent vor – lesbar für Menschen und Maschinen. Tools wie Obsidian eignen sich gut, um solche Markdown-Wikis lokal zu verwalten und zu durchsuchen.
Für kleine Teams oder Einzelpersonen klingt das verlockend: kein Datenbankwissen erforderlich, in kurzer Zeit startklar, volle Kontrolle über den Inhalt.
🔥 Die Grenzen, die Sie kennen sollten
Bevor Sie das LLM-Wiki-Prinzip als Ersatz für Ihr bestehendes RAG-System planen, sollten Sie vier strukturelle Einschränkungen kennen:
- Verlustbehaftete Kompression: Ein KI-Agent, der zusammenfasst und strukturiert, kann wichtige Einschränkungen, Ausnahmen oder Quellendetails weglassen. Was in der Zusammenfassung fehlt, fehlt dauerhaft – es sei denn, Sie pflegen die Rohdokumente parallel.
- Skalierungsgrenzen: Bei überschaubarem Dokumentenbestand funktioniert der Ansatz gut. Ab etwa 100 Quellen und mehreren hundert Seiten stoßen Sie an praktische Grenzen – dann brauchen Sie wieder eine strukturierte Suche.
- Keine Mehrbenutzer-Lösung: Gleichzeitiges Bearbeiten desselben Wikis durch mehrere Personen ist aktuell nicht gelöst. Für Teams mit parallelen Schreibzugriffen ist das ein echtes Hindernis.
- Fehlende Benchmarks: Belastbare Vergleichstests zwischen LLM-Wiki und RAG existieren bisher nicht. Wer heute entscheidet, tut das ohne unabhängige Leistungsdaten.
✅ Wann welcher Ansatz passt
Die Entscheidung zwischen LLM-Wiki und RAG ist keine Frage des besseren oder schlechteren Verfahrens – sie ist eine Frage des Anwendungsfalls.
Das Wiki-Pattern eignet sich gut, wenn:
– ein Einzelner oder ein kleines Team Wissen strukturieren und abrufen möchte
– der Dokumentenbestand überschaubar und stabil ist
– Transparenz und Lesbarkeit wichtiger sind als Vollständigkeit jedes Details
– kein technisches IT-Team für Infrastruktur verfügbar ist
Ein sauber aufgesetztes RAG-System ist die bessere Wahl, wenn:
– mehrere Nutzer gleichzeitig auf aktuelle Daten zugreifen müssen
– der Dokumentenbestand regelmäßig wächst oder sich ändert
– Vollständigkeit und Quellenangaben geschäftskritisch sind
– Sie einen internen Chatbot mit Live-Datenzugriff und Skalierbarkeit benötigen
Beide Ansätze schließen sich nicht zwingend aus. In der Praxis lassen sich Wiki-Strukturen als vorbereitete Wissensschicht auch mit RAG-Systemen kombinieren – der Agent übernimmt dann die Vorstrukturierung, das RAG-System die skalierbare Suche.
Fazit: Kein Ersatz, aber ein echter Fortschritt
Das LLM-Wiki ist kein pauschaler RAG-Killer. Es ist ein durchdachter Ansatz für spezifische Szenarien – und für genau diese Szenarien kann er klassischen RAG-Lösungen überlegen sein. Die ehrliche Einschätzung: Wer persönliche Wissensdatenbanken aufbauen, Rechercheprojekte strukturieren oder ein kleines Team mit transparentem Zugriff auf internes Wissen ausstatten möchte, findet hier einen einfachen, wartungsarmen Einstieg.
Wer hingegen Skalierbarkeit, Mehrbenutzer-Betrieb und Zuverlässigkeit bei großen Dokumentenmengen braucht, ist mit RAG nach wie vor besser bedient.
Die eigentliche Frage, die sich Entscheider stellen sollten, lautet nicht »Welche Technologie ist besser?«, sondern: Was soll das System konkret leisten, wer nutzt es, und wie viel wächst der Dokumentenbestand? Wer diese drei Fragen klar beantwortet hat, wählt die richtige Architektur – und spart sich teure Fehlentscheidungen.
Wenn Sie unsicher sind, welcher Ansatz für Ihre Situation passt, oder wenn Ihre aktuelle Wissensdatenbank in der Praxis nicht das hält, was sie versprochen hat: Sprechen Sie uns an. KI Strategium begleitet mittelständische Unternehmen dabei, KI-Systeme so aufzubauen, dass sie im Alltag wirklich funktionieren.
