Wissensbasis & RAG – KI-Lösungen

Der Dreischritt

Frage → Suche in Dokumenten → Antwort mit Quellenangabe. Statt aus dem Trainingsmaterial zu generieren, sucht die KI zuerst in Deinen Dokumenten und formuliert dann auf Basis der gefundenen Fakten – jede Aussage mit nachprüfbarem Link.

Warum RAG statt Standard-LLM

Dimension	Standard-LLM	RAG
Wissensquelle	Allgemeines Trainingsmaterial	Spezifische Unternehmensdokumente
Halluzinationen	3–27 % je nach Modell	Reduziert um 40–71 %
Aktualität	Trainingsdaten-Grenze	Echtzeit (Dokument tauschen)
Nachvollziehbarkeit	Keine Quelle	Jede Antwort mit Quellenlink
Datenschutz	Daten beim Anbieter	Daten können lokal bleiben

Die Datenschutzkonferenz hat RAG im Oktober 2025 ausdrücklich als „risikomindernde Maßnahme” anerkannt (Bezug zu EDSA 28/2024). Vorteile aus DSGVO-Sicht: kein Training mit Kundendaten, lokaler Betrieb möglich, Quellenangaben, kontrollierbare Zugriffsrechte.

Warum RAG statt Fine-Tuning

RAG kostet ungefähr 1/10 von Fine-Tuning (8–30k vs. 30–100k EUR Setup), ist in 2–6 Wochen statt 3–9 Monaten einsatzbereit und braucht nur ~50 Dokumente statt tausender Trainingsbeispiele. Aktualisierung: Dokument austauschen statt teures Retraining.

Wofür sich RAG eignet

Service-Mitarbeitende, die tausende Produktdetails kennen müssen
Wartungs-Teams, die Reparatur-Anleitungen aus PDFs heraussuchen
Sales, die Angebote auf Basis Kundenhistorie + Produktdoku schreiben
Compliance-Teams, die DSGVO-/AVV-Fragen ohne 30-Minuten-Recherche beantworten

Messbare Effekte aus Fallstudien: −42 % Support-Tickets, −75 % Reaktionszeit, −74 % Recherchezeit, −50 % Einarbeitungszeit.

Wofür nicht

Für offene Web-Recherche (das ist Tavily/Perplexity-Land). Für kreative Inhaltsproduktion ohne Faktenbasis (das ist klassisches LLM-Land). Und in Hochrisiko-Bereichen (medizinische Diagnose, verbindliche Rechtsauskunft) ist RAG Rohentwurf-Lieferant, kein Ersatz für Fachurteil – auch RAG kann Quellen falsch zitieren oder Kontext verdrehen. Die Prüfpflicht bleibt operativ identisch.

RAG ≠ Wiki

RAG-Antworten sind flüchtig – bei jeder Frage neu generiert, ohne Versionierung, ohne kuratierte Synthese über mehrere Dokumente hinweg. Ein Wiki (oder PKM-System) hält persistente Knoten mit Beziehungen, Quellen und Updates. Für lebendiges Unternehmenswissen ist die Empfehlung daher beides: ein kuratiertes Wiki als Quelle der Wahrheit + RAG als Abfrage-Schicht darüber. Das ist die Architektur, mit der go4ai selbst arbeitet.

Chatbot-Problem oder Prozess-Problem?

Bevor Du einen Chatbot baust, kläre, welche Sorte Problem Du überhaupt hast. Ein Chatbot-Problem liegt vor, wenn die Informationen sauber vorhanden, aktuell und gepflegt sind und nur schneller abrufbar sein sollen – dann hilft RAG sofort. Ein Prozess-Problem liegt vor, wenn unklar ist, welche Information gültig ist, wer zuständig ist, wie der nächste Schritt aussieht oder wo ein Vorgang gerade hängt. Dann kaschiert ein Chatbot nur einen kaputten Ablauf.

Fünf Sätze, an denen Du ein Prozess-Problem erkennst:

„Das weiss bei uns irgendwie jeder.”
„Frag am besten mal Frau Müller, die kennt sich aus.”
„Das steht irgendwo im Laufwerk.”
„Dafür haben wir keine feste Vorlage.”
„Das läuft je nach Kunde unterschiedlich, da müssen wir erst intern nachfragen.”

Fällt einer dieser Sätze, fehlt nicht der Chatbot, sondern ein klarer Ablauf – und genau hier setzt die Wissenspflege aus „RAG ≠ Wiki” an. Ein freundlich erklärter schlechter Prozess bleibt ein schlechter Prozess.

Vorgehensweise

Inventar: welche Quellen sind die Quelle der Wahrheit? Welche Formate?
Pilot (Woche 1–4): 30–100 Dokumente einlesen, gegen 20 reale Fragen bewerten.
Reranker + Eval: Hit-Quote messen, schlechte Antworten clustern, Quellen verbessern.
Production: Authentifizierung, Logging, Monitoring, regelmäßiger Sync.
Ausweitung: zweiter Use Case, 500+ Dokumente, Systemintegrationen.

Kostenrahmen

Stufe	Setup	Monatlich	Zielgruppe
Einstieg	0–5k EUR	50–200 EUR	<10 MA
Standard	8–15k EUR	200–500 EUR	10–50 MA
Professional	15–30k EUR	500–1.500 EUR	50–500 MA

Amortisation: typisch 1–3 Monate nach Produktivstart. Vorsicht: 85 % der Unternehmen unterschätzen KI-Kosten um >10 %. 2–3× Anfangsbudget für Dokumentenaufbereitung einplanen – die 80/20-Realität der Datenarbeit gilt auch für RAG.

Live ausprobieren: rag.go4ai.de – das go4ai-eigene RAG-System auf der kuratierten Wissensbasis.

Welches Frontend im Unternehmen

Für den unternehmensweiten Rollout lohnt sich meist keine Eigenbau-UI, sondern eine ausgereifte Self-Hosted-UI als Frontend. Empfehlung für KMU 5-50 Mitarbeitende: OpenWebUI – Multi-User-RBAC, SSO, integrierte RAG-Engine, DSGVO-konform, lizenzfrei in der Free-Tier. Konkretes Szenario: Mitarbeiter-Chat auf eigenem Wissen.