Kurz gesagt
Für Firmenwissen ist RAG heute der Standard. Dabei sucht die KI zuerst in Ihren freigegebenen Dokumenten und formuliert die Antwort aus den Fundstellen, mit Quellenangabe. Ihre Daten werden dafür nicht in das Modell trainiert, Zugriffsrechte bleiben erhalten, und neue Dokumente sind nach der Indexierung nutzbar.
Fine-Tuning brauchen die meisten Unternehmen nicht. Für den Datenschutz zählt vor allem, wo drei Dinge passieren: die Speicherung der Dateien, der Suchindex und die Erzeugung der Antwort.
Drei Wege, eine KI mit eigenen Daten zu nutzen
„KI mit eigenen Daten“ kann dreierlei bedeuten. Die Wege unterscheiden sich stark in Aufwand, Aktualität und Datenschutz.
| Dateien in den Chat hochladen | RAG über eine Wissensbasis | Fine-Tuning oder eigenes Training | |
|---|---|---|---|
| Wofür | einzelne Dokumente schnell auswerten | Fragen über den gesamten freigegebenen Bestand | Stil, Fachsprache oder Format eines Modells anpassen |
| Aktualität | nur, was gerade hochgeladen wurde | neue Dokumente nach der Indexierung | Stand des letzten Trainings |
| Zugriffsrechte | keine, jede Person lädt selbst hoch | Prüfung bei jeder Anfrage möglich | Wissen steckt im Modell, Rechte lassen sich kaum abbilden |
| Quellenangabe | teilweise | ja, je Fundstelle | nein |
| Aufwand | gering | mittel: Einrichtung und Pflege des Index | hoch: Daten aufbereiten, trainieren, bewerten |
| Datenschutz | Dokumente gehen jedes Mal an den Anbieter | gut steuerbar, Löschen im Index möglich | personenbezogene Daten im Modell schwer zu entfernen |
Für die tägliche Arbeit mit Firmenwissen ist RAG fast immer der richtige Weg. Fine-Tuning lohnt sich erst, wenn ein Modell eine sehr spezielle Sprache oder Form lernen soll, und auch dann meist zusätzlich zu RAG, nicht stattdessen.
So funktioniert RAG in vier Schritten
RAG steht für Retrieval Augmented Generation, auf Deutsch etwa „durch Abruf ergänzte Erzeugung“. Das Verfahren wurde 2020 von einem Forschungsteam um Patrick Lewis beschrieben und ist heute die Grundlage der meisten Unternehmenslösungen.
- Indexieren: Texte werden aus den Dateien gelesen, Scans per Texterkennung erschlossen und in Abschnitte geteilt.
- Einbetten: Für jeden Abschnitt wird ein Zahlenvektor berechnet, der seine Bedeutung abbildet. Gute Systeme kombinieren diese semantische Suche mit einer klassischen Stichwortsuche.
- Abrufen: Zu einer Frage sucht das System die passenden Abschnitte, und zwar nur in Dokumenten, die die fragende Person sehen darf.
- Antworten: Das Sprachmodell erhält die Frage zusammen mit den Fundstellen und formuliert daraus die Antwort, mit Verweis auf Dokument und Seite.
Wichtig für den Datenschutz: Das Modell lernt dabei nichts dauerhaft. Es sieht die Fundstellen nur für die eine Antwort. Wo das geschieht und was der Anbieter danach speichert, ist die entscheidende Frage.
Sieben Fragen, die Sie jedem Anbieter stellen sollten
- 01
Wo liegen die Dateien?
Land und Rechenzentrum der Speicherung, einschließlich der Sicherungskopien.
- 02
Wo liegen Suchindex und Einbettungen?
Der Index enthält Ihre Inhalte in anderer Form. Er gehört genauso in die Prüfung wie die Dateien selbst.
- 03
Wer erzeugt die Antworten, und wo?
Name des Modellanbieters, Region der Verarbeitung und ob dabei Daten in ein Drittland gehen.
- 04
Werden Eingaben zum Training genutzt?
Lassen Sie sich die Einstellung für Ihr Konto bestätigen, nicht nur eine allgemeine Aussage.
- 05
Wie lange werden Anfragen gespeichert?
Training und Aufbewahrung sind getrennte Fragen. Auch ohne Training können Anfragen eine Zeit lang gespeichert bleiben.
- 06
Gibt es einen AVV und eine Liste der Unterauftragsverarbeiter?
Ohne Vertrag nach Art. 28 DSGVO und vollständige Liste der beteiligten Dienste ist ein sauberer Einsatz nicht möglich.
- 07
Wie werden Zugriffsrechte durchgesetzt?
Prüft das System bei jeder Anfrage, ob die Person das Quelldokument sehen darf? Sonst kann die KI Wissen aus vertraulichen Ordnern weitergeben.
Was die Datenschutzaufsicht zu RAG sagt
Die Konferenz der unabhängigen Datenschutzaufsichtsbehörden des Bundes und der Länder, kurz DSK, hat am 17. Oktober 2025 eine eigene Orientierungshilfe zu KI-Systemen mit RAG-Methode veröffentlicht. Die wichtigsten Aussagen:
- Jede Verarbeitung muss im Einzelfall datenschutzrechtlich bewertet werden.
- Transparenz, Zweckbindung und Betroffenenrechte müssen jederzeit gewährleistet sein, auch wenn das im Gesamtsystem anspruchsvoll ist.
- RAG-Systeme lassen sich eigenständig entwickeln, betreiben und kontrollieren. Das unterstützt Datenschutz durch Technikgestaltung.
- Kleinere und lokal betriebene Modelle können helfen, personenbezogene Daten nicht an Dritte wie große Cloud-Anbieter zu übermitteln.
- Technische und organisatorische Maßnahmen müssen aktuell gehalten werden.
- RAG behebt nicht die Probleme eines Sprachmodells, das selbst rechtswidrig trainiert wurde.
Löschen, Berichtigen, Auskunft: Was im Index passieren muss
Wird ein Dokument gelöscht oder korrigiert, muss das auch im Suchindex ankommen, einschließlich der berechneten Einbettungen. Sonst findet die KI Inhalte, die es offiziell nicht mehr gibt. Klären Sie deshalb:
- Wie schnell werden Änderungen und Löschungen im Index nachgezogen?
- Lässt sich nachweisen, dass ein Dokument vollständig entfernt wurde?
- Können Sie bei einer Auskunftsanfrage nach Art. 15 DSGVO feststellen, in welchen Dokumenten eine Person vorkommt?
- Was passiert mit Chatverläufen, in denen Inhalte aus gelöschten Dokumenten zitiert wurden?
Warum Antworten trotzdem falsch sein können
Die meisten falschen Antworten liegen nicht am Modell, sondern am Datenbestand. Die häufigsten Ursachen und was hilft:
| Ursache | Was passiert | Was hilft |
|---|---|---|
| Mehrere Fassungen eines Dokuments | die KI zitiert einen veralteten Stand | alte Fassungen archivieren oder kennzeichnen |
| Scans ohne Texterkennung | Inhalte werden nicht gefunden | Texterkennung (OCR) beim Indexieren |
| Tabellen und Formulare | Werte werden falsch zugeordnet | Testfragen gezielt zu Tabellen stellen |
| Fehlende Rechte | die KI findet nichts, obwohl das Dokument existiert | Rechte im Pilot mit echten Rollen prüfen |
| Frage außerhalb des Bestands | die KI ergänzt aus Allgemeinwissen | Antworten nur mit Quelle zulassen |
Einführung in fünf Schritten
- Bestand auswählen: Starten Sie mit einem Team und einem klar abgegrenzten Bestand, etwa Verträgen, Handbüchern oder Projektunterlagen.
- Rechte ordnen: Legen Sie fest, wer welche Bereiche sehen darf. Vertrauliches kommt in eigene Bereiche.
- Testfragen festlegen: Schreiben Sie 20 echte Fragen auf und notieren Sie, in welchem Dokument die richtige Antwort steht.
- Pilot über zwei bis vier Wochen: Prüfen Sie Treffer, Quellen und Rechte. Messen Sie, wie oft die Antwort stimmt und die richtige Quelle nennt.
- Ausrollen und pflegen: Erweitern Sie den Bestand schrittweise und benennen Sie Verantwortliche für die Aktualität.
Wie Sie Wissensmanagement darüber hinaus organisieren, etwa beim Mitarbeiterwechsel, beschreibt der Leitfaden Wissensmanagement mit KI.
Häufige Fragen
Wird die KI mit meinen Daten trainiert?
Bei RAG nicht. Das Modell sieht die Fundstellen nur für die jeweilige Antwort. Ob der Modellanbieter Anfragen trotzdem zum Training nutzen darf, regelt Ihr Vertrag. Bei Geschäftskunden ist das meist ausgeschlossen. Lassen Sie es sich für Ihr Konto bestätigen.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
RAG sucht bei jeder Frage in Ihren aktuellen Dokumenten und nennt die Quelle. Fine-Tuning verändert das Modell selbst durch zusätzliches Training. Für Firmenwissen ist RAG besser geeignet: aktueller, mit Quellen und mit Zugriffsrechten. Fine-Tuning eignet sich eher, um Stil oder Format anzupassen.
Kann ich ChatGPT mit eigenen Daten DSGVO-konform nutzen?
Mit den Geschäftstarifen ist das grundsätzlich möglich, wenn ein Auftragsverarbeitungsvertrag besteht, eine Grundlage für die Übermittlung in die USA vorliegt und Sie die Einstellungen zu Training und Aufbewahrung geprüft haben. OpenAI bietet für ChatGPT Enterprise eine Datenspeicherung in Europa an. Legen Sie außerdem fest, welche Dokumente Mitarbeitende hochladen dürfen.
Brauche ich eine KI auf eigenen Servern?
Nicht zwingend. Entscheidend ist, dass Sie Datenwege, Verträge und Rechte kennen und steuern. Eigene Server oder lokal betriebene Modelle können sinnvoll sein, wenn besonders sensible Daten verarbeitet werden oder keine Übermittlung an Dritte stattfinden soll. Sie bedeuten aber eigenen Betriebsaufwand.
Wie aktuell sind die Antworten?
So aktuell wie der Index. Gute Systeme übernehmen neue und geänderte Dokumente nach kurzer Zeit automatisch. Fragen Sie den Anbieter, wie schnell Änderungen im Index ankommen.
Was passiert mit gelöschten Dokumenten?
Sie müssen auch aus dem Suchindex und den Einbettungen verschwinden. Klären Sie mit dem Anbieter, wie schnell das geschieht und ob Sie es nachprüfen können. Das ist auch für Löschanfragen nach Art. 17 DSGVO wichtig.
Welche Dokumente gehören nicht in eine allgemeine Wissensbasis?
Alles, was nicht für den gesamten Nutzerkreis eines Bereichs bestimmt ist, etwa Personalakten, Gesundheitsdaten oder Geschäftsgeheimnisse. Legen Sie dafür eigene Bereiche mit eigenen Rechten an. Besondere Kategorien nach Art. 9 DSGVO sollten Sie nur nach gesonderter Prüfung aufnehmen.
Quellen
Abgerufen bzw. geprüft am 10. November 2026.
- Lewis, P. u. a. (2020): Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, arXiv:2005.11401
- Datenschutzkonferenz: Orientierungshilfe zu datenschutzrechtlichen Besonderheiten generativer KI-Systeme mit RAG-Methode, 17.10.2025
- Datenschutzkonferenz: Pressemitteilung zur Orientierungshilfe RAG-Systeme
- Verordnung (EU) 2016/679 (Datenschutz-Grundverordnung), EUR-Lex
- OpenAI: Introducing data residency in Europe, 05.02.2025, aktualisiert am 16.01.2026
