Lokale RAG-Systeme: Wie Unternehmen ihr internes Wissen mit KI nutzbar machen

In vielen Unternehmen steckt ein großer Teil des Wissens in Handbüchern, Verträgen, technischen Dokumentationen, Protokollen und internen Wikis. Die Informationen sind vorhanden, lassen sich im Arbeitsalltag aber nur schwer finden. Ein KI-Assistent kann den Zugang vereinfachen – vorausgesetzt, seine Antworten basieren auf den richtigen Quellen.

Eine dafür geeignete Methode ist Retrieval-Augmented Generation, kurz RAG. Das Sprachmodell beantwortet eine Frage nicht ausschließlich aus seinem Trainingswissen, sondern sucht zunächst nach relevanten Inhalten in einem freigegebenen Dokumentenbestand. Diese Fundstellen werden anschließend als Kontext für die Antwort verwendet.

Sollen sensible Daten innerhalb der eigenen Infrastruktur bleiben, kann die Verarbeitung auf einem lokalen KI-Server erfolgen. Verschiedene Systeme mit professionellen GPU-Beschleunigern stellt Servermall unter https://servermall.com/de/sets/ki-server/ vor. Die Plattformen unterscheiden sich unter anderem bei GPU-Typ, Grafikspeicher, Arbeitsspeicher, Bauform und Erweiterbarkeit.

Was ist ein RAG-System?

RAG verbindet eine Suchkomponente mit einem generativen Sprachmodell. Vereinfacht läuft eine Anfrage in vier Schritten ab:

1. Ein Mitarbeiter stellt eine Frage.
2. Das System sucht passende Abschnitte in den freigegebenen Dokumenten.
3. Die gefundenen Inhalte werden zusammen mit der Frage an das Sprachmodell übergeben.
4. Das Modell formuliert eine Antwort und verweist idealerweise auf die verwendeten Quellen.

Dadurch kann ein allgemeines Sprachmodell mit aktuellem Unternehmenswissen arbeiten, ohne für jede Änderung vollständig neu trainiert werden zu müssen.

Welche Probleme kann RAG lösen?

Ein internes RAG-System eignet sich vor allem für Aufgaben, bei denen Informationen über viele Dokumente verteilt sind. Typische Anwendungsfälle sind:

• Suche in technischen Handbüchern und Wartungsanweisungen;
• Beantwortung interner Fragen zu Prozessen und Richtlinien;
• Unterstützung des Kundendienstes mit Produktinformationen;
• Recherche in Verträgen und Projektunterlagen;
• Einarbeitung neuer Beschäftigter;
• Vergleich verschiedener Dokumentversionen;
• Vorbereitung von Zusammenfassungen und Berichten.

RAG ist jedoch kein Ersatz für Fachwissen. Bei rechtlich, medizinisch oder finanziell relevanten Entscheidungen muss eine qualifizierte Person die Ergebnisse überprüfen.

Warum nicht einfach ein öffentliches KI-Tool nutzen?

Öffentliche KI-Dienste sind schnell verfügbar und eignen sich gut für erste Tests. Unternehmen müssen dabei jedoch klären, welche Daten hochgeladen werden dürfen, wo sie verarbeitet werden und welche vertraglichen Regelungen gelten.

Eine lokale Installation bietet mehr Kontrolle über Dokumente, Zugriffsrechte, Modelle und Protokolle. Sie verursacht dafür eigenen Aufwand: Hardware, Software, Updates, Überwachung und Informationssicherheit müssen intern oder durch einen Dienstleister organisiert werden.

In der Praxis ist auch eine hybride Architektur möglich. Unkritische Aufgaben laufen über einen Cloud-Dienst, während sensible Dokumente innerhalb einer kontrollierten Umgebung verarbeitet werden.

RAG ist mehr als ein Sprachmodell

Die Qualität eines RAG-Systems hängt nicht allein von der Größe des verwendeten Modells ab. Mehrere Komponenten müssen zusammenspielen:

• Dokumentenimport: Dateien werden eingelesen, bereinigt und in sinnvolle Abschnitte zerlegt.
• Embedding-Modell: Textabschnitte werden in numerische Repräsentationen umgewandelt.
• Vektordatenbank: Sie speichert diese Repräsentationen und findet inhaltlich ähnliche Passagen.
• Retriever: Er wählt die für eine konkrete Frage relevantesten Inhalte aus.
• Sprachmodell: Es formuliert aus Frage und Fundstellen eine verständliche Antwort.
• Berechtigungssystem: Es stellt sicher, dass Nutzer nur freigegebene Informationen erhalten.

Eine leistungsfähige GPU beschleunigt das Sprachmodell, kann aber schlechte Dokumente oder fehlerhafte Zugriffsregeln nicht ausgleichen.

Wann wird ein eigener KI-Server benötigt?

Für einen kleinen Machbarkeitsnachweis kann eine Workstation oder ein gemieteter Cloud-Zugang ausreichen. Ein eigener Server wird interessant, wenn das System regelmäßig genutzt wird, mehrere Personen gleichzeitig darauf zugreifen oder größere Modelle lokal betrieben werden sollen.

Für die Dimensionierung sind insbesondere diese Fragen relevant:

1. Welches Modell soll eingesetzt werden?
2. Wie viel Speicher benötigt es bei der vorgesehenen Genauigkeit?
3. Wie viele Anfragen treffen gleichzeitig ein?
4. Wie lang sind Fragen, Dokumentauszüge und Antworten?
5. Welche Reaktionszeit wird erwartet?
6. Soll das System nur Antworten erzeugen oder auch Modelle anpassen?
7. Wie stark wird der Dokumentenbestand wachsen?

Aus diesen Angaben ergeben sich GPU-Speicher, Anzahl der Beschleuniger, Arbeitsspeicher, Prozessorleistung und benötigte Speicherkapazität.

Warum der GPU-Speicher entscheidend ist

Das Sprachmodell muss während der Inferenz zumindest teilweise im Speicher der GPU liegen. Größere Modelle und höhere numerische Genauigkeit benötigen mehr Kapazität. Reicht der Grafikspeicher nicht aus, müssen Daten ausgelagert oder auf mehrere GPUs verteilt werden. Das kann die Antwortzeit beeinflussen.

Quantisierung reduziert den Speicherbedarf eines Modells, indem Zahlen mit geringerer Genauigkeit dargestellt werden. Ob die Qualität für den jeweiligen Anwendungsfall ausreicht, muss mit realen Unternehmensfragen getestet werden.

Die reine Zahl der Rechenkerne ist daher kein ausreichendes Auswahlkriterium. Modellgröße, Speicherbandbreite, GPU-Verbindung und Softwareunterstützung müssen gemeinsam betrachtet werden.

Welche Rolle spielen CPU, RAM und Storage?

Auch ein KI-Server mit leistungsfähigen GPUs kann durch andere Komponenten ausgebremst werden. Die CPU übernimmt unter anderem Datenaufbereitung und Teile der Anwendungslogik. Der Arbeitsspeicher hält Modelle, Dokumente und Zwischenergebnisse bereit.

Schnelle NVMe-Laufwerke verkürzen Ladezeiten und unterstützen die Verarbeitung großer Dokumentensammlungen. Zusätzlich wird Speicher für Protokolle, Modellversionen und Sicherungen benötigt. Produktive Daten und Backups sollten nicht ausschließlich auf demselben System liegen.

Wie lassen sich Halluzinationen reduzieren?

Auch ein RAG-System kann falsche oder unbelegte Antworten erzeugen. Das Risiko lässt sich jedoch systematisch verringern:

• nur geprüfte und aktuelle Dokumente aufnehmen;
• Inhalte in logisch zusammenhängende Abschnitte teilen;
• Antworten mit konkreten Quellenstellen versehen;
• bei fehlenden Belegen keine Antwort erzwingen;
• Fragen und Ergebnisse protokollieren;
• Tests mit typischen und absichtlich schwierigen Anfragen durchführen;
• fachliche Freigaben für kritische Einsatzbereiche vorsehen.

Ein gutes System sollte offen mitteilen, wenn der Dokumentenbestand keine belastbare Antwort enthält.

Berechtigungen dürfen nicht erst am Ende kommen

Eine zentrale Wissenssuche kann Informationen aus Personalabteilung, Entwicklung, Vertrieb und Geschäftsführung zusammenführen. Ohne korrekt übernommene Zugriffsrechte besteht die Gefahr, dass vertrauliche Inhalte für unberechtigte Nutzer sichtbar werden.

Deshalb müssen Berechtigungen bereits bei der Suche berücksichtigt werden. Der Retriever darf nur Dokumente auswählen, auf die der jeweilige Nutzer tatsächlich zugreifen darf. Eine bloße Anweisung an das Sprachmodell, vertrauliche Daten nicht auszugeben, reicht nicht aus.

So gelingt ein belastbarer Pilot

1. Einen klar begrenzten Anwendungsfall auswählen.
2. Einen geprüften Dokumentenbestand zusammenstellen.
3. Typische Fragen und erwartete Antworten definieren.
4. Mehrere Modelle und Suchverfahren testen.
5. Qualität, Antwortzeit und Ressourcenverbrauch messen.
6. Quellenanzeige und Berechtigungen umsetzen.
7. Feedback einer kleinen Nutzergruppe sammeln.
8. Erst danach die produktive Hardware dimensionieren.

Dieser Ablauf verhindert, dass ein Unternehmen zuerst eine teure Infrastruktur beschafft und anschließend feststellt, dass Datenqualität oder Anwendungsfall nicht ausreichen.

Häufige Fragen zu lokalen RAG-Systemen

Muss ein Sprachmodell mit Unternehmensdaten trainiert werden?

Nicht zwingend. RAG stellt dem Modell relevante Dokumentauszüge zur Laufzeit bereit. Ein zusätzliches Fine-Tuning kann sinnvoll sein, verfolgt aber einen anderen Zweck.

Ist RAG automatisch datenschutzkonform?

Nein. Datenkategorien, Rechtsgrundlagen, Zugriffe, Speicherfristen und technische Schutzmaßnahmen müssen unabhängig von der Architektur geprüft werden.

Kann ein RAG-System ohne GPU betrieben werden?

Kleine Modelle können auf einer CPU laufen. Für größere Modelle, kurze Antwortzeiten und mehrere gleichzeitige Nutzer ist GPU-Beschleunigung meist deutlich leistungsfähiger.

Wie aktuell sind die Antworten?

Das hängt vom Dokumentenbestand ab. Werden neue oder geänderte Dateien zeitnah indexiert, kann das System aktuelle Inhalte verwenden, ohne das Sprachmodell neu zu trainieren.

Was ist wichtiger: ein großes Modell oder gute Unternehmensdaten?

Für viele Wissensanwendungen sind saubere Dokumente, eine präzise Suche und nachvollziehbare Quellen wichtiger als die maximale Modellgröße.

Ein lokales RAG-System kann internes Wissen schneller zugänglich machen und zugleich mehr Kontrolle über sensible Daten ermöglichen. Der Erfolg hängt jedoch nicht allein vom KI-Server ab. Erst das Zusammenspiel aus Datenqualität, Suchlogik, Berechtigungen, Modell und kontinuierlichen Tests macht aus einem Chatbot ein verlässliches Arbeitswerkzeug.