KI
Datenbanken für KI: Wie Vektordatenbanken Ihr Firmenwissen nutzbar machen
Eine KI kennt Ihr Unternehmen nicht. Damit sie Fragen zu Ihren Verträgen, Handbüchern und Projekten beantworten kann, braucht sie eine spezielle Datenbank. Was Vektordatenbanken, RAG und Wissensgraphen sind.
Louis Enste · · 10 min Lesezeit

Das Problem: Die KI kennt Ihr Unternehmen nicht
Ein Sprachmodell weiß viel über die Welt, aber nichts über Ihre Firma. Es kennt weder Ihre Preisliste noch Ihre Wartungsverträge noch die Lösung für das Druckerproblem aus dem letzten Jahr. Fragen Sie trotzdem, erfindet es eine plausible Antwort. Das nennt man Halluzination.
Die Lösung ist nicht, das Modell neu zu trainieren. Das ist teuer und bei jeder Dokumentänderung veraltet. Die Lösung ist eine Datenbank, aus der sich die KI vor jeder Antwort die passenden Informationen holt.
RAG: Erst nachschlagen, dann antworten
Das Verfahren heißt Retrieval Augmented Generation (RAG). Vereinfacht läuft es so:
- Einlesen: Ihre Dokumente werden in kurze Abschnitte zerlegt (Chunks).
- Umwandeln: Jeder Abschnitt wird von einem Embedding-Modell in einen Zahlenvektor übersetzt. Dieser Vektor beschreibt die Bedeutung des Textes.
- Speichern: Die Vektoren landen in einer Vektordatenbank.
- Fragen: Stellt ein Mitarbeiter eine Frage, wird auch die Frage in einen Vektor übersetzt.
- Finden: Die Datenbank sucht die Abschnitte, deren Bedeutung der Frage am nächsten kommt.
- Antworten: Die KI bekommt Frage und gefundene Abschnitte und formuliert daraus die Antwort, idealerweise mit Quellenangabe.
Der Vorteil: Die KI antwortet auf Basis Ihrer echten Dokumente, und Sie können nachprüfen, woher die Aussage stammt.
Was ist eine Vektordatenbank?
Eine klassische Datenbank sucht nach exakten Treffern: Kundennummer 4711, Rechnungsdatum März. Eine Vektordatenbank sucht nach Ähnlichkeit der Bedeutung.
Beispiel: Ein Mitarbeiter fragt "Wie lange haben Kunden Zeit, eine Rechnung zu bezahlen?". Im Vertrag steht "Das Zahlungsziel beträgt 14 Tage netto". Kein einziges Wort stimmt überein. Eine Volltextsuche findet nichts, eine Vektorsuche findet die Stelle trotzdem.
Die gängigen Systeme
| System | Typ | Stärken | Passt für |
|---|---|---|---|
| Qdrant | Spezialisierte Vektordatenbank | Schnell, Filter nach Metadaten, Open Source, einfach selbst zu hosten | Die meisten lokalen Projekte |
| pgvector | Erweiterung für PostgreSQL | Kein neues System, Vektoren neben normalen Tabellen | Wenn PostgreSQL schon im Einsatz ist |
| Milvus | Spezialisierte Vektordatenbank | Für sehr große Datenmengen ausgelegt | Hunderte Millionen Dokumente |
| Weaviate | Vektordatenbank mit Modulen | Viele fertige Integrationen | Schneller Prototyp |
| Chroma | Leichtgewichtig | Sehr einfach zu starten | Tests und Einzelplatz |
Für ein mittelständisches Unternehmen mit einigen zehntausend Dokumenten reicht fast jedes dieser Systeme. Die Wahl hängt eher davon ab, was Sie schon betreiben und wer es pflegt.
Hybride Suche: Das Beste aus beiden Welten
Reine Vektorsuche hat eine Schwäche: Bei exakten Begriffen wie Artikelnummern, Normen oder Eigennamen ist sie manchmal ungenau. In der Praxis kombiniert man deshalb:
- Vektorsuche für die Bedeutung ("Was passiert bei Zahlungsverzug?")
- Volltextsuche (z. B. BM25) für exakte Begriffe ("ISO 13485", "Artikel 4711-B")
- Reranking: Ein zweites, kleines Modell sortiert die Treffer nach Relevanz
Diese Kombination liefert in unseren Projekten deutlich bessere Ergebnisse als jedes Verfahren allein.
Wissensgraphen: Wenn Beziehungen wichtig sind
Manche Fragen lassen sich nicht mit einzelnen Textstellen beantworten: "Welche Kunden nutzen dasselbe Produkt wie Firma X und hatten letztes Jahr ein Problem damit?" Hier geht es um Beziehungen zwischen Personen, Firmen, Produkten und Ereignissen.
Dafür gibt es Graphdatenbanken wie Neo4j. Informationen werden als Knoten und Verbindungen gespeichert. Kombiniert mit einer Vektordatenbank spricht man von GraphRAG. Die KI kann dann sowohl inhaltlich passende Texte finden als auch Zusammenhänge verfolgen.
Unser Rat: Starten Sie mit einer Vektordatenbank. Ein Wissensgraph lohnt sich erst, wenn Sie konkrete Fragen haben, die Beziehungen erfordern.
Worauf es in der Praxis ankommt
Die Datenbank ist selten das Problem. Die Qualität entscheidet sich vorher:
- Saubere Quellen: Veraltete Handbücher und fünf Versionen desselben Vertrags verwirren auch die beste KI.
- Sinnvolles Zerlegen: Abschnitte müssen für sich verständlich sein. Eine Tabelle mitten durchzuschneiden, ruiniert die Antwort.
- Metadaten: Abteilung, Datum, Dokumenttyp und Berechtigung gehören an jeden Abschnitt.
- Zugriffsrechte: Wenn die Buchhaltung Gehaltsdaten hochlädt, darf die KI diese nicht jedem Mitarbeiter zeigen. Die Berechtigung muss bei der Suche geprüft werden, nicht erst in der Oberfläche.
- Aktualität: Neue und geänderte Dokumente müssen automatisch nachgezogen werden.
- Deutsche Sprache: Nicht jedes Embedding-Modell versteht Deutsch gut. Mehrsprachige Modelle sind Pflicht.
Alles lokal möglich
Vektordatenbank, Embedding-Modell und Sprachmodell lassen sich komplett auf eigener Hardware betreiben. Kein Dokument und keine Frage verlässt dann Ihr Netzwerk. Für Unternehmen mit sensiblen Daten ist das oft die Voraussetzung, um überhaupt eine KI-Wissensdatenbank aufzubauen.
Fazit
Eine KI wird für Ihr Unternehmen erst richtig nützlich, wenn sie auf Ihr Wissen zugreifen kann. Vektordatenbanken und RAG sind dafür heute der Standard. Die Technik ist ausgereift und Open Source verfügbar. Der Aufwand steckt in der Aufbereitung Ihrer Daten und in sauberen Berechtigungen.
---
Sie möchten Ihre Dokumente für KI nutzbar machen?
Wir analysieren Ihre Datenquellen, bauen die Wissensdatenbank auf und betreiben sie auf Wunsch komplett in Ihrem Haus. Sprechen Sie uns an!
Was kostet feste IT-Betreuung für Ihr Büro?
Für Büros mit 5 bis 50 Arbeitsplätzen in Bochum und im Ruhrgebiet, ab 970 € im Monat. Fünf Fragen, dann sehen Sie Ihren Preis.



