KI
Lokale KI im Unternehmen: Warum Ihre Daten das Haus nicht verlassen müssen
ChatGPT ist praktisch, aber Ihre Verträge, Kundendaten und Angebote landen auf US-Servern. Lokale KI läuft auf eigener Hardware. Was das kostet, was es kann und für wen es sich lohnt.
Louis Enste · · 9 min Lesezeit

Lokale KI: Die KI kommt zu Ihren Daten, nicht umgekehrt
Fast jedes Büro nutzt inzwischen KI. Meistens so: Jemand kopiert eine Kundenmail, einen Vertrag oder eine Excel-Tabelle in ChatGPT und lässt sich helfen. Das spart Zeit. Es heißt aber auch, dass diese Daten auf Servern eines US-Anbieters verarbeitet werden. Ob das mit Ihren Verträgen, Ihrem Datenschutzbeauftragten und Ihren Kunden vereinbar ist, hat in den meisten Fällen niemand geprüft.
Lokale KI dreht das um. Das Sprachmodell läuft auf einem Server in Ihrem Büro oder in Ihrem Rechenzentrum. Anfragen, Dokumente und Antworten verlassen Ihr Netzwerk nicht.
Was heißt "lokal" genau?
Ein großes Sprachmodell (LLM) ist im Kern eine Datei mit einigen Milliarden Parametern. Seit 2024 gibt es leistungsfähige Modelle mit offenen Gewichten, zum Beispiel aus den Familien Llama, Mistral, Qwen oder Gemma. Diese Modelle dürfen Sie herunterladen und auf eigener Hardware betreiben, je nach Lizenz auch kommerziell.
Ein lokales KI-System besteht typischerweise aus:
- Hardware: Ein Server mit einer oder mehreren Grafikkarten (GPU). Entscheidend ist der Grafikspeicher (VRAM).
- Inferenz-Software: Programme wie Ollama, llama.cpp oder vLLM, die das Modell laden und Anfragen beantworten.
- Oberfläche: Ein Chat im Browser, der sich für Ihre Mitarbeiter anfühlt wie ChatGPT.
- Wissensbasis (optional): Eine Datenbank mit Ihren eigenen Dokumenten, damit die KI Fragen zu Ihrem Unternehmen beantworten kann. Dazu mehr in unserem Artikel über Datenbanken für KI.
Warum lokal? Die vier Hauptgründe
1. Datenschutz und Geheimhaltung
Personenbezogene Daten, Geschäftsgeheimnisse, Mandanten- oder Patientendaten: Bei vielen Informationen ist die Weitergabe an einen Cloud-Anbieter rechtlich heikel oder vertraglich ausgeschlossen. Bei lokaler KI entfällt die Frage nach Auftragsverarbeitung und Drittlandtransfer, weil die Daten gar nicht übertragen werden.
2. Kontrolle
Cloud-Anbieter ändern Modelle, Preise und Nutzungsbedingungen, wann sie wollen. Ein lokales Modell bleibt so, wie Sie es eingerichtet haben. Ergebnisse sind reproduzierbar, und niemand trainiert mit Ihren Eingaben.
3. Planbare Kosten
Cloud-KI wird pro Nutzer oder pro Anfrage abgerechnet. Bei 20 Mitarbeitern mit Business-Lizenzen kommen schnell mehrere hundert Euro im Monat zusammen, bei Automatisierungen über die API auch deutlich mehr. Ein lokaler Server ist eine einmalige Investition plus Strom und Wartung.
4. Verfügbarkeit
Ein lokales System funktioniert auch, wenn die Internetleitung ausfällt oder ein US-Dienst gerade Störungen hat.
Was lokale KI kann und was nicht
Ehrlich gesagt: Die stärksten Cloud-Modelle sind bei sehr komplexen Aufgaben immer noch besser als alles, was auf einem Büroserver läuft. Für den Alltag im Unternehmen reicht ein gutes lokales Modell aber in den meisten Fällen völlig aus.
Gut geeignet:
- E-Mails und Texte entwerfen, zusammenfassen, übersetzen
- Fragen zu internen Dokumenten beantworten (Handbücher, Verträge, Prozessbeschreibungen)
- Protokolle und Gesprächsnotizen strukturieren
- Daten aus Formularen, Rechnungen oder Lieferscheinen auslesen
- Programmierhilfe für interne Skripte
Weniger geeignet:
- Aufgaben, die aktuelles Wissen aus dem Internet brauchen
- Sehr lange, mehrstufige Analysen, bei denen die Spitzenmodelle der Cloud klar vorne liegen
Viele Unternehmen fahren deshalb hybrid: Sensible Daten gehen an die lokale KI, unkritische Recherche darf in die Cloud.
Welche Hardware brauchen Sie?
Die wichtigste Kennzahl ist der Grafikspeicher. Grob gilt: Je mehr VRAM, desto größer und klüger das Modell, das Sie betreiben können.
| Einsatz | Modellgröße | Grafikspeicher | Grobe Investition |
|---|---|---|---|
| Einstieg, Einzelplatz, Test | 7 - 14 Mrd. Parameter | 16 - 24 GB | 2.000 - 4.000 € |
| Team bis ca. 20 Nutzer | 24 - 32 Mrd. Parameter | 48 - 64 GB | 6.000 - 12.000 € |
| Abteilung, anspruchsvolle Aufgaben | 70 Mrd. Parameter und mehr | 96 - 128 GB+ | ab 15.000 € |
Die Preise sind Richtwerte und schwanken stark mit dem GPU-Markt. Durch Quantisierung (das Modell wird komprimiert, mit geringem Qualitätsverlust) laufen größere Modelle auch auf kleinerer Hardware.
Unsere Erfahrung: Wir betreiben selbst ein lokales KI-System für unsere internen Abläufe. Der häufigste Fehler ist nicht zu wenig Hardware, sondern zu wenig Vorbereitung bei den Daten. Eine KI ist nur so gut wie die Dokumente, auf die sie zugreifen kann.
Rechtlicher Rahmen: DSGVO und EU AI Act
Lokale KI löst nicht automatisch jedes Rechtsthema. Auch intern gelten die DSGVO-Grundsätze: Zweckbindung, Zugriffsrechte, Löschfristen. Wer darf welche Dokumente über die KI abfragen? Das muss genauso geregelt sein wie bei einem Dateiserver.
Der EU AI Act verpflichtet seit Februar 2025 alle Unternehmen, die KI einsetzen, ihre Mitarbeiter angemessen zu schulen (KI-Kompetenz). Für typische Büroanwendungen wie Textentwürfe oder Dokumentensuche gelten darüber hinaus nur geringe Pflichten. Anders sieht es bei Hochrisiko-Anwendungen aus, etwa bei Personalentscheidungen oder Medizinprodukten.
So starten Sie sinnvoll
- Anwendungsfall festlegen: Welche Aufgabe kostet heute am meisten Zeit? Ein konkreter Fall ist besser als "wir wollen KI".
- Daten sichten: Welche Dokumente braucht die KI dafür, und wo liegen sie?
- Pilot mit kleiner Hardware: Vier bis sechs Wochen mit einem Team testen.
- Messen: Wie viel Zeit spart es wirklich? Wie oft liegt die KI daneben?
- Ausbauen oder abbrechen: Erst dann in größere Hardware investieren.
Fazit
Lokale KI ist 2026 kein Forschungsprojekt mehr. Für Unternehmen mit sensiblen Daten ist sie oft der einzige Weg, KI überhaupt sauber zu nutzen. Die Technik ist verfügbar und bezahlbar. Entscheidend sind ein klarer Anwendungsfall und eine saubere Einrichtung.
---
Sie wollen wissen, ob lokale KI für Ihr Unternehmen passt?
Wir prüfen mit Ihnen den Anwendungsfall, planen die Hardware und richten das System in Ihrem Netzwerk ein. Sprechen Sie uns an!
Was kostet feste IT-Betreuung für Ihr Büro?
Für Büros mit 5 bis 50 Arbeitsplätzen in Bochum und im Ruhrgebiet, ab 970 € im Monat. Fünf Fragen, dann sehen Sie Ihren Preis.



