Zusammenfassung, Empfehlung und Ausblick#

Zusammenfassung#

Für die vorliegende Arbeit wurden selbstgehostete Large Language Models (LLMs) für die Eignung zum Wissensmanagement mittelständischer Unternehmen untersucht. Dafür wurde unter anderem ein prototypisches RAG‑System entworfen.

1. Technisch ist der On‑Premises‑Betrieb mit quantisierten Open‑Weights‑Modellen realisierbar. Modular gestaltete Systeme (Reader, Splitter, Embedder, Retriever, Agenten) und etablierte Frameworks (Ollama, LangChain) senken die Einstiegshürden.
2. Organisatorisch bedarf es klarer Richtlinien für den Umgang mit den verwendeten Daten, eines permanenten Monitorings und eines geregelten Change‑ und Schulungsprozesses.
3. Rechtlich bietet On‑Premises Vorteile bei Datenschutz, Datenhoheit und Compliance-Konformität, insbesondere für datensensible Anwendungsfälle.
4. Im direkten Vergleich sind die Cloud‑Modelle in Sachen Geschwindigkeit, Skalierung und Leistung überlegen. On‑Premises überzeugt überall dort, wo Datenschutz, Kontrolle und Nachvollziehbarkeit dominieren.
5. Für typische KMU‑Anwendungsbereiche erscheint ein hybrider Ansatz sinnvoll: Cloud-Lösungen für allgemeine, nicht datenschutzkritische Aufgaben und On‑Premises-LLMs für sensible, domänenspezifische Prozesse.

Die Bewertung der beiden Ansätze erfolgte qualitativ. Formale Vergleichsdaten, Kostenrechnungen und Nutzerstudien waren nicht Gegenstand dieser Arbeit. Insgesamt zeigt die Arbeit, dass On‑Premises‑LLMs kein Ersatz für proprietäre Cloud‑Lösungen sind, wohl aber ein sinnvolles Ergänzungswerkzeug für Unternehmen mit hohen Anforderungen an Datenkontrolle und der Einhaltung von gesetzlichen oder betrieblichen Bestimmungen.

Empfehlung#

Auf Basis der konzeptionellen Evaluierung und des prototypischen Nachweises empfiehlt sich für mittelständische Unternehmen ein hybrider Ansatz:

Cloud-LLMs eignen sich für allgemeine, wenig datensensible Anwendungsbereiche#

• Aufgaben: Ideenfindung, Texterstellung, Übersetzung, Erstellung von Programm-Code, allgemeine Recherche
• Begründung: Hohe Modellqualität und -leistung, schnelle Verfügbarkeit und Skalierbarkeit

On-Premises-LLMs empfehlen sich für datensensible, unternehmensspezifische Anwendungsbereiche#

• Aufgaben: Interne Wissensrecherche (RAG) mit vertraulichen Dokumenten, Einsatz in regulierten Branchen und Arbeitsbereichen wie der Rechtsberatung oder der Medizin
• Begründung: Datenhoheit, Kontrollierbarkeit, Gesetz-Konformität

Entscheidungskriterien#

Implementierungsstrategie#

• Cloud‑first, sensitive‑data‑last: Standardaufgaben mit Hilfe von Cloud-Lösungen optimieren, sensible Wissensbereiche inhouse halten
• RAG vor Finetuning: Einbindung von spezifischem Wissen durch RAG hat Vorrang vor dem Finetuning von Modellen
• Security-by-Design: Schutz vor Prompt-Injection, Schutz von personenbezogenen Daten (DSGVO), rollenbasierte Zugriffsberechtigungen, Audit‑Logging, regelmäßige Reviews entlang von OWASP Top 10
• Iteratives Vorgehen:
  1. Pilotprojekt
  2. Eingeschränkter Parallelbetrieb
  3. Schrittweiser Rollout, begleitet durch Schulungen und Change-Management

Ausblick#

Die vorliegende Arbeit ist eine konzeptionelle Analyse für den Einsatz von On-Premises-LLMs in mittelständischen Unternehmen. Darauf aufbauend bieten sich die folgenden konkreten Schritte an:

• Vertiefende Evaluation der Systemleistung und Antwortqualität in unterschiedlichen Setups
• Definition und Einführung von LLMOps für die Versionierung von Modellen, Prompts und Konfigurationen, Telemetrie, Alerting, Security- und Compliance-Checks
• Definition einer Daten- und Wissensstrategie für Quelldaten, Dokumenttypen und Qualitätsstandards
• Weiterentwicklung des Prototypen und nutzungsspezifische Tests
• Produktentwicklung bis zur Marktreife und Roll-out

Prototyp#

Der entwickelte Prototyp steht als Open-Source-Projekt auf GitHub zur Verfügung:

github.com/andreasrieger/on-prem-llms