Die Nutzung von Large Language Models (LLM) ist in den letzten Jahren rasant gestiegen, insbesondere zu Recherchezwecken. Doch Unternehmen stehen dabei vor Herausforderungen: Standard-KIs kennen kein firmeninternes Wissen, der Datenschutz ist bei externen Anbietern nicht immer lückenlos gewährleistet und oft fehlt die Möglichkeit, die Software an spezifische Anwendungsfälle anzupassen.
In unserem Artikel “Was ist eine Wissensbasis?” haben wir bereits gezeigt, wie sich firmeneigenes Wissen so aufbereiten lässt, dass eine KI-Anwendung darauf zugreifen kann. Kombiniert man eine solche Wissensbasis mit einem LLM, lässt sich ein “eigenes ChatGPT” realisieren.
Wie stellt man ein eigenes Large Language Model bereit?
Hier gibt es grundsätzlich zwei Wege:
Selbstgehostete Open-Source-Modelle
Kostenlose Open-Source-Modelle wie Qwen 3 oder die LLaMA-Modelle von Meta können Sie direkt auf Ihrer eigenen Infrastruktur betreiben.
- Die Vorteile: Da das Modell im eigenen Haus läuft, behalten Sie die volle Datenhoheit und höchste Sicherheit. Zudem lässt sich das Modell durch Finetuning exakt auf Ihre Daten und Prozesse zuschneiden.
- Die Nachteile: Sie benötigen eine leistungsfähige Infrastruktur, welche Kosten mit sich bringt. Hinzu kommen Konfiguration und der administrative Aufwand für den laufenden Betrieb (z.B. Updates).
Cloud Modelle
Anbieter wie OpenAI, Anthropic oder Microsoft ermöglichen es, Modelle über die Cloud zu mieten. Ihre Softwarelösung greift dann über eine Schnittstelle auf das Modell zu.
- Die Vorteile: Die Einrichtung ist deutlich einfacher als beim Self-Hosting und die initialen Anschaffungskosten sind geringer.
- Die Nachteile: Die Abrechnung erfolgt meist pro Token – bei intensiver Nutzung steigen die laufenden Kosten. Die Anpassungsmöglichkeiten sind oft eingeschränkt. Zudem hängen Datenschutz und die Nutzung Ihrer Daten zu Trainingszwecken stark vom jeweiligen Anbieter, dem Serverstandort und dem geschlossenen Vertrag ab.
Wissensbasis und Modell – was nun?
Sobald die Wissensbasis aufgebaut und die Entscheidung für ein Sprachmodell gefallen ist, müssen beide Komponenten verknüpft werden. Meist ist eine maßgeschneiderte Softwarelösung gewünscht, die neben Textkommunikation auch Sprachbefehle und weitere Integrationen bietet.
Hier kommt RAG (Retrieval Augmented Generation) zum Einsatz – eine Technologie, die wir in unserem Artikel “Was ist RAG?” näher beleuchten.
Wie kann SymbolicLabs unterstützen?
SymbolicLabs unterstützt Sie beim Betrieb eines Large Language Models, das genau auf Ihre Anwendungsfälle zugeschnitten ist. Wir übernehmen den Aufbau sowie die technische Entwicklung der Wissensbasis und stellen Ihnen die nötige Software bereit. Diese kann wahlweise auf unserer Infrastruktur in Deutschland oder direkt auf Ihrer eigenen Plattform gehostet werden.
