Große Sprachmodelle wie ChatGPT können kleinen und mittelständischen Unternehmen helfen, Prozesse zu automatisieren und Wissen effizient zu nutzen – aber nur, wenn sie mit den richtigen Daten angereichert werden.

Genau das leisten sogenannte RAG-Architekturen – Retrieval Augmented Generation. Dabei sucht ein sogenanntes Retrieval-System gezielt relevante Informationen aus Unternehmensdokumenten heraus, damit das LLM passgenaue Antworten geben kann.

Für KMUs ist das jedoch oft nicht umsetzbar:

• Kommerzielle Lösungen verlangen, dass man seine sensiblen Daten in die Cloud lädt – ein No-Go für viele kleine Betriebe.
• Die Infrastruktur für den Eigenbetrieb ist teuer.
• Die Systeme sind technisch komplex – und müssen regelmäßig mit neuem Wissen aktualisiert werden.

Unser Projekt löst genau diese Probleme:

Wir entwickeln ein leichtgewichtiges, lokal betreibbares Retrieval-System, das es KMUs erlaubt, ihre eigenen Daten sicher und effizient mit Open-Source-LLMs zu nutzen – ganz ohne Cloud, ohne GPU-Investitionen und ohne Abhängigkeit von Dritten.

So ermöglichen wir kleinen Unternehmen den Einstieg in generative KI – sicher, kosteneffizient und auf ihre Realität zugeschnitten.

Kontakt: Dr. Cristina Mihale-Wilson | LinkedIn | mihale-wilson(at)wiwi.uni-frankfurt.de