Die Alternative zu Cloud-APIs: On-premise-Betrieb von OpenSource KI-Modellen

12.12.2024 - AI xpress Böblingen

AI xpress NET bietet einen Techtalk rund um KI-Themen im Startup- und Innovationszentrum AI xpress. Entwickelnde und KI-Expertinnen und -Experten, die sich für einen Austausch auf hohem technischen Niveau interessieren, finden hier die ideale Plattform.

Ein Einblick in eine On-premise-Lösung zeigt eine seit Oktober 2023 im Kundeneinsatz befindliche Anwendung, die seither kontinuierlich weiterentwickelt wurde. Dabei werden sowohl die Hardware- als auch die Softwareseite betrachtet, und es wird eine realistische Einschätzung des erforderlichen Zeit- und Kostenaufwands für Aufbau und Betrieb vermittelt. Ziel ist es, die Leistungsfähigkeit eines solchen Systems zu demonstrieren und aufzuzeigen, wie Sprachmodelle sicher und souverän im Unternehmen betrieben werden können.

Zwar bietet die Nutzung von Sprachmodellen über Cloud-APIs zahlreiche Vorteile, birgt jedoch mittel- bis langfristig Risiken, wenn darüber Automatisierungen im Unternehmen aufgebaut werden. Technisch ist es nicht auszuschließen, dass API-Betreiber Anfragen und darin enthaltene Informationen einsehen können. Während dies bei einfachen Anfragen – deren Antworten oft öffentlich geteilt werden – unproblematisch ist, stellt es ein Risiko dar, wenn sensible Informationen wie Kundendaten, Verträge oder strategische Themen über Large Language Models verarbeitet werden. Zudem liegt die langfristige Kosten- und Technologiekontrolle beim API-Betreiber und nicht bei den Anwendern.

Open-Source-Sprachmodelle und -Frameworks bieten eine kosteneffiziente Lösung mit maximaler Kontrolle über die Systeme und können kommerziell genutzt werden. Der erforderliche Hardwareeinsatz ist häufig geringer als angenommen, besonders durch den Einsatz sinnvoller Technologien wie Quantisierung und eine pragmatische Beschaffung. So lassen sich für viele Anwendungsfälle konkurrenzfähige Alternativen entwickeln.