Verbal Lokal
Open-Source Sprach-KIs ohne Cloud betreiben
LLaMA, Alpaca, Vicuna: In Netz finden sich haufenweise mittelgroße Sprachmodelle mitsamt allen Parametern. Die laufen auch auf dem eigenen Rechner.
Nimm mir Arbeit ab, KI: „Formuliere mir eine freundliche Mail an den Support mit einer Nachfrage, wo mein Paket mit Gleitcreme abgeblieben ist.“ – Manche Aufgaben an KI-Sprachmodelle will man nicht so gern an einen Clouddienst schicken. Firmen können sogar rechtliche Probleme bekommen, wenn sie Text mit personenbezogenen Daten außerhalb der EU von KI lesen lassen. Deswegen muss man aber nicht auf Sprach-KI verzichten. Open-Source-Modelle, also neuronale Netze, deren Parameter öffentlich verfügbar sind, laufen auch ganz ohne Cloud auf der eigenen Hardware.
Die Qualität der Antworten kommt dabei durchaus an die des Sprachmodells GPT-3.5 des kostenlosen ChatGPT heran. Zusätzlich bieten die freien Modelle viel mehr Möglichkeiten, weil es Dutzende auf verschiedene Datensätze feingetunte, also nachtrainierte Varianten gibt und weil man volle Kontrolle über den Prompt hat. Mit einem eigenen Prompt kann man einem KI-Chatpartner ruck, zuck zynische oder lustige Antworten entlocken, verschiedene Sprachstile vorgeben oder Kontextinformationen vor dem Chat mitgeben.