Wenn du ChatGPT benutzt, tippst du deinen Text in ein Feld, und der Text geht an einen Server in den USA. Dort rechnet ein Modell und schickt die Antwort zurück. Lokale KI dreht diesen Weg um: Das Modell liegt auf deinem Rechner, und der Text bleibt, wo er ist.
Technisch ist ein Sprachmodell eine Datei. Groß, aber eine Datei. Du lädst sie herunter, ein Programm führt sie aus, und ab dann brauchst du kein Internet mehr, um damit zu arbeiten. Das ist der ganze Unterschied, und aus ihm folgt alles andere: Niemand liest mit, niemand kann dir den Zugang abschalten, und niemand stellt dir eine Rechnung pro Anfrage.
Der Preis dafür ist Rechenleistung. Das Modell braucht Arbeitsspeicher auf deiner Maschine, und je größer es ist, desto mehr. Wie viel genau, steht in Kapitel 3.
Wann sich lokale KI rechnet
Drei Situationen sprechen klar dafür.
Deine Daten dürfen das Haus nicht verlassen. Mandantenakten, Patientendaten, Gehaltslisten, Verträge. Sobald ein Berufsgeheimnis oder eine strenge Compliance-Vorgabe im Spiel ist, wird jeder Cloud-Prompt zur Risikoentscheidung. Lokal stellt sich die Frage nicht.
Viele Leute nutzen KI täglich. Cloud-KI rechnet pro Kopf und pro Anfrage ab. Hardware zahlst du einmal. Ab einer gewissen Teamgröße dreht sich diese Rechnung, und ab dann arbeitet die eigene Maschine für dich statt gegen dein Budget.
Du willst nicht abhängig sein. Anbieter ändern Preise, Lizenzen und Verfügbarkeiten. Ein Modell, das auf deinem Rechner liegt, kann dir niemand aus der Ferne wegnehmen.
Wann die Cloud die bessere Wahl bleibt
Ich verkaufe dir hier nichts. Es gibt Fälle, in denen lokale KI der falsche Weg ist.
Wenn du das stärkste verfügbare Modell brauchst, weil deine Aufgabe an der Grenze des Machbaren liegt, dann liegt dieses Modell heute in der Cloud. Wenn du KI nur gelegentlich für unkritische Texte nutzt, lohnt der Aufbau nicht. Und wenn niemand bei euch bereit ist, sich um die Wartung zu kümmern, dann steht in drei Monaten eine teure Maschine herum, die niemand mehr anfasst.
Wenn es klemmt
"Ist lokal automatisch DSGVO-konform?" Nein, aber es löst das größte Teilproblem. Ohne Datenabfluss entfallen Drittland-Transfers und Cloud-AGB-Risiken. Was du trotzdem klären musst: Rechtsgrundlage, Zweckbindung und wer im Haus auf welche Daten zugreifen darf.
"Brauche ich dafür eine teure Grafikkarte?" Für den Einstieg meistens nicht. Entscheidend ist Arbeitsspeicher, nicht der Markenname der Karte. Details in Kapitel 3.
"Ist ein lokales Modell schlechter?" Kleiner ja, unbrauchbar nein. Für Mails, Zusammenfassungen und Entwürfe reichen mittlere Modelle problemlos. Der Unterschied fällt erst bei sehr komplexen Aufgaben auf.
Merksatz
Lokale KI ist kein Verzicht auf Qualität, sondern eine Entscheidung darüber, wer die Kontrolle über deine Daten hat und wer deine Rechnung schreibt.