Die häufigste Frage vor dem ersten lokalen Modell lautet, ob der Rechner stark genug ist. Die Antwort hängt an einem einzigen Wert, und es ist nicht der, den die meisten vermuten.
Nicht die CPU und nicht die Grafikkarte bestimmen, welches Modell dein Rechner fahren kann, sondern der Arbeitsspeicher. Der Grund ist einfach: Das ganze Modell muss beim Arbeiten in den RAM passen. Die Zahlen hinter den Modellnamen sind die Parameter, und mit ihnen wächst der Platzbedarf.
Daraus folgt eine bequeme Konsequenz. Du musst keine Hardware kaufen, um herauszufinden, ob lokale KI für dich funktioniert. Du schaust nach, wie viel Arbeitsspeicher dein Gerät hat, und wählst danach das Modell. Für den Rest dieses Kapitels arbeite ich mit Gemma 4 von Google. Es spricht gut Deutsch, ist stark in Alltagstexten wie Mails, Angeboten und Berichten, und es steht unter der Apache-2.0-Lizenz: kommerzielle Nutzung erlaubt, kein Abo, kein Kleingedrucktes.
Welche Größe zu welchem Arbeitsspeicher passt und was du danach der Reihe nach anklickst, steht gleich nach dem Video.
Die Staffel nach Arbeitsspeicher
- Bis 16 GB RAM: Gemma 4 12B
- 24 bis 32 GB RAM: Gemma 4 26B A4B
- Ab 40 GB RAM: Gemma 4 31B
Das mittlere Modell ist der interessante Fall. Gemma 4 26B A4B nutzt Mixture of Experts: Von 26 Milliarden Parametern sind pro Anfrage nur 4 Milliarden aktiv. Das macht es schnell und schont den Arbeitsspeicher.
Die Installation in sechs Schritten
- LM Studio installieren. Download von lmstudio.ai, wie jede andere App. LM Studio ist die Engine, die das Modell tatsächlich ausführt, auf Apple Silicon nativ über MLX.
- Modell laden. In LM Studio links auf "Discover", nach "Gemma 4" suchen. Auf dem Mac die MLX-Variante wählen, auf Windows GGUF. Modell: Gemma 4 26B A4B QAT. Der Download ist rund 14 bis 16 GB groß und dauert je nach Verbindung 10 bis 40 Minuten.
- Kontext-Länge setzen. Beim Laden die Context Length auf 65536 stellen. Die brauchst du später für den Agent-Einsatz. Direkt richtig setzen spart Neuladen.
- Lokalen Server starten. Im Developer-Tab den Server einschalten, er läuft auf localhost:1234. Ein Schalter, mehr nicht.
- Hermes Desktop installieren. Die grafische Chat-Oberfläche: Schaltflächen statt Kommandozeile.
- Modell auswählen. In Hermes oben links Gemma 4 anklicken. Fertig, die lokale KI steht.
Wer lieber die Kommandozeile nutzt, erreicht dasselbe so:
lms server start
lms load gemma-4-26b-a4b-qat --context-length 65536 --gpu max
lms ps
Der Beweis: null ausgehende Verbindungen
Lass während des Chats einen Netzwerk-Monitor mitlaufen, entweder Little Snitch oder den macOS-eigenen Aktivitätsmonitor im Tab "Netzwerk". Selbst bei einem Prompt mit fiktiven personenbezogenen Daten, also Name, Wohnort und Beträgen, bleibt die Anzeige bei null externen Verbindungen. Der Prompt verlässt den Rechner nicht.
Das löst nicht jede DSGVO-Frage. Modell-Herkunft und Trainingsdaten sind eigene Themen. Den Datenabfluss beim täglichen Arbeiten löst es aber.
Wenn es klemmt
"Läuft das überhaupt auf meiner Grafikkarte?" Die Statusanzeige verrät es. Metal oder MLX heißt Apple Silicon mit aktiver Grafikkarte, CUDA oder Vulkan heißt Windows mit dedizierter GPU. Der Unterschied macht drei gegen zwanzig Sekunden Antwortzeit aus.
"Da steht nur CPU." Dann hast du vermutlich die falsche Modell-Version geladen. Auf dem Mac heißt die richtige MLX, auf Windows GGUF mit GPU-Offload. Einmal im Discover-Tab neu laden.
"Brauche ich Hermes Desktop wirklich?" Für reine Textarbeit reicht das eingebaute Chatfenster von LM Studio. Interessant wird Hermes, wenn das Modell handeln soll: Gemma 4 kann Werkzeuge bedienen und zum Beispiel einen Ordner voller Angebote lesen und in eine neue Ordnerstruktur sortieren, ohne dass eine Datei den Rechner verlässt.
Merksatz
Schau zuerst auf den Arbeitsspeicher, dann auf das Modell, und erst ganz zuletzt auf neue Hardware.