← Alle Videos
Lokale-KI-News

Lokale KI: Kimi K3 ist frei herunterladbar und 1,5 Terabyte groß + der Brief gegen das Verbot

Moonshot AI hat am 27. Juli die Gewichte von Kimi K3 veröffentlicht: 2,8 Billionen Parameter, das bisher größte offene Modell. Die eigentliche Nachricht ist nicht das Modell selbst, sondern was sein Betrieb voraussetzt. Und der Streit, ob es solche Veröffentlichungen weiter geben darf.

Diagramm: Der Weg von Kimi K3 von Hugging Face über die SSD in den RAM, mit der Speicher-Hürde von 610 Gigabyte

Das größte offene Modell und 610 Gigabyte Arbeitsspeicher

Kimi K3 ist ein Mixture-of-Experts-Modell: 896 Spezialisten, pro Wort rechnen davon nur 16. Vorhalten musst du trotzdem alle. In einer unabhängigen Bestenliste steht es auf Platz 4 von 189, in einer Rangliste für Frontend-Programmierung auf Platz 1.

Das Paket auf Hugging Face ist gut 1,5 Terabyte groß. Das klingt nach einem Festplatten-Problem, ist aber ein Arbeitsspeicher-Problem: Zum Arbeiten muss das Modell komplett in den RAM. Selbst die kleinste Quantisierung, die 1-Bit-Fassung, braucht laut Unsloth 610 Gigabyte Gesamtspeicher. Ein sehr gut ausgestatteter Firmenrechner hat 32 oder 64 Gigabyte, eine eigens für lokale KI gebaute Maschine 128. Du bräuchtest rund fünf davon, nur für die abgespeckte Version. Wer es wirklich betreiben will, landet bei Hardware wie der DGX Station von Nvidia, 85.000 bis 100.000 Dollar. Offen heißt nicht verfügbar. Herunterladen dürfen heißt nicht starten können.

235 Unterschriften gegen ein Verbot

Am 24. Juli veröffentlichten 25 amerikanische Technologiekonzerne einen offenen Brief, darunter Nvidia, Microsoft, Meta. Die Forderung: keine pauschalen Verbote für offene Modelle. Sechs Tage später habe ich nachgezählt: 235 Namen. Auch Ollama unterschreibt. Die Liste wächst, weil offene Modelle für die halbe Branche Geschäftsgrundlage sind. Das macht den Brief nicht unehrlich, es erklärt ihn. Der wichtigste Satz darin, sinngemäß: Offene Gewichte geben Kunden größere Kontrolle. Unternehmen wollen sich nicht an einen einzigen Anbieter binden.

OpenAI und Google haben nachgereicht. Anthropic stand am 30. Juli nicht auf der Liste, sichtbar mit bloßem Auge, denn die Liste ist alphabetisch: Anaconda, Andreessen Horowitz, AnythingLLM. Dazwischen wäre der Platz gewesen.

Geprüft gegen ungeprüft: Anthropics Antwort

Drei Tage später veröffentlichte Anthropic ein Positionspapier: Man habe nie ein Verbot offener Modelle gefordert, ein pauschales sei nicht das richtige Mittel. Stattdessen drei Hebel: Chip-Exportkontrollen, Distillation (das Nachbauen eines Modells aus den Antworten eines anderen) und verpflichtende Sicherheitstests für alle ausreichend leistungsfähigen Modelle, offene wie geschlossene.

Der eigentliche Dissens liegt bei der Distillation: Der Brief nennt sie eine lange Tradition des Aufeinander-Aufbauens, Amodei den Kern des Problems. Der Streit geht also nicht um offen gegen geschlossen, sondern um geprüft gegen ungeprüft. Ein Verbot ist unwahrscheinlicher geworden, eine Prüf- und Nachweispflicht wahrscheinlicher.

Was Washington laut Anthropics eigenem Papier erwägt: US-Firmen die Nutzung chinesischer Modelle zu untersagen. Durchsetzen lässt sich das kaum: Llama 3.1 steht bei Ollama bei knapp 118 Millionen Downloads, DeepSeek R1 bei über 90 Millionen. Wahrscheinlicher ist ein Beschaffungsverbot für US-Behörden. Wenn du ein Modell herunterlädst und im eigenen Haus betreibst, trifft dich davon nichts.

Die Lizenz und die 128er-Klasse

Die Kimi-K3-Lizenz ist besser als vielfach berichtet: intern betreiben, in eigene Produkte einbauen, forschen: alles erlaubt, ohne Anfrage. Eine gesonderte Vereinbarung braucht erst, wer selbst Zugang zum Modell verkauft, und erst ab 20 Millionen Dollar Umsatz. Gekippt ist etwas anderes: Der Vorgänger lief unter einer klassischen freien Lizenz, K3 unter einer eigenen kommerziellen.

Und die Hardware, auf der lokale KI tatsächlich läuft: In acht Monaten sind fast 30 Maschinen mit 128 Gigabyte gemeinsamem Speicher erschienen: von Framework, Corsair, Beelink, GMKtec und HP, dazu Nvidias DGX Spark. Preise grob zwischen 2.000 und 5.000 Euro, Tendenz steigend, weil der Speichermarkt eng ist. Neu dabei: MSI mit dem PRO MAX EDGE AI+, vier Liter groß, ohne genannten Preis; berichtet werden rund 15 Token pro Sekunde auf einem 109-Milliarden-Modell. In dieser Klasse laufen die offenen Modelle für Dokumente, Auswertungen und Textarbeit. Was nicht hineinpasst, ist genau das eine Modell vom Anfang.

Was das für dich heißt

Wirf deine Hardware-Planung wegen dieser Schlagzeile nicht um: Das Modell, über das alle reden, wird nie auf deiner Maschine laufen. Schau nach, wie viel Arbeitsspeicher in deinem Rechner steckt; diese Zahl entscheidet, welche Modelle für dich in Frage kommen. Und schreib pro eingesetztem Modell vier Zeilen auf: welches, Version, Quelle, wer entschieden hat. Kommt eine Nachweispflicht, hast du sie schon. Modell-Schlagzeilen liest du danach anders: nicht zuerst die Parameter, sondern den Speicherbedarf.

Quellen

  • https://huggingface.co/moonshotai/Kimi-K3
  • https://huggingface.co/moonshotai/Kimi-K3/blob/main/LICENSE
  • https://unsloth.ai/docs/models/kimi-k3
  • https://artificialanalysis.ai/models/kimi-k3
  • https://www.microsoft.com/en-us/corporate-responsibility/topics/open-weight/
  • https://www.anthropic.com/news/position-open-weights-models
  • https://ollama.com/library/llama3.1
  • https://ollama.com/library/deepseek-r1
  • https://www.msi.com/news/detail/MSI-Launches-the-PRO-MAX-EDGE-AI---Ushering-in-a-New-Era-of-On-Device-AI-Computing-149591
  • https://www.nvidia.com/en-us/products/workstations/dgx-station/

Das auf deiner Hardware?

Im BUILT Audit zeige ich dir in 3 Stunden, wo lokale KI in deinem Unternehmen rechnet und wo nicht. Das Erstgespräch kostet nichts.

Nichts mehr verpassen

Das Lokale-KI-Briefing: donnerstags, was sich bei Modellen, Lizenzen und Hardware geändert hat. Abmeldung jederzeit.