← 返回首页

Kimi K3 erobert die Spitze der Frontend-Code-Arena, baut einen GPU-Compiler und entwirft einen Chip in 48 Stunden

Moonshot AI hat Kimi K3 vorgestellt, ein natives multimodales Modell, das speziell für langes Codieren, Wissensarbeit, visuelles Denken und agentenbasierte Workflows entwickelt wurde. Das Modell verfügt über 2,8 Billionen Gesamtparameter, ein Kontextfenster von 1 Million Token und eine stark sparse Mixture-of-Experts-Architektur – für jeden Token werden nur 16 seiner 896 Experten aktiviert. Moonshot beschreibt es als das erste offene 3T-Modell, obwohl die Ankündigung des Unternehmens besagt, dass die vollständigen Modellgewichte für den 27. Juli 2026 geplant sind. Kimi K3 hat sofort durch seine Leistungen im Frontend-Development, bei der Optimierung eigener GPU-Kernel, der Erstellung des Mini-GPU-Compilers MiniTriton und Chip-Design-Experimenten mit Open-Source-EDA-Tools innerhalb von 48 Stunden Aufmerksamkeit erregt. Moonshot räumt jedoch ein, dass K3 nicht in allen Kategorien führend ist. Die eigene Evaluierung zeigt, dass das Modell in der Gesamtleistung hinter Claude Fable 5 und GP

发布于 2026年7月19日•general•GEO 评分: 0•5 次阅读

选择语言

العربيةDeutschEnglishEspañolFrançaisItaliano日本語한국어PortuguêsРусский中文
Das Bild hat einen tiefschwarzen Hintergrund, links befinden sich unscharfe Schriftzüge „KIMI MOONSHOT AI“, rechts steht in großen Buchstaben „Kimi K3“ mit der darunterliegenden Beschriftung „Frontend Leader · GPU Compiler · 48-Hour AI Chip“. In der Mitte ist ein leuchtender Chip zu sehen, auf dem der Buchstabe „K“ prangt. Rechts ist ein Flussdiagramm dargestellt, das von „IR“ über „Optimize“, „Lowering“ und „CodeGen“ verläuft. Links ist eine Codeschnittstelle zu erkennen. Das Bild bezieht sich auf den Inhalt der SEO-Beschreibung im Dokument und ist das technische Coverdesign von Dark Side of the Moons Kimi K3, das den Anforderungen der Beschreibung im Dokument entspricht.

Kimi K3 erobert die Spitze der Frontend-Code-Arena, baut einen GPU-Compiler und entwirft einen Chip in 48 Stunden

Einleitung

Moonshot AI hat Kimi K3 vorgestellt, ein natives multimodales Modell, das speziell für langes Codieren, Wissensarbeit, visuelles Denken und agentenbasierte Workflows entwickelt wurde.

Das Modell verfügt über 2,8 Billionen Gesamtparameter, ein Kontextfenster von 1 Million Token und eine stark sparse Mixture-of-Experts-Architektur – für jeden Token werden nur 16 seiner 896 Experten aktiviert. Moonshot beschreibt es als das erste offene 3T-Modell, obwohl die Ankündigung des Unternehmens besagt, dass die vollständigen Modellgewichte für den 27. Juli 2026 geplant sind.

Kimi K3 hat sofort durch seine Leistungen im Frontend-Development, bei der Optimierung eigener GPU-Kernel, der Erstellung des Mini-GPU-Compilers MiniTriton und Chip-Design-Experimenten mit Open-Source-EDA-Tools innerhalb von 48 Stunden Aufmerksamkeit erregt.

Moonshot räumt jedoch ein, dass K3 nicht in allen Kategorien führend ist. Die eigene Evaluierung zeigt, dass das Modell in der Gesamtleistung hinter Claude Fable 5 und GPT-5.6 Sol zurückbleibt, aber bei mehreren Codier- und Langzeit-Agenten-Aufgaben bessere Ergebnisse erzielt.

Bildquelle: Der von dem Artikel geteilte intelligente Vergleich von Artificial Analysis zeigt die Position von Kimi K3.

Ein teureres Kimi-Modell

Kimi K3 treibt die API-Preise von Moonshot auf eine höhere Ebene als frühere Kimi-Code-Modelle.

Die Preisliste im Originalbericht enthält die folgenden Tarife für die China-API:

Modell Cache-Hit-Eingabe Cache-Miss-Eingabe Ausgabe
Kimi K3 ¥2 pro Million Tokens ¥20 pro Million Tokens ¥100 pro Million Tokens
Kimi K2.7 Code ¥1,30 pro Million Tokens ¥6,50 pro Million Tokens ¥27 pro Million Tokens

Quellartikel: Preisvergleich zwischen Kimi K3 und Kimi K2.7 Code.

Die von der internationalen API-Plattform von Moonshot aufgeführten Preise für Kimi K3 lauten:

  • $0,30 pro Million Cache-Hit-Eingabe-Tokens
  • $3,00 pro Million Cache-Miss-Eingabe-Tokens
  • $15,00 pro Million Ausgabe-Tokens

Das ist deutlich teurer als Kimi K2.7 Code, liegt aber immer noch unter dem Preis von Claude Fable 5, den Moonshot im Veröffentlichungsvergleich heranzieht.

Die Preistabelle zeigt, dass der Ausgabepreis von Kimi K3 nur 30 % des genannten Preises von Claude Fable 5 beträgt.

Beim Lesen von Preisvergleichen ist Vorsicht geboten. Die API-Preise können je nach Region, Anbieter, Cacheverhalten und späteren Produktaktualisierungen variieren. Vor der Bereitstellung ist die offizielle Kimi-API-Seite der beste Weg, um die aktuellen Abrechnungsstandards zu überprüfen.

Kimi K3 belegt den ersten Platz im Frontend-Code-Arena

Die auffälligsten frühen Ergebnisse kommen aus dem Frontend-Development-Bereich.

Zum Zeitpunkt der Veröffentlichung dieses Artikels liegt Kimi K3 im vorläufigen WebDev-Ranking der Arena Frontend Code Arena an der Spitze. Die Quellgrafik zeigt eine Siegquote von 76 %, vor Claude Fable 5 und GPT-5.6 Sol.

Kimi K3 belegt in den präsentierten vorläufigen Ergebnissen der Frontend Code Arena den ersten Platz.

In sieben Frontend-Kategorien, so der Originalbericht, belegt K3 in sechs Kategorien den ersten Platz:

  1. Marken- und Marketingwebsites
  2. Referenzbild-Design
  3. Datenanalyse-Oberflächen
  4. Konsumgüterprodukte
  5. Simulationen
  6. Content-Erstellungs-Tools

In der Kategorie Spiele belegt es Berichten zufolge den zweiten Platz.

Diese Ergebnisse sind besonders wichtig, weil Frontend-Arbeit nicht nur ein Problem der Codegenerierung ist. Ein leistungsfähiges großes Modell muss visuelle Anforderungen interpretieren, funktionale Anwendungen erstellen, sie ausführen, überprüfen und die Implementierung ändern können, wenn die Oberfläche nicht dem gewünschten Design entspricht.

Wiederherstellung einer browserbasierten macOS-Stil-Oberfläche

Ein im Originalartikel zitiertes Beispiel ist die Nachbildung einer macOS-27-Stil-Oberfläche mit einem Agenten-Cluster in etwa sechs Stunden.

Das Ergebnis ist nicht nur ein statischer Screenshot. Der Bericht besagt, dass die meisten Desktop-Anwendungen und Interaktionen funktionieren, mit wenigen Ausnahmen wie dem Browser und der Telefonfunktion.

Eine von Agenten generierte browserbasierte Oberfläche, die ein modernes Desktop-Betriebssystem nachahmt.

Weitere Demonstrationen umfassen einen Robotergreifarm-Simulator und ein komplett programmatisches, browserbasiertes 3D-Spiel mit Three.js und WebGPU.

Diese Beispiele sind immer noch Demonstrationszwecke und keine standardisierten Benchmarks, aber sie zeigen die Art von Workflows, die Moonshot mit K3 unterstützen möchte: zeitaufwändige, visuelle, iterative Softwareerstellung.

Visuelle Iteration

Moonshot beschreibt den Frontend-Workflow von K3 als visuelle Iteration in der Schleife.

Das Modell generiert nicht nur einmalig Code und hört dann auf, sondern kann:

  1. Anwendungscode schreiben oder ändern.
  2. Das Projekt ausführen.
  3. Echtzeit-Screenshots oder Rendering-Ergebnisse überprüfen.
  4. Layout-, Farb-, Hierarchie- oder Interaktionsprobleme erkennen.
  5. Den Code ändern.
  6. Die aktualisierten Ergebnisse neu rendern und den Schritt wiederholen.

Dieser Prozess schließt die Lücke zwischen Codegenerierung und visueller Bewertung.

Das Modell kann syntaktisch gültiges HTML, CSS und JavaScript generieren und trotzdem eine schlechte Oberfläche produzieren. Durch das Beobachten der gerenderten Ausgabe kann K3 Probleme erkennen, die allein durch den Quellcode schwer zu finden sind.

Für größere Frontend-Repositorys ist das Kontextfenster von 1 Million Token ebenfalls entscheidend. Es kann eine große Anzahl von Komponenten, Typdefinitionen, Designsystemregeln, Projektdokumentation und dateiübergreifenden Abhängigkeiten in einem Arbeitskontext aufnehmen.

Der Originalartikel erwähnt auch einen Kompromiss: Einige Benutzer berichten, dass komplexe Frontend-Aufgaben zwischen 20 Minuten und einer Stunde dauern. Dies sind nur einzelne Beobachtungen und keine kontrollierten Latenzmessungen, deuten jedoch darauf hin, dass K3

Möglicherweise wird eine längere Iterationszeit bevorzugt, anstatt sofortige Ergebnisse zu liefern.

Programmier-Benchmarks und langfristiges Engineering

Programmieren gehört zu den Kernkompetenzen von Kimi K3.

Die Benchmark-Tabelle aus dem ursprünglichen Bericht listet die folgenden Ergebnisse auf:

Benchmark Kimi K3 Claude Fable 5 GPT-5.6 Sol
DeepSWE 67,5 70,0 73,0
Program Bench 77,8 76,8 77,6
SWE Marathon 42,0 35,0 39,0

Das Bild zeigt die Leistung von Kimi K3 in verschiedenen Coding- und Software-Engineering-Bewertungen. Es enthält Punktzahlen für Benchmarks wie DeepSWE, Terminal Bench 2.1, Program Bench und SWE Marathon. Beispielsweise erreicht Kimi K3 bei DeepSWE 67,5 Punkte, Claude Fable 5 70,0 und GPT-5.6 Sol 73,0; bei Terminal Bench 2.1 erzielt Kimi K3 88,3 Punkte, GPT-5.6 Sol 88,9 usw. Das Bild steht in engem Zusammenhang mit dem Kontext und veranschaulicht die Punktzahlen von Kimi K3 in verschiedenen Bewertungen, um dem Leser ein Verständnis seiner Leistungsfähigkeit im Coding und Software-Engineering zu vermitteln.

Berichtete Ergebnisse von Kimi K3 in mehreren Programmier- und Software-Engineering-Bewertungen.

Der offizielle Blog von Kimi K3 liefert wichtige methodische Hinweise.

Für DeepSWE berichtet Moonshot in seinem Hauptvergleich die Ergebnisse des Kimi-Code-Frameworks, während die Ergebnisse der öffentlichen mini-SWE-agent-Rangliste bei 67,3 liegen. Daher kann es je nach Framework und Bewertungseinstellungen zu geringfügigen Abweichungen kommen.

Für SWE Marathon verwendete Moonshot den H20-Kalibrierungszweig der offiziellen Aufgaben. Das Unternehmen weist außerdem darauf hin, dass Claude Fable 5 bei einigen Bewertungen Ausweichverhalten gezeigt habe, was seine gemessene Punktzahl gesenkt haben könnte.

Diese Details widerlegen die Ergebnisse nicht, sind aber beim Vergleich von Modellen wichtig. Agent-Frameworks, Tool-Berechtigungen, Hardware, Inferenzeinstellungen, Ausweichverhalten und Aufgabenkalibrierung können alle die endgültige Punktzahl beeinflussen.

Autonome GPU-Kernel-Optimierung

Moonshot testete, ob Kimi K3 GPU-Kernel mit minimaler menschlicher Aufsicht optimieren kann.

Jedes Modell erhielt die gleiche Sandbox-Umgebung und konnte innerhalb von maximal 24 Stunden die folgenden zugehörigen Kernel analysieren, umschreiben, benchmarken und optimieren:

  • Attention Residuals (Aufmerksamkeitsresiduen)
  • Kimi Delta Attention
  • einen MLA-Workload mit 512 Head-Dimensionen
  • eine universelle GPU eines anderen Anbieters

Die NVIDIA-Tests liefen auf H200-Hardware.

AttnRes-Optimierung

Für den Attention-Residuals-Workload zeigt der Originaltext, dass K3 einen neuen zweistufigen Kernel-Algorithmus entwickelte, der die

kombinierte Laufzeit von Vorwärts- und Rückwärtsdurchlauf von 283,6 ms auf 114,4 ms reduzierte.

Dies entspricht einer Beschleunigung von etwa 59,7 % gegenüber der Basislinie, womit Kimi K3 in Moonshots experimentellem Setup nahe an die Leistung von Claude Fable 5 herankam.

Das Bild zeigt die Optimierungsspur von Kimi K3 bei der AttnRes-Aufgabe. Die horizontale Achse zeigt die aktiven Stunden, die vertikale Achse den Beschleunigungsfaktor. Die Grafik stellt die Optimierung verschiedener Modelle wie Kimi K3, Claude Fable 5, GPT 5.5+, GPT 5.6 Sol mit verschiedenfarbigen Linien dar. Die rote Linie von Kimi K3 zeigt einen Anstieg des Beschleunigungsfaktors von 0 % auf 59,7 %, nahe an den 57,1 % von Claude Fable 5. Die Grafik steht in engem Zusammenhang mit dem Kontext und veranschaulicht den zeitlichen Verlauf des Optimierungseffekts von Kimi K3 bei der AttnRes-Aufgabe.

Berichtete Verbesserungskurve von Kimi K3 bei der AttnRes-Kernel-Aufgabe.

Die Grafik zeigt auch die Verbesserung des Agenten im Laufe der Zeit. K3 erzielte bereits früh in der Laufzeit mehrere bedeutende Fortschritte und optimierte den Kernel anschließend durch weitere Iterationen kontinuierlich.

MLA-512-Kernel

Bei der MLA-512-Aufgabe von Grund auf erreichte der Kernel von Kimi K3 unter kombinierter Vorwärts- und Rückwärtslast laut Bericht 517,8 TFLOPS.

Das zweithöchste im Bericht gezeigte Ergebnis lag bei etwa 492,7 TFLOPS.

Das Bild zeigt die TFLOPS-Leistung von Kimi K3 bei verschiedenen Modelloptimierungsaufgaben. Die horizontale Achse zeigt die aktiven Stunden, die vertikale Achse die TFLOPS. Die Grafik stellt die Optimierung der vier Aufgaben AttnRes, DSA, MLA, KDA - GP GPU mit verschiedenfarbigen Linien dar. Kimi K3 zeigt bei der MLA-Aufgabe mit 517,8 TFLOPS eine herausragende Leistung, weit vor den anderen Modellen. Die Grafik enthält auch die TFLOPS-Werte von Modellen wie Claude Fable 5, Claude Opus, GPT 4.8, GPT 5.5, GPT 5.6. Die Grafik steht in engem Zusammenhang mit dem Kontext und veranschaulicht die Leistungsfähigkeit von Kimi K3 bei den Optimierungsaufgaben im Moonshot-Test.

Kimi K3 erreichte bei der MLA-512-Optimierungsaufgabe laut Bericht 517,8 TFLOPS.

Moonshot gibt an, dass in späteren Phasen der Modellentwicklung frühere Versionen von K3 den Großteil der Kernel-Optimierungsarbeit des Teams übernommen haben. Dies ist ein vom Unternehmen selbst berichteter Workflow und wurde in den mit der Quelle verlinkten Materialien nicht unabhängig geprüft.

MiniTriton: Ein von Grund auf neu gebauter GPU-Compiler

Das folgende Experiment ging über die Optimierung einzelner Kernel hinaus.

Moonshot untersuchte, ob Kimi K3 ein kleines GPU-Programmiersystem von Grund auf neu bauen kann. Das Ergebnis ist MiniTriton, ein kompakter, Triton-ähnlicher Compiler, bestehend aus:

  • einer eigenen Tile-Level-Zwischendarstellung
  • einer auf MLIR basierenden IR-Schicht
  • Optimierungsprozessen
  • einer PTX-Code-Generierungspipeline
  • Laufzeitunterstützung für generierte Kernel

Moonshot berichtet, dass MiniTriton in unterstützten Roofline-Benchmarks die Leistung von Triton und torch.compile erreicht oder übertrifft, einschließlich einer besseren Leistung als Triton bei bestimmten Workloads.

![Das Bild zeigt die CUDA-Core-Roofline-Performance von MiniTriton auf einer NVIDIA L20 (sm_89) GPU. Die horizontale Achse stellt die arithmetische Intensität (FLOP/Byte) dar, die vertikale Achse die erreichte Leistung (GFLOPS). Punkte in verschiedenen Farben und Formen repräsentieren die Leistungsdaten verschiedener Compiler wie torch.eager, torch.compile und minitriton. Beispielsweise erreicht torch.compile bei 10^1 37,2 TFLOPS. Es sind auch Leistungspunkte für verschiedene Tile-Größen (BT) und Tile-Anzahlen (T) markiert, z. B. BT=16 bei 10^1 und 1024 GFLOPS. Die Grafik steht in engem Zusammenhang mit dem Kontext und veranschaulicht die Leistungsfähigkeit von MiniTriton.](https://we0-cms.oss-cn-beijing.aliyuncs.

com/cms-assets/image/2026/07/664fc2e9-1b2c-459d-b907-898ed77df1af-2b65c54f-ba91-475a-81e6-9a3472a15637.png)

Die von MiniTriton auf einer NVIDIA L20 GPU gemeldete CUDA-Roofline-Leistung.

Der Compiler unterstützt auch das end-to-end Training von nanoGPT und erreicht eine stabile Konvergenz. Laut Moonshot liegen die Verlustkurven nahe an denen der Referenzimplementierung, mit nur geringfügigen Abweichungen.

Dies ist aussagekräftiger als isolierte Mikro-Benchmarks. Es zeigt, dass das generierte System die Frontend-Sprache, die Zwischendarstellung, die Optimierungspipeline, die PTX-Generierung und die Laufzeit zu einem kohärenten Arbeitsablauf verbinden kann.

Zum Zeitpunkt der Erstellung dieses Artikels hatte Moonshot das MiniTriton-Repository jedoch noch nicht öffentlich veröffentlicht. Die Leistungsangaben stammen daher aus den Präsentationsmaterialien zum Kimi K3-Launch und sind derzeit nicht mit offiziell veröffentlichtem Code reproduzierbar.

Ein in einer 48-stündigen Sitzung entworfener Chip

Kimi K3 wurde auch im Chipdesign getestet.

Innerhalb eines autonomen 48-Stunden-Durchlaufs erstellte, optimierte und verifizierte das Modell unter Verwendung von Open-Source-EDA-Tools und dem Nangate 45nm-Prozess-Design-Kit einen Chip, der für die Ausführung kleiner Modelle auf Basis der K3-Architektur ausgelegt ist.

Moonshot berichtete die folgenden simulierten Design-Ergebnisse:

  • Fläche: kleiner als 4 mm²
  • 1,46 Millionen Standardzellen
  • 0,277 MB SRAM
  • Timing-Konvergenz bei 100 MHz
  • Simulierter Decodierungsdurchsatz: über 8.700 Token pro Sekunde
  • INT4-Multiplizierer-Akkumulator-Array mit fusionierter Dequantisierung

Das Bild zeigt die Simulation eines Chips, der von Kimi K3 in einer autonomen 48-stündigen Sitzung entworfen wurde. Dargestellt sind mehrere Module wie „10 LGWR read pipe“ mit Nummernmarkierungen. Oben rechts werden Informationen wie „8358 tps“ angezeigt, was einen Durchsatz von 8358 Token pro Sekunde bedeutet. Das Bild bezieht sich auf den Kontext, in dem Kimi K3 innerhalb von 48 Stunden autonom mit Open-Source-EDA-Tools und dem Nangate 45nm-Prozess einen Chip entwirft, und veranschaulicht die Ergebnisse.

Die Chip-Design-Fallstudie meldet eine simulierte Verarbeitungsgeschwindigkeit von über 8.700 Token pro Sekunde.

Es ist wichtig, zwischen einem validierten digitalen Design und einem tatsächlich gefertigten physischen Chip zu unterscheiden.

Die öffentlich zugänglichen Unterlagen beschreiben eine EDA-Design-, Optimierungs-, Timing- und Simulationsübung. Sie besagen nicht, dass der Chip getaped-out, gefertigt, verpackt und auf Silizium getestet wurde.

Trotz dieser Einschränkung ist die Durchführung einer erweiterten Hardware-Design-Pipeline ein bemerkenswerter Fall von Long-Context-Coding. Es erfordert, dass der Agent bei Architekturentscheidungen, Hardwarebeschreibung, Synthese, Platzierung und Verdrahtung, Timing-Überprüfung, Verifikation und iterativer Optimierung zusammenarbeitet.

Zwei zentrale Innovationen hinter dem 2,8T-Maßstab

Kimi K3 basiert auf zwei von Moonshot AI entwickelten Technologien:

  1. Kimi Delta Attention
  2. Attention Residuals

Das Modell kombiniert diese Techniken mit einer spärlicher aktivierten Mixture-of-Experts-Architektur.

Das Bild zeigt die Architektur von Kimi K3, aufgeteilt in drei Teile. Links sind das Stable LatentMoE und das KDA-Modul dargestellt, einschließlich Shared Experts, Router, lineare Schichten und Normalisierungsschichten. In der Mitte befindet sich die AttnRes-Operation mit linearen Schichten, Normalisierungsschichten und KDA. Rechts ist der Block Attention Residuals-Hauptstrang mit Stable LatentMoE, Gated MLA, Stable LatentMoE und KDA dargestellt. Das Diagramm veranschaulicht die Struktur der Schlüsselkomponenten wie Stable LatentMoE, KDA und AttnRes im Kimi K3-Modell und hilft, die effiziente Verarbeitung langer Sequenzen, die flexible Informationsweitergabe und die spärliche Aktivierung zu verstehen.

Kimi K3 kombiniert KDA, Attention Residuals, Gated MLA und Stable LatentMoE.

Kimi Delta Attention

Kimi Delta Attention, kurz KDA, zielt darauf ab, den Aufmerksamkeitsmechanismus über lange Sequenzen effizienter zu gestalten.

Anstatt sich vollständig auf die standardmäßige Full Attention über den gesamten Kontext zu verlassen, bietet KDA eine effiziente Methode zur Verarbeitung langer Eingaben, während gleichzeitig die für Codierung, Schlussfolgerung und Agentenaufgaben erforderlichen Informationen erhalten bleiben.

Es ist eine der Grundlagen

des Millionen-Token-Kontextfensters von K3.

Attention Residuals

Herkömmliche Transformer-Schichten fügen wiederholt die Ausgabe jeder neuen Schicht zum kumulierten verborgenen Zustand hinzu.

Attention Residuals (AttnRes) ändern dieses Muster. Sie ermöglichen es nachfolgenden Schichten, Repräsentationen selektiv aus verschiedenen Tiefen abzurufen, anstatt alle früheren Schichten einfach als Teil eines einheitlichen kumulativen Stroms zu behandeln.

Moonshot beschreibt dies als eine flexiblere Art des Informationsflusses in extrem tiefen Modellen.

Stable LatentMoE-Architektur

Kimi K3 verfügt über 896 Expertenmodule, aktiviert aber pro Token nur 16 Experten.

Diese extreme Spärlichkeit reduziert zwar die Berechnung pro Token im Verhältnis zur gesamten Modellgröße, erhöht aber auch die Schwierigkeit von Routing und Lastausgleich. Das Stable LatentMoE-Framework von Moonshot zielt darauf ab, die Trainingsstabilität unter dieser spärlichen Konfiguration aufrechtzuerhalten.

Quantilbasierter Ausgleich

Mixture-of-Experts-Modelle müssen Token gleichmäßig auf die Experten verteilen, um eine Überlastung weniger Experten zu vermeiden.

K3 verwendet eine quantilbasierte Ausgleichstechnik, die Experten auf der Grundlage von Quantilen der Router-Scores zuweist, anstatt sich auf manuell abgestimmte Ausgleichsstrategien zu verlassen. Moonshot gibt an, dass dies sensible Lastausgleichs-Hyperparameter eliminiert und die Expertenzuweisung im großen Maßstab stabiler macht.

Headweiser Optimierer

K3 erweitert den Muon-Optimierer um eine headweise Muon-Optimierung.

Dieser Ansatz zerlegt die Aufmerksamkeitsparameter in unabhängige Strukturen und optimiert jeden Aufmerksamkeitskopf separat. Ziel ist es, während des Trainings im großen Maßstab ein anpassungsfähigeres Optimierungsverhalten für jeden Aufmerksamkeitskopf bereitzustellen.

SiTU und Gated MLA

Zwei zusätzliche Komponenten unterstützen die Aktivierungs- und Aufmerksamkeitssteuerung:

  • Sigmoid Tanh Unit (SiTU) verbessert die Aktivierungssteuerung
  • Gated MLA erhöht die Flexibilität der Aufmerksamkeitsauswahl

In Kombination mit KDA, AttnRes, Stable LatentMoE, quantilbasiertem Ausgleich und headweisem Muon gibt Moonshot an, dass diese Verbesserungen die gesamte Skalierungseffizienz im Vergleich zu Kimi K2 um etwa das 2,5-fache steigern.

Quantisierungsbewusstes Training und Inferenzarchitektur

Kimi K3 verwendet ab dem Supervised-Fine-Tuning-Stadium quantisierungsbewusstes Training.

Das offizielle technische Blog listet auf:

  • MXFP4-Gewichte
  • MXFP8-Aktivierungen

Ziel ist es, die Kompatibilität über verschiedene Beschleuniger-Hardware hinweg zu verbessern, während die Trainierbarkeit und Bereitstellbarkeit eines Modells dieser Größe erhalten bleibt.

Moonshot empfiehlt gleichzeitig eine Superknoten-Bereitstellung mit mehr als 64 Beschleunigern für eine effiziente Inferenz. Dies zeigt deutlich, dass offene Gewichte nicht gleichbedeutend mit einer einfachen lokalen Bereitstellung sind – dieses Modell mit 2,8 Billionen Parametern bleibt ein schweres Infrastruktursystem.

KDA-Präfix-Caching-Mechanismus

KDA stellt neue Herausforderungen für das traditionelle Präfix-Caching dar.

Moonshot gibt an, eine entsprechende Prefill-Caching-Implementierung entwickelt und zum vLLM-Ökosystem beigetragen zu haben. Seine offizielle API erreicht eine Cache-Trefferquote von über 90 % bei codeähnlichen Arbeitslasten.

Diese Caching-Schicht erklärt den großen Preisunterschied zwischen Inputs mit und ohne Cache. Die Implementierung wird zusammen mit dem Modell als Open Source veröffentlicht, und Entwickler können die offizielle Ankündigung von Kimi und vLLM einsehen.

Der aktuell verfügbare und integrierte Zustand des Code-Repositorys.

Bekannte Einschränkungen

Moonshot listet drei wichtige Einschränkungen von Kimi K3 auf.

Empfindlichkeit gegenüber dem Gedankenverlauf

Die Trainingsweise von K3 bewahrt den vorherigen Gedankenverlauf des Modells.

Wenn das Agenten-Framework nicht den vollständigen erwarteten Verlauf zurückgibt, kann die Generierungsqualität instabil werden. Dies kann passieren, wenn ein Benutzer mitten in einer aktiven Sitzung von einem anderen Modell zu K3 wechselt.

Bei K3 kann das gleiche Problem auftreten.

Moonshot AI empfiehlt, bewährte kompatible Tools (wie Kimi Code) zu verwenden und das Modell während einer Sitzung nicht zu wechseln.

Übertriebene Eigeninitiative

K3 wurde intensiv für langwierige und anspruchsvolle Aufgaben trainiert.

Daher kann es auf kleine Probleme oder vage Anweisungen überreagieren und Entscheidungen treffen, die der Nutzer nicht erwartet hat.

Anwendungen, die strenge Grenzen erfordern, sollten diese Grenzen im System-Prompt oder in der AGENTS.md-Datei klar definieren.

Benutzererfahrungs-Lücke

Moonshot AI gibt an, dass K3 im Vergleich zu Claude Fable 5 und GPT-5.6 Sol noch deutliche Lücken in der Benutzererfahrung aufweist.

Diese Einschränkung ist wertvoll – Benchmark-Ergebnisse und autonome Engineering-Demos decken nicht alle Aspekte der Produktionserfahrung ab, darunter Antwortkonsistenz, Latenz, Anweisungsinterpretation, Tool-Zuverlässigkeit und Gesprächsfluss.

Verfügbarkeit und Open-Weight-Status

Kimi K3 ist über folgende Kanäle verfügbar:

Bei der Einführung verwendet K3 standardmäßig die maximale Denkintensität. Moonshot AI gibt an, dass zukünftige Updates Optionen für niedrigere und höhere Denkintensitäten hinzufügen werden.

Das Unternehmen hat angekündigt, die vollständigen Modellgewichte bis zum 27. Juli 2026 zu veröffentlichen. Bis zur Offenlegung dieser Gewichte und des technischen Berichts stützen sich einige Architekturdetails, Benchmark-Einstellungen, MiniTriton-Implementierungen und Chip-Designabläufe weiterhin auf die veröffentlichten Beschreibungen von Moonshot AI.

Das Bild zeigt die Veränderung der Gesamtparameteranzahl offener Frontier-Modelle verschiedener Unternehmen von Juli 2025 bis Oktober 2026. Die horizontale Achse ist die Zeitachse, die vertikale Achse die Gesamtparameteranzahl. Verschiedene Unternehmen wie Moonshot AI, Xiaomi, Alibaba usw. sind durch verschiedenfarbige Linien gekennzeichnet. Kimi K3 erreicht im Juli 2026 2,8 Billionen Parameter, den aktuellen Höchstwert. Das Diagramm ist eng mit dem Kontext verbunden und veranschaulicht direkt den Vorteil von Kimi K3 bei der Parameteranzahl sowie den Vergleich der Parameteranzahl mit anderen großen Modellen.

Kimi K3 bringt den von Moonshot AI gemeldeten Umfang offener Modelle auf 2,8 Billionen Parameter.

Häufig gestellte Fragen

Was ist Kimi K3?

Kimi K3 ist ein natives multimodales Modell mit 2,8 Billionen Parametern von Moonshot AI, das für langfristige Codierung, Wissensarbeit, visuelles Denken und Agentenaufgaben geeignet ist. Es unterstützt ein Kontextfenster von 1 Million Token und aktiviert 16 von 896 Experten pro Token.

Ist Kimi K3 Open Source?

Moonshot AI bezeichnet K3 als offenes 3T-Level-Modell und hat angekündigt, die vollständigen Modellgewichte bis zum 27. Juli 2026 zu veröffentlichen. Zum Zeitpunkt der Erstellung dieses Textes sind die vollständige Gewichtsveröffentlichung und der technische Bericht für K3 noch nicht abgeschlossen.

Wie hoch sind die Kosten für die Kimi K3 API?

Die Preise für die internationale Kimi API betragen: 0,30 USD pro Million Cache-Eingabe-Token, 3,00 USD pro Million nicht gecachter Eingabe-Token und 15,00 USD pro Million Ausgabe-Token. Die Preise können sich ändern.

Produktionsnutzer sollten daher die aktuellen Tarife auf der offiziellen API-Plattform überprüfen.

Ist Kimi K3 wirklich die Nummer 1 bei den Frontend-Code-Fähigkeiten?

Kimi K3 belegte zum Zeitpunkt der Veröffentlichung vorübergehend den ersten Platz in der Arena WebDev-Rangliste. Da sich die Rangliste mit mehr Stimmen und Modellen dynamisch ändert, konsultieren Sie bitte die aktuelle Arena-Seite für die neueste Platzierung.

Was ist MiniTriton?

MiniTriton ist ein kompakter GPU-Compiler, der laut Moonshot AI von Kimi K3 von Grund auf neu erstellt wurde. Es enthält eine auf MLIR basierende Zwischendarstellung auf Blockebene, Optimierungsdurchläufe, eine PTX-Codegenerierungspipeline und unterstützt das end-to-end nanoGPT-Training.

Hat Kimi K3 einen physischen Chip hergestellt?

Es liegen keine offiziellen Informationen über einen physischen Tape-Out vor. Moonshot AI beschrieb einen 48-stündigen autonomen EDA-Lauf (Electronic Design Automation), der mit der Nangate-45nm-Bibliothek Chipdesign, Optimierung, Verifikation und Simulation durchführte.

Kann Kimi K3 lokal ausgeführt werden?

Das Modell ist extrem groß. Moonshot AI empfiehlt für eine effiziente Inferenzkonfiguration mindestens 64 Beschleuniger. Selbst nach der Freigabe der Gewichte erfordert der lokale Betrieb erhebliche spezialisierte Infrastruktur oder stark angepasste Bereitstellungslösungen.

Was sind die Hauptnachteile von Kimi K3?

Moonshot AI weist auf eine Empfindlichkeit gegenüber beibehaltenen Denkverläufen, übermäßige Eigeninitiative bei vagen Aufgaben sowie Benutzererfahrungs-Lücken im Vergleich zu Claude Fable 5 und GPT-5.6 Sol hin. Es werden explizite Agenteneinschränkungen und kompatible Anpassungsframeworks empfohlen.

Verwandte Tools

  • Kimi: Der Agentenarbeitsbereich von Moonshot AI, der Kimi K3 in Codierungs-, Recherche-, Dokumenten-, Folien- und Visualisierungsworkflows verwenden kann.
  • Kimi Code: Der von Moonshot AI als Open Source veröffentlichte Terminal-Codierungsagent und das empfohlene kompatible Anpassungsframework für K3.
  • Kimi API-Plattform: Offizieller API-Dienst für den Zugriff auf kimi-k3 und andere Kimi-Modelle.
  • Arena WebDev-Rangliste: Echtzeit-Community-Abstimmungsrangliste für Frontend- und Webentwicklungsmodelle.
  • Triton: Open-Source-Sprache und Compiler zum Schreiben leistungsstarker GPU-Kernel.
  • MLIR: Wiederverwendbare Compiler-Infrastruktur von LLVM zum Erstellen von Zwischendarstellungen und Optimierungspipelines.
  • vLLM: Open-Source-Inferenz-Engine für große Sprachmodelle mit Unterstützung für Hochdurchsatz-Inferenz und Prefix-Caching.
  • OpenROAD: Open-Source-RTL-to-GDSII-Toolchain im Zusammenhang mit automatisierten Chip-Design-Workflows.

Verwandte Links

Rangliste](https://deepswe.datacurve.ai/): Öffentlicher Softwareentwicklungs-Benchmark, auf den im Evaluierungsbericht von Moonshot AI verwiesen wird.

  • Program Bench: Programmier-Benchmark, der im K3-Coding-Vergleich verwendet wird.
  • SWE Marathon: Von Moonshot AI zitierter Langzeit-Softwareentwicklungs-Benchmark.

Übersicht

Kimi K3 ist das bisher größte Modell von Moonshot AI mit insgesamt 2.8

8 Billion Parameter, unterstützt native multimodale Eingabe, verfügt über ein Kontextfenster von 1 Million Token und aktiviert in 896 Experten spärlich 16 davon.

Seine herausragendsten frühen Ergebnisse zeigten sich im Bereich langzyklischer Ingenieuraufgaben. K3 belegte den ersten Platz in der vorläufigen Rangliste der Frontend-Code-Arena, optimierte GPU-Kerne, entwickelte den MiniTriton-Compiler und führte mit Open-Source-EDA-Tools einen 48-stündigen Arbeitsablauf für das Design eines Sim-Chips durch.

Die Architektur kombiniert den Kimi-Delta-Aufmerksamkeitsmechanismus, Aufmerksamkeits-Residuenverbindungen, stabile latente MoE, Quantil-Balance, den Muon-Optimierer pro Kopf, SiTU und gegatede MLA. Moonlight berichtet, dass die Skalierungseffizienz im Vergleich zu Kimi K2 um das 2,5-fache gesteigert wurde, räumt jedoch auch wichtige Einschränkungen in Bezug auf Agent-Kompatibilität, Eigeninitiative und das allgemeine Nutzererlebnis ein.

Die wichtigste Aussage von Kimi K3 ist nicht, dass es alle Benchmarks gewonnen hat, sondern dass es in außergewöhnlich langen, visuell gesteuerten und werkzeugkettenabhängigen Ingenieuraufgaben eine konstant hohe Leistung erbringt.