ByteDance plant laut Berichten KI-Modell mit über 5 Billionen Parametern, spätere Berichte deuten auf bis zu 10 Billionen

Der Wettlauf um Spitzenmodelle in China geht nun in die Ära von Billionen Parametern. Alibabas Qwen3.8-Max hat bereits 2,4 Billionen Parameter erreicht, während Kimi K3 von Moonshot AI die Grenze noch höher treibt

发布于 2026年8月7日generalGEO 评分: 05 次阅读
Dieses Bild ist das Titelbild eines Artikels. Der Hintergrund ist ein dunkles Tiefschwarz-Blau mit technologisch anmutenden blauen Linien und Lichtpunkten. In der Bildmitte ist die zentrale Überschrift deutlich zu erkennen, im oberen Hintergrund ist dezent das Markenzeichen von ByteDance zu sehen. Der Titel entspricht exakt dem Thema des Artikels und hebt die Kerninformation hervor, dass ByteDance ein Modell mit 5 Billionen Parametern plant.

Berichten zufolge plant ByteDance die Entwicklung eines KI-Modells mit über 5 Billionen Parametern, spätere Berichte deuten auf bis zu 10 Billionen hin

Einleitung

Das Rennen um Spitzenmodelle in China dringt tiefer in die Ära der Billionen-Parameter vor.

Alibabas Qwen3.8-Max hat bereits 2,4 Billionen Parameter erreicht, während Moonshot AIs Kimi K3 die öffentlich bekannt gegebene Größe auf 2,8 Billionen Parameter gesteigert hat.

ByteDance könnte sich auf den nächsten Sprung vorbereiten.

AIBase berichtet unter Berufung auf LatePost, dass ByteDance am 7. August 2026 darüber diskutiert, ein Basismodell mit über 5 Billionen Parametern zu trainieren. Dem Bericht zufolge befindet sich das Projekt noch in einem frühen Stadium, und es ist noch nicht garantiert, dass das endgültige Modell veröffentlicht wird.

Bild eines Beitrags von LatePost mit dem Titel „#ByteDance diskutiert das Training eines Modells mit über 5 Billionen Parametern#“. Der Inhalt erwähnt, dass ByteDance darüber diskutiert, ein Modell mit über 5 Billionen Parametern zu trainieren, was größer ist als Alibabas Qwen 3.8-Max (2,4 Billionen Parameter) und Moonshot AIs K3 (2,8 Billionen Parameter) – das größte bekannte Modell in China nach Parameterzahl. Das neue Modell wird von Xiang Liang, dem Leiter von Seed Foundation, geleitet, in Zusammenarbeit mit Shen Ke, dem Verantwortlichen für Pre-Training-Daten großer Sprachmodelle. Seed reorganisiert derzeit seine Struktur, verteilt Verantwortlichkeiten und Ressourcen. Das Bild bezieht sich auf den Inhalt im Dokument über ByteDances Diskussion über ein Modell mit über 5 Billionen Parametern und ist ein Screenshot des LatePost-Berichts.

Allein von der Größe her wäre dies eines der größten öffentlich bekannten KI-Modellprojekte Chinas.

Doch am selben Tag gab es noch ein bedeutendes Update.

Am späten Abend des 7. August berichtete Reuters unter Berufung auf die britische Financial Times und informierte Personen, dass ByteDance ein Modell mit bis zu 10 Billionen Parametern trainiert und dass sich dieses Modell bereits in der Pre-Training-Phase befindet. ByteDance hat zu diesem Zeitpunkt noch nicht öffentlich auf den Bericht reagiert.

Die beiden Berichte widersprechen sich nicht zwangsläufig. Ein Projekt, das ursprünglich als „über 5 Billionen“ diskutiert wurde, könnte letztendlich auf eine größere Konfiguration abzielen. Da ByteDance jedoch offiziell weder die Modellarchitektur noch die Parameteranzahl bekannt gegeben hat, sind alle Zahlen in diesem Artikel als geplante Größen aus Berichten zu verstehen, nicht als bestätigte Modellspezifikationen.

ByteDance bewegt sich Berichten zufolge auf die 5-Billionen-Parameter-Marke zu

Der ursprüngliche Bericht von LatePost besagt, dass ByteDance ein Modell mit über 5 Billionen Parametern diskutiert.

Das würde es deutlich über die bereits veröffentlichten Größen mehrerer führender chinesischer KI-Modelle heben.

Modell Öffentlich berichtete Gesamtparameter Status
Qwen3.8-Max 2,4 Billionen Von Alibaba veröffentlicht
Kimi K3 2,8 Billionen Von Moonshot AI veröffentlicht
Berichtetes ByteDance-Modell Über 5 Billionen Berichteter Plan
Spätere FT/Reuters-Zahlen Bis zu 10 Billionen Berichtet, nicht offiziell bestätigt

Moonshot AI beschreibt Kimi K3 offiziell als Mixture-of-Experts-Modell mit 2,8 Billionen Parametern, bei dem pro Token 104 Milliarden Parameter aktiviert werden.

Reuters berichtete am 3. August, dass Alibabas Qwen3.8-Max 2,4 Billionen Gesamtparameter umfasst.

Wenn ByteDance letztendlich ein Modell mit 5 bis 10 Billionen Parametern trainiert und einsetzt, würde dies eine deutliche Steigerung der Gesamtmodellgröße darstellen.

Das bedeutet jedoch nicht automatisch, dass die Fähigkeiten des Modells zwei- bis dreimal so hoch wären.

Parameteranzahl entspricht nicht Intelligenzniveau

AIBase-Quellen beschreiben das 5-Billionen-Parameter-Modell als in derselben Größenordnung wie führende US-Systeme wie GPT-5.6 oder die neuesten High-End-Modelle von Anthropic.

Dieser Vergleich erfordert eine wichtige Einschränkung.

OpenAI und Anthropic haben die genaue Parameteranzahl von GPT-5.6, Claude Fable 5 oder Claude Mythos 5 nicht öffentlich offengelegt.

Reuters machte in seinem Bericht vom 7. August dieselbe Anmerkung: Ein direkter Größenvergleich mit führenden US-Systemen ist schwierig, da diese Labore die Parameteranzahl ihrer Modelle nicht veröffentlichen.

Die Parameteranzahl ist nur eine Dimension zur Messung der Modellfähigkeiten.

Die Leistung hängt auch ab von:

  • Modellarchitektur
  • Aktivierte Parameter pro Token
  • Qualität der Trainingsdaten
  • Anzahl der Trainingstokens
  • Datenfilterung
  • Optimizer-Design
  • Reinforcement Learning
  • Nachbearbeitung
  • Tool-Nutzung
  • Compute zur Testzeit
  • Langkontext-Architektur
  • Inferenzeffizienz

Dies ist besonders wichtig für Mixture-of-Experts-Modelle.

Ein spärliches MoE-Modell kann Billionen von Gesamtparametern haben, aktiviert aber pro Token nur eine kleine Teilmenge davon.

Kimi K3 ist ein gutes Beispiel.

Die offiziellen Spezifikationen listen auf:

  • 2,8 Billionen Gesamtparameter
  • 104 Milliarden aktivierte Parameter
  • 896 Routing-Experten
  • 16 Experten pro Token ausgewählt

Die Gesamtzahl der Gewichte entspricht also nicht der Rechenmenge, die bei jedem Inferenzschritt verwendet wird.

ByteDance hat nicht öffentlich bekannt gegeben, ob das berichtete Modell eine ähnliche spärliche Architektur verwendet, noch wie viele Parameter pro Token aktiviert werden.

Ein Modell mit 5 Billionen Parametern erfordert enorme Trainingsrechenleistung

Der ursprüngliche Bericht verwendete NVIDIA H100 GPUs als Beispiel zur Veranschaulichung des Umfangs.

Die Schätzungen deuten darauf hin, dass das Training eines Modells mit 5 Billionen Parametern etwa Folgendes erfordert:

  • 100.000 H100-Klasse GPUs über 347 Tage, oder
  • 1.000.000 GPUs über etwa 35 Tage

Beide Szenarien ergeben eine Gesamtbeschleunigerzeit in derselben Größenordnung:

Szenario GPU-Anzahl Dauer Ungefähre GPU-Tage
Langfristiger Cluster 100.000 347 Tage 34,7 Millionen
Massiver kurzfristiger Cluster 1.000.000 35 Tage 35 Millionen

Diese Zahlen sind als grobe Szenarioschätzungen von Quellen zu verstehen, nicht als allgemeingültige technische Formeln.

Der tatsächliche Trainingsaufwand hängt stark ab von:

  • Architektur
  • Spärlicher vs. dichter Aktivierung
  • Token-Anzahl
  • Präzision
  • Modell-FLOPs-Auslastung
  • Checkpoint-Speicherung
  • Netzwerkeffizienz
  • Hardware-Generation
  • Trainingstabilität
  • Datenpipeline-Leistung
  • Fehlgeschlagene Läufe und Neustarts

Die offiziellen NVIDIA H100-Spezifikationen zeigen, dass die SXM-Version eine TDP von bis zu 700W hat und über Hopper's Transformer Engine und die NVLink-Infrastruktur groß angelegtes Transformer-Training unterstützt.

Im Maßstab von hunderttausenden Beschleunigern erreicht allein der GPU-Cluster eine Größenordnung, in der Strom, Netzwerk, Kühlung und Rechenzentrumskapazität zu primären Randbedingungen werden.

Warum „1 Million GPUs“ nicht bedeutet, dass ByteDance so trainieren wird

AIBase-Quellen stellen zu Recht fest, dass der gleichzeitige Betrieb von 1 Million H100-Klasse-Beschleunigern eine extreme Infrastrukturkonfiguration wäre.

Realistischer wäre, das Training auf einen kleineren, aber immer noch riesigen Cluster zu verteilen.

Die Quellen schlagen eine näherliegende Variante vor:

  • 200.000 bis 300.000 Beschleuniger
  • Laufzeit von etwa drei bis vier Monaten

Das wäre immer noch einer der größten Trainingscluster überhaupt.

Eines der ambitioniertesten Modelltrainingsprojekte der Menschheitsgeschichte.

Und das Pre-Training ist nur eine Phase.

Ein Spitzenmodell benötigt außerdem Zeit und Rechenleistung für die folgenden Schritte:

  1. Datenvorbereitung
  2. Architekturexperimente
  3. Scale-up-Forschung
  4. Pre-Training
  5. Checkpoint-Evaluierung
  6. Überwachtes Nachtraining
  7. Reinforcement Learning
  8. Sicherheitstests
  9. Tool- und Agent-Training
  10. Service-Optimierung

Der ursprüngliche AIBase-Artikel schätzte daher, dass der gesamte Prozess mindestens ein halbes Jahr dauert und die Gesamtzeit bis zur Auslieferung eines ausgereiften Modells nahezu ein Jahr betragen könnte.

Der spätere Bericht der Financial Times (zusammengefasst von Reuters) besagt, dass sich das Modell bereits in der Pre-Training-Phase befindet, die in der Regel etwa drei bis sechs Monate dauert, bevor Feinabstimmung und Veröffentlichung folgen.

Beide Beschreibungen führen zu derselben praktischen Schlussfolgerung: Ein Projekt dieser Größenordnung ist ein langfristiges Infrastrukturvorhaben, kein Modell, das sofort nach dem ersten Trainingscluster erscheint.

ByteDance hat die Ressourcen, es zu versuchen

Ein Training dieser Größenordnung ist nicht nur eine Forschungsfrage.

Es ist auch eine Frage der Infrastruktur und des Kapitals.

ByteDance ist eines der wenigen chinesischen Technologieunternehmen mit ausreichend finanzieller Stärke, Vertriebskanälen für Verbraucher, Cloud-Infrastruktur, Rechenzentrumskapazität und KI-Engineering-Teams, um ein Projekt dieser Größenordnung ernsthaft in Angriff zu nehmen.

Die offizielle Seed-Organisation des Unternehmens hat die folgenden Bereiche abgedeckt:

  • Pretraining von Basismodellen
  • Post-Training
  • Verstärkendes Lernen
  • Hochleistungs-Inferenz
  • Verteiltes Training
  • Kompilierung für heterogene Hardware
  • Multimodale Modelle
  • Agentensysteme

Die Infrastruktur-Teams von ByteDance beschreiben ihre Arbeit ausdrücklich als umfassend verteiltes Training, Systeme für verstärkendes Lernen, Hochleistungs-Inferenz sowie Compiler-Technologien für Basismodelle.

Auch in den Rekrutierungsmaterialien werden die folgenden Arbeitsinhalte ausdrücklich erwähnt:

  • Training im extrem großen Maßstab
  • Trainingsstabilität
  • Modell-FLOPs-Auslastung
  • Hardware-Software-Co-Design
  • Multi-Knoten-Inferenz
  • Parallelisierung
  • Scheduling-Optimierung

Genau dies sind die Systemtechnik-Probleme, die beim Training von Modellen mit Billionen-Parameter-Maßstab entscheidend werden.

Die GPU-Anzahl aus der Quelle ist nur eine Schätzung, keine öffentlich offengelegten Daten

AIBase bezieht sich außerdem auf Schätzungen Dritter zum Umfang der verfügbaren AI-Rechenleistung mehrerer führender Labore.

Die im Artikel genannten ungefähren Zahlen sind:

  • OpenAI etwa 2 Millionen GPUs
  • Anthropic etwa 620.000
  • DeepSeek etwa 60.000

Diese Zahlen sollten nicht als geprüfte Bestandsdaten betrachtet werden.

OpenAI und Anthropic veröffentlichen keine Echtzeit-Zahlen aller verfügbaren Beschleuniger in ihren eigenen Einrichtungen, bei Cloud-Partnern und in reservierten Kapazitäten.

Die Zahl von etwa 60.000 Beschleunigern für DeepSeek stammt ursprünglich aus einer Schätzung von SemiAnalysis und wurde seither in verschiedenen Berichten breit zitiert. Diese Schätzungen umfassen eine Mischung aus verschiedenen Beschleunigern wie A100, H100, H800 und H20, nicht eine Flotte eines einzigen Typs.

Verlässlicher als jede genaue Bestandszahl ist der übergeordnete Kernpunkt:

Die Entwicklung von Modellen an der Spitzenforschung ist zunehmend vom Zugang zu Rechenleistung im extrem großen Maßstab abhängig, und wenn die Modellgrößen weiter wachsen, kann die Kluft zwischen Unternehmen mit extrem großer Infrastruktur und kleineren Laboren sehr groß werden, wenn die Modellskalierung in Richtung Billionen Parameter steigt.

Der H100-Vergleich ist nur eine Basislinie

Die Verwendung von H100-äquivalenter Rechenleistung macht Berechnungsdiskussionen verständlicher, aber ByteDance wird sich wahrscheinlich nicht auf einen einzigen Beschleunigertyp verlassen.

Große KI-Unternehmen können kombinieren:

  • H100
  • H200
  • NVIDIA-Systeme der Blackwell-Generation
  • Für China angepasste NVIDIA-Chips
  • Inländische KI-Beschleuniger
  • Kundenspezifische Hardware
  • Mehrere Cloud- und Rechenzentrumsregionen

Neuere Beschleuniger können die Anzahl physischer GPUs verändern, die für dieselbe Trainingsrechenmenge erforderlich sind.

Software ist ebenso wichtig.

Verbesserungen in folgenden Bereichen:

  • Kernel-Effizienz
  • Parallelitätsgrad
  • Experten-Routing
  • Speicherverwaltung
  • Kommunikation
  • Checkpoint-Speicherung
  • Quantisierung
  • Datenladung

Können das Verhältnis zwischen Gesamtmodellgröße und Trainingskosten erheblich verändern.

Daher sollte "Modell X benötigt genau Y GPUs" immer als Szenario-Annahme betrachtet werden, nicht als feste Regel.

Warum ByteDance ein so großes Modell benötigen könnte

Die Quelle rahmt das Programm hauptsächlich als Versuch ein, die Intelligenz von Doubao auf das globale Spitzenniveau zu heben.

Dies ist wahrscheinlich nur ein Teil der Motivation.

Größere Basismodelle könnten mehrere Teile des KI-Ökosystems von ByteDance unterstützen.

Doubao

Doubao ist eines der wichtigsten Verbraucher-KI-Produkte von ByteDance auf dem chinesischen Markt.

Ein stärkeres Basismodell kann verbessern:

  • Allgemeines Schlussfolgern
  • Wissensarbeit
  • Programmierung
  • Suche
  • Langkontext-Aufgaben
  • Agentenverhalten
  • Multimodale Interaktion

Seed-Forschung

Modelle im extrem großen Maßstab würden dem Seed-Team auch neue Forschungsplattformen bieten, um zu erkunden:

  • Skalierungsgesetze
  • Sparse-Architekturen
  • Verstärkendes Lernen
  • Agententraining
  • Modelleffizienz
  • Gedächtnis
  • Schlussfolgern über lange Zeitspannen

Volcano Engine

ByteDance kann die Modellfähigkeiten auch über Unternehmens- und Cloud-Dienste kommerzialisieren.

Daher haben Spitzenmodelle auch über Verbraucher-Chatbots hinaus potenziellen Wert.

Größere Modelle müssen dennoch wirtschaftliche Renditen bringen

Die letzte Frage im AIBase-Artikel ist am entscheidendsten.

Kann ein Modell mit extrem hohen Trainingskosten entsprechende Renditen erzielen?

Spitzenlabore müssen nicht nur für den endgültigen Trainingslauf bezahlen.

Die Gesamtausgaben können umfassen:

  • GPUs
  • Rechenzentren
  • Strom
  • Netzwerk
  • Speicher
  • Gehälter der Forscher
  • Datenvorbereitung
  • Fehlgeschlagene Experimente
  • Post-Training
  • Inferenz
  • Sicherheitsbezogene Arbeiten
  • Produktintegration

Anschließend muss das Modell durch eine Kombination aus Folgendem Wert schaffen:

  • Verbraucher-Abonnements
  • Werbung
  • E-Commerce
  • Unternehmens-APIs
  • Cloud-Dienste
  • Effizienzwerkzeug-Produkte
  • Programmierwerkzeuge
  • Agenten
  • Interne Effizienzsteigerungen

Die Parameteranzahl ist nur dann wirtschaftlich sinnvoll, wenn sie sich zu akzeptablen Inferenzkosten in nützliche Fähigkeiten umsetzen lässt.

Aus diesem Grund legen aktuelle Spitzenmodelle zunehmend Wert auf Skalierungseffizienz, nicht nur auf die Gesamtparameterzahl.

Zum Beispiel hat Kimi K3 insgesamt 2,8 Billionen Parameter, aktiviert aber nur 104 Milliarden Parameter pro Token. Moonshot AI gibt an, dass seine Architektur im Vergleich zur vorherigen Generation Verbesserungen bei der Skalierungseffizienz aufweist.

Der eigentliche Wettbewerb ist also nicht:

Wer hat die meisten Parameter?

Sondern eher:

Wer kann mit den wenigsten Ressourcen die stärksten Fähigkeiten umsetzen?

Zu nachhaltigen Trainings- und Inferenzkosten in die nützlichste Intelligenz umwandeln?

Was ist bestätigt, was ist noch Berichterstattung

Bestätigt

  • Laut Moonshot AI hat Kimi K3 insgesamt 2,8 Billionen Parameter.
  • Laut Alibaba und Reuters hat Qwen3.8-Max insgesamt 2,4 Billionen Parameter.
  • Das Seed-Team von ByteDance arbeitet an Pretraining, Post-Training, Inferenz und Modellinfrastruktur im großen Maßstab.
  • Doubao ist das verbraucherorientierte KI-Produkt von ByteDance.
  • Die NVIDIA H100 ist für groß angelegtes Transformer-Training und KI-Workloads im Billionen-Parameter-Maßstab konzipiert.

Berichtet, aber nicht offiziell von ByteDance bestätigt

  • ByteDance baut ein Modell mit mehr als 5 Billionen Parametern.
  • Das Endziel könnte bis zu 10 Billionen Parameter betragen.
  • Die genaue Größe des Trainingsclusters.
  • Die Gesamtmenge der benötigten H100-äquivalenten Rechenleistung.
  • Das endgültige Veröffentlichungsdatum.
  • Ob das Modell letztendlich öffentlich veröffentlicht wird.
  • Die Modellarchitektur und die Anzahl aktiver Parameter.

Nicht aus öffentlichen Modellspezifikationen verifizierbar

  • Ein Modell mit 5 Billionen Parametern ist automatisch "GPT-5.6-Niveau".
  • Die Parameterzahl allein sagt den Intelligenzgrad eines Modells voraus.
  • Die genaue Parameterzahl von GPT-5.6 oder Modellen auf dem Niveau von Anthropics Fable/Mythos.
  • Der genaue aktuelle GPU-Bestand von OpenAI oder Anthropic.

Häufige Fragen

Trainiert ByteDance wirklich ein Modell mit 5 Billionen Parametern?

AIBase zitiert LatePost mit der Meldung, dass ByteDance ein Modell mit mehr als 5 Billionen Parametern diskutiert. Später am selben Tag zitierte Reuters die Financial Times mit der Meldung, dass ByteDance bereits ein Modell vortrainiert, das möglicherweise bis zu 10 Billionen Parameter umfasst. ByteDance hat die genaue Zahl nicht öffentlich bestätigt.

Wird dieses Modell Doubao unterstützen?

Quellen erwarten, dass das Modell das Doubao-Ökosystem von ByteDance stärken wird, aber ByteDance hat nicht offiziell angekündigt, wie das berichtete Modell eingesetzt wird. Spitzenmodelle könnten auch Unternehmens-APIs, Agenten, Forschung und andere Produkte von ByteDance unterstützen.

Ist ein Modell mit 5 Billionen Parametern zwangsläufig besser als Kimi K3 oder Qwen3.8-Max?

Nicht unbedingt. Die Gesamtparameterzahl bestimmt nicht direkt die Modellqualität. Architektur, aktive Parameter, Trainingsdaten, Post-Training, verstärkendes Lernen, Denken zur Inferenzzeit und Werkzeugnutzung können gleichermaßen wichtig sein.

Wie viele Parameter hat Kimi K3?

Moonshot AI hat offiziell bekannt gegeben, dass Kimi K3 insgesamt 2,8 Billionen Parameter und 104 Milliarden aktive Parameter hat. Es verwendet eine sparse Mixture-of-Experts-Architektur (MoE).

Wie viele Parameter hat Qwen3.8-Max?

Laut Berichten von Alibaba und Reuters hat Alibabas Qwen3.8-Max insgesamt 2,4 Billionen Parameter. Es basiert ebenfalls auf einem spärlichen Modelldesign und aktiviert nicht alle Parameter pro Token.

Wie viele H100-GPUs werden benötigt, um ein Modell mit 5 Billionen Parametern zu trainieren?

Die Quelle nennt ein grobes Szenario, das etwa 35 Millionen H100-GPU-Tagen entspricht, z. B. 100.000 H100 über 347 Tage oder 1 Million H100 über etwa 35 Tage. Der tatsächliche Bedarf kann je nach Architektur, Präzision, Auslastung, Token-Anzahl, Hardware und Trainingseffizienz stark variieren.

Hat GPT-5.6 5 Billionen Parameter?

OpenAI hat die Parameterzahl von GPT-5.6 nicht öffentlich offengelegt. Jede Angabe über die Parameterzahl von GPT-5.6

Ein direkter numerischer Vergleich mit einem bestimmten Modell

Berichten zufolge ist ein Modell von ByteDance derzeit noch spekulativ.

Wann könnte ByteDance das Modell veröffentlichen?

Derzeit wurde noch kein offizielles Veröffentlichungsdatum bekannt gegeben. Reuters beruft sich auf einen Bericht der Financial Times aus Großbritannien und meldet, dass sich das Modell in der Phase des Pre-Trainings befindet, die mehrere Monate dauern kann, bevor Feinabstimmung, Evaluierung und Bereitstellung erfolgen können.

Verwandte Tools

  • ByteDance Seed: Das offizielle Forschungsinstitut von ByteDance sowie das Modellzentrum für Basismodelle, multimodale Systeme und KI-Forschung.
  • ByteDance Seed LLM: Der offizielle Überblick von ByteDance über Pre-Training, Post-Training, Inferenz, Gedächtnis, Lernen und Basismodellforschung.
  • Doubao: Der KI-Assistent von ByteDance für Endverbraucher und einer der wichtigsten Produkteinstiegspunkte, der von stärkeren Basismodellen profitieren könnte.
  • Kimi: Die offizielle Produktplattform von Moonshot AI und der Zugang zur Kimi-Modellreihe.
  • Tongyi Qianwen: Das offizielle Portal von Alibaba für die Qwen-Modelle und -Produkte.
  • NVIDIA H100: Offizielle Spezifikationen und Trainingsleistungsinformationen zum H100-Beschleuniger von NVIDIA.

Relevante Links

Zusammenfassung

Berichten zufolge bereitet ByteDance ein extrem großes Basismodell vor, dessen Umfang die derzeit öffentlich bekannt gegebenen chinesischen Modelle übertreffen würde. AIBase und LatePost beschrieben das Projekt ursprünglich als über 5 Billionen Parameter, während ein später am Tag veröffentlichter Bericht von Reuters/Financial Times besagte, dass das Modell bis zu 10 Billionen Parameter erreichen und sich bereits in der Pre-Trainingsphase befinden könnte.

Ein Projekt dieser Größenordnung würde enorme Rechenressourcen erfordern. Die von den Quellen genannten H100-Rechenmengen entsprechen etwa 35 Millionen GPU-Tagen, der tatsächliche Trainingsbedarf hängt jedoch von Architektur, Aktivparametern, Hardwaregeneration, Auslastung und Trainingseffizienz ab.

Die größere Frage ist nicht, ob ByteDance das größte Modell bauen kann. Die Gesamtzahl der Parameter ist ein unvollständiger Indikator für Intelligenz, insbesondere bei spärlichen Mixture-of-Experts-Systemen.

Die eigentliche Bewährungsprobe besteht darin,

ob ByteDance eine Rechenmenge im Billionenbereich in ein Modell umwandeln kann, das in der Leistung deutlich überlegen, effizient genug für den Betrieb und wertvoll genug ist, um die dahinterstehende Infrastruktur zu rechtfertigen.

字节跳动据报计划推出5万亿以上参数AI模型,后续报道指向最高达10万亿