Qingcheng.ai baut auf der WAIC 2026 ein Token-„Supergrid“ und behauptet, DeepSeek-Bereitstellungskosten um 75 % zu senken

Einleitung

Auf der WAIC 2026 füllen Modellunternehmen die Messehallen mit Parameterzahlen, während Infrastrukturanbieter immer größere Rechencluster präsentieren. Doch im Mittelpunkt des Messestands von Qingcheng Intelligent steht weder ein einzelnes Modell noch ein Server.

Sondern eine vollständige Übersicht, die zeigt, wie Token während des gesamten Lebenszyklus eines KI-Agenten produziert, geroutet, verteilt, gemessen und gesteuert werden.

Qingcheng Intelligent bezeichnet dieses Modell als Token-"Vorderladen-Hinterfabrik". Das Framework vereint drei Ebenen:

1. Die Token-Produktionsebene im Backend
2. Die Routing- und Service-Ebene in der Mitte
3. Die Agenten-Anwendungs- und Governance-Ebene

Das Unternehmen beschreibt seine Architektur als Stromsystem des KI-Zeitalters. Rechenhardware und Inferenzsoftware fungieren als Kraftwerke, AI Ping spielt die Rolle des Stromnetzes, und Agenten-Werkzeuge sind die Geräte, die Strom verbrauchen.

Der Messestand von Qingcheng Intelligent zeigt den vollständigen Workflow von Token-Produktion, Routing und Governance.

Laut dem ursprünglichen Bericht soll das System drei wiederkehrende Probleme lösen: instabile Modell-APIs, geringe Auslastung inländischer heterogener Beschleuniger und fehlende klare Token-Abrechnung bei großflächigen Agenten-Implementierungen.

Token-Engpässe vor großflächigen Agenten-Anwendungen

Wenn KI-Agenten von der Präsentationsphase in die Produktionsumgebung übergehen, kann eine einzige Benutzeranfrage mehrere Modellaufrufe auslösen.

Ein Agent muss möglicherweise Dateien abrufen, Datenbanken durchsuchen, Werkzeuge aufrufen, Code generieren, Ergebnisse bewerten, Pläne überarbeiten und einen anderen Agenten aufrufen. Der Benutzer sieht nur den letzten Schritt der Antwort. Dahinter könnte das System über mehrere Dienste hinweg eine große Anzahl von Token verbrauchen.

Der ursprüngliche Artikel weist auf drei große Infrastrukturprobleme hin, die mit der Skalierung der Workflows immer schwerwiegender werden.

Instabile Token-Versorgung

Die Kapazität von Modell-APIs kann in Zeiten hoher Nachfrage schwanken.

Dieselbe Anfrage kann zu einem Zeitpunkt schnell beantwortet werden und zu einem anderen langsam oder gar nicht verfügbar sein. In lockeren Gesprächsszenarien ist eine kurze Verzögerung vielleicht akzeptabel, aber in mehrstufigen Agenten-Workflows, bei denen jeder nachfolgende Schritt von der Antwort des vorherigen abhängt, kann diese Verzögerung zu Unterbrechungen des Ablaufs führen.

Daher benötigen Unternehmenssysteme nicht nur Zugang zu einem Modell. Sie benötigen vorhersagbare Latenz, Durchsatz, Zuverlässigkeit und Ausgabequalität.

Inländische Beschleuniger sind schwer effizient zu nutzen

Viele Einrichtungen haben bereits einen Mix aus inländischen GPUs, NPUs und KI-Rechenservern angeschafft. Die Hardware mag vorhanden sein, aber es ist immer noch schwierig, große Modelle effizient darauf zu betreiben.

Beliebte Inferenz-Frameworks wie vLLM wurden ursprünglich für das NVIDIA- und CUDA-Ökosystem optimiert. Sie unterstützen zwar zunehmend mehr Geräte, aber es bedarf dennoch erheblicher Ingenieursarbeit, um jede Funktion und Optimierung an die verschiedenen Beschleunigerarchitekturen anzupassen.

Qingcheng Intelligent ist der Ansicht, dass native Inferenz-Engines und hardwarebewusste Software-Stacks mehr nutzbare Token-Ausgabe aus diesen Clustern herausholen können.

Agenten-Ausgaben sind schwer nachvollziehbar

Wenn ein Unternehmen mehrere Agenten betreibt, zeigt die monatliche Modellrechnung nicht immer, welcher Workflow die Kosten verursacht hat.

Ein einzelner Agent kann mehrere Modelle aufrufen, mehrere Anbieter nutzen, Unteragenten starten und stundenlang laufen. Ohne detaillierte Nachverfolgung fällt es Organisationen möglicherweise schwer, grundlegende Fragen zu beantworten:

• Welcher Agent hat Token verbraucht?
• Welches Modell und welchen Anbieter hat er aufgerufen?
• Welches Werkzeug oder welcher Schritt hat die höchsten Kosten verursacht?
• Hat ein bestimmter Workflow das erwartete Budget überschritten?
• Könnte die Anfrage an einen günstigeren Dienst weitergeleitet werden?

Qingcheng Intelligent positioniert seine dreistufige Architektur als integrierte Infrastruktur, die Produktion, Verteilung, Anwendung und Abrechnung verbindet.

Die Ausstellungsübersicht zeigt den Workflow von der zugrunde liegenden Berechnung bis zur Agenten-Anwendung.

Die dreistufige "Vorderladen-Hinterfabrik"-Architektur

Die Architektur ist um eine einfache industrielle Analogie herum aufgebaut.

Die Hinterfabrik wandelt Rechenhardware in Token um. Der Laden bündelt und routet Token-Dienste. Die Anwendungsknoten verteilen Agenten und steuern, wie Token verbraucht werden.

Die Architektur von Qingcheng Intelligent verbindet Token-Produktion, Service-Routing und Agenten-Governance.

Diese drei Ebenen sind darauf ausgelegt, zusammenzuarbeiten und nicht als isolierte Produkte zu existieren.

Hinterfabrik: Die Token-Produktionsebene

Die Hinterfabrik wandelt physische Rechenressourcen in standardisierte Modell-Inferenzfähigkeiten um.

Zu ihren Hauptkomponenten gehören:

• Hardware- und Rechenpartner
• Die Chitu-Inferenz-Engine
• Der Bagua-Software-Stack

Qingcheng Intelligent vergleicht diese Ebene mit einem Kraftwerk. Das Ziel ist es, aus der verfügbaren Hardware so viele, stabile und nutzbare Token wie möglich zu generieren, während die Bereitstellungskomplexität reduziert wird.

Chitu: Eine produktionsorientierte Inferenz-Engine

Chitu ist das von Qingcheng Intelligent veröffentlichte Open-Source-Hochleistungs-Inferenz-Framework.

Das offizielle Repository beschreibt es als eine Engine, die auf Produktion, Effizienz, Flexibilität und Benutzerfreundlichkeit ausgerichtet ist. Sie unterstützt die Bereitstellung von CPUs und einzelnen Beschleunigern bis hin zu großen Clustern und bietet optimierte Unterstützung für mehrere inländische Hardware-Plattformen.

Das Projekt unterstützt auch Modelle wie DeepSeek, Qwen, GLM und Kimi sowie standardmäßige OpenAI-kompatible HTTP-Schnittstellen.

Chitu dient der Verbesserung der LLM-Inferenzfähigkeiten auf heterogenen Rechenplattformen.

Qingcheng Intelligent ist der Ansicht, dass die Anpassung eines Frameworks, das für ein einzelnes Hardware-Ökosystem entwickelt wurde, der Verwendung eines ungeeigneten Werkzeugs gleichkommen kann. Der Vergleich des Unternehmens lautet: Ein für Toast konzipierter Ofen kann umgebaut werden... um Dampfbrötchen zu dämpfen, aber ein spezieller Dampfgarer könnte die vorhandene Wärme effizienter nutzen.

Dieser Vergleich ist zwar vereinfacht, aber die dahinterstehenden technischen Herausforderungen sind real. Beschleunigerarchitekturen unterscheiden sich in Bezug auf Speicher, Kommunikation, Operatoren, numerische Formate, Kompilierung und Scheduling-Verhalten.

Chitu enthält hardwarespezifische Optimierungen und Unterstützung für Inferenz mit niedriger Präzision, einschließlich FP4- und FP8-Konfigurationen.

Die 75%-Kostenbehauptung für DeepSeek

Der ursprüngliche Bericht gibt an, dass ein mit FP4 bereitgestelltes DeepSeek-Modell die erforderliche Hardware von vier Maschinen auf eine reduziert hat.

In dieser spezifischen Konfiguration bedeutet die Reduzierung von vier auf eine Maschine eine Reduzierung der benötigten Maschinen um 75%. Der Artikel rechnet diese Reduzierung in eine 75%ige Kosteneinsparung um.

Der Bericht führt die Reduzierung der DeepSeek-Bereitstellung von vier auf eine Maschine auf die FP4-Optimierung zurück.

Dieses Ergebnis sollte nicht als Garantie für eine universelle 75%ige Kostenreduzierung bei jeder DeepSeek-Bereitstellung interpretiert werden.

Die tatsächlichen Einsparungen hängen von folgenden Faktoren ab:

• Dem gewählten DeepSeek-Modell und Quantisierungsschema
• Dem Beschleunigertyp und der Speicherkapazität
• Der Serverkonfiguration
• Der Kontextlänge
• Der Batch-Größe und Parallelität
• Den Latenzzielen
• Den Präzisionsanforderungen
• Der Softwareversion
• Den Strom- und Betriebskosten

Das Open-Source-Chitu

Das Lager wies auch darauf hin, dass die Leistungsergebnisse je nach Hardware, Software und Testlast variieren können.

Bagua-Ofen: Versteckte Infrastrukturkomplexität

Der Bagua-Ofen ist der Software-Stack von Qingcheng.ai für Modelltraining, Inferenz, Bereitstellung, Planung und Betrieb.

Das Unternehmen nutzt ihn als Möglichkeit, komplexe Infrastrukturaufgaben in eine besser handhabbare, unternehmensgerechte Plattform zu verpacken.

Der Bagua-Ofen sitzt auf heterogener Hardware und bietet Bereitstellungs- und Betriebswerkzeuge.

Der Bagua-Ofen zielt darauf ab, den manuellen Arbeitsaufwand in folgenden Bereichen zu reduzieren:

• Cluster-Ressourcenverwaltung
• Modell- und Anwendungsbereitstellung
• Verteiltes Training
• Inferenzoptimierung
• Leistungsbewertung
• Anwendungsauslieferung
• Überwachung und Betrieb

Qingcheng.ai hat außerdem in Zusammenarbeit mit Inspur Information den gemeinsam optimierten Yuan-Nao Bagua-Ofen All-in-One vorgestellt. In einem veröffentlichten Test mit Qwen3-32B berichteten die Partner, dass der gesamte Inferenzdurchsatz nach der Chitu-Optimierung um bis zu 14,45-mal gesteigert werden konnte und die End-to-End-Leistung nach einer Full-Stack-Optimierung um etwa das Zehnfache verbessert wurde.

Diese Daten stammen aus den eigenen Testumgebungen der Partnerunternehmen und sind nicht gleichzusetzen mit dem auf der WAIC beschriebenen DeepSeek FP4-Fall.

Heterogene Cluster-Optimierung

Die Backend-Factory-Schicht ist darauf ausgelegt, mehrere Arten von Beschleunigern zu verwalten.

Eine im ursprünglichen Bericht erwähnte Strategie ist die Trennung von Pre-Fill- und Decode-Workloads.

In der Pre-Fill-Phase verarbeitet das System die Eingabeaufforderung und baut den internen Cache des Modells auf. In der Decode-Phase generiert das System schrittweise die Ausgabe-Token. Diese beiden Phasen unterscheiden sich in Bezug auf Speicher, Bandbreite und Recheneigenschaften.

Ein heterogener Cluster kann jede Phase der Hardware zuweisen, die sie am effizientesten verarbeitet. Diese Praxis wird manchmal als „Pre-Fill-Decode-Trennung“ bezeichnet.

Das Ziel ist nicht, alle Beschleuniger gleich erscheinen zu lassen, sondern verschiedene Hardware die Arbeitsteile bearbeiten zu lassen, die am besten zu ihren Stärken passen.

Shop: AI Ping als Token-Routing-Knoten

Sobald die Token generiert sind, benötigen Anwendungen noch eine stabile Methode, um sie zu beziehen.

Die mittlere Schicht ist AI Ping, die Plattform von Qingcheng Zhiyun für Modellservice-Bewertung und API-Routing.

AI Ping überwacht kontinuierlich die Modellservices und bietet eine einheitliche Schnittstelle über mehrere Anbieter hinweg.

AI Ping bewertet Modell-APIs und leitet Anfragen zwischen den Dienstanbietern weiter.

Der ursprüngliche Bericht gibt an, dass AI Ping Folgendes überwacht:

• Über 30 Dienstanbieter
• Über 600 Modellservice-Schnittstellen
• Latenz
• Durchsatz
• Zuverlässigkeit
• Cache-Trefferquote
• Token-Qualität
• Preisgestaltung und Serviceverfügbarkeit

Die Plattform zielt darauf ab, den Bedarf von Entwicklern an der Erstellung von Konten, der Verwaltung unterschiedlicher API-Formate und dem manuellen Vergleich von Dienstanbietern zu reduzieren.

Benutzer können Prioritäten setzen, wie zum Beispiel:

• Kosten senken
• Antwortzeit verbessern
• Zuverlässigkeit erhöhen
• Ausgabequalität verbessern

Wenn keine Präferenz angegeben ist, kann AI Ping mithilfe seiner Routing-Logik einen verfügbaren Dienst auswählen.

Dynamisches Routing bei Dienstüberlastung

Eine statische Integration sendet jede Anfrage an denselben Dienstanbieter, bis der Entwickler die Konfiguration ändert.

Dynamisches Routing ist anders. Wenn ein Dienstanbieter langsamer wird oder nicht verfügbar ist, kann die Routing-Schicht nachfolgende Anfragen an andere Dienste umleiten, die aktuell eine bessere Leistung erbringen.

Dies ist hilfreich für Agent-Workloads, da eine einzelne Unterbrechung zum Fehlschlagen längerer Aufgaben führen kann.

Die erwartete Rückkopplungsschleife der Plattform ist wie folgt:

1. AI Ping misst kontinuierlich die Servicequalität.
2. Routing-Entscheidungen verwenden die aktuellsten Messdaten.
3. Echter Benutzerverkehr liefert zusätzliche Leistungsdaten.
4. Neue Daten verbessern zukünftige Bewertungen und das Routing.

Qingcheng Zhiyun gibt an, dass die einheitliche API es auch kleineren Teams ermöglicht, auf Routing- und Überwachungsfähigkeiten zuzugreifen, die normalerweise ein internes Plattformteam erfordern.

Das Unternehmen hat separat die durchschnittlichen Verbesserungen in Kosten, Durchsatz und Latenz durch AI Ping gemeldet. Diese Prozentsätze sind veröffentlichte Ergebnisse der Plattform; die tatsächlichen Ergebnisse variieren je nach ausgewähltem Modell, Dienstanbieter, Verkehrsmuster und Routing-Strategie.

Anwendungsknoten: Agent-Shop und ATM

Die letzte Schicht konzentriert sich darauf, wie Agenten ... ihre Token verteilt werden und welche Nutzungsregeln gelten.

Das System besteht aus zwei Hauptkomponenten:

• Agent-Shop
• ATM (Agent Token Manager)

Agent-Shop

Der Agent-Shop wird als Verteilungs- und Wiederverwendungsschicht für universelle und branchenspezifische Agenten positioniert.

Sein Kernwert liegt darin, Agent-Entwickler mit Organisationen zu verbinden, die bereitstellbare Arbeitsabläufe benötigen, und gleichzeitig diesen Agenten Zugang zur breiteren Token-Infrastruktur zu ermöglichen.

Der ursprüngliche Bericht vergleicht ihn mit einem Markt für Elektrogeräte, die an ein gemeinsames Stromnetz angeschlossen sind. Zum Zeitpunkt der Erstellung dieses Dokuments waren öffentlich zugängliche Informationen über die Preisstrategie, Prüfstandards, Bereitstellungsformate und Geschäftsbedingungen des Agent-Shops noch begrenzt.

ATM: Agent Token Manager

ATM steht für Agent Token Manager.

Qingcheng Technology hat es auf der World Artificial Intelligence Conference 2026 als lokales Tool für Token-Management und Governance für Multi-Agent-Systeme vorgestellt.

Das Tool bietet folgende Funktionen:

• Einheitliche Verwaltung von API-Anmeldeinformationen
• Token-Nutzungsverfolgung
• Kostenverteilung und -abrechnung
• Verbrauchsgrenzensteuerung
• Anbieterwechsel und Fehlerbehebung
• Ressourcenisolation für mehrere Agenten
• Warnungen bei ungewöhnlicher Nutzung
• Lokale / datenschutzsensible Überwachung

Die Originalliteratur gibt an, dass ATM Agentenaktivitäten durch Verhaltens-Hooks, lokale Dateiscans und Datenschutz-Gateways beobachten kann.

In der Praxis ähnelt ATM einem „Stromzähler“ für KI-Workloads. Das Ziel ist es, die Token-Abrechnung mit dem Agenten, der Aktion, dem Modell und dem Tool zu verknüpfen, die den Verbrauch verursacht haben.

Dies ist stark mit dem Konzept des Cloud-Kostenmanagements (FinOps) verbunden – der Disziplin der Messung und Kontrolle von Cloud-Ausgaben. In Agent-Systemen ist die Herausforderung feiner granular, da ein einzelner Geschäftsprozess mehrere verschachtelte Modellaufrufe enthalten kann.

Eine effektive Agent-Kostenerfassung muss Folgendes umfassen:

1. Auslösender Benutzer oder Workflow
2. Beteiligte Agenten und Sub-Agenten
3. Ausgewähltes Modell
4. Anzahl der Eingabe-/Ausgabe-Token
5. Im Task aufgerufene Tools
6. Anbieterpreise
7. Anzahl der Wiederholungen und fehlgeschlagenen Aufrufe
8. Gesamtkosten und -zeit

Qingcheng Technology positioniert ATM als eine tokenorientierte FinOps-Schicht für diese Art neuer Workloads.

Warum Qingcheng Technology Neutralität betont

Der ursprüngliche Artikel weist darauf hin, dass Neutralität einer der Kernvorteile von Qingcheng Technology ist.

Große Cloud- und Hardware-Unternehmen neigen naturgemäß dazu, ihre eigenen Plattformen, Partner oder Investitionen zu bevorzugen. Daher neigen Organisationen, die gemischte Cluster betreiben, eher zu unabhängigen Softwareanbietern, die mehrere konkurrierende Beschleuniger und Dienstanbieter unterstützen.

Qingcheng Technology behauptet, dass seine Plattform nicht an einen einzigen Chip-Lieferanten gebunden ist.

Dieses Konzept spiegelt sich in der Fähigkeit von Chitu wider, mehrere Hardware-Umgebungen zu unterstützen, sowie im Multi-Anbieter-Routing-Modell von AI Ping.

Die Neutralität muss noch in der Praxis überprüft werden. Kunden sollten folgende Elemente prüfen:

• Unterstützte Hardware- und Softwareversionen
• Routing-Regeln
• Geschäftspartnerschaften
• Benchmarking-Methodik
• Datenaufbewahrungsrichtlinien
• Optionen für die Anbieterauswahl
• Failover- und Fallback-Mechanismen

Der technologische Hintergrund des Unternehmens stellt einen weiteren Positionierungsvorteil dar.

Qingcheng Technology wurde im Dezember 2023 gegründet. Das Kernteam stammt vom Institut für Hochleistungsrechnen der Fakultät für Informatik der Tsinghua-Universität.

Das Unternehmen gibt an, dass dieses Team zuvor Leistungsbewertungen und Optimierungen für Supercomputer- und KI-Rechenzentren durchgeführt hat.

Inländische Rechenleistung in exportierbare Token-Dienste umwandeln

Qingcheng AI betrachtet Token-Dienste auch als einen gangbaren Weg, um inländische Rechenleistung für Nutzer im Ausland zugänglich zu machen.

Die Logik dahinter: Entwickler müssen nicht wissen, welcher Beschleuniger die Antwort generiert hat. Entwickler kaufen Modell-APIs und erhalten Token.

Wenn inländische Hardware in der Lage ist, wettbewerbsfähige Modelle stabil und effizient zu betreiben, kann deren Ausgabe über eine einheitliche API verkauft werden, ohne dass Kunden im Ausland die zugrunde liegende Hardware-Architektur bereitstellen oder verstehen müssen.

Qingcheng AI betrachtet Token-Dienste als eine Möglichkeit, inländische Rechenleistung weltweit zu vertreiben.

Der ursprüngliche Bericht weist darauf hin, dass die Spitzenzeiten des Übersee-Entwickler-Traffics in der Regel zwischen 22:00 Uhr (Beijing-Zeit) und 8:00 Uhr des Folgetages liegen.

Dies schafft eine potenzielle Nutzungsmöglichkeit. Die Rechenleistung, die während der inländischen Nebenzeiten ungenutzt ist, kann genutzt werden, um Nutzer in anderen Zeitzonen zu bedienen.

Der im Artikel beschriebene Arbeitsablauf ist:

1. Der inländische Beschleuniger generiert Tokens über Chitu.
2. AI Ping misst die Dienstqualität und leitet die Anfragen weiter.
3. Partner verteilen den Dienst an Übersee-Entwickler.
4. Nutzer verwenden das Modell über eine Standard-API.

Dies hebt die üblichen Anforderungen für die internationale Dienstbereitstellung nicht auf. Dienstleister müssen sich weiterhin mit Latenz, Compliance, Data Governance, Modelllizenzierung, Abrechnung, technischem Support und regionaler Verfügbarkeit befassen.

Den Weg für die Agenten-Ökonomie ebnen

Auf der KI-Messe sind die auffälligsten Produkte oft die Modelle und Anwendungen.

Die Infrastruktur erhält weniger Aufmerksamkeit, da ein Großteil ihrer Arbeit unter der Benutzeroberfläche stattfindet. Sie bestimmt, ob Modelle stabil laufen, ob Agenten Aufgaben erledigen können und ob die Endkosten klar und verständlich sind.

Das „Vorderladen-Hinterwerk“-Konzept von Qingcheng AI verknüpft drei Fragen:

• Wie werden Tokens effizient produziert?
• Wie werden Tokens zuverlässig weitergeleitet?
• Wie werden Tokens von Agenten verbraucht und verwaltet?

Das „Hinterwerk“ kombiniert Hardware, Chitu und Bagualu. Das „Vorderladen“ verwendet AI Ping, um Modelldienste zu bewerten und weiterzuleiten. Die Anwendungsknoten verwenden den Agent Store und den ATM, um Agenten zu verteilen und deren Token-Verbrauch zu verwalten.

Die Analogie zum Stromnetz ist kein technischer Standard, bietet Unternehmen jedoch eine praktische Perspektive, um die Full-Stack-Architektur zu verstehen.

Diese Architektur betrachtet jede Modell-API, jeden Beschleuniger-Cluster und jeden Agenten nicht als isoliertes Produkt, sondern als miteinander verbundene Komponenten innerhalb der Token-Lieferkette.

Häufig gestellte Fragen

Was ist die Token-Architektur „Vorderladen-Hinterwerk“ von Qingcheng AI?

Es handelt sich um ein dreistufiges KI-Infrastrukturmodell, das Token-Produktion, API-Routing und Agenten-Anwendungen umfasst. Das „Hinterwerk“ verwendet Rechenhardware, Chitu und Bagualu; die mittlere Schicht verwendet AI Ping; die Anwendungsschicht umfasst den Agent Store und den ATM.

Was ist die Chitu-Inferenz-Engine?

Chitu ist ein Open-Source-Produktionsframework für große Modelle. Es unterstützt mehrere inländische und internationale Beschleunigerplattformen, verschiedene Bereitstellungsgrößen, Niedrigpräzisions-Inferenz und eine OpenAI-kompatible HTTP-Service-Schnittstelle.

Hat Chitu die Bereitstellungskosten für DeepSeek um 75% gesenkt?

Eine allgemeine Kostenreduzierung von 75% wurde nicht versprochen. Diese Daten stammen aus einem spezifischen FP4-Bereitstellungsszenario – in dieser Konfiguration wurde die Anzahl der benötigten Server von vier auf einen reduziert, also eine Reduzierung der Maschinenanzahl um 75%.

Kann Chitu über Docker bereitgestellt werden?

Ja. Das offizielle Chitu-Repository stellt Dockerfiles für verschiedene Hardwareumgebungen wie Ascend, Hygon und MetaX sowie allgemeine Installations- und Bereitstellungsdokumentationen bereit.

Wofür wird AI Ping verwendet?

AI Ping dient der Überwachung und dem Vergleich von Modell-API-Diensten und leitet Anfragen basierend auf Zielen wie Kosten, Geschwindigkeit, Zuverlässigkeit oder Qualität weiter. Es bietet eine einheitliche API über mehrere Dienstanbieter hinweg.

Was ist der Agent Token Manager?

Der Agent Token Manager (ATM) ist ein von Qingcheng AI entwickeltes Token-Governance-Tool für Agentensysteme. Er verfolgt die Nutzung, verteilt Kosten, verwaltet Anmeldeinformationen, legt Limits fest, isoliert Workloads und alarmiert Teams bei anomalem Verbrauch.

Ist Bagualu eine Inferenz-Engine?

Bagualu ist ein breiterer Software-Stack, nicht nur eine Inferenz-Engine. Es umfasst Bereiche wie Training, Inferenz-Bereitstellung, Scheduling, Überwachung, Anwendungsauslieferung und Cluster-Betrieb, während Chitu für die Kern-Modell-Inferenzschicht verantwortlich ist.

Wurde die 75%ige Kostensenkung unabhängig verifiziert?

Dieses Ergebnis wurde von Qingcheng AI und dem ursprünglichen Bericht bereitgestellt. Die spezifischen Details für eine unabhängige Reproduktion wurden noch nicht vollständig veröffentlicht. Den Lesern wird empfohlen, selbst auf ihren eigenen Modellen, Hardware und Workloads zu testen.

Verwandte Tools

• Chitu: Open-Source-Produktionsinferenz-Framework für große Sprachmodelle und heterogene Hardware.
• AI Ping: Von Qingcheng AI betriebene Plattform zur Bewertung von Modelldiensten und intelligentem API-Routing.
• Bagualu: Von Qingcheng AI entwickelter Software-Stack für Modelltraining, Inferenz, Bereitstellung und Cluster-Betrieb.
• vLLM: Weit verbreitete Open-Source-Engine für den Hochdurchsatz-Service großer Modelle.
• SGLang: Open-Source-Service-Framework für Sprach- und Multimodal-Modelle.
• DeepSeek: Offizielle Plattform der im Bereitstellungsbeispiel besprochenen DeepSeek-Modellreihe.
• OpenAI API Specifikation: Von den meisten Modellservice-Engines für die Anwendungskompatibilität verwendetes API-Format.

Verwandte Links

• Qingcheng AI Offizielle Website: Offizielle Produkt- und Unternehmensinformationen zu Chitu, Bagualu und AI Ping.
• Chitu GitHub Repository: Enthält Quellcode, Dockerfiles, unterstützte Modelle, Versionsveröffentlichungen, Benchmarks und Bereitstellungsdokumentation.
• Chitu Produktseite: Übersicht von Qingcheng AI über unterstützte Hardware, Modelle, Schnittstellen und Leistungsaussagen.
• Bagualu Produktseite: Offizielle Informationen zu Training und Infrastruktur.
• AI Ping: Offizielle Plattform für Modellbewertung und einheitliches API-Routing.
• Bericht der Science and Technology Daily: Unabhängiger Bericht, der die End-to-End-Token-Lösung von Qingcheng AI und die AI Ping-Metriken abdeckt.
• IEISystem Yuan-ao Bagualu Gerät: Veröffentlichte Testergebnisse des gemeinsam optimierten Chitu- und Bagualu-Unternehmensgeräts.

Zusammenfassung

Auf der World Artificial Intelligence Conference 2026 präsentierte Qingcheng AI eine dreistufige Token-Infrastruktur, die darauf abzielt, Modellinferenz, API-Routing, Agentenverteilung und Kosten-Governance zu verbinden.

Die Hinterwerk-Schicht verwendet Chitu und Bagualu, um die Modellbereitstellung auf heterogener Rechenhardware zu optimieren. Laut Unternehmensangaben wurde bei der FP4-DeepSeek-Konfiguration die Anzahl der benötigten Maschinen von vier auf eine reduziert, was eine Kosteneinsparung von 75% ermöglichte.

AI Ping bildet die mittlere Routing-Schicht, während der Agent Store und der ATM die Agentenverteilung und das Token-Finanzwesen abdecken. Die Produkte arbeiten gemeinsam daran, die Token-Versorgung stabiler und quantifizierbarer zu machen, ohne von einem einzelnen Hardware- oder API-Anbieter abhängig zu sein.

Der Kernpunkt ist einfach: KI-Agenten benötigen mehr als nur Modelle – sie benötigen eine Infrastrukturschicht, die jedes einzelne verbrauchte Token erzeugen, weiterleiten, messen und steuern kann.