Gemeinsame Benchmarks auf der OCI-H100-Infrastruktur ergaben zehnmal so viele gleichzeitig unterstützte Nutzer, einen zehnmal höheren Token-Durchsatz und siebenmal mehr bereitgestellte Token ohne zusätzliche GPUs

CAMPBELL, Kalifornien, 9. Juni 2026 /PRNewswire/ -- WEKA, das Unternehmen für KI-Daten- und Speicherinfrastruktur, gab heute Benchmarks im Produktionsmaßstab bekannt, die zeigen, wie Unternehmen die Wirtschaftlichkeit von KI-Inferenz mit langem Kontext verbessern können, indem sie mit gleichem GPU-Bestand mehr Nutzer unterstützen und mehr Token verarbeiten. Die Benchmarks zeigen, dass die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf Oracle Cloud Infrastructure (OCI) zehnmal so viele Nutzer gleichzeitig unterstützt, einen zehnmal höheren Token-Durchsatz erreicht und siebenmal mehr Token pro GPU verarbeitet als reine DRAM-Konfigurationen, und das ohne zusätzliche Infrastruktur. Die Ergebnisse wurden auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten und Kontextfenstern mit 100 000 Token validiert.

„KI-Workloads in Unternehmen bringen Kontextfenster und GPU-Auslastung an neue Grenzen", sagte Pablo Selem, leitender Direktor für Softwareentwicklung bei Oracle Cloud Infrastructure. „Diese Benchmarks zeigen, wie die NeuralMesh-Plattform von WEKA mit Augmented Memory Grid auf OCI Speicherengpässe beseitigt, sodass Kunden größere, anspruchsvollere Inferenz-Workloads unterstützen können, ohne einfach weitere GPUs hinzuzunehmen."

Drei Ergebnisse, die neue Maßstäbe für die Inferenzkalkulation setzen

Im Produktionsmaßstab auf einem Bare-Metal-H100-Cluster validiert (neun Knoten, 72 GPUs, Kontextfenster mit 100 000 Token, Tausende gleichzeitig unterstützte Nutzer), lieferte NeuralMesh mit Augmented Memory Grid auf OCI:

• Zehnmal so viele Nutzer gleichzeitig, ohne zusätzliche Infrastruktur. NeuralMesh mit Augmented Memory Grid ließ sich auf über 5000 gleichzeitig unterstützte Nutzer skalieren, verglichen mit etwa 600 bei reinen DRAM-Konfigurationen. Dadurch wird der abrupte Leistungseinbruch vermieden, der bei einer Cache-Sättigung auftritt, indem der aktive Cache-Arbeitsdatensatz von 8,64 TiB DRAM auf 287 TiB nutzbaren NVMe-Speicher erweitert wird. Außerdem bedeutet eine höhere Nutzerzahl pro GPU, dass dieselbe Investition weiter reicht.
• Zehnmal höherer Token-Durchsatz. Mehr Leistung von jeder GPU im Cluster. Auf OCI erreichte NeuralMesh mit Augmented Memory Grid etwa zwei Millionen Token pro Sekunde, verglichen mit weniger als 200 000 Token bei der reinen DRAM-Baseline. Für Produktteams, die Echtzeit-KI-Funktionen wie Suche, Zusammenfassung, Code-Unterstützung sowie Multi-Turn-Agenten betreiben, bestimmt der Durchsatz die Obergrenze dafür, wie viele Nutzer unterstützt werden können, wie schnell Funktionen reagieren und wie viel Umsatz die Infrastruktur tragen kann.
• Siebenmal mehr Token bereitgestellt. Geringere Kosten pro Token bei Skalierung. NeuralMesh mit Augmented Memory Grid stellte in einem einzigen einstündigen Test mit 2400 Nutzern fünf Milliarden Token bereit, verglichen mit 700 Millionen Token bei der reinen DRAM-Baseline. In Unternehmen mit agentenbasierten Arbeitsabläufen zehrt die DRAM-Sättigung durch ständige Neuberechnungen unbemerkt GPU-Kapazität auf und belastet damit unmittelbar die Kosten pro Token sowie die Investitionsrendite.

„Die Inferenz wird dadurch begrenzt, wie viel effektiver Speicher den GPUs zur Verfügung steht", sagte Liran Zvibel, Geschäftsführer von WEKA. „Diese Ergebnisse belegen, dass sich die Token-Ökonomie von KI nicht allein durch Hardware verbessern lässt, sondern durch die Beseitigung der Speicherbarriere, die bislang die tatsächliche Obergrenze für die Leistung bestehender Hardware darstellt. NeuralMesh mit Augmented Memory Grid auf OCI stellt Kunden auf äußerst kosteneffiziente Weise um Größenordnungen mehr Token bereit."

Transformation der KI-Wirtschaftlichkeit durch eine Infrastruktur für Kontextspeicher

Mit wachsender Nachfrage nach Inferenz verstärken sich Ineffizienzen in der KI-Infrastruktur. Jede Verdrängung aus dem Schlüssel-Wert-Cache (KV-Cache) ist eine Belastung: für GPU-Zyklen, Latenz, Benutzererfahrung und die Kosten jedes bereitgestellten Tokens. Bei Workloads mit langem Kontext und agentenbasierten Workloads, bei denen Eingaben regelmäßig 100 000 Token oder mehr umfassen, ist diese Belastung kein Rundungsfehler. Sie wirkt sich direkt auf die Wirtschaftlichkeit jedes Unternehmens aus, das KI im Produktionsbetrieb einsetzt.

Augmented Memory Grid, eine Funktionalität von NeuralMesh, löst das Problem auf Architekturebene, indem der KV-Cache vom lokalen GPU-Speicher entkoppelt und in einem leistungsstarken Token-Warehouse (Token-Speicher) gespeichert wird, auf das der gesamte Cluster zugreifen kann. Jeder Host kann jede Sitzung mit erhaltenen Cache-Treffern bedienen. Dadurch entfällt starre Sitzungsbindung, während zugleich die DRAM-Leistung übertroffen, der Lastausgleich verbessert und eine saubere horizontale Skalierung bei zunehmender Parallelität ermöglicht wird. Das Ergebnis ist ein persistenter Kontextspeicher für KI-Agenten und ein Kostenhebel, der Inferenz mit langem Kontext bei Skalierung wirtschaftlich macht.

Produktionsreifer Nachweis

OCI veröffentlichte die vollständige Benchmark-Methodik, die Systemkonfiguration und die Ergebnisse am 13. Mai 2026 in seinem KI- und Datenwissenschaftsblog. Die Benchmarks, die auf einem OCI-Bare-Metal-H100-Cluster mit neun Knoten durchgeführt wurden, gehen über die vorherige Validierungsphase hinaus, in der eine 1000-fach höhere KV-Cache-Kapazität und eine bis zu 20-fach schnellere Zeit bis zum ersten Token bei 128 000 Token nachgewiesen wurden. In dieser neuesten Phase wird die volle Wirtschaftlichkeit der Inferenz im Produktionsbetrieb getestet: Dichte gleichzeitiger Zugriffe, dauerhafter Durchsatz, Cache-Persistenz und Stabilität der Service-Level-Ziele (SLO) bei Bedarfsspitzen unter hoher Last.

Erhältlich im Oracle Marketplace

NeuralMesh mit Augmented Memory Grid ist für WEKA-Kunden allgemein verfügbar und im Oracle Marketplace erhältlich, wobei OCI WEKAs exklusiver Cloud-Partner für die Markteinführung ist. Unternehmen, die Inferenz mit langem Kontext auf OCI einsetzen, können bereits heute eine validierte, produktionsreife Architektur bereitstellen. Weitere Informationen zum Benchmark von OCI und WEKA zu Augmented Memory Grid finden Sie im OCI-Blog: https://blogs.oracle.com/ai-and-datascience/scaling-long-context-inference-on-oci-with-wekas-augmented-memory-grid.

Informationen zu WEKA

WEKA ist das Unternehmen für KI-Daten- und Speicherinfrastruktur, das die Wirtschaftlichkeit agentenbasierter KI verändert. Die NeuralMesh™-Plattform vereint Hochleistungsdatenspeicher mit erweitertem GPU-Speicher und bietet Unternehmen, KI-Cloud-Anbietern sowie KI-Entwicklern eine einheitliche Grundlage für Training, Inferenz und agentenbasierte Workloads. Mit Augmented Memory Grid erweitert NeuralMesh die GPU-Speicherkapazität um das 1000-fache, beschleunigt die Zeit bis zum ersten Token um das bis zu 20-fache und unterstützt bei gleichem GPU-Bestand zehnmal so viele Nutzer gleichzeitig, wie Produktionsbenchmarks belegen. WEKA, dem 30 % der Fortune 50-Unternehmen vertrauen, unterstützt Unternehmen dabei, KI schneller zu skalieren, die GPU-Auslastung zu optimieren und die Kosten jedes bereitgestellten Tokens zu senken. Weitere Informationen finden Sie auf www.weka.io oder vernetzen Sie sich mit uns auf LinkedIn und X.

WEKA und das W-Logo sind eingetragene Marken von WekaIO, Inc. Andere hier genannte Markennamen können Marken der jeweiligen Eigentümer sein.

View original content to download multimedia:https://www.prnewswire.com/de/pressemitteilungen/weka-und-oracle-cloud-infrastructure-belegen-zehnfache-durchsatzsteigerungen-fur-ki-inferenz-mit-langem-kontext-302794928.html

Im Land Bremen beginnt nach den Sommerferien ein Pilotprojekt, das den Arbeitsalltag von Lehrkräften grundlegend verändern könnte. An neun ausgewählten Schulen erfassen die Lehrerinnen und Lehrer künftig ihre gesamte Arbeitszeit digital – weit über die bisher dokumentierten Unterrichtsstunden hinaus. Bildungsenator Mark Rackles (SPD) spricht von einem Schritt, der Schule "perspektivisch" verändern werde. Erste Auswertungen des Testlaufs werden für Ende 2027 oder Anfang 2028 erwartet.

Hintergrund ist die gewachsene Bandbreite an Aufgaben, die im bisherigen System kaum abgebildet wird. Neben Unterricht kommen Elternarbeit, Team- und Gremienarbeit, Konferenzen, Schulentwicklungsprojekte sowie Fahrten hinzu. Lehrkräfte berichten zudem von regelmäßigem Arbeiten am Abend oder am Wochenende, etwa für Vorbereitung, Korrekturen oder digitale Kommunikation mit Eltern und Schülerinnen und Schülern. Nach Ansicht des Senats soll diese Belastung künftig sichtbar und systematisch erfasst werden.

Technisch setzt Bremen auf ein digitales Tool, auf das Lehrkräfte per Smartphone oder Rechner zugreifen können. Sie tragen Datum, Uhrzeit und Art der Tätigkeit ein – zur Auswahl stehen Kategorien wie "Unterricht", "Coaching" oder "Austausch"; auch Abwesenheiten durch Krankheit oder Urlaub werden eingepflegt. Das Projekt ist auf ein gesamtes Schuljahr angelegt. In einer Einführungsphase lernen Lehrkräfte die Anwendung kennen, anschließend analysieren Projektgruppen erste Ergebnisse und suchen insbesondere mit stark belasteten Lehrkräften das Gespräch, um gegebenenfalls Anpassungen vorzunehmen.

Politisch und arbeitsrechtlich geht es um mehr als ein Softwareprojekt. Nach einem Urteil des Bundesarbeitsgerichts von 2022 müssen alle Arbeitnehmerinnen und Arbeitnehmer – und damit auch Lehrkräfte – ihre Arbeitszeit erfassen. Der Bremer Testlauf soll daher grundsätzliche Fragen klären: In welchem Umfang ist Wochenendarbeit zulässig? Wie wird eine Klassenfahrt bewertet? Wie lassen sich Teilzeitmodelle, Datenschutz und Gestaltungsspielräume bei der Arbeitszeit unter einen Hut bringen? Rackles betont, das Vorhaben sei nicht nur für Bremen gedacht, sondern solle Erkenntnisse für alle Bundesländer liefern.