Was MS Duplex leistet, in Zahlen.
Jede Zahl neben dem, was sie geschlagen hat: das Modell allein, ein Cache, Retrieval oder Fine-Tuning.
Interne Benchmarks. Jede Zahl auf dieser Seite stammt aus Tests, die MatterSpace selbst durchgeführt hat, und wurde nicht unabhängig überprüft. Haftungsausschluss lesen
- −90.3%*Modellaufrufe, Genauigkeit steigt94.6% genau, gegenüber 59.8% beim Modell allein
Modellaufrufe bei 3,000 Entscheidungen Das Modell mit MS Duplex 277 Das Modell allein 2,864 - 0%*Veraltete Antworten nach einer RegeländerungCache und Retrieval: 72%
Veraltete Antworten nach einer Regeländerung MS Duplex 0% Cache und Retrieval 72% - 6 / 6*Tests, in denen MS Duplex Fine-Tuning schlug+30.3 Punkte im Schnitt, ohne Trainingslauf
- 3 / 3*Spitzenmodelle bei der Vorhersage von Systemänderungen geschlagenIn einem öffentlichen Benchmark für Unternehmenssysteme, ohne Modellaufrufe
Vorhersagewert für Systemänderungen MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166
* Zahlen aus internen Benchmarks von MatterSpace, nicht unabhängig überprüft. Haftungsausschluss lesen
Ein Strom aus 3,000 Entscheidungen, auf drei Arten.
Schritt 1 von 3: Genauigkeit
Alle Ergebnisse.
* Zahlen aus internen Benchmarks von MatterSpace, nicht unabhängig überprüft. Haftungsausschluss lesen
90% weniger Modellaufrufe und dazu genauer.*
94.6%*Genauigkeit, die höchste im TestDas Modell allein 59.8% · mit einem Cache 77.3%Genauigkeit, die höchste im Test Das Modell mit MS Duplex 94.6% Das Modell mit einem Cache 77.3% Das Modell allein 59.8% - −90.3% Modellaufrufe · −84.8% Kosten · −81.9% Latenz*
- ~23× Schneller, wenn gelernt · ≈97 ms gegenüber ≈2,231 ms*
Ein Strom von 3,000 Entscheidungen, in dem sich die Regeln fünfmal änderten, gegen das Spitzenmodell allein und mit semantischem Cache; ein Lauf mit 300 Entscheidungen ergänzte einen Cache mit Retrieval und einem Wissensgraphen. Jeder Ansatz nutzte dasselbe Modell.
Genauer bei jeder Einstellung, zu einem Siebtel der Kosten.
94.1 bis 94.8%*Genauigkeit von MS Duplex, bei jeder der acht EinstellungenDas Beste, was ein Cache erreichte: 77.3%Genauigkeit von MS Duplex, bei jeder der acht Einstellungen MS Duplex 94.1 bis 94.8% Das Beste, was ein Cache erreichte 77.3% - 84 bis 91% Bei drei neuen Läufen mit 1,000 Entscheidungen · Das Beste, was ein Cache erreichte: etwa 73%*
Ein Strom von 3,000 Entscheidungen, bei dem jeder Ansatz seine ganze Bandbreite an Einstellungen durchlief, dann drei neue Läufe mit 1,000 Entscheidungen in einem zweiten, unabhängigen Aufbau.
Lernt weiter, ohne zu vergessen, zu veralten oder zu wachsen.
5 / 5*Anforderungen an Lernen im Produktivbetrieb, in jedem Lauf alle erfülltCache und Retrieval im Schnitt 2.2 / 5 · Online-Fine-Tuning 4 / 5Anforderungen an Lernen im Produktivbetrieb, in jedem Lauf alle erfüllt MS Duplex 5 / 5 Online-Fine-Tuning 4 / 5 Cache und Retrieval 2.2 / 5 - 0% Veraltete Antworten nach einer Richtlinienänderung · Cache und Retrieval 72%*
- Konstant Größe im Zeitverlauf · Cache und Retrieval wuchsen auf ≈1,300 Zeilen*
Zehn Läufe, mit derselben Überwachung und denselben Eingaben für jeden Ansatz.
Kommt mit neuen Formulierungen zurecht und erkennt die Doppelgänger.
7.5%*Falsche Antworten auf Doppelgänger-AnfragenEin Cache 45.3%, etwa 6× mehrFalsche Antworten auf Doppelgänger-Anfragen MS Duplex 7.5% Ein Cache 45.3% - 98.98% Der Anfragen richtig behandelt: richtig beantwortet oder an deine KI übergeben · MS Duplex beantwortete 95.78% der bekannten Anfragen selbst*
- 0.996 Wert für die Unterscheidung von Vertraut und Neu, maximal 1 · Ein Cache 0.930*
Zehn gelernte Intents und sechs Stufen von Neuheit, von exakten Wiederholungen bis zu Anfragen aus einer anderen Domäne, über zehn Läufe.
Plant den kürzesten Weg, mit null Modell-Tokens.
100%*Planerfolg, in jedem LaufEin reaktiver Agent: 0% · MS Duplex nutzte keine Modell-TokensPlanerfolg, in jedem Lauf MS Duplex 100% Ein reaktiver Agent 0% - 0% Ein reaktiver Greedy-Agent*
- ~204 Tokens pro Entscheidung, die ein Spitzenmodell braucht, um mitzuhalten*
Eine mehrstufige Welt über zehn Läufe, gegen einen reaktiven Agenten und ein Spitzenmodell mit derselben Aufgabe.
Hält Agentenaufgaben auf Erfolgskurs, mit weniger Modellaufrufen.
83.3%*AufgabenerfolgDas Modell in jeder Runde: 82.5%Aufgabenerfolg MS Duplex 83.3% Das Modell bei jedem Zug 82.5% - 12.8% Ohne das Modell abgeschlossene Runden · ≈15% weniger Modellaufrufe*
- 100% Erfolg bei neuen Aufgaben*
Τ-bench (tau2-bench), Einzelhandel, von Sierra Research. Die unveränderte Einzelhandelsumgebung, mit demselben Modell, denselben Werkzeugen und demselben Nutzersimulator für jeden Ansatz, über drei Läufe mit je vierzig Episoden.
Gleichbleibende Lesekosten, egal wie lang der Verlauf ist.
- 3.7× Weniger Lesemenge pro Frage, als wenn der ganze Verlauf gelesen wird · Bei vierzig Sitzungen Verlauf*
- 84% Genauigkeit bei vierzig Sitzungen Verlauf*
LongMemEval, von Wu et al., ICLR 2025. Fünfzig Fragen, jede gestellt bei einem Verlauf von 2, 5, 10, 20 und 40 Sitzungen.
Blockiert jeden Angriff und lässt normale Arbeit durch.
- 0.7% Fehlablehnungen · Der niedrigste Wert aller Ansätze, die jeden Angriff blockierten*
- 40 / 40 Vergiftete Beispiele entfernt · Genauigkeit wieder auf ±1 Punkt*
Sechs Angriffsfamilien, umformuliert, mit harmlosen Anfragen, die den Angriffen ähneln sollten.
Lernt selbstständig eine neue Fertigkeit, bei abgeschaltetem Modell.
100%*Aufgaben bei abgeschaltetem Modell erledigt, in jedem LaufEin Spitzenmodell brauchte ≈507 Aufrufe pro Lauf- 0.26 ms Um eine Fertigkeit wiederzuverwenden · Bei 0 Modellaufrufen*
- 627 Unsichere Aktionen pro Lauf abgelehnt · Und die sichere Fertigkeit wurde trotzdem gelernt*
Vier Testreihen über zehn Läufe, jede nach ihrem schlechtesten Lauf bewertet.
Schlug drei Spitzenmodelle bei der Vorhersage von Systemänderungen.
0.256*Vorhersagewert für SystemänderungenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204Vorhersagewert für Systemänderungen MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0 Modellausgaben · 570 Vorhersagen ohne Aufrufe; 84 auf einem Spitzenmodell kosteten $13.40*
- ~80% Entscheidungen aus dem Gelernten beantwortet · Deine KI übernahm den Rest*
World of Workflows, von Skyfall Research / ServiceNow. Drei Offline-Tracks, bewertet mit dem eigenen Evaluator der Benchmark-Autoren, über drei Läufe.
Schlägt Fine-Tuning, ohne Trainingslauf.
- 0 Neutraining für den Wechsel zu einer anderen Modellfamilie · Die Adapter ließen sich in 0 von 6 Fällen übertragen*
- 60 bis 79% Aus dem Gelernten beantwortet · Auf beiden Modellfamilien*
Drei öffentliche Intent-Datensätze, zwei offene Modellfamilien und drei Läufe, mit demselben eingefrorenen Modell und denselben Daten für jeden Ansatz.
Erlebe es mit deiner eigenen Arbeit.
Vom eigenen Assistenten bis zu jedem Agenten, den dein Unternehmen betreibt: Ein Pilotprojekt lässt MS Duplex mit deiner eigenen Arbeit laufen, und die Kennzahlen werden vereinbart, bevor es beginnt.