Wat MS Duplex oplevert, in cijfers.
Elk getal naast wat het versloeg: het model alleen, een cache, retrieval of fine-tuning.
Interne benchmarks. Alle cijfers op deze pagina komen uit tests die MatterSpace zelf heeft uitgevoerd en zijn niet onafhankelijk geverifieerd. Lees de disclaimer
- −90.3%*Modelaanroepen, nauwkeuriger94.6% nauwkeurig, tegenover 59.8% voor het model alleen
Modelaanroepen in 3,000 beslissingen Het model met MS Duplex 277 Het model alleen 2,864 - 0%*Verouderde antwoorden na een regelwijzigingCache en retrieval: 72%
Verouderde antwoorden na een regelwijziging MS Duplex 0% Cache en retrieval 72% - 6 / 6*Tests waarin MS Duplex fine-tuning versloegGemiddeld +30.3 punten, zonder trainingsrun
- 3 / 3*Frontiermodellen verslagen in het voorspellen van systeemwijzigingenOp een openbare enterprise-benchmark, zonder modelaanroepen
Score voor het voorspellen van systeemwijzigingen MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166
* Cijfers uit de interne benchmarks van MatterSpace, niet onafhankelijk geverifieerd. Lees de disclaimer
Één reeks van 3,000 beslissingen, op drie manieren.
Stap 1 van 3: Accuratesse
Alle resultaten.
* Cijfers uit de interne benchmarks van MatterSpace, niet onafhankelijk geverifieerd. Lees de disclaimer
90% minder modelaanroepen, en nauwkeuriger.*
94.6%*Nauwkeurigheid, de hoogste in de testHet model alleen 59.8% · met een cache 77.3%Nauwkeurigheid, de hoogste in de test Het model met MS Duplex 94.6% Het model met een cache 77.3% Het model alleen 59.8% - −90.3% Modelaanroepen · −84.8% kosten · −81.9% latentie*
- ~23× Sneller zodra geleerd · ≈97 ms tegenover ≈2,231 ms*
Een stroom van 3,000 beslissingen waarin de regels vijf keer veranderden, tegenover het frontiermodel alleen en met een semantische cache; een run van 300 beslissingen voegde een cache met retrieval en een kennisgraaf toe. Elke aanpak gebruikte hetzelfde model.
Nauwkeuriger bij elke instelling, voor een zevende van de kosten.
94.1 tot 94.8%*Nauwkeurigheid van MS Duplex, bij elk van de acht instellingenHet beste wat een cache haalde: 77.3%Nauwkeurigheid van MS Duplex, bij elk van de acht instellingen MS Duplex 94.1 tot 94.8% Het beste wat een cache haalde 77.3% - 84 tot 91% Op drie nieuwe runs van 1,000 beslissingen · Het beste wat een cache haalde: ongeveer 73%*
Een reeks van 3,000 beslissingen, waarbij elke aanpak over zijn volledige bereik aan instellingen werd getest, daarna drie nieuwe runs van 1,000 beslissingen in een tweede, onafhankelijke opzet.
Blijft leren zonder te vergeten, te verouderen of te groeien.
5 / 5*Eisen voor leren in productie, allemaal gehaald in elke runCache en retrieval gemiddeld 2.2 / 5 · online fine-tuning 4 / 5Eisen voor leren in productie, allemaal gehaald in elke run MS Duplex 5 / 5 Online fine-tuning 4 / 5 Cache en retrieval 2.2 / 5 - 0% Verouderde antwoorden na een beleidswijziging · Cache en retrieval 72%*
- Constant Omvang in de loop van de tijd · Cache en retrieval groeiden tot ≈1,300 rijen*
Tien runs, met dezelfde supervisie en dezelfde invoer voor elke aanpak.
Kan overweg met nieuwe formuleringen, en herkent de dubbelgangers.
7.5%*Foute antwoorden bij dubbelgangersEen cache 45.3%, ongeveer 6× zoveelFoute antwoorden bij dubbelgangers MS Duplex 7.5% Een cache 45.3% - 98.98% Van de verzoeken correct afgehandeld: goed beantwoord, of overgedragen aan je AI · MS Duplex beantwoordde 95.78% van de bekende verzoeken zelf*
- 0.996 Score voor het onderscheiden van bekend en nieuw, maximaal 1 · Een cache 0.930*
Tien geleerde intents en zes niveaus van nieuwheid, van exacte herhalingen tot verzoeken uit een ander domein, over tien runs.
Plant de kortste route, met nul modeltokens.
100%*Plansucces, in elke runEen reactieve agent: 0% · MS Duplex gebruikte geen modeltokensPlansucces, in elke run MS Duplex 100% Een reactieve agent 0% - 0% Een reactieve, gretige agent*
- ~204 Tokens per beslissing die een frontiermodel uitgeeft om het te evenaren*
Een wereld met meerdere stappen over tien runs, tegenover een reactieve agent en een frontiermodel met dezelfde taak.
Laat agenttaken blijven slagen, met minder modelaanroepen.
83.3%*TaaksuccesHet model bij elke beurt: 82.5%Taaksucces MS Duplex 83.3% Het model bij elke beurt 82.5% - 12.8% Beurten afgehandeld zonder het model · ≈15% minder modelaanroepen*
- 100% Succes bij nieuwe taken*
Τ-bench (tau2-bench), retail, van Sierra Research. De ongewijzigde retailomgeving, met hetzelfde model, dezelfde tools en dezelfde gebruikerssimulator voor elke aanpak, over drie runs van veertig episodes.
Stabiele leeskosten, hoe lang de geschiedenis ook is.
- 3.7× Minder leeswerk per vraag dan de hele geschiedenis lezen · Bij een geschiedenis van veertig sessies*
- 84% Nauwkeurigheid bij een geschiedenis van veertig sessies*
LongMemEval, van Wu et al., ICLR 2025. Vijftig vragen, elk gesteld met een geschiedenis van 2, 5, 10, 20 en 40 sessies.
Blokkeert elke aanval, en laat gewoon werk door.
- 0.7% Valse weigeringen · Het laagste van alle aanpakken die elke aanval tegenhielden*
- 40 / 40 Vergiftigde samples verwijderd · Accuratesse binnen 1 punt terug*
Zes aanvalsfamilies, geparafraseerd, met onschuldige verzoeken die zo geschreven zijn dat ze op de aanvallen lijken.
Leert zelf een nieuwe vaardigheid, met het model uitgeschakeld.
100%*Taken voltooid met het model uit, in elke runEen frontiermodel had ≈507 aanroepen per run nodig- 0.26 ms Om een vaardigheid te hergebruiken · Bij 0 modelaanroepen*
- 627 Onveilige acties geweigerd per run · En de veilige vaardigheid werd toch geleerd*
Vier testreeksen over tien runs, elk beoordeeld op de slechtste run.
Versloeg drie frontiermodellen in het voorspellen van systeemwijzigingen.
0.256*Score voor het voorspellen van systeemwijzigingenGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204Score voor het voorspellen van systeemwijzigingen MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0 Modeluitgaven · 570 voorspellingen met nul aanroepen; 84 op een frontiermodel kostten $13.40*
- ~80% Beslissingen beantwoord vanuit wat het heeft geleerd · Je AI deed de rest*
World of Workflows, van Skyfall Research / ServiceNow. Drie offline tracks, beoordeeld door de eigen evaluator van de benchmarkauteurs, over drie runs.
Verslaat fine-tuning, zonder trainingsrun.
- 0 Hertraining om naar een andere modelfamilie over te stappen · De adapters gingen in 0 van de 6 mee*
- 60 tot 79% Beantwoord uit wat het heeft geleerd · Op beide modelfamilies*
Drie openbare intent-datasets, twee open modelfamilies en drie runs, met hetzelfde bevroren model en dezelfde data voor elke aanpak.
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet MS Duplex in op je eigen werk, met vooraf afgesproken maatstaven.