Hva MS Duplex leverer, i tall.
Hvert tall ved siden av det som ble slått: modellen alene, en cache, gjenfinning eller finjustering.
Interne benchmarker. Alle tallene på denne siden kommer fra tester som MatterSpace selv har kjørt, og er ikke uavhengig verifisert. Les ansvarsfraskrivelsen
- −90.3%*Modellkall, med høyere nøyaktighet94.6% nøyaktighet, mot 59.8% for modellen alene
Modellkall på 3,000 beslutninger Modellen med MS Duplex 277 Modellen alene 2,864 - 0%*Utdaterte svar etter en regelendringCache og gjenfinning: 72%
Utdaterte svar etter en regelendring MS Duplex 0% Cache og gjenfinning 72% - 6 / 6*Tester der MS Duplex slo finjustering+30.3 poeng i snitt, uten treningskjøring
- 3 / 3*Ledende modeller slått i å forutsi systemendringerPå en offentlig benchmark for bedriftssystemer, uten modellkall
Poengsum for å forutsi systemendringer MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166
* Tall fra MatterSpaces interne benchmarker, ikke uavhengig verifisert. Les ansvarsfraskrivelsen
Én strøm av 3,000 beslutninger, på tre måter.
Steg 1 av 3: Nøyaktighet
Alle resultater.
* Tall fra MatterSpaces interne benchmarker, ikke uavhengig verifisert. Les ansvarsfraskrivelsen
90% færre modellkall, og høyere nøyaktighet.*
94.6%*Nøyaktighet, den høyeste i testenModellen alene 59.8% · med en cache 77.3%Nøyaktighet, den høyeste i testen Modellen med MS Duplex 94.6% Modellen med en cache 77.3% Modellen alene 59.8% - −90.3% Modellkall · −84.8% kostnad · −81.9% ventetid*
- ~23× Raskere når det er lært · ≈97 ms mot ≈2,231 ms*
En strøm på 3,000 beslutninger der reglene endret seg fem ganger, mot den ledende modellen alene og med en semantisk cache; en kjøring på 300 beslutninger la til en cache med gjenfinning og en kunnskapsgraf. Alle tilnærmingene brukte den samme modellen.
Mer nøyaktig på hver innstilling, til en sjuendedel av kostnaden.
94.1 til 94.8%*Nøyaktigheten til MS Duplex, på hver av åtte innstillingerDet beste en cache nådde: 77.3%Nøyaktigheten til MS Duplex, på hver av åtte innstillinger MS Duplex 94.1 til 94.8% Det beste en cache nådde 77.3% - 84 til 91% På tre nye kjøringer med 1,000 beslutninger · Det beste en cache nådde: rundt 73%*
En strøm med 3,000 beslutninger der hver tilnærming ble kjørt over hele spekteret av innstillinger, deretter tre nye kjøringer med 1,000 beslutninger i et andre, uavhengig oppsett.
Fortsetter å lære uten å glemme, bli utdatert eller vokse.
5 / 5*Krav for læring i produksjon, alle oppfylt i hver kjøringCache og gjenfinning i snitt 2.2 / 5 · fortløpende finjustering 4 / 5Krav for læring i produksjon, alle oppfylt i hver kjøring MS Duplex 5 / 5 Løpende finjustering 4 / 5 Cache og gjenfinning 2.2 / 5 - 0% Utdaterte svar etter en policyendring · Cache og gjenfinning 72%*
- Konstant Fotavtrykk over tid · Cache og gjenfinning vokste til ≈1,300 rader*
Ti kjøringer, med den samme veiledningen og de samme inndataene for alle tilnærminger.
Håndterer nye formuleringer, og oppdager dobbeltgjengerne.
7.5%*Gale svar på dobbeltgjengereEn cache 45.3%, rundt 6× merGale svar på dobbeltgjengere MS Duplex 7.5% En cache 45.3% - 98.98% Av forespørslene håndtert riktig: besvart riktig, eller gitt til KI-en din · MS Duplex besvarte 95.78% av kjente forespørsler selv*
- 0.996 Poengsum for å skille kjent fra nytt, av 1 · En cache 0.930*
Ti lærte intensjoner og seks nivåer av nyhet, fra nøyaktige gjentakelser til forespørsler fra et annet domene, over ti kjøringer.
Planlegger den korteste veien, med null modelltokens.
100%*Vellykkede planer, i hver kjøringEn reaktiv agent: 0% · MS Duplex brukte ingen modelltokensVellykkede planer, i hver kjøring MS Duplex 100% En reaktiv agent 0% - 0% En reaktiv grådig agent*
- ~204 Tokens per beslutning en ledende modell bruker for å gjøre det like godt*
En verden med flere steg over ti kjøringer, mot en reaktiv agent og en ledende modell som fikk den samme oppgaven.
Sørger for at agentoppgaver fortsatt lykkes, med færre modellkall.
83.3%*Løste oppgaverModellen på hver tur: 82.5%Løste oppgaver MS Duplex 83.3% Modellen på hver tur 82.5% Τ-bench (tau2-bench), detaljhandel, av Sierra Research. Det uendrede detaljhandelsmiljøet, med samme modell, verktøy og brukersimulator for alle tilnærminger, over tre kjøringer med førti episoder.
En jevn lesekostnad, uansett hvor lang historikken er.
- 3.7× Mindre lesing per spørsmål enn å lese hele historikken · Ved førti økters historikk*
- 84% Nøyaktighet ved førti økters historikk*
LongMemEval, av Wu et al., ICLR 2025. Femti spørsmål, hvert stilt med historikken på 2, 5, 10, 20 og 40 økter.
Blokkerer hvert angrep, og slipper vanlig arbeid gjennom.
- 0.7% Feilaktige avslag · Det laveste av alle tilnærminger som stoppet hvert angrep*
- 40 / 40 Forgiftede prøver fjernet · Nøyaktighet igjen innen 1 poeng*
Seks angrepsfamilier, omformulert, med harmløse forespørsler skrevet for å ligne angrepene.
Lærer en ny ferdighet på egen hånd, med modellen slått av.
100%*Oppgaver fullført med modellen av, i hver kjøringEn ledende modell trengte ≈507 kall per kjøring- 0.26 ms Å gjenbruke en ferdighet · Med 0 modellkall*
- 627 Utrygge handlinger avvist per kjøring · Og den trygge ferdigheten ble likevel lært*
Fire testsett over ti kjøringer, hvert vurdert etter sin dårligste kjøring.
Slo tre ledende modeller i å forutsi systemendringer.
0.256*Poengsum for å forutsi systemendringerGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204Poengsum for å forutsi systemendringer MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0 Modellkostnad · 570 prediksjoner med null kall; 84 på en ledende modell kostet $13.40*
- ~80% Beslutninger besvart ut fra det den har lært · KI-en din tok resten*
World of Workflows, av Skyfall Research / ServiceNow. Tre frakoblede spor, vurdert av benchmarkforfatternes egen evaluator, over tre kjøringer.
Slår finjustering, uten treningskjøring.
- 0 Omtrening for å flytte til en annen modellfamilie · Adapterne lot seg flytte i 0 av 6*
- 60 til 79% Besvart ut fra det den har lært · På begge modellfamiliene*
Tre offentlige intensjonsdatasett, to åpne modellfamilier og tre kjøringer, med samme frosne modell og data for alle tilnærminger.
Se det på ditt eget arbeid.
Fra din egen assistent til hver agent bedriften din kjører, setter en pilot MS Duplex på ditt eget arbeid, med måltallene avtalt før den starter.