Att förutsäga vad som ändras härnäst.
Steg 1 av 4: En operation
Slog tre spetsmodeller i att förutsäga systemändringar.
World of Workflows är ett offentligt benchmarktest för företagssystem byggt på ServiceNow: efter varje operation gäller det att förutsäga hur systemets poster ändras. MS Duplex lärde sig arbetsflödena under tiden, utan modellanrop, och poängsattes av benchmarktestets egen kod.
World of Workflows, av Skyfall Research, på ServiceNow.
Interna benchmarktester. Alla siffror på denna sida kommer från tester som MatterSpace själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen
- 0.256*Poäng för förutsägelse av systemändringarGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
Poäng för förutsägelse av systemändringar MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0*Modellkostnad570 förutsägelser med noll anrop; 84 på en spetsmodell kostade $13.40
- ~80%*Beslut som besvarades utifrån det den har lärt sigDin AI tog resten
* Siffror från MatterSpaces interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
Före GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.
Tillståndsprognos över tre körningar, jämförd fall för fall; ledningen är signifikant mot alla tre.
Steg 1 av 2: Poängen
I att förutsäga hur posterna ändras fick MS Duplex 0.256, före Gemini 3 Pro med 0.205, Claude Sonnet 4.5 med 0.204 och GPT-5.1 med 0.166.*
MS Duplex först, din modell bakom.
MS Duplex svarar på det den kan och skickar resten till GPT-5.6.
Steg 1 av 2: Allt till modellen
Att skicka alla 806 beslut till GPT-5.6 skulle kosta cirka $129, varje körning.*
Så genomfördes det.
- Benchmark
- World of Workflows, från Skyfall Research, byggt på ServiceNow: offentligt, under mit-licensen.
- Arbetet
- Förutsäga hur posterna ändras efter en operation, och räkna ut vilken operation som orsakade en ändring.
- Poängsättning
- Benchmarktestets egen poängkod, oförändrad, kontrollerad mot författarnas publicerade siffror.
- Så kördes MS Duplex
- Varje steg förutsades innan svaret visades, och inlärningen skedde bara från steg som redan poängsatts, utan modellanrop.
- Jämfört med
- De förutsägelsefiler som benchmarktestets författare publicerade för GPT-5.1, Gemini 3 Pro och Claude Sonnet 4.5.
- Omfattning
- Tre körningar med 570 förutsägelser, med parade signifikanstester på samma fall.
Vad det betyder för ditt arbete.
Den lär sig hur dina system beter sig.
MS Duplex förutsade hur poster i ServiceNow ändras bättre än tre spetsmodeller.
Utan modellkostnad.
570 förutsägelser per körning, utan modellanrop.*
Din modell där den hjälper.
När MS Duplex svarade först med GPT-5.6 bakom sig tog den ungefär 80% av besluten och sänkte notan från ungefär $129 till $29.*
Nästa: Slår finjustering, utan träningskörning.Läs det →
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot MS Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.