Čím déle běží, tím méně se ptá.
Krok 1 z 4: Začátek
O 90% méně volání modelu a vyšší přesnost.*
3,000 rozhodnutí v zákaznickém provozu: vrácení peněz, odemčení účtů, úvěrové limity, výplaty. Každé má jednu správnou akci z přibližně devatenácti, nebo odmítnutí, a firma během testu pětkrát změnila pravidlo. Všechny přístupy používaly GPT-5.5; MS Duplex se učil za pochodu.
Interní benchmarky. Všechna čísla na této stránce pocházejí z testů, které MatterSpace provedl sám, a nebyla nezávisle ověřena. Přečtěte si vyloučení odpovědnosti
- 94.6%*Přesnost, nejvyšší v testuSamotný model 59.8% · s cache 77.3%
Přesnost, nejvyšší v testu Model s MS Duplexem 94.6% Model s cache 77.3% Samotný model 59.8% - −90.3%*Volání modeluNáklady −84.8% · latence −81.9%
Volání modelu na 3,000 rozhodnutí Model s MS Duplexem 277 Samotný model 2,864 - ~23×*Rychlejší po naučení≈97 ms proti ≈2,231 ms
Rychlejší po naučení Rozhodnutí, které se MS Duplex naučil ≈97 ms Volání modelu ≈2,231 ms
* Čísla z interních benchmarků společnosti MatterSpace, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
3,000 rozhodnutí a kam které z nich putovalo.
Zodpovězená přímo MS Duplexem, předaná GPT-5.5, nebo odmítnutá.
Krok 1 z 4: Přicházejí
Přichází 3,000 rozhodnutí: refundace, odemčení, úvěrové limity a výplaty, ve více než 2,000 formulacích.*
Kdo po změně pravidla dal novou odpověď.
Z každých 100 rozhodnutí, kterých se dotkla změna pravidla.
Krok 1 z 3: Samotný model
GPT-5.5 nemůže znát interní změnu pravidla firmy: starou odpověď dal v 97% případů.*
Čím delší proud, tím lepší čísla.
Stejná práce na proudu 300 rozhodnutí a na proudu 3,000 rozhodnutí.
Krok 1 z 4: Přesnost
MS Duplex měl přesnost 85.0% na proudu 300 rozhodnutí a 94.6% na 3,000.*
Účet a čekání.
Samotný GPT-5.5 proti GPT-5.5 s MS Duplexem, na stejných 3,000 rozhodnutích.
Krok 1 z 3: Na rozhodnutí
Každých 1,000 rozhodnutí stálo s MS Duplexem $0.13 a se samotným GPT-5.5 $0.82.*
Jak byl proveden.
- Práce
- Rozhodnutí v zákaznickém provozu: vrácení peněz, odemčení účtů, úvěrové limity, výplaty, přístupy a eskalace podvodů. Jedna správná akce z přibližně devatenácti, nebo odmítnutí.
- Proud
- 3,000 rozhodnutí ve více než 2,000 formulacích, 68% z nich formulovaných dosud nevídaným způsobem, přičemž v polovině začaly přicházet nové druhy požadavků.
- Změny pravidel
- Pět interních změn pravidel, z nichž každá převrátila správnou akci pro určitý druh požadavku; 1,073 rozhodnutí přišlo po změně.
- Zpětná vazba
- Správná odpověď se odhalila zhruba u jednoho rozhodnutí z deseti, u všech přístupů u stejných.
- Modely
- GPT-5.5 se skutečnými voláními API, u všech přístupů.
- Porovnáno s
- Samotný GPT-5.5 a GPT-5.5 se sémantickou cache v jejím nejlepším nastavení; na proudu 300 rozhodnutí také cache s vyhledáváním a znalostním grafem.
- Shodné podmínky
- Stejný model, zpětná vazba a pravidla odmítnutí pro všechny přístupy.
Co to znamená pro vaši práci.
Váš účet se zmenšuje, jak se MS Duplex učí.
MS Duplex sám zodpověděl 86% rozhodnutí: o 90% méně volání modelu a o 85% nižší náklady.*
Změna pravidla se dostane do každé odpovědi.
Po změně pravidel dal MS Duplex novou odpověď v 92.5% případů; samotný GPT-5.5 ve 2.3%.*
S objemem se zlepšuje.
Mezi 300 a 3,000 rozhodnutími vzrostla přesnost z 85.0% na 94.6% a náklady na rozhodnutí klesly o dvě třetiny.*
Další: Přesnější v každém nastavení, za sedminu nákladů.Číst →
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží MS Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.