Úkoly agentů dál uspívají, s menším počtem volání modelu.
Τ-bench posadí AI agenta k zákaznické podpoře maloobchodu, s vlastními nástroji obchodu, jeho písemnými zásadami a zákazníky, kteří mění názor. MS Duplex pracoval vedle modelu agenta v každém obratu každé konverzace.
Τ-bench, od Sierra Research. Benchmark →
Interní benchmarky. Všechna čísla na této stránce pocházejí z testů, které MatterSpace provedl sám, a nebyla nezávisle ověřena. Přečtěte si vyloučení odpovědnosti
- 83.3%*Úspěšnost úkolůModel v každém kole: 82.5%
Úspěšnost úkolů MS Duplex 83.3% Model v každém obratu 82.5% - 12.8%*Kola dokončená bez modeluO ≈15% méně volání modelu
- 100%*Úspěšnost u nových úkolů
* Čísla z interních benchmarků společnosti MatterSpace, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
Jedna konverzace, kolo po kole.
Krok 1 z 6: Zákazník
Stejně úspěšný jako volání modelu v každém kole.
Úspěšnost úkolů ve 120 konverzacích a u úkolů, které agent nikdy předtím neviděl.
Krok 1 z 2: Každý úkol
MS Duplex dokončil 83.3% úkolů. Model v každém obratu dokončil 82.5%.*
Volání vynechá jen v kolech, která se naučil.
Z každých 100 kol, kdo které dokončil a zda úkol i tak uspěl.
Krok 1 z 3: Každý obrat
S modelem v každém obratu je každý obrat volání a uspěje 82.5% úkolů.*
Méně volání a dokončené úkoly zároveň.
Kola dokončená bez modelu v porovnání s úspěšností úkolů, pro každý přístup v testu.
Krok 1 z 3: Každé volání
Čtyři přístupy volají model v každém obratu; jejich úspěšnost se pohybuje od 83.3% po 0.8%.*
Jak byl proveden.
- Benchmark
- Τ-bench (tau2-bench 1.0), maloobchod, od Sierra Research: veřejný a s otevřeným zdrojovým kódem.
- Práce
- Konverzace o více kolech se simulovanými zákazníky maloobchodu, s využitím vlastních nástrojů obchodu podle jeho písemných zásad.
- Rozsah
- Tři běhy po čtyřiceti konverzacích pro každý přístup.
- Modely
- GPT-5.5 jako agent pro všechny přístupy; zákazníka hrál GPT-4.1-mini.
- Porovnáno s
- Model v každém kole, paměťová vrstva, vyhledávání, sémantická cache a kontext ze znalostního grafu.
- Shodné podmínky
- Stejné nástroje, zásady, zákazník a model agenta pro všechny přístupy; MS Duplex běžel jako živá služba.
Co to znamená pro vaši práci.
Vaši agenti dál dotahují práci do konce.
Úspěšnost úkolů se vyrovnala modelu volanému v každém kole, zatímco MS Duplex dokončoval kola, která se naučil.
I nová práce se udělá.
MS Duplex dokončil v testu každý nový úkol: co se nenaučil, jde k vašemu modelu.
Úspory, které konverzace nenaruší.
MS Duplex vynechá volání jen v kole, které se naučil. Cache uprostřed konverzace přehrávala uložené odpovědi a dokončila 8.3% úkolů.*
Další: Stálé náklady na čtení, ať je historie jakkoli dlouhá.Číst →
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží MS Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.