Historie se zdvojnásobí. Čtení se ustálí.
Krok 1 z 4: Historie
Stálé náklady na čtení, ať je historie jakkoli dlouhá.
LongMemEval klade otázky o dlouhých historiích chatu mezi člověkem a asistentem. Jak historie rostla na čtyřicet relací, objem čtení za každou odpovědí MS Duplexu se ustálil, a kde se nějaký fakt změnil, odpověděl tím aktuálním.
LongMemEval, od Wu a kol., ICLR 2025. Benchmark →
Interní benchmarky. Všechna čísla na této stránce pocházejí z testů, které MatterSpace provedl sám, a nebyla nezávisle ověřena. Přečtěte si vyloučení odpovědnosti
- 96%*Aktuální odpovědi tam, kde se fakt změnilNový fakt, ne ten starý
- 3.7×*Méně čtení na otázku než při čtení celé historiePři čtyřiceti relacích historie
- 84%*Přesnost při čtyřiceti relacích historie
* Čísla z interních benchmarků společnosti MatterSpace, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
Jak byl proveden.
- Benchmark
- LongMemEval od autorů Wu a kol. (ICLR 2025), z vyčištěné veřejné verze.
- Práce
- Odpovědět na otázku o dlouhé historii chatu mezi člověkem a asistentem.
- Historie
- Relace, které obsahují odpověď, smíchané s nesouvisejícími relacemi ze souboru 19,195, při 2, 5, 10, 20 a 40 relacích.
- Rozsah
- 50 otázek při pěti velikostech historie: 250 odpovědí pro každý přístup.
- Modely
- GPT-5.5 četl, co mu každý přístup dodal, a napsal každou odpověď; hodnotil je samostatný model.
Co to znamená pro vaši práci.
Dlouhodobá práce zůstává cenově dostupná.
Mezi dvaceti a čtyřiceti relacemi se historie zdvojnásobila a náklady na každou odpověď zůstaly na $0.032.*
Odpovědi se řídí tím, co se změnilo.
Kde se fakt změnil, odpověděl MS Duplex v 96% případů tím aktuálním.*
Odpovídá, místo aby se odpovědi zdržel.
MS Duplex odmítl 5 z 250 otázek a na zbytek odpověděl.*
Další: Blokuje každý útok a běžnou práci pustí dál.Číst →
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží MS Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.