La cronologia raddoppia. La lettura si stabilizza.
Passaggio 1 su 4: Lo storico
Un costo di lettura stabile, per quanto lunga sia la cronologia.
LongMemEval pone domande su lunghe cronologie di chat tra una persona e un assistente. Man mano che la cronologia cresceva fino a quaranta sessioni, la lettura dietro ogni risposta di MS Duplex si è stabilizzata, e dove un fatto era cambiato, ha risposto con quello attuale.
LongMemEval, di Wu et al., ICLR 2025. Il benchmark →
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da MatterSpace e non sono stati verificati in modo indipendente. Leggi le avvertenze
- 96%*Risposte aggiornate dove un fatto era cambiatoIl fatto nuovo, non quello vecchio
- 3.7×*Meno lettura per domanda rispetto a leggere l’intera cronologiaCon quaranta sessioni di cronologia
- 84%*Accuratezza con quaranta sessioni di cronologia
* Dati provenienti dai benchmark interni di MatterSpace, non verificati in modo indipendente. Leggi le avvertenze
Passaggio 1 su 4: Dichiarato
All’inizio dello storico si dichiara un fatto: il team usa il fornitore A.*
Come è stato condotto.
- Benchmark
- LongMemEval, di Wu et al. (ICLR 2025), dalla versione pubblica ripulita.
- Il lavoro
- Rispondere a una domanda su una lunga cronologia di chat tra una persona e un assistente.
- Cronologie
- Le sessioni che contengono la risposta, mescolate a sessioni non correlate prese da un insieme di 19,195, a 2, 5, 10, 20 e 40 sessioni.
- Scala
- 50 domande con cinque dimensioni di cronologia: 250 risposte per ogni approccio.
- Modelli
- GPT-5.5 ha letto ciò che ogni approccio forniva e ha scritto ogni risposta; un modello separato le ha giudicate.
Cosa significa per il tuo lavoro.
Il lavoro di lunga durata resta conveniente.
Da venti a quaranta sessioni la cronologia è raddoppiata, e il costo di ogni risposta è rimasto a $0.032.*
Le risposte seguono ciò che è cambiato.
Dove un fatto era cambiato, MS Duplex ha risposto con quello attuale nel 96% dei casi.*
Risponde, invece di tirarsi indietro.
MS Duplex ha rifiutato 5 delle 250 domande, e ha risposto alle altre.*
Segue: Blocca ogni attacco, e lascia passare il lavoro ordinario.Leggilo →
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare MS Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.