Una conversazione, turno per turno.
Passaggio 1 su 6: Un cliente
I compiti degli agenti continuano a riuscire, con meno chiamate al modello.
Τ-bench mette un agente di IA all’assistenza clienti di un negozio, con gli strumenti del negozio, la sua policy scritta e clienti che cambiano idea. MS Duplex ha lavorato accanto al modello dell’agente a ogni turno di ogni conversazione.
Τ-bench, di Sierra Research. Il benchmark →
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da MatterSpace e non sono stati verificati in modo indipendente. Leggi le avvertenze
- 83.3%*Compiti riuscitiIl modello a ogni turno: 82.5%
Compiti riusciti MS Duplex 83.3% Il modello a ogni turno 82.5% - 12.8%*Turni completati senza il modello≈15% di chiamate al modello in meno
- 100%*Successo sui compiti nuovi
* Dati provenienti dai benchmark interni di MatterSpace, non verificati in modo indipendente. Leggi le avvertenze
Efficace quanto chiamare il modello a ogni turno.
Il successo nei compiti su 120 conversazioni, e sui compiti che l’agente non aveva mai visto.
Passaggio 1 su 2: Ogni compito
MS Duplex ha portato a termine l’83.3% dei compiti. Il modello a ogni turno, l’82.5%.*
Salta una chiamata solo nei turni che ha imparato.
Su ogni 100 turni, chi ha completato ciascuno, e se il compito è comunque riuscito.
Passaggio 1 su 3: Ogni turno
Con il modello a ogni turno, ogni turno è una chiamata, e riesce l’82.5% dei compiti.*
Meno chiamate e compiti portati a termine, insieme.
Turni completati senza il modello, rispetto al successo nei compiti, per ogni approccio del test.
Passaggio 1 su 3: Ogni chiamata
Quattro approcci chiamano il modello a ogni turno; la loro riuscita va dall’83.3% allo 0.8%.*
Come è stato condotto.
- Benchmark
- Τ-bench (tau2-bench 1.0), dominio retail, di Sierra Research: pubblico e open source.
- Il lavoro
- Conversazioni a più turni con clienti simulati di un negozio, usando gli strumenti del negozio stesso secondo la sua policy scritta.
- Scala
- Tre esecuzioni da quaranta conversazioni per ogni approccio.
- Modelli
- GPT-5.5 come agente per ogni approccio; GPT-4.1-mini ha fatto la parte del cliente.
- Confrontato con
- Il modello a ogni turno, un livello di memoria, il retrieval, una cache semantica e il contesto da un grafo della conoscenza.
- Condizioni uguali
- Gli stessi strumenti, la stessa policy, lo stesso cliente e lo stesso modello dell’agente per ogni approccio; MS Duplex funzionava come servizio reale.
Cosa significa per il tuo lavoro.
I tuoi agenti continuano a portare a termine il lavoro.
Il successo nei compiti ha eguagliato quello del modello chiamato a ogni turno, mentre MS Duplex completava i turni che aveva appreso.
Anche il lavoro nuovo viene svolto.
MS Duplex ha portato a termine ogni compito nuovo del test: ciò che non ha appreso va al tuo modello.
Risparmi che lasciano intatte le conversazioni.
MS Duplex salta una chiamata solo in un turno che ha imparato. Una cache ha riproposto risposte memorizzate a metà conversazione e ha portato a termine l’8.3% dei compiti.*
Segue: Un costo di lettura stabile, per quanto lunga sia la cronologia.Leggilo →
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare MS Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.