Superou três modelos de fronteira a prever mudanças no sistema.
O World of Workflows é um benchmark empresarial público construído sobre o ServiceNow: depois de cada operação, prever como mudam os registos do sistema. O MS Duplex aprendeu os fluxos de trabalho pelo caminho, sem chamadas ao modelo, e foi pontuado pelo próprio código do benchmark.
World of Workflows, de Skyfall Research, sobre o ServiceNow.
Benchmarks internos. Todos os valores desta página provêm de testes realizados pela própria MatterSpace e não foram verificados de forma independente. Leia o aviso legal
- 0.256*Pontuação na previsão de mudanças no sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204
Pontuação na previsão de mudanças no sistema MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0*Gasto em modelos570 previsões com zero chamadas; 84 num modelo de fronteira custaram $13.40
- ~80%*Decisões respondidas a partir do que aprendeuA sua IA tratou do resto
* Valores obtidos nos benchmarks internos da MatterSpace, não verificados de forma independente. Leia o aviso legal
Prever o que muda a seguir.
Passo 1 de 4: Uma operação
À frente do GPT-5.1, do Gemini 3 Pro e do Claude Sonnet 4.5.
Previsão de estado em três execuções, comparada caso a caso; a vantagem é significativa contra os três.
Passo 1 de 2: A pontuação
A prever como mudam os registos, o MS Duplex obteve 0.256, à frente do Gemini 3 Pro com 0.205, do Claude Sonnet 4.5 com 0.204 e do GPT-5.1 com 0.166.*
O MS Duplex primeiro, o seu modelo atrás.
O MS Duplex responde ao que pode e passa o resto ao GPT-5.6.
Passo 1 de 2: Tudo para o modelo
Enviar as 806 decisões ao GPT-5.6 custaria cerca de $129, em cada execução.*
Como foi feito.
- Benchmark
- World of Workflows, da Skyfall Research, construído sobre o ServiceNow: público, sob a licença MIT.
- O trabalho
- Prever como mudam os registos depois de uma operação, e descobrir que operação causou uma mudança.
- Pontuação
- O próprio código de pontuação do benchmark, sem alterações, verificado face aos números publicados pelos autores.
- Como o MS Duplex funcionou
- Cada passo previsto antes de a resposta ser mostrada, aprendendo apenas com passos já pontuados, sem chamadas ao modelo.
- Comparado com
- Os ficheiros de previsões que os autores do benchmark publicaram para o GPT-5.1, o Gemini 3 Pro e o Claude Sonnet 4.5.
- Escala
- Três execuções de 570 previsões, com testes de significância emparelhados nos mesmos casos.
O que significa para o seu trabalho.
Aprende como os seus sistemas se comportam.
O MS Duplex previu as mudanças nos registos do ServiceNow melhor do que três modelos de fronteira.
Sem custo de modelo.
570 previsões por execução, sem chamadas ao modelo.*
O seu modelo onde ajuda.
A responder primeiro, com o GPT-5.6 atrás, o MS Duplex ficou com cerca de 80% das decisões e reduziu a fatura de cerca de $129 para $29.*
A seguir: Supera a afinação, sem nenhuma execução de treino.Leia →
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o MS Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.