O que o MS Duplex entrega, em números.
Cada número ao lado do que superou: o modelo sozinho, uma cache, a recuperação ou a afinação.
Benchmarks internos. Todos os valores desta página provêm de testes realizados pela própria MatterSpace e não foram verificados de forma independente. Leia o aviso legal
- −90.3%*Chamadas ao modelo, com mais precisão94.6% de precisão, contra 59.8% do modelo sozinho
Chamadas ao modelo em 3,000 decisões O modelo com o MS Duplex 277 Só o modelo 2,864 - 0%*Respostas desatualizadas depois de uma mudança de regraCache e recuperação: 72%
Respostas desatualizadas depois de uma mudança de regra MS Duplex 0% Cache e recuperação 72% - 6 / 6*Testes em que o MS Duplex superou a afinação+30.3 pontos em média, sem execução de treino
- 3 / 3*Modelos de fronteira superados a prever mudanças no sistemaNum benchmark empresarial público, sem chamadas ao modelo
Pontuação na previsão de mudanças no sistema MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166
* Valores obtidos nos benchmarks internos da MatterSpace, não verificados de forma independente. Leia o aviso legal
Um fluxo de 3,000 decisões, de três formas.
Passo 1 de 3: Precisão
Todos os resultados.
* Valores obtidos nos benchmarks internos da MatterSpace, não verificados de forma independente. Leia o aviso legal
90% menos chamadas ao modelo, e mais preciso.*
94.6%*Precisão, a mais alta do testeO modelo sozinho 59.8% · com uma cache 77.3%Precisão, a mais alta do teste O modelo com o MS Duplex 94.6% O modelo com uma cache 77.3% Só o modelo 59.8% - −90.3% Chamadas à IA · −84.8% de custo · −81.9% de latência*
- ~23× Mais rápido se aprendido · ≈97 ms contra ≈2,231 ms*
Um fluxo de 3,000 decisões em que as regras mudaram cinco vezes, contra o modelo de fronteira sozinho e com uma cache semântica; uma execução de 300 decisões acrescentou uma cache com recuperação e um grafo de conhecimento. Todas as abordagens usaram o mesmo modelo.
Mais preciso em todas as configurações, a um sétimo do custo.
94.1 a 94.8%*Precisão do MS Duplex, em cada uma das oito configuraçõesO melhor que uma cache alcançou: 77.3%Precisão do MS Duplex, em cada uma das oito configurações MS Duplex 94.1 a 94.8% O melhor que uma cache alcançou 77.3% - 84 a 91% Em três execuções novas de 1,000 decisões · O melhor que uma cache alcançou: cerca de 73%*
Um fluxo de 3,000 decisões com cada abordagem testada em toda a sua gama de configurações, e depois três execuções novas de 1,000 decisões num segundo ambiente de teste, independente.
Continua a aprender sem esquecer, sem ficar desatualizado e sem crescer.
5 / 5*Requisitos para aprender em produção, todos cumpridos em todas as execuçõesCache e recuperação: média de 2.2 / 5 · afinação online: 4 / 5Requisitos para aprender em produção, todos cumpridos em todas as execuções MS Duplex 5 / 5 Afinação online 4 / 5 Cache e recuperação 2.2 / 5 - 0% Respostas desatualizadas depois de uma mudança de política · Cache e recuperação 72%*
- Constante Pegada ao longo do tempo · A cache e a recuperação cresceram até ≈1,300 linhas*
Dez execuções, com a mesma supervisão e as mesmas entradas para todas as abordagens.
Lida com novas formulações, e deteta os casos parecidos.
7.5%*Respostas erradas em pedidos parecidosUma cache 45.3%, cerca de 6× maisRespostas erradas em pedidos parecidos MS Duplex 7.5% Uma cache 45.3% - 98.98% Dos pedidos tratados corretamente: bem respondidos, ou passados à sua IA · O MS Duplex respondeu ele próprio a 95.78% dos pedidos conhecidos*
- 0.996 Pontuação a distinguir o familiar do novo, em 1 · Uma cache 0.930*
Dez intenções aprendidas e seis níveis de novidade, de repetições exatas a pedidos de outro domínio, em dez execuções.
Planeia o caminho mais curto, com zero tokens de modelo.
100%*Sucesso dos planos, em todas as execuçõesUm agente reativo: 0% · o MS Duplex não usou tokens de modeloSucesso dos planos, em todas as execuções MS Duplex 100% Um agente reativo 0% - 0% Um agente reativo guloso*
- ~204 Tokens por decisão que um modelo de fronteira gasta para o igualar*
Um mundo de vários passos em dez execuções, contra um agente reativo e um modelo de fronteira com a mesma tarefa.
Mantém o sucesso das tarefas dos agentes, com menos chamadas ao modelo.
83.3%*Taxa de sucessoO modelo em todos os turnos: 82.5%Taxa de sucesso MS Duplex 83.3% O modelo em cada turno 82.5% Τ-bench (tau2-bench), retalho, de Sierra Research. O ambiente de retalho sem alterações, com o mesmo modelo, as mesmas ferramentas e o mesmo simulador de utilizador para todas as abordagens, em três execuções de quarenta episódios.
Um custo de leitura estável, por mais longo que seja o histórico.
- 3.7× Menos leitura por pergunta do que ler o histórico inteiro · Com quarenta sessões de histórico*
- 84% Precisão com quarenta sessões de histórico*
LongMemEval, de Wu et al., ICLR 2025. Cinquenta perguntas, cada uma feita com o histórico em 2, 5, 10, 20 e 40 sessões.
Bloqueia todos os ataques, e deixa passar o trabalho normal.
- 0.7% Falsas recusas · O mais baixo das abordagens que bloquearam todos os ataques*
- 40 / 40 Amostras envenenadas removidas · Precisão a menos de 1 ponto*
Seis famílias de ataques, parafraseados, com pedidos inofensivos escritos para se parecerem com os ataques.
Aprende uma nova competência sozinho, com o modelo desligado.
100%*Tarefas concluídas com o modelo desligado, em todas as execuçõesUm modelo de fronteira precisou de ≈507 chamadas por execução- 0.26 ms Para reutilizar uma competência · Com 0 chamadas ao modelo*
- 627 Ações inseguras recusadas por execução · E a competência segura foi aprendida na mesma*
Quatro conjuntos de testes em dez execuções, cada um pontuado pela sua pior execução.
Superou três modelos de fronteira a prever mudanças no sistema.
0.256*Pontuação na previsão de mudanças no sistemaGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204Pontuação na previsão de mudanças no sistema MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0 Gasto em modelos · 570 previsões com zero chamadas; 84 num modelo de fronteira custaram $13.40*
- ~80% Decisões respondidas a partir do que aprendeu · A sua IA tratou do resto*
World of Workflows, de Skyfall Research / ServiceNow. Três vertentes offline, pontuadas pelo próprio avaliador dos autores do benchmark, em três execuções.
Supera a afinação, sem nenhuma execução de treino.
- 0 Retreino para passar para outra família de modelos · Os adaptadores passaram em 0 de 6*
- 60 a 79% Respondido com base no que aprendeu · Em qualquer das famílias de modelos*
Três conjuntos de dados públicos de intenções, duas famílias de modelos abertos e três execuções, com o mesmo modelo congelado e os mesmos dados para todas as abordagens.
Veja-o no seu próprio trabalho.
Do seu próprio assistente a cada agente que a sua empresa opera, um piloto põe o MS Duplex no seu próprio trabalho, com as métricas acordadas antes de começar.