Ce que MS Duplex apporte, en chiffres.
Chaque chiffre à côté de ce qu’il a battu : le modèle seul, un cache, la recherche documentaire ou le fine-tuning.
Benchmarks internes. Tous les chiffres de cette page proviennent de tests menés par MatterSpace en interne et n’ont pas été vérifiés de manière indépendante. Lire l’avertissement
- −90.3%*Appels au modèle, précision accrue94.6% de précision, contre 59.8% pour le modèle seul
Appels au modèle sur 3,000 décisions Le modèle avec MS Duplex 277 Le modèle seul 2,864 - 0%*Réponses périmées après un changement de règleCache et recherche documentaire : 72%
Réponses périmées après un changement de règle MS Duplex 0% Cache et recherche 72% - 6 / 6*Tests où MS Duplex a battu le fine-tuning+30.3 points en moyenne, sans aucun entraînement
- 3 / 3*Modèles de pointe battus dans la prédiction des changements systèmeSur un benchmark public d’entreprise, sans appel au modèle
Score de prédiction des changements système MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166
* Chiffres issus des benchmarks internes de MatterSpace, non vérifiés de manière indépendante. Lire l’avertissement
Un flux de 3,000 décisions, de trois façons.
Étape 1 sur 3 : Précision
Tous les résultats.
* Chiffres issus des benchmarks internes de MatterSpace, non vérifiés de manière indépendante. Lire l’avertissement
90% d’appels au modèle en moins, et plus précis.*
94.6%*Précision, la plus élevée du testLe modèle seul 59.8% · avec un cache 77.3%Précision, la plus élevée du test Le modèle avec MS Duplex 94.6% Le modèle avec un cache 77.3% Le modèle seul 59.8% - −90.3% Appels modèle · Coût −84.8% · latence −81.9%*
- ~23× Plus rapide sur l’acquis · ≈97 ms contre ≈2,231 ms*
Un flux de 3,000 décisions où les règles ont changé cinq fois, face au modèle de pointe seul et avec un cache sémantique ; une exécution de 300 décisions a ajouté un cache avec recherche documentaire et graphe de connaissances. Toutes les approches ont utilisé le même modèle.
Plus précis à chaque réglage, pour un septième du coût.
94.1 à 94.8%*Précision de MS Duplex, sur chacun des huit réglagesLe mieux qu’un cache a atteint : 77.3%Précision de MS Duplex, sur chacun des huit réglages MS Duplex 94.1 à 94.8% Le mieux qu’un cache a atteint 77.3% - 84 à 91% Sur trois nouvelles exécutions de 1,000 décisions · Le mieux qu’un cache a atteint : environ 73%*
Un flux de 3,000 décisions, chaque approche parcourant toute sa plage de réglages, puis trois nouvelles exécutions de 1,000 décisions dans un second dispositif indépendant.
Continue d’apprendre sans oublier, se périmer ni grossir.
5 / 5*Exigences de l’apprentissage en production, toutes remplies à chaque exécutionCache et recherche documentaire : 2.2 / 5 en moyenne · fine-tuning en ligne : 4 / 5Exigences de l’apprentissage en production, toutes remplies à chaque exécution MS Duplex 5 / 5 Fine-tuning en ligne 4 / 5 Cache et recherche 2.2 / 5 - 0% Réponses périmées après un changement de politique · Cache et recherche documentaire 72%*
- Constante Empreinte au fil du temps · Cache et recherche ont atteint ≈1,300 lignes*
Dix exécutions, avec la même supervision et les mêmes entrées pour toutes les approches.
Gère les nouvelles formulations, et repère les faux doublons.
7.5%*Mauvaises réponses sur les faux doublonsUn cache 45.3%, environ 6× plusMauvaises réponses sur les faux doublons MS Duplex 7.5% Un cache 45.3% - 98.98% Des requêtes traitées correctement : bonne réponse, ou confiées à votre IA · MS Duplex a traité lui-même 95.78% des requêtes connues*
- 0.996 Score de distinction entre familier et nouveau, sur 1 · Un cache 0.930*
Dix intentions apprises et six niveaux de nouveauté, des répétitions exactes aux requêtes d’un autre domaine, sur dix exécutions.
Planifie le chemin le plus court, avec zéro token de modèle.
100%*Réussite des plans, à chaque exécutionUn agent réactif : 0% · MS Duplex n’a utilisé aucun token de modèleRéussite des plans, à chaque exécution MS Duplex 100% Un agent réactif 0% Un monde à plusieurs étapes sur dix exécutions, face à un agent réactif et à un modèle de pointe ayant reçu la même tâche.
Maintient la réussite des tâches d’agents, avec moins d’appels au modèle.
83.3%*Tâches réussiesLe modèle à chaque tour : 82.5%Tâches réussies MS Duplex 83.3% Le modèle à chaque tour 82.5% - 12.8% Tours menés sans le modèle · ≈15% d’appels au modèle en moins*
- 100% Réussite sur les nouvelles tâches*
Τ-bench (tau2-bench), domaine retail, par Sierra Research. L’environnement retail non modifié, avec le même modèle, les mêmes outils et le même simulateur d’utilisateur pour toutes les approches, sur trois exécutions de quarante épisodes.
Un coût de lecture stable, quelle que soit la longueur de l’historique.
- 3.7× Moins de lecture par question qu’en lisant tout l’historique · À quarante sessions d’historique*
- 84% Précision à quarante sessions d’historique*
LongMemEval, par Wu et al., ICLR 2025. Cinquante questions, chacune posée avec l’historique à 2, 5, 10, 20 et 40 sessions.
Bloque toutes les attaques, et laisse passer le travail ordinaire.
- 0.7% Refus à tort · Le plus bas des approches qui ont bloqué toutes les attaques*
- 40 / 40 Exemples empoisonnés retirés · Précision revenue à 1 point près*
Six familles d’attaques, paraphrasées, avec des requêtes inoffensives rédigées pour ressembler aux attaques.
Apprend seul une nouvelle compétence, avec le modèle désactivé.
100%*Tâches accomplies avec le modèle désactivé, à chaque exécutionUn modèle de pointe a eu besoin de ≈507 appels par exécution- 0.26 ms Pour réutiliser une compétence · Avec 0 appel au modèle*
- 627 Actions dangereuses refusées par exécution · Et la compétence sûre a quand même été apprise*
Quatre suites sur dix exécutions, chacune notée sur sa pire exécution.
A battu trois modèles de pointe dans la prédiction des changements système.
0.256*Score de prédiction des changements systèmeGPT-5.1 0.166 · Gemini 3 Pro 0.205 · Claude Sonnet 4.5 0.204Score de prédiction des changements système MS Duplex 0.256 Gemini 3 Pro 0.205 Claude Sonnet 4.5 0.204 GPT-5.1 0.166 - $0 Dépenses de modèle · 570 prédictions pour zéro appel ; 84 sur un modèle de pointe ont coûté $13.40*
- ~80% Décisions traitées à partir de ce qu’il a appris · Votre IA a pris le reste*
World of Workflows, par Skyfall Research / ServiceNow. Trois volets hors ligne, notés par l’évaluateur des auteurs du benchmark, sur trois exécutions.
Bat le fine-tuning, sans aucun entraînement.
- 0 Réentraînement pour passer à une autre famille de modèles · Les adaptateurs ont migré dans 0 cas sur 6*
- 60 à 79% Réponse tirée de ce qu’il a appris · Sur l’une comme l’autre famille de modèles*
Trois jeux de données d’intentions publics, deux familles de modèles ouverts et trois exécutions, avec le même modèle figé et les mêmes données pour toutes les approches.
Voyez-le sur votre propre travail.
De votre propre assistant à chaque agent qu’exploite votre entreprise, un pilote fait tourner MS Duplex sur votre propre travail, avec des indicateurs convenus avant son lancement.