Een bevroren model, aangepast zonder het aan te raken.
Stap 1 van 5: Bevroren
Verslaat fine-tuning, zonder trainingsrun.
MS Duplex liet een bevroren model zich gedragen alsof het was gefinetuned, en versloeg de beste adapter uit een getunede sweep van LoRA, QLoRA en DoRA in alle zes tests: drie openbare datasets voor intentherkenning op twee open modelfamilies, elk drie runs.
Interne benchmarks. Alle cijfers op deze pagina komen uit tests die MatterSpace zelf heeft uitgevoerd en zijn niet onafhankelijk geverifieerd. Lees de disclaimer
- 6 / 6*Tests waarin MS Duplex een gefinetunede adapter versloegGemiddeld +30.3 punten
- 0*Hertraining om naar een andere modelfamilie over te stappenDe adapters gingen in 0 van de 6 mee
- 60 tot 79%*Beantwoord uit wat het heeft geleerdOp beide modelfamilies
* Cijfers uit de interne benchmarks van MatterSpace, niet onafhankelijk geverifieerd. Lees de disclaimer
Voorop in alle zes tests.
Nauwkeurigheid op BANKING77, CLINC150 en HWU64, met Qwen2.5 en SmolLM2.
Stap 1 van 3: Bevroren
Op zichzelf scoorden de bevroren modellen tussen 11% en 49% over de zes tests.*
Het blijft leren tijdens het werk.
Naarmate er geverifieerde voorbeelden binnenkomen, beantwoordt MS Duplex meer zelf, en blijft het juist.
Stap 1 van 3: 40 voorbeelden
Na 40 geverifieerde voorbeelden beantwoordde MS Duplex 1.7% van de verzoeken zelf, allemaal correct.*
Waar MS Duplex verder gaat dan fine-tuning.
Algemeen vermogen, verwijderen, van model wisselen en herhaalde verzoeken, naast elkaar.
Stap 1 van 4: Algemeen vermogen
Bij een toets op algemene kennis liet MS Duplex het model in alle zes tests ongewijzigd. De adapter kostte het 1 tot 4 punten.*
Hoe het is uitgevoerd.
- De taak
- Intentclassificatie: lees een bericht en geef precies één intentlabel terug.
- Datasets
- BANKING77 (77 intents), CLINC150 (151) en HWU64 (64), allemaal openbaar.
- Modellen
- Qwen2.5-1.5b-instruct en SmolLM2-1.7b-instruct, bevroren.
- Omvang
- 300 trainingsvoorbeelden per run, drie runs voor elke dataset en modelfamilie: 18 runs.
- Vergeleken met
- Het bevroren model op zichzelf, en de beste adapter uit een afgestelde sweep van LoRA, QLoRA en DoRA.
- Gelijk gehouden
- Hetzelfde bevroren model, dezelfde data, splits, prompt en antwoordverwerking voor elke aanpak.
Wat het betekent voor je werk.
Aanpassing zonder trainingsrun.
MS Duplex versloeg de afgestelde adapter in elke test, met gemiddeld 30.3 punten.*
Je model blijft je model.
Zijn algemene kennis bleef ongewijzigd, en elk afzonderlijk ding dat MS Duplex leerde, kan exact worden verwijderd.
Wissel vrij van model.
Wat MS Duplex had geleerd, ging zonder hertraining over naar de andere modelfamilie.
Volgende: 90% minder modelaanroepen, en nauwkeuriger.*Lees het →
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet MS Duplex in op je eigen werk, met vooraf afgesproken maatstaven.