Slår finjustering, utan träningskörning.
MS Duplex fick en fryst modell att bete sig som om den hade finjusterats, och slog den bästa adaptern från ett optimerat svep av LoRA, QLoRA och DoRA i alla sex tester: tre offentliga datamängder med avsikter på två öppna modellfamiljer, tre körningar vardera.
Interna benchmarktester. Alla siffror på denna sida kommer från tester som MatterSpace själv har genomfört och har inte oberoende verifierats. Läs ansvarsfriskrivningen
- 6 / 6*Tester där MS Duplex slog en finjusterad adapter+30.3 procentenheter i snitt
- 0*Omträning för att flytta till en annan modellfamiljAdaptrarna gick att flytta i 0 av 6
- 60 till 79%*Besvarat utifrån det den lärt sigPå båda modellfamiljerna
* Siffror från MatterSpaces interna benchmarktester, inte oberoende verifierade. Läs ansvarsfriskrivningen
En fryst modell, anpassad utan att röras.
Steg 1 av 5: Fryst
Före i alla sex tester.
Träffsäkerhet på BANKING77, CLINC150 och HWU64, med Qwen2.5 och SmolLM2.
Steg 1 av 3: Fryst
På egen hand fick de frysta modellerna mellan 11% och 49% i de sex testerna.*
Den fortsätter att lära sig i arbetet.
När verifierade exempel kommer in besvarar MS Duplex mer själv, och fortsätter att ha rätt.
Steg 1 av 3: 40 exempel
Efter 40 verifierade exempel besvarade MS Duplex 1.7% av förfrågningarna själv, alla rätt.*
Där MS Duplex går längre än finjustering.
Generell förmåga, borttagning, modellbyten och upprepade förfrågningar, sida vid sida.
Steg 1 av 4: Allmän förmåga
I en kontroll av allmänkunskap lämnade MS Duplex modellen oförändrad i alla sex tester. Adaptern kostade den 1 till 4 poäng.*
Så genomfördes det.
- Uppgiften
- Avsiktsklassificering: läs ett meddelande och returnera exakt en avsiktsetikett.
- Dataset
- BANKING77 (77 avsikter), CLINC150 (151) och HWU64 (64), alla offentliga.
- Modeller
- Qwen2.5-1.5b-instruct och SmolLM2-1.7b-instruct, frysta.
- Omfattning
- 300 träningsexempel per körning, tre körningar för varje dataset och modellfamilj: 18 körningar.
- Jämfört med
- Den frysta modellen ensam, och den bästa adaptern från ett inställningssvep över LoRA, QLoRA och DoRA.
- Lika för alla
- Samma frysta modell, data, uppdelningar, prompt och tolkning av svar för alla metoder.
Vad det betyder för ditt arbete.
Anpassning utan träningskörning.
MS Duplex slog den justerade adaptern i varje test, med i snitt 30.3 procentenheter.*
Din modell förblir din modell.
Dess allmänna kunskap var oförändrad, och varje enskild sak som MS Duplex har lärt sig kan tas bort exakt.
Byt modell fritt.
Det MS Duplex hade lärt sig flyttade till den andra modellfamiljen utan omträning.
Se det i ditt eget arbete.
Från din egen assistent till varje agent ditt företag kör sätter en pilot MS Duplex på ditt eget arbete, med mätetal som avtalas innan den börjar.