Slår finjustering uden en træningskørsel.
MS Duplex fik en frossen model til at opføre sig, som om den var blevet finjusteret, og slog den bedste adapter fra en justeret parametersøgning over LoRA, QLoRA og DoRA i alle seks test: tre offentlige intent-datasæt på to åbne modelfamilier, tre kørsler hver.
Interne benchmarks. Alle tal på denne side kommer fra test, som MatterSpace selv har kørt, og er ikke blevet uafhængigt verificeret. Læs ansvarsfraskrivelsen
- 6 / 6*Test, hvor MS Duplex slog en finjusteret adapter+30.3 point i gennemsnit
- 0*Gentræning for at flytte til en anden modelfamilieAdapterne flyttede i 0 af 6
- 60 til 79%*Besvaret ud fra det, den har lærtPå begge modelfamilier
* Tal fra MatterSpaces interne benchmarks, ikke uafhængigt verificeret. Læs ansvarsfraskrivelsen
En frossen model, tilpasset uden at røre den.
Trin 1 af 5: Frossen
Foran i alle seks test.
Nøjagtighed på BANKING77, CLINC150 og HWU64 med Qwen2.5 og SmolLM2.
Trin 1 af 3: Frossen
På egen hånd scorede de frosne modeller mellem 11% og 49% på tværs af de seks test.*
Den bliver ved med at lære i jobbet.
Efterhånden som verificerede eksempler kommer ind, besvarer MS Duplex mere selv og bliver ved med at have ret.
Trin 1 af 3: 40 eksempler
Efter 40 verificerede eksempler besvarede MS Duplex selv 1.7% af forespørgslerne, alle korrekt.*
Hvor MS Duplex går længere end finjustering.
Generel formåen, fjernelse, modelskift og gentagne forespørgsler, side om side.
Trin 1 af 4: Generelle evner
I en kontrol af generel viden lod MS Duplex modellen være uændret i alle seks test. Adapteren kostede den 1 til 4 point.*
Sådan blev det kørt.
- Opgaven
- Intentionsklassifikation: læs en besked og returnér præcis én intentionsetiket.
- Datasæt
- BANKING77 (77 intentioner), CLINC150 (151) og HWU64 (64), alle offentlige.
- Modeller
- Qwen2.5-1.5b-instruct og SmolLM2-1.7b-instruct, frosne.
- Omfang
- 300 træningseksempler pr. kørsel, tre kørsler for hvert datasæt og hver modelfamilie: 18 kørsler.
- Sammenlignet med
- Den frosne model alene og den bedste adapter fra en justeret parametersøgning over LoRA, QLoRA og DoRA.
- Holdt ens
- Den samme frosne model, de samme data, opdelinger og prompt og den samme fortolkning af svar for alle tilgange.
Hvad det betyder for dit arbejde.
Tilpasning uden en træningskørsel.
MS Duplex slog den justerede adapter i hver test, med 30.3 point i gennemsnit.*
Din model forbliver din model.
Dens generelle viden var uændret, og enhver enkelt ting, MS Duplex har lært, kan fjernes præcist.
Skift model frit.
Det, MS Duplex havde lært, flyttede til den anden modelfamilie uden gentræning.
Se det på dit eget arbejde.
Fra din egen assistent til hver agent, din virksomhed kører, sætter et pilotprojekt MS Duplex på dit eget arbejde, med målepunkterne aftalt, før det går i gang.