Zmrazený model, přizpůsobený, aniž by se ho kdo dotkl.
Krok 1 z 5: Zmrazený
Překonává doladění, bez tréninkového běhu.
MS Duplex přiměl zmrazený model chovat se, jako by byl doladěn, a ve všech šesti testech porazil nejlepší adaptér z vyladěné série LoRA, QLoRA a DoRA: tři veřejné datové sady záměrů na dvou otevřených rodinách modelů, každý test ve třech bězích.
Interní benchmarky. Všechna čísla na této stránce pocházejí z testů, které MatterSpace provedl sám, a nebyla nezávisle ověřena. Přečtěte si vyloučení odpovědnosti
- 6 / 6*Testy, ve kterých MS Duplex porazil doladěný adaptérV průměru +30.3 bodu
- 0*Přetrénování při přechodu na jinou rodinu modelůAdaptéry přešly v 0 z 6
- 60 až 79%*Zodpovězeno z toho, co se naučilNa obou rodinách modelů
* Čísla z interních benchmarků společnosti MatterSpace, nezávisle neověřená. Přečtěte si vyloučení odpovědnosti
Vede ve všech šesti testech.
Přesnost na BANKING77, CLINC150 a HWU64, na Qwen2.5 a SmolLM2.
Krok 1 z 3: Zmrazený
Samotné zmrazené modely dosáhly v šesti testech mezi 11% a 49%.*
Učí se dál přímo při práci.
Jak přicházejí ověřené příklady, MS Duplex odpovídá sám čím dál častěji a stále správně.
Krok 1 z 3: 40 příkladů
Po 40 ověřených příkladech MS Duplex sám odpověděl na 1.7% požadavků, všechny správně.*
Kde MS Duplex jde dál než doladění.
Obecné schopnosti, odstranění, přechod mezi modely a opakované požadavky vedle sebe.
Krok 1 z 4: Obecné znalosti
Při kontrole obecných znalostí nechal MS Duplex model ve všech šesti testech beze změny. Adaptér ho stál 1 až 4 body.*
Jak byl proveden.
- Úkol
- Klasifikace záměrů: přečíst zprávu a vrátit právě jeden štítek záměru.
- Datasety
- BANKING77 (77 záměrů), CLINC150 (151) a HWU64 (64), všechny veřejné.
- Modely
- Qwen2.5-1.5b-instruct a SmolLM2-1.7b-instruct, zmrazené.
- Rozsah
- 300 tréninkových příkladů na běh, tři běhy pro každý dataset a rodinu modelů: 18 běhů.
- Porovnáno s
- Samotný zmrazený model a nejlepší adaptér z vyladěného prohledávání nastavení LoRA, QLoRA a DoRA.
- Shodné podmínky
- Stejný zmrazený model, data, rozdělení, prompt a zpracování odpovědí pro všechny přístupy.
Co to znamená pro vaši práci.
Adaptace bez tréninkového běhu.
MS Duplex porazil vyladěný adaptér v každém testu, v průměru o 30.3 bodu.*
Váš model zůstává vaším modelem.
Obecné znalosti modelu zůstaly beze změny a cokoli jednotlivého, co se MS Duplex naučil, lze přesně odstranit.
Měňte modely volně.
Co se MS Duplex naučil, přešlo na druhou rodinu modelů bez přetrénování.
Ověřte si to na vlastní práci.
Od vašeho vlastního asistenta po každého agenta, kterého vaše firma provozuje: v pilotním projektu běží MS Duplex na vaší vlastní práci, s měřítky dohodnutými před začátkem.