Zamrożony model, dostosowany bez ingerencji w niego.
Krok 1 z 5: Zamrożony
Wygrywa z dostrajaniem, bez treningu.
MS Duplex sprawił, że zamrożony model zachowywał się tak, jakby był dostrojony, i we wszystkich sześciu testach pokonał najlepszy adapter z dopracowanej serii LoRA, QLoRA i DoRA: trzy publiczne zbiory danych intencji na dwóch otwartych rodzinach modeli, po trzy przebiegi.
Wewnętrzne benchmarki. Wszystkie liczby na tej stronie pochodzą z testów, które MatterSpace przeprowadził samodzielnie, i nie zostały niezależnie zweryfikowane. Przeczytaj zastrzeżenia
- 6 / 6*Testy, w których MS Duplex pokonał dostrojony adapterŚrednio +30.3 punktu
- 0*Ponowne trenowanie przy przejściu do innej rodziny modeliAdaptery przeszły w 0 z 6
- Od 60 do 79%*Odpowiedź z tego, czego się nauczyłNa obu rodzinach modeli
* Liczby z wewnętrznych benchmarków MatterSpace, niezweryfikowane niezależnie. Przeczytaj zastrzeżenia
Na prowadzeniu we wszystkich sześciu testach.
Dokładność na BANKING77, CLINC150 i HWU64, na Qwen2.5 i SmolLM2.
Krok 1 z 3: Zamrożony
Same zamrożone modele uzyskały w sześciu testach od 11% do 49%.*
Uczy się dalej w trakcie pracy.
W miarę napływu zweryfikowanych przykładów MS Duplex sam odpowiada na coraz więcej i nadal odpowiada poprawnie.
Krok 1 z 3: 40 przykładów
Po 40 zweryfikowanych przykładach MS Duplex sam odpowiedział na 1.7% zapytań, na wszystkie poprawnie.*
Gdzie MS Duplex idzie dalej niż dostrajanie.
Ogólne zdolności, usuwanie, zmiana modelu i powtarzane zapytania, obok siebie.
Krok 1 z 4: Ogólna sprawność
Przy sprawdzianie wiedzy ogólnej MS Duplex zostawił model bez zmian we wszystkich sześciu testach. Adapter kosztował go od 1 do 4 punktów.*
Jak go przeprowadzono.
- Zadanie
- Klasyfikacja intencji: przeczytaj wiadomość i zwróć dokładnie jedną etykietę intencji.
- Zbiory danych
- BANKING77 (77 intencji), CLINC150 (151) i HWU64 (64), wszystkie publiczne.
- Modele
- Qwen2.5-1.5b-instruct i SmolLM2-1.7b-instruct, zamrożone.
- Skala
- 300 przykładów treningowych na przebieg, trzy przebiegi dla każdego zbioru danych i rodziny modeli: 18 przebiegów.
- Porównywane z
- Sam zamrożony model oraz najlepszy adapter z dostrojonego przeglądu ustawień LoRA, QLoRA i DoRA.
- Jednakowe warunki
- Ten sam zamrożony model, dane, podziały, prompt i parsowanie odpowiedzi dla każdego podejścia.
Co to oznacza dla twojej pracy.
Adaptacja bez treningu.
MS Duplex pokonał dostrojony adapter w każdym teście, średnio o 30.3 punktu.*
Twój model pozostaje twoim modelem.
Ogólna wiedza modelu pozostała niezmieniona, a każdą pojedynczą rzecz, której nauczył się MS Duplex, można dokładnie usunąć.
Zmieniaj modele swobodnie.
To, czego nauczył się MS Duplex, przeszło do drugiej rodziny modeli bez ponownego trenowania.
Dalej: O 90% mniej wywołań modelu i większa dokładność.*Przeczytaj →
Zobacz to na własnej pracy.
Od twojego własnego asystenta po każdego agenta, którego uruchamia twoja firma: pilotaż uruchamia MS Duplex na twojej własnej pracy, ze wskaźnikami uzgodnionymi przed startem.