Batte il fine-tuning, senza alcun ciclo di addestramento.
MS Duplex ha fatto comportare un modello congelato come se avesse avuto un fine-tuning, e ha battuto il miglior adapter di uno sweep ottimizzato di LoRA, QLoRA e DoRA in tutti e sei i test: tre dataset pubblici di intenti su due famiglie di modelli aperti, tre prove ciascuno.
Benchmark interni. Tutti i dati di questa pagina provengono da test eseguiti internamente da MatterSpace e non sono stati verificati in modo indipendente. Leggi le avvertenze
- 6 / 6*Test in cui MS Duplex ha battuto un adapter con fine-tuning+30.3 punti in media
- 0*Riaddestramento per passare a un’altra famiglia di modelliGli adapter sono passati in 0 casi su 6
- Dal 60 al 79%*Risposta da ciò che ha appresoSu entrambe le famiglie di modelli
* Dati provenienti dai benchmark interni di MatterSpace, non verificati in modo indipendente. Leggi le avvertenze
Un modello congelato, adattato senza toccarlo.
Passaggio 1 su 5: Congelato
In vantaggio in tutti e sei i test.
Accuratezza su BANKING77, CLINC150 e HWU64, con Qwen2.5 e SmolLM2.
Passaggio 1 su 3: Congelato
Da soli, i modelli congelati hanno ottenuto tra l’11% e il 49% nei sei test.*
Continua a imparare sul lavoro.
Man mano che arrivano esempi verificati, MS Duplex risponde di più da sé, e resta corretto.
Passaggio 1 su 3: 40 esempi
Dopo 40 esempi verificati, MS Duplex ha risposto da solo all’1.7% delle richieste, tutte correttamente.*
Dove MS Duplex va oltre il fine-tuning.
Capacità generali, rimozione, cambio di modello e richieste ripetute, a confronto.
Passaggio 1 su 4: Abilità generale
Su un test di conoscenze generali, MS Duplex ha lasciato il modello invariato in tutti e sei i test. L’adapter gli è costato da 1 a 4 punti.*
Come è stato condotto.
- Il compito
- Classificazione degli intenti: leggere un messaggio e restituire esattamente un’etichetta di intento.
- Dataset
- BANKING77 (77 intenti), CLINC150 (151) e HWU64 (64), tutti pubblici.
- Modelli
- Qwen2.5-1.5b-instruct e SmolLM2-1.7b-instruct, congelati.
- Scala
- 300 esempi di addestramento per esecuzione, tre esecuzioni per ogni dataset e famiglia di modelli: 18 esecuzioni.
- Confrontato con
- Il modello congelato da solo, e il miglior adapter ottenuto da una ricerca ottimizzata su LoRA, QLoRA e DoRA.
- Condizioni uguali
- Lo stesso modello congelato, gli stessi dati, le stesse suddivisioni, lo stesso prompt e la stessa analisi delle risposte per ogni approccio.
Cosa significa per il tuo lavoro.
Adattamento senza ciclo di addestramento.
MS Duplex ha battuto l’adapter ottimizzato in ogni test, in media di 30.3 punti.*
Il tuo modello resta il tuo modello.
La sua conoscenza generale è rimasta invariata, e qualsiasi singola cosa MS Duplex abbia imparato si può rimuovere con esattezza.
Cambia modello liberamente.
Ciò che MS Duplex ha appreso è passato all’altra famiglia di modelli senza riaddestramento.
Vedilo all’opera sul tuo lavoro.
Dal tuo assistente a ogni agente che fa girare la tua azienda, un progetto pilota fa girare MS Duplex sul tuo lavoro, con le metriche concordate prima di iniziare.