Supera al ajuste fino, sin ningún entrenamiento.
MS Duplex hizo que un modelo congelado se comportara como si se le hubiera aplicado un ajuste fino, y superó al mejor adaptador de un barrido optimizado de LoRA, QLoRA y DoRA en las seis pruebas: tres conjuntos de datos públicos de intenciones con dos familias de modelos abiertos, tres ejecuciones cada una.
Benchmarks internos. Todas las cifras de esta página proceden de pruebas realizadas por la propia MatterSpace y no se han verificado de forma independiente. Lee el descargo de responsabilidad
- 6 / 6*Pruebas en las que MS Duplex superó a un adaptador con ajuste fino+30.3 puntos de media
- 0*Reentrenamiento para pasar a otra familia de modelosLos adaptadores pasaron en 0 de 6
- Del 60 al 79%*Respondido con lo que aprendióEn cualquiera de las dos familias de modelos
* Cifras de los benchmarks internos de MatterSpace, no verificadas de forma independiente. Lee el descargo de responsabilidad
Un modelo congelado, adaptado sin tocarlo.
Paso 1 de 5: Congelado
Por delante en las seis pruebas.
Precisión en BANKING77, CLINC150 y HWU64, con Qwen2.5 y SmolLM2.
Paso 1 de 3: Congelado
Por sí solos, los modelos congelados puntuaron entre el 11% y el 49% en las seis pruebas.*
Sigue aprendiendo sobre la marcha.
A medida que llegan ejemplos verificados, MS Duplex responde más por sí mismo, y sigue acertando.
Paso 1 de 3: 40 ejemplos
Tras 40 ejemplos verificados, MS Duplex respondió él mismo el 1.7% de las peticiones, todas correctas.*
Donde MS Duplex va más allá del ajuste fino.
Capacidad general, eliminación, cambio de modelo y peticiones repetidas, frente a frente.
Paso 1 de 4: Aptitud general
En un control de conocimiento general, MS Duplex dejó el modelo intacto en las seis pruebas. El adaptador le restó de 1 a 4 puntos.*
Cómo se realizó.
- La tarea
- Clasificación de intenciones: leer un mensaje y devolver exactamente una etiqueta de intención.
- Conjuntos de datos
- BANKING77 (77 intenciones), CLINC150 (151) y HWU64 (64), todos públicos.
- Modelos
- Qwen2.5-1.5b-instruct y SmolLM2-1.7b-instruct, congelados.
- Escala
- 300 ejemplos de entrenamiento por ejecución, tres ejecuciones por cada conjunto de datos y familia de modelos: 18 ejecuciones.
- Comparado con
- El modelo congelado por sí solo, y el mejor adaptador de un barrido optimizado de LoRA, QLoRA y DoRA.
- Condiciones iguales
- El mismo modelo congelado, los mismos datos, particiones, prompt y análisis de respuestas para todos los enfoques.
Qué significa para tu trabajo.
Adaptación sin entrenamiento.
MS Duplex superó al adaptador optimizado en todas las pruebas, por 30.3 puntos de media.*
Tu modelo sigue siendo tu modelo.
Su conocimiento general no cambió, y cualquier cosa concreta que haya aprendido MS Duplex se puede quitar con exactitud.
Cambia de modelo libremente.
Lo que aprendió MS Duplex pasó a la otra familia de modelos sin reentrenamiento.
Compruébalo con tu propio trabajo.
De tu propio asistente a cada agente que ejecuta tu empresa, un piloto pone MS Duplex en tu propio trabajo, con las métricas acordadas antes de empezar.