Hopp til innholdet
Advancing Bits to Master Atoms
← Alle innlegg

MS Duplex8 min lesetid

Læring av hvert bekreftede resultat, uten treningskjøring.

Slik sammenlignes MS Duplex med finjustering for forskningsteam: hva hver av dem passer til, hvorfor en korreksjon gjelder fra neste forespørsel, og hvordan én lærdom endres eller fjernes for seg.

En stor lukket blokk i grafitt med en slank modul i satinert sølv festet på siden, med en liten firkantet koboltblå indikator.En stor lukket blokk i grafitt med en slank modul i satinert sølv festet på siden, med en liten firkantet koboltblå indikator.

Hvert forskningsteam som er avhengig av KI, møter før eller senere det samme gapet. Modellen er dyktig, men den vet ikke hva teamet ditt lærte forrige uke: driftsgrensen en ekspert bekreftet, innstillingen som endelig ga et rent resultat, referanseverdien som ble erstattet. Det vanlige svaret er å trene den. Samle eksempler, finjuster, valider den nye versjonen og ta den i bruk.

Det svaret passer godt for noen problemer og dårlig for andre. Dette innlegget sammenligner finjustering med måten MS Duplex lærer på, for den typen kunnskap et forskningsteam produserer hver dag, og sier hvor hver av dem hører hjemme.

Hva finjustering er god til, og hvor den sliter

Finjustering endrer en modells vekter gjennom en treningskjøring på et klargjort datasett. Når det fungerer, er endringen bred. Modellen følger et internt format, håndterer et fagspesifikt vokabular mer flytende eller resonnerer om en familie av problemer med større dyktighet, i hver samtale, uten å bli minnet på det.

Den bredden er grunnen til å gjøre det. Hvis teamet ditt vil ha en modell som oppfører seg annerledes over hele linjen, og endringen skal holde lenge, er en treningskjøring en fornuftig investering. En finjustert modell er også en modell som alle andre: teamet ditt kan koble den til, evaluere den og styre den med prosessene det allerede har.

Vanskelighetene begynner når kunnskapen er smal, ny og fortsatt i endring. Det beskriver det meste av det et forskningsteam lærer.

Der en treningssyklus møter forskningsarbeid

Forskningskunnskap kommer ett resultat om gangen. En måling kommer tilbake, en test blir bestått, en ekspert avviser en anbefaling og sier hvorfor. Hver av disse er liten, knyttet til betingelsene sine og ofte erstattet i løpet av prosjektets levetid. Å presse den strømmen inn i treningssykluser skaper friksjon på hvert steg.

  • Batching. Én korreksjon er for lite å trene på, så den venter til nok eksempler har samlet seg til å rettferdiggjøre en kjøring. Inntil da gjentar eksperten den.
  • Klargjøring. Noen må gjøre resultater og korreksjoner om til et rent datasett, bestemme hva som skal med, og kontrollere at ingen eksempler motsier hverandre.
  • Bivirkninger. En ny lærdom som trenes inn i vektene, kan slite ned det modellen allerede kunne, så hver nye versjon må testes langt utover endringen den var ment å gjøre.
  • Endringer. Hvis én lærdom viser seg å være feil, finnes det ikke ett sted å rette den. Å endre den betyr en ny treningskjøring.
  • Sporbarhet. Når en lærdom først ligger i vektene, er det vanskelig å si hvilket eksempel som lærte modellen en gitt atferd.
  • Portabilitet. Arbeidet tilhører én modell. Når en bedre modell kommer, begynner teamet på nytt.

Ingenting av dette gjør finjustering til et dårlig verktøy. Det gjør den til en grov tilpasning for kunnskap som endrer seg like raskt som forskningen, der det nyeste resultatet ofte er det som betyr mest for neste beslutning.

En forseglet blokk i grafitt ved siden av et åpent sølvstativ med tynne kort i sølv og koboltblått, der ett kort er trukket halvveis ut.En forseglet blokk i grafitt ved siden av et åpent sølvstativ med tynne kort i sølv og koboltblått, der ett kort er trukket halvveis ut.
En forseglet grafittblokk ved siden av et åpent stativ med tynne kort i sølv og koboltblått, ett kort trukket halvveis ut: kunnskap forseglet i en modells vekter på den ene siden, og lærdommer tatt vare på én etter én, hver innen rekkevidde, på den andre.

Læring fra neste bekreftede resultat

MS Duplex lærer ved siden av modellen, med vektene uendret. Den kobles til KI-en teamet ditt allerede bruker, enten det er Claude, Codex, Cursor eller en annen agent som snakker MCP, og til dine egne agenter via API og Python SDK. Den lærer av utfallene og korreksjonene teamet ditt velger å fange opp. Ett bekreftet resultat er nok. Det er ikke noe datasett å sette sammen og ingen treningskjøring å planlegge.

Tenk deg at agenten til et team anbefaler innstillinger for neste kjøring av en gjentakende analyse. Slik beveger én korreksjon seg.

  1. Agenten anbefalerDen foreslår innstillinger for neste kjøring, med modellen og verktøyene teamet allerede har.
  2. En ekspert korrigerer denEn forsker eller ingeniør avviser anbefalingen fordi den overser en grense for metoden under de gjeldende betingelsene, og registrerer begrunnelsen.
  3. Lærdommen tas vare påMS Duplex tar vare på korreksjonen sammen med kilden og betingelsene den gjelder under. Alt som er lært før, forblir som det var.
  4. Neste forespørsel bruker denNeste gang agenten anbefaler innstillinger for et tilfelle under de betingelsene, kontrollerer den grensen først. Ingen trener noe på nytt, og eksperten trenger ikke å gjenta seg selv.
  5. Andre betingelser flaggesNår et tilfelle kommer under andre betingelser, sier MS Duplex fra i stedet for å bruke lærdommen som om ingenting hadde endret seg, og teamet bestemmer.
  6. En annen modell tar den i brukEn kollega som jobber med en annen modell, møter et beslektet tilfelle. Lærdommen og kilden er der allerede, fordi de ligger ved siden av modellen og ikke inni den.

En bekreftet suksess følger samme vei. Når et resultat agenten forutså, bekreftes ved måling, blir tilnærmingen bak det agentens førstevalg for tilfeller med de samme betingelsene. Når en nyere bekreftet verdi erstatter en eldre, gjelder den nyere, og historikken over endringen tas vare på.

To ting skiller seg fra en treningssyklus. Lærdommen er klar fra neste forespørsel, uten noe å samle opp eller vente på. Og en ny lærdom legges til ved siden av det MS Duplex allerede har, så agenten som lærte denne ukens korreksjon, fortsatt kjenner betingelsene teamet ditt bekreftet for flere måneder siden.

Å ombestemme seg, én lærdom om gangen

Forskning reviderer seg selv. En måling viser seg å stamme fra et feilaktig oppsett. En eksperts korreksjon gjaldt under snevrere betingelser enn noen registrerte. Et team må kunne angre en lærdom like lett som det la den til.

I MS Duplex beholder hver lærdom kilden sin og står på egne ben. Korriger en lærdom, så endres bare den lærdommen. Fjern den, så forsvinner anbefalingene som var avhengige av den, mens alt annet blir stående. En fjernet lærdom kan gjenopprettes hvis teamet likevel kommer fram til at den var riktig.

Det endrer spørsmålet en forskningsleder må svare på. Med en treningssyklus er spørsmålet om en helt ny modellversjon er trygg å ta i bruk. Med MS Duplex går teamet gjennom enkeltlærdommer: hva som ble lært, fra hvilket resultat, under hvilke betingelser og siden når. En kontrollør kan se hva en anbefaling bygger på, og en annen forsker kan gjenskape en beslutning fra loggen og kontrollere den.

En stående sylindrisk kjerne med lag av grafitt og satinert sølv på en sokkel i grafitt, med én tynn koboltblå tråd som går gjennom hvert lag.En stående sylindrisk kjerne med lag av grafitt og satinert sølv på en sokkel i grafitt, med én tynn koboltblå tråd som går gjennom hvert lag.
En stående kjerne av lag i grafitt og satinert sølv, med én tynn koboltblå tråd som går gjennom hvert lag: hver lærdom beholder tråden tilbake til resultatet den kom fra, så én kan korrigeres eller fjernes uten å forstyrre resten.

Hva de kontrollerte testene viste

MatterSpace sammenlignet MS Duplex med en modell finjustert for oppgaven, på gjentakende arbeid, i kontrollerte tester. MS Duplex kjørte helt uten treningskjøring.

  • +16 poengmer presis enn en modell finjustert for oppgaven, på gjentakende arbeid, uten noen treningskjøring
  • −89%færre modellkall enn den finjusterte modellen på det samme arbeidet

Begge tallene kommer fra MatterSpaces kontrollerte tester. Det andre stemmer med det MS Duplex gjør med rutinebeslutninger. Der en metode teamet har bekreftet, tydelig gjelder, avgjør den beslutningen direkte, ofte uten modellkall. Der belegget er tynt eller tilfellet ukjent, overlater den beslutningen til modellen eller flagger den for en forsker, med begrunnelsen. Det er i gjentakende arbeid de fleste beslutninger gjentar seg, så det er der besparelsene i modellkall viser seg.

Å bruke begge

De fleste team kommer til å bruke begge. MS Duplex fungerer ved siden av en finjustert modell like godt som ved siden av en generell, og får hvilken som helst av dem til å lære av arbeidet ditt. En praktisk fordeling ser slik ut:

  • Bruk finjustering når du vil endre hva en modell vet eller hvordan den oppfører seg over hele linjen, og endringen vil holde seg lenge.
  • Bruk MS Duplex for det teamet ditt bekrefter underveis i arbeidet: resultater, korreksjoner, beslutninger og metoder som gjelder under bestemte betingelser og kan endre seg.
  • Hold de to atskilt i dokumentasjonen din. En finjustert modell er en modellversjon. En lærdom i MS Duplex er et element med en kilde, som teamet ditt kan gå gjennom, korrigere eller fjerne.
  • Når en ny modell kommer, finjustert eller generell, kobler du den til. Erfaringen teamet ditt har bygd opp i MS Duplex, følger med.

For en forskningsleder er det nyttige spørsmålet hvor hver type kunnskap bør ligge. Bred, stabil atferd hører hjemme i modellen. Kunnskapen teamet ditt produserer hver dag, hører hjemme et sted der den kan læres fra neste forespørsel, spores til kilden og endres én lærdom om gangen.

Vanlige spørsmål

Endrer MS Duplex vektene til modellen min?

Nei. Den lærer ved siden av modellen, med vektene uendret. Det er derfor en lærdom er klar fra neste forespørsel, derfor én lærdom kan korrigeres for seg, og derfor erfaringen blir med når du bytter modell.

Kan vi bruke MS Duplex med en modell vi allerede har finjustert?

Ja. MS Duplex fungerer ved siden av en finjustert modell like godt som ved siden av en generell, og får hvilken som helst av dem til å lære av resultatene og korreksjonene teamet ditt bekrefter.

Vil nye lærdommer slite ned det den lærte før?

En ny lærdom legges til ved siden av det MS Duplex allerede har, og lar resten være som det var. Der et nyere bekreftet resultat erstatter et eldre, gjelder det nyere, og historikken tas vare på.

Hvordan vet vi at den vil gjøre det bedre enn finjustering på vårt arbeid?

Tallene her kommer fra MatterSpaces kontrollerte tester. En pilot måler hva MS Duplex gjør på dine egne gjentakende arbeidsflyter, side om side med oppsettet du har i dag, vurdert blindt av ekspertene dine.

Bygget av MatterSpace

MatterSpace bygger MS Duplex for forskere, vitenskapsfolk og ingeniører i alle fagfelt, slik at AI-en de allerede bruker lærer av hvert resultat de bekrefter.

Les videre

La neste kjøring dra nytte av den forrige.

Kom til oss med forskningen KI-en din bør bli bedre på. Vi planlegger en pilot på dine egne arbeidsflyter, med ekspertene dine som dommere.