Hopp til innholdet
Advancing Bits to Master Atoms
← Alle innlegg

MS Duplex8 min lesetid

Hvorfor forsknings-KI-en din glemmer, og hva det koster teamet ditt.

De fleste KI-verktøy starter hver økt fra det modellen visste da treningen ble avsluttet. Hva det koster et forskningsteam, og hva som endres når bekreftede resultater blir erfaring.

Et skrivebordsbrett i grafitt med en bunke tynne kort i satinert sølv, og ett koboltblått kort med fane som står oppreist midt i bunken.Et skrivebordsbrett i grafitt med en bunke tynne kort i satinert sølv, og ett koboltblått kort med fane som står oppreist midt i bunken.

De fleste forskningsteam kjenner denne økten. En forsker eller ingeniør åpner en ny samtale med KI-en, forklarer prosjektet på nytt, gjentar metodens begrensninger, limer inn forrige ukes resultater og retter den samme feilen hun rettet på tirsdag. KI-en er dyktig. Den husker ikke.

Det er standardoppførselen til de fleste KI-verktøy, og den er lett å undervurdere, fordi kostnaden er spredt over mange små øyeblikk og ingen ser summen. Dette innlegget forklarer hvor glemselen kommer fra, hva den koster et forskningsteam og hva som endres når arbeidet teamet ditt bekrefter, blir erfaring KI-en beholder.

Hvor glemselen kommer fra

En modell lærer det den kan under treningen. Når treningen avsluttes, ligger den kunnskapen fast. Modellen kan resonnere om et nytt problem, skrive analysekode og lese dokumentene du gir den, men ingenting den ser i én økt, endrer det den vet i den neste.

Forskning merker dette gapet mer enn det meste annet arbeid. Kunnskapen et team er avhengig av, er vanligvis den nyeste: en måling som kom tilbake i går, en korreksjon en ekspert gjorde i morges, en driftsgrense noen bekreftet forrige uke. Ingenting av dette kan være med i treningsdataene til en modell. Det fantes ikke da modellen ble trent.

Innenfor en økt kan KI-en holde noe av dette i konteksten sin. Når økten slutter, forsvinner det. Neste økt, en kollegas agent eller neste kvartals modell starter igjen fra dagen treningen stoppet. Å lære selve modellen noe nytt betyr å klargjøre et datasett og kjøre en ny treningssyklus, noe få forskningsteam gjør for hver lærdom.

Hva det koster et forskningsteam

Kostnaden ved å glemme dukker sjelden opp som en egen linje i et budsjett. Den viser seg på fire steder.

  • Å forklare på nytt. Forskere og ingeniører bruker starten av hver økt på å gjenta målet, beslutningene og begrensningene, og agenten stiller spørsmål teamet besvarte for lenge siden.
  • Gjentatte feil. En ekspert korrigerer agenten, og korreksjonen er borte til neste økt. Den samme eksperten må gjøre den igjen, eller en kollega som gikk glipp av den, slipper feilen gjennom.
  • Arbeid som betales to ganger. En kjøring som feilet under visse betingelser, blir foreslått igjen, fordi ingenting tok vare på feilen. Regnekraft, materialer og instrumenttid går med til å gjenoppdage det teamet allerede visste.
  • Utdaterte fakta. En ny måling erstatter en gammel, men den gamle verdien ligger fortsatt i et innlimt transkript eller en notatfil, og den dukker opp igjen i et svar som om den var gjeldende.

Si at agenten til et team anbefaler innstillinger for en gjentakende analyse, og at ingenting tar vare på det den lærer. Over en måned kan mønsteret se slik ut:

  1. Uke én: en korreksjonEn ekspert avviser en anbefaling fordi den overser en kjent begrensning ved metoden, og forklarer hvorfor. Agenten gjør det riktig resten av den økten.
  2. Uke to: den samme feilenI en ny økt kommer agenten med den samme anbefalingen. En annen fagfelle fanger den opp og forklarer begrensningen igjen.
  3. Uke tre: en mislykket kjøring, gjentattEn kollegas agent, på en annen modell, foreslår en konfigurasjon som feilet to uker tidligere. Kjøringen gjennomføres og feiler av samme grunn.
  4. Uke fire: en gammel verdiEn ny kalibrering har erstattet en referanseverdi. Agenten siterer den gamle, fordi den sto i notatene en forsker eller ingeniør limte inn.
  5. SummenTo ekspertforklaringer, én bortkastet kjøring og ett feil svar, alt for lærdommer teamet allerede hadde betalt for én gang.

Ingen av disse øyeblikkene er dramatiske hver for seg. Over et team og et år blir de til eksperttid og budsjett brukt på arbeid som allerede var gjort. Den stilleste kostnaden er den siste som viser seg: ekspertene slutter å korrigere KI-en fordi korreksjonene ikke fester seg, og teamet mister vanen med å lære den opp.

Hva team gjør i dag, og hvor det stopper

Team finner måter rundt problemet. Mange har en instruksjonsfil eller en notatfil for KI-en sin, vedlikeholder et promptbibliotek eller kobler et gjenfinningssystem til dokumentene sine. Hvert av disse hjelper, og hvert av dem er verdt å ha.

En notatfil inneholder det noen har skrevet ned. Den fungerer så lenge den er kort og oppdatert. Etter hvert som den vokser, fylles den med linjer ingen er sikre på om fortsatt holder, og en gammel linje blir stående til noen sletter den. Modellen leser alt sammen på nytt og vurderer selv hva som gjelder.

Gjenfinning finner tekstavsnitt som ligner på spørsmålet, noe som er nyttig for å finne dokumenter. Den sier ikke om et avsnitt gjelder under dagens betingelser, og når et faktum har endret seg, kan både den gamle og den nye versjonen komme tilbake.

Finjustering endrer hva en modell vet over hele linjen, og den har sin plass for den oppgaven. Den lærer av et klargjort datasett og en treningskjøring, så den går i takt med treningssyklusene og ikke i takt med arbeidet, og en ny modellversjon betyr å starte på nytt.

  • 0 % mot 57 %utdaterte svar etter at fakta endret seg: MS Duplex ved siden av standard gjenfinning, i MatterSpaces kontrollerte tester

Det tallet fra MatterSpaces kontrollerte tester måler den fjerde kostnaden på listen: svar som siterer en verdi teamet allerede har erstattet. Det er den kostnaden som skjuler seg best, fordi et utdatert svar fremstår like selvsikkert som et gjeldende.

Hva som endres når bekreftede resultater blir erfaring

Alternativet er å ta vare på utfallet i stedet for samtalen. MS Duplex ligger ved siden av modellen teamet ditt allerede bruker, med vektene uendret, og lærer av resultatene arbeidet ditt bekrefter. En test blir bestått, en måling kommer tilbake, en ekspert godkjenner en konklusjon eller korrigerer en og sier hvorfor. Det blir erfaring, brukt fra neste forespørsel.

Hver del av erfaringen tar vare på det et forskningsteam trenger for å stole på den:

  • Resultatet, målingen eller ekspertvurderingen den kom fra.
  • Betingelsene den ble bekreftet under, så den brukes der disse betingelsene stemmer.
  • Begrunnelsen bak en korreksjon, så agenten sjekker det punktet først i neste tilfelle.
  • Historikken sin, så når en nyere bekreftet verdi erstatter en eldre, gjelder den nyere, og endringen forblir loggført.

Det endrer hva agenten gjør videre. Der betingelsene stemmer, bruker den det som er lært. Der et tilfelle er beslektet, men annerledes, flagger MS Duplex hva som avviker. Det som fungerte, blir det første agenten prøver, og det som feilet, slutter å bli foreslått.

En spiraltrapp av tynne plater i satinert sølv som reiser seg fra en base i grafitt, med de nyeste, øverste trinnene i koboltblått.En spiraltrapp av tynne plater i satinert sølv som reiser seg fra en base i grafitt, med de nyeste, øverste trinnene i koboltblått.
En vindeltrapp av tynne plater i satinert sølv som reiser seg fra en sokkel i grafitt, med de nyeste, øverste trinnene i koboltblått: hvert bekreftede resultat blir et trinn neste økt står på.

Kjør den samme måneden på nytt med MS Duplex på plass. Korreksjonen fra uke én gjelder fra neste forespørsel, i en hvilken som helst økt og på en hvilken som helst modell. Konfigurasjonen som feilet, slutter å bli foreslått, og loggen viser hvorfor. Den nye kalibreringen erstatter den gamle verdien fra neste forespørsel, og historikken over endringen bevares. Eksperten forklarer begrensningen én gang.

Neste økt starter der arbeidet står

Glemsel skjer også mellom personer og mellom modeller. En kollega tar over prosjektet. Teamet går over til en nyere modell. I de fleste oppsett nullstiller hver av disse endringene det KI-en vet om arbeidet.

I MS Duplex følger målet, beslutningene, de godkjente metodene og fremdriften med inn i hver nye økt som et kompakt bilde av arbeidet, med hver kilde loggført. Agentene du autoriserer, starter fra det samme bildet, uansett hvilken modell de kjører på. Erfaringen ligger i et lager organisasjonen din eier, så en ny modell starter med alt teamet har bygget opp.

En åpen kasse i grafitt fylt med rader av tynne kort i satinert sølv, der ett koboltblått skillekort er hevet over resten.En åpen kasse i grafitt fylt med rader av tynne kort i satinert sølv, der ett koboltblått skillekort er hevet over resten.
En åpen kasse i grafitt fylt med rader av tynne kort i satinert sølv, der ett koboltblått skillekort er hevet over resten: hele loggen holdt i orden, med det neste beslutning trenger, trukket fram.

En KI som tar vare på erfaring, må også styres. Hver lærdom kan gås gjennom, korrigeres eller fjernes enkeltvis. Korriger én, og bare den endres; fjern den, og anbefalingene som var avhengige av den, forsvinner med den, mens alt annet blir værende. Lag for person, team og organisasjon holder en forskers vaner personlige og et teams bekreftelser innenfor det teamet, etter dine regler, og ingenting deles med et annet selskap.

Vanlige spørsmål

Hvorfor kan ikke modellen huske på egen hånd?

Kunnskapen dens ligger fast når treningen avsluttes. Å lære den noe nytt betyr å klargjøre et datasett og kjøre en ny treningssyklus, så det teamet ditt lærer mellom syklusene, mangler i hver ny økt.

Holder det med en lengre notatfil?

En notatfil hjelper så lenge den er kort og oppdatert. Etter hvert som den vokser, blir gamle linjer stående til noen sletter dem, og modellen må vurdere hvilke som fortsatt holder. MS Duplex tar vare på bekreftede utfall med betingelser og historikk, så den nyeste bekreftede verdien gjelder.

Hva skjer når et faktum endres?

Den nyeste bekreftede verdien gjelder fra neste forespørsel, og historikken over endringen bevares. For utdaterte svar etter at fakta endret seg målte MatterSpaces kontrollerte tester 0 % mot 57 %, MS Duplex ved siden av standard gjenfinning.

Må vi bytte ut KI-verktøyene vi bruker?

Nei. MS Duplex kobles til Claude, Codex, Cursor og andre agenter som snakker MCP, og til dine egne agenter og arbeidsflyter via API-et og Python SDK-en. Forskerne og ingeniørene dine beholder KI-en de allerede bruker.

Bygget av MatterSpace

MatterSpace bygger MS Duplex for forskere, vitenskapsfolk og ingeniører i alle fagfelt, slik at AI-en de allerede bruker lærer av hvert resultat de bekrefter.

Les videre

La neste kjøring dra nytte av den forrige.

Kom til oss med forskningen KI-en din bør bli bedre på. Vi planlegger en pilot på dine egne arbeidsflyter, med ekspertene dine som dommere.