Hoppa till innehållet
Advancing Bits to Master Atoms
← Alla inlägg

MS Duplex8 min läsning

Varför din forsknings-AI glömmer, och vad det kostar ditt team.

De flesta AI-verktyg börjar varje session från det modellen visste när träningen tog slut. Vad det kostar ett forskningsteam, och vad som förändras när bekräftade resultat blir erfarenhet.

En skrivbordsbricka i grafit med en bunt tunna kort i satinerat silver, där ett enda koboltblått kort med flik står upprätt mitt i bunten.En skrivbordsbricka i grafit med en bunt tunna kort i satinerat silver, där ett enda koboltblått kort med flik står upprätt mitt i bunten.

De flesta forskningsteam känner igen den här sessionen. En forskare eller ingenjör öppnar en ny konversation med AI:n, förklarar projektet igen, upprepar metodens begränsningar, klistrar in förra veckans resultat och korrigerar samma misstag som hon korrigerade i tisdags. AI:n är kapabel. Den minns inte.

Det är standardbeteendet hos de flesta AI-verktyg, och det är lätt att underskatta, eftersom kostnaden är utspridd över många små ögonblick och ingen ser summan. Det här inlägget förklarar var glömskan kommer ifrån, vad den kostar ett forskningsteam och vad som förändras när det arbete ditt team bekräftar blir erfarenhet som AI:n behåller.

Var glömskan kommer ifrån

En modell lär sig det den vet under träningen. När träningen tar slut låses den kunskapen. Modellen kan resonera kring ett nytt problem, skriva analyskod och läsa de dokument du ger den, men inget den ser i en session ändrar vad den vet i nästa.

Forskning känner av det här glappet mer än det mesta annat arbete. Den kunskap ett team är beroende av är oftast dess nyaste: en mätning som kom tillbaka i går, en korrigering som en expert gjorde i morse, en driftgräns som någon bekräftade förra veckan. Inget av det kan finnas i en modells träningsdata. Det fanns inte när modellen tränades.

Inom en session kan AI:n hålla en del av detta i sin kontext. När sessionen tar slut försvinner det. Nästa session, en kollegas agent eller nästa kvartals modell börjar om från dagen då träningen upphörde. Att lära själva modellen något nytt innebär att förbereda en datamängd och köra ytterligare en träningscykel, något som få forskningsteam gör för varje lärdom.

Vad det kostar ett forskningsteam

Kostnaden för glömskan dyker sällan upp som en rad i en budget. Den syns på fyra ställen.

  • Omförklaringar. Forskare och ingenjörer ägnar början av varje session åt att upprepa målet, besluten och begränsningarna, och agenten ställer frågor som teamet besvarade för länge sedan.
  • Upprepade misstag. En expert korrigerar agenten, och korrigeringen är borta till nästa session. Samma expert gör den igen, eller så släpper en kollega som missade den igenom misstaget.
  • Arbete som betalas två gånger. En körning som misslyckades under vissa villkor föreslås igen, eftersom inget sparade misslyckandet. Beräkningskraft, material och instrumenttid går åt till att återupptäcka det teamet redan visste.
  • Inaktuella fakta. En ny mätning ersätter en gammal, men det gamla värdet ligger kvar i en inklistrad transkription eller en anteckningsfil, och det dyker upp i ett svar som om det vore aktuellt.

Säg att ett teams agent rekommenderar inställningar för en återkommande analys, och att inget behåller det den lär sig. Under en månad kan mönstret se ut så här:

  1. Vecka ett: en korrigeringEn expert avvisar en rekommendation eftersom den bortser från en känd begränsning i metoden, och förklarar varför. Agenten gör rätt under resten av den sessionen.
  2. Vecka två: samma misstagI en ny session ger agenten samma rekommendation. En annan granskare upptäcker det och förklarar begränsningen igen.
  3. Vecka tre: en misslyckad körning, upprepadEn kollegas agent, med en annan modell, föreslår en konfiguration som misslyckades två veckor tidigare. Körningen genomförs och misslyckas av samma skäl.
  4. Vecka fyra: ett gammalt värdeEn ny kalibrering har ersatt ett referensvärde. Agenten citerar det gamla, eftersom det fanns i anteckningarna som en forskare eller ingenjör klistrade in.
  5. SummanTvå expertförklaringar, en bortkastad körning och ett felaktigt svar, allt för lärdomar som teamet redan hade betalat för en gång.

Inget av dessa ögonblick är dramatiskt i sig. Över ett team och ett år blir de till experttid och budget som läggs på arbete som redan var gjort. Den tystaste kostnaden visar sig sist: experter slutar korrigera AI:n eftersom korrigeringarna inte fastnar, och teamet tappar vanan att lära den.

Vad team gör i dag, och var det tar stopp

Team arbetar runt problemet. Många har en instruktionsfil eller en anteckningsfil för sin AI, underhåller ett promptbibliotek eller kopplar ett hämtningssystem till sina dokument. Var och en av dessa hjälper, och var och en är värd att ha.

En anteckningsfil innehåller det någon har skrivit ner. Den fungerar så länge den är kort och aktuell. När den växer fylls den med rader som ingen är säker på fortfarande gäller, och en gammal rad blir kvar tills någon tar bort den. Modellen läser om alltihop och bedömer själv vad som gäller.

Hämtning hittar textavsnitt som liknar frågan, vilket är användbart för att hitta dokument. Den säger inte om ett avsnitt gäller under dagens villkor, och när ett faktum har ändrats kan både den gamla och den nya versionen komma tillbaka.

Finjustering ändrar vad en modell vet över hela linjen, och den har kvar sin plats för den uppgiften. Den lär sig av en förberedd datamängd och en träningskörning, så den rör sig i träningscyklernas takt snarare än i arbetets takt, och en ny modellrelease innebär att börja om.

  • 0 % mot 57 %inaktuella svar efter att fakta ändrats: MS Duplex jämfört med standardhämtning, i MatterSpaces kontrollerade tester

Den siffran från MatterSpaces kontrollerade tester mäter den fjärde kostnaden på listan: svar som citerar ett värde som teamet redan har ersatt. Det är den kostnad som döljer sig bäst, eftersom ett inaktuellt svar låter lika säkert som ett aktuellt.

Vad som förändras när bekräftade resultat blir erfarenhet

Alternativet är att behålla utfallet i stället för konversationen. MS Duplex finns bredvid den modell som ditt team redan använder, vars vikter lämnas som de är, och lär sig av de resultat som ditt arbete bekräftar. Ett test går igenom, en mätning kommer tillbaka, en expert godkänner en slutsats eller korrigerar en och säger varför. Det blir erfarenhet, som tillämpas från och med nästa begäran.

Varje del av erfarenheten behåller det som ett forskningsteam behöver för att kunna lita på den:

  • Resultatet, mätningen eller expertbedömningen som den kom från.
  • Villkoren som den bekräftades under, så att den tillämpas där de villkoren stämmer.
  • Skälet bakom en korrigering, så att agenten kontrollerar den punkten först i nästa fall.
  • Dess historik, så att när ett nyare bekräftat värde ersätter ett äldre gäller det nyare och ändringen förblir registrerad.

Det ändrar vad agenten gör härnäst. Där villkoren stämmer tillämpar den det som lärts in. Där ett fall är närliggande men annorlunda flaggar MS Duplex vad som skiljer sig. Det som fungerade blir det första agenten prövar, och det som misslyckades slutar föreslås.

En spiraltrappa av tunna plattor i satinerat silver som reser sig från en bas i grafit, där de nyaste översta stegen är koboltblå.En spiraltrappa av tunna plattor i satinerat silver som reser sig från en bas i grafit, där de nyaste översta stegen är koboltblå.
En spiraltrappa av tunna plattor i satinerat silver som reser sig från en grafitbas, med de nyaste översta stegen i koboltblått: varje bekräftat resultat blir ett steg som nästa session står på.

Kör samma månad igen med MS Duplex på plats. Korrigeringen från vecka ett gäller från och med nästa begäran, i vilken session som helst och på vilken modell som helst. Konfigurationen som misslyckades slutar föreslås, och historiken visar varför. Den nya kalibreringen ersätter det gamla värdet från och med nästa begäran, med historiken över ändringen bevarad. Experten förklarar begränsningen en gång.

Nästa session börjar där arbetet står

Glömska sker också mellan personer och mellan modeller. En kollega tar över projektet. Teamet går över till en nyare modell. I de flesta uppsättningar nollställer vilken som helst av dessa förändringar det AI:n vet om arbetet.

I MS Duplex följer målet, besluten, de godkända metoderna och framstegen med in i varje ny session som en kompakt bild av arbetet, med varje källa registrerad. De agenter du ger behörighet börjar från samma bild, oavsett vilken modell de körs på. Erfarenheten finns i ett arkiv som din organisation äger, så en ny modell börjar med allt som teamet har byggt upp.

Ett öppet fodral i grafit fyllt med rader av tunna kort i satinerat silver, där ett koboltblått avdelarkort sticker upp över de andra.Ett öppet fodral i grafit fyllt med rader av tunna kort i satinerat silver, där ett koboltblått avdelarkort sticker upp över de andra.
Ett öppet grafitfodral fyllt med rader av tunna kort i satinerat silver, med ett koboltblått avdelarkort upplyft över de andra: hela historiken hålls i ordning, och det som nästa beslut behöver lyfts fram.

En AI som behåller erfarenhet måste också styras. Varje lärdom kan granskas, korrigeras eller tas bort för sig. Korrigera en så ändras bara den; ta bort den så försvinner de rekommendationer som berodde på den, medan allt annat finns kvar. Lager för person, team och organisation håller en forskares vanor personliga och ett teams bekräftelser inom det teamet, enligt dina regler, och inget delas med ett annat företag.

Vanliga frågor

Varför kan inte modellen minnas på egen hand?

Dess kunskap låses när träningen tar slut. Att lära den något nytt innebär att förbereda en datamängd och köra ytterligare en träningscykel, så det som ditt team lär sig mellan cyklerna saknas i varje ny session.

Räcker det med en längre anteckningsfil?

En anteckningsfil hjälper så länge den är kort och aktuell. När den växer blir gamla rader kvar tills någon tar bort dem, och modellen måste bedöma vilka som fortfarande gäller. MS Duplex behåller bekräftade utfall med sina villkor och sin historik, så att det senaste bekräftade värdet gäller.

Vad händer när ett faktum ändras?

Det senaste bekräftade värdet gäller från och med nästa begäran, och historiken över ändringen bevaras. För inaktuella svar efter att fakta ändrats uppmätte MatterSpaces kontrollerade tester 0 % mot 57 %, MS Duplex jämfört med standardhämtning.

Måste vi byta de AI-verktyg vi använder?

Nej. MS Duplex kopplas in i Claude, Codex, Cursor och andra agenter som talar MCP, och i dina egna agenter och pipelines via API och Python SDK. Dina forskare och ingenjörer behåller den AI som de redan använder.

Byggt av MatterSpace

MatterSpace bygger MS Duplex för forskare, vetenskapare och ingenjörer inom alla fält, så att den AI de redan använder lär sig av varje resultat de bekräftar.

Läs vidare

Låt nästa körning dra nytta av den förra.

Kom till oss med den forskning som din AI borde bli bättre på. Vi planerar en pilot på dina egna arbetsflöden, med dina experter som domare.