Hoppa till innehållet
Advancing Bits to Master Atoms
← Alla inlägg

MS Duplex8 min läsning

Att lära sig av varje bekräftat resultat, utan någon träningskörning.

Hur MS Duplex står sig mot finjustering för forskarteam: vad var och en är bra för, varför en korrigering gäller från och med nästa begäran och hur en enskild lärdom ändras eller tas bort för sig.

Ett stort slutet block i grafit med en smal modul i satinerat silver fäst på sidan, försedd med en liten fyrkantig koboltblå indikator.Ett stort slutet block i grafit med en smal modul i satinerat silver fäst på sidan, försedd med en liten fyrkantig koboltblå indikator.

Varje forskarteam som förlitar sig på AI stöter förr eller senare på samma glapp. Modellen är kapabel, men den vet inte vad ditt team lärde sig förra veckan: driftgränsen som en expert bekräftade, inställningen som till slut gav ett rent resultat, referensvärdet som ersattes. Det vanliga svaret är att träna den. Samla exempel, finjustera, validera den nya versionen och driftsätt den.

Det svaret passar vissa problem väl och andra dåligt. Det här inlägget jämför finjustering med sättet som MS Duplex lär sig på, för den typ av kunskap som ett forskarteam producerar varje dag, och säger var var och en hör hemma.

Vad finjustering är bra på, och var det skaver

Finjustering ändrar en modells vikter genom en träningskörning på en förberedd datamängd. När det fungerar är förändringen bred. Modellen följer ett internt format, hanterar ett specialistordförråd mer flytande eller resonerar skickligare kring en familj av problem, i varje konversation, utan att behöva påminnas.

Den bredden är skälet att göra det. Om ditt team vill ha en modell som beter sig annorlunda på bred front, och förändringen ska hålla länge, är en träningskörning en förnuftig investering. En finjusterad modell är dessutom en modell som alla andra: ditt team kan ansluta den, utvärdera den och styra den med de processer det redan har.

Svårigheten börjar när kunskapen är smal, ny och fortfarande i rörelse. Det beskriver det mesta av det som ett forskarteam lär sig.

Där en träningscykel möter forskningsarbete

Forskningskunskap kommer ett resultat i taget. En mätning kommer tillbaka, ett test går igenom, en expert avvisar en rekommendation och säger varför. Var och en av dessa är liten, knuten till sina villkor och ofta ersatt under ett projekts livstid. Att passa in det flödet i träningscykler skapar friktion i varje steg.

  • Batchning. En enda korrigering är för lite att träna på, så den väntar tills tillräckligt många exempel har samlats för att motivera en körning. Fram till dess upprepar experten den.
  • Förberedelse. Någon måste göra om resultat och korrigeringar till en ren datamängd, avgöra vad som ska ingå och kontrollera att inget exempel motsäger ett annat.
  • Bieffekter. En ny lärdom som tränas in i vikterna kan nöta ned det som modellen redan kunde, så varje ny version behöver testas långt utöver den ändring den var tänkt att göra.
  • Ändringar. Om en lärdom visar sig vara fel finns det inget enskilt ställe att rätta den på. Att ändra den kräver ännu en träningskörning.
  • Spårbarhet. När en lärdom väl finns i vikterna är det svårt att säga vilket exempel som lärde modellen ett visst beteende.
  • Portabilitet. Arbetet tillhör en enda modell. När en bättre modell kommer börjar teamet om.

Inget av detta gör finjustering till ett dåligt verktyg. Det gör den till ett trubbigt verktyg för kunskap som förändras lika snabbt som forskningen, där det senaste resultatet ofta är det som betyder mest för nästa beslut.

Ett förseglat grafitblock bredvid ett öppet silverställ med tunna kort i silver och koboltblått, där ett kort är halvvägs utdraget.Ett förseglat grafitblock bredvid ett öppet silverställ med tunna kort i silver och koboltblått, där ett kort är halvvägs utdraget.
Ett förseglat block av grafit bredvid ett öppet ställ med tunna kort i silver och koboltblått, där ett kort är halvvägs utdraget: kunskap förseglad i en modells vikter på ena sidan, och lärdomar som förvaras en och en, var och en inom räckhåll, på den andra.

Att lära av nästa bekräftade resultat

MS Duplex lär sig bredvid modellen, och dess vikter lämnas som de är. Den kopplas in i den AI som ditt team redan använder, oavsett om det är Claude, Codex, Cursor eller en annan agent som talar MCP, och i dina egna agenter via sitt API och Python SDK. Den lär sig av de utfall och korrigeringar som ditt team väljer att fånga. Ett enda bekräftat resultat räcker. Det finns ingen datamängd att sätta ihop och ingen träningskörning att schemalägga.

Säg att ett teams agent rekommenderar inställningar för nästa körning av en återkommande analys. Så här färdas en korrigering.

  1. Agenten rekommenderarDen föreslår inställningar för nästa körning, med den modell och de verktyg som teamet redan har.
  2. En expert korrigerar denEn forskare eller ingenjör avvisar rekommendationen eftersom den bortser från en gräns för metoden under de rådande villkoren, och registrerar skälet.
  3. Lärdomen behållsMS Duplex behåller korrigeringen med dess källa och de villkor den gäller under. Allt som lärts in tidigare förblir som det var.
  4. Nästa begäran använder denNästa gång agenten rekommenderar inställningar för ett fall under de villkoren kontrollerar den gränsen först. Ingen tränar om något, och experten behöver inte upprepa sig.
  5. Andra villkor flaggasNär ett fall kommer under andra villkor säger MS Duplex det i stället för att tillämpa lärdomen som om ingenting hade ändrats, och teamet avgör.
  6. En annan modell tar upp denEn kollega som arbetar med en annan modell stöter på ett liknande fall. Lärdomen och dess källa finns redan där, eftersom de finns bredvid modellen och inte i den.

En bekräftad framgång följer samma väg. När ett resultat som agenten förutsade bekräftas genom en mätning blir tillvägagångssättet bakom det agentens förstahandsval för fall med samma villkor. När ett nyare bekräftat värde ersätter ett äldre gäller det nyare, och historiken över ändringen bevaras.

Två saker skiljer sig från en träningscykel. Lärdomen är redo från och med nästa begäran, utan något att samla ihop eller vänta på. Och en ny lärdom läggs till bredvid det som MS Duplex redan har, så agenten som lärde sig veckans korrigering känner fortfarande till de villkor som ditt team bekräftade för flera månader sedan.

Att ändra sig, en lärdom i taget

Forskning reviderar sig själv. En mätning visar sig ha kommit från en felaktig uppställning. En experts korrigering gällde under snävare villkor än någon hade registrerat. Ett team behöver kunna ta bort en lärdom lika lätt som det lade till den.

I MS Duplex behåller varje lärdom sin källa och står på egna ben. Korrigera en lärdom så ändras bara den lärdomen. Ta bort den så försvinner de rekommendationer som berodde på den, medan allt annat finns kvar. En borttagen lärdom kan återställas om teamet kommer fram till att den var riktig ändå.

Det ändrar frågan som en forskningsledare måste besvara. Med en träningscykel gäller frågan om en helt ny modellversion är säker att driftsätta. Med MS Duplex granskar teamet enskilda lärdomar: vad som lärdes in, från vilket resultat, under vilka villkor och sedan när. En granskare kan se vad en rekommendation vilar på, och en annan forskare kan återskapa ett beslut utifrån historiken och kontrollera det.

En upprätt cylindrisk kärna av skikt i grafit och satinerat silver på en bas i grafit, med en enda tunn koboltblå tråd som löper genom varje skikt.En upprätt cylindrisk kärna av skikt i grafit och satinerat silver på en bas i grafit, med en enda tunn koboltblå tråd som löper genom varje skikt.
En upprätt kärna av skikt i grafit och satinerat silver med en enda tunn koboltblå tråd som löper genom varje skikt: varje lärdom behåller sin tråd tillbaka till resultatet den kom från, så att en lärdom kan korrigeras eller tas bort utan att resten påverkas.

Vad de kontrollerade testerna visade

MatterSpace jämförde MS Duplex med en modell som finjusterats för uppgiften, i återkommande arbete, i kontrollerade tester. MS Duplex kördes helt utan träningskörning.

  • +16 poängmer träffsäker än en modell som finjusterats för uppgiften, i återkommande arbete, utan någon träningskörning
  • −89%färre modellanrop än den finjusterade modellen i samma arbete

Båda siffrorna kommer från MatterSpaces kontrollerade tester. Den andra stämmer med vad MS Duplex gör med rutinbeslut. Där en metod som teamet har bekräftat tydligt är tillämplig avgör den beslutet direkt, ofta utan modellanrop. Där beläggen är tunna eller fallet är obekant lämnar den beslutet till modellen eller flaggar det för en forskare, med skälet. Det är i återkommande arbete som de flesta beslut upprepas, så det är där besparingarna i modellanrop syns.

Att använda båda

De flesta team kommer till slut att använda båda. MS Duplex arbetar bredvid en finjusterad modell lika väl som bredvid en generell, och får vilken som helst av dem att lära sig av ditt arbete. En praktisk uppdelning ser ut så här:

  • Använd finjustering när du vill ändra vad en modell vet eller hur den beter sig på bred front, och ändringen kommer att gälla länge.
  • Använd MS Duplex för det som ditt team bekräftar medan arbetet pågår: resultat, korrigeringar, beslut och metoder som gäller under särskilda villkor och kan ändras.
  • Håll isär de två i din dokumentation. En finjusterad modell är en modellversion. En lärdom i MS Duplex är en post med en källa, som ditt team kan granska, korrigera eller ta bort.
  • När en ny modell kommer, finjusterad eller generell, anslut den. Erfarenheten som ditt team har byggt upp i MS Duplex följer med.

För en forskningsledare är den användbara frågan var varje typ av kunskap ska finnas. Brett och stabilt beteende hör hemma i modellen. Kunskapen som ditt team tar fram varje dag hör hemma någonstans där den kan läras in från och med nästa begäran, spåras till sin källa och ändras en lärdom i taget.

Vanliga frågor

Ändrar MS Duplex min modells vikter?

Nej. Den lär sig bredvid modellen, och dess vikter lämnas som de är. Det är därför en lärdom är redo från och med nästa begäran, därför en enskild lärdom kan korrigeras för sig och därför erfarenheten finns kvar när du byter modell.

Kan vi använda MS Duplex med en modell som vi redan har finjusterat?

Ja. MS Duplex arbetar bredvid en finjusterad modell lika väl som bredvid en generell, och får vilken som helst av dem att lära sig av de resultat och korrigeringar som ditt team bekräftar.

Kommer nya lärdomar att nöta ned det som den har lärt sig tidigare?

En ny lärdom läggs till bredvid det som MS Duplex redan har och lämnar resten som det var. Där ett nyare bekräftat resultat ersätter ett äldre gäller det nyare, och historiken sparas.

Hur vet vi att den kommer att prestera bättre än finjustering i vårt arbete?

Siffrorna här kommer från MatterSpaces kontrollerade tester. En pilot mäter vad MS Duplex gör på dina egna återkommande arbetsflöden, sida vid sida med din nuvarande konfiguration, och bedöms blint av dina experter.

Byggt av MatterSpace

MatterSpace bygger MS Duplex för forskare, vetenskapare och ingenjörer inom alla fält, så att den AI de redan använder lär sig av varje resultat de bekräftar.

Läs vidare

Låt nästa körning dra nytta av den förra.

Kom till oss med den forskning som din AI borde bli bättre på. Vi planerar en pilot på dina egna arbetsflöden, med dina experter som domare.