Hoppa till innehållet
Advancing Bits to Master Atoms
← Alla inlägg

MS Duplex8 min läsning

Agenter som blir bättre ju mer de används, mätt mot dina egna resultat.

Hur MS Duplex får de agenter ditt team redan använder att bli bättre för varje arbetsomgång, och hur ett verifierat resultat blir en metod som de återanvänder och anpassar.

Ett stämjärn i grafit med koboltblå egg som vilar diagonalt på ett platt slipblock i satinerat silver.Ett stämjärn i grafit med koboltblå egg som vilar diagonalt på ett platt slipblock i satinerat silver.

De flesta forskningsteam använder nu AI-agenter för återkommande arbete: att rangordna kandidater, rekommendera inställningar för nästa körning, planera en omgång, granska en analys. Arbetet upprepas varje vecka. I de flesta upplägg förblir agenten som den var. Vid sin hundrade uppgift beter den sig som vid sin första, och det misstag som en expert korrigerade förra månaden kommer tillbaka den här månaden.

Det här inlägget handlar om agenter som blir bättre med användning: vad det bör betyda för ett forskningsteam, hur MS Duplex får det att hända med de agenter du redan kör, hur ett verifierat resultat blir en metod som hela teamet återanvänder, och hur du bedömer förbättringen på ditt eget arbete.

Vad ”bättre med användning” bör betyda

För ett forskningsteam är det användbara testet snävt. Agentens beteende ska förändras på grund av resultat som ditt arbete har bekräftat, och du ska kunna se vilka resultat som orsakade vilken förändring. Formuleringsförmåga och självsäkerhet är inte poängen. Förbättring inom forskning syns som färre körningar på angreppssätt som teamet redan vet misslyckas, bättre förstaval i återkommande beslut och färre korrigeringar för samma typ av fel.

I MS Duplex är måttet utfallet. Ett test går igenom, en mätning kommer tillbaka, en expert godkänner en slutsats eller korrigerar den och säger varför. Det är de bekräftade utfallen som dina agenter lär sig av, och det är också mot dem som varje förändring i beteendet bedöms. Agentens egen uppfattning om hur bra den lyckades är inget belägg.

  • Ett test eller en kontroll som godkänner eller underkänner agentens förslag
  • Ett mät- eller simuleringsresultat från en körning som agenten planerade
  • En experts godkännande av en slutsats
  • En experts korrigering, med skälet bakom den

Ditt team väljer vilka av dessa utfall som MS Duplex fångar, och dina forskare och ingenjörer avgör vad som antas. Dina regler går först.

Hur en agents beteende förändras, omgång för omgång

För teamet förändras inte mycket i vardagen. Dina agenter fortsätter att arbeta genom de verktyg de använder i dag, i Claude, Codex, Cursor, en annan agent som talar MCP, eller dina egna agenter via API och Python SDK. MS Duplex sitter bredvid modellen, vars vikter lämnas som de är, och tar emot utfallen allteftersom de kommer. Varje bekräftat resultat lärs in från och med nästa begäran.

Två förändringar följer. Det som fungerade flyttas längst fram: nästa gång ett liknande fall dyker upp är angreppssättet bakom en bekräftad framgång bland det första agenten provar. Det som misslyckades slutar föreslås under de villkor där det misslyckades. Den andra halvan är lika viktig som den första. En inställning som misslyckas utanför ett känt driftområde kan fungera bra inom det, så MS Duplex behåller villkoren tillsammans med misslyckandet och håller tillbaka inställningen bara där de stämmer överens.

Säg att ett teams agent rekommenderar inställningar för nästa körning av en återkommande utvärdering. Under några omgångar skulle mönstret kunna se ut så här:

  1. En blandad första omgångAgenten rekommenderar inställningar för åtta körningar. Fem klarar teamets acceptanskontroll. Tre misslyckas, alla med samma inställning driven förbi det område där metoden håller. Teamet bekräftar båda uppsättningarna av resultat.
  2. En snävare andra omgångAgenten utgår från inställningarna bakom de fem framgångarna och utelämnar den misslyckade inställningen där villkoren stämmer. Färre körningar går till ett utfall som teamet redan har sett.
  3. En korrigering med ett skälEn granskare korrigerar en rekommendation och noterar varför: en kontroll som agenten hoppade över spelar roll för den här typen av indata. Från och med nästa begäran tar agenten med den kontrollen för liknande indata.
  4. Ett bättre första valEn ovanlig kombination lyckas där det vanliga förstavalet inte räckte till. Det nya angreppssättet tar plats längst fram, kopplat till den körning som motiverade det.
  5. En granskning med historiken öppenTeamledaren öppnar historiken och ser varje förändring i agentens beteende, när den skedde och vilka utfall som orsakade den.

Inget av detta väntade på en träningskörning, en förberedd datamängd eller på att någon skulle skriva om agentens instruktioner. Agenten blev bättre mellan granskningarna, eftersom beläggen fortsatte att komma in mellan granskningarna.

En trappa av fyrkantiga block på en sockel i grafit, grov grafit längst ned, finare satinerat silver högre upp och ett koboltblått block som översta steg.En trappa av fyrkantiga block på en sockel i grafit, grov grafit längst ned, finare satinerat silver högre upp och ett koboltblått block som översta steg.
En trappa av fyrkantiga block som stiger från grov grafit längst ner, via finare satinerat silver, till ett koboltblått översta steg: varje omgång bekräftat arbete låter agenten börja ett steg högre än förra gången.

Från ett verifierat resultat till en metod som teamet återanvänder

En del av det en agent lär sig är en preferens: prova det här först, håll tillbaka det där här. En del är en hel procedur. En forskare landar i en följd av kontroller som fångar dålig indata innan den förbrukar en körning, eller ett sätt att förbereda data som gör en jämförelse mellan konstruktioner rättvis. När ett test eller en expert bekräftar att proceduren fungerar behåller MS Duplex den som en metod, med dess steg, de villkor de bekräftades under och resultatet som bevisade dem.

En metod används på ett av två sätt, beroende på hur nära nästa fall ligger.

Nästa liknande fall

Där villkoren stämmer med dem som metoden bekräftades under tillämpar agenten den direkt. En kollegas agent på samma typ av uppgift får samma beprövade steg, så resultatet beror mindre på vem som råkade utföra arbetet.

Ett närliggande fall

Där något skiljer sig, till exempel ett nytt indataformat, ett annat verktyg eller ett bredare driftområde, anpassar MS Duplex metoden till de nya villkoren och föreslår den för kontroll innan någon förlitar sig på den. När den anpassade versionen är bekräftad blir den en egen metod. Med tiden bygger ett team upp en familj av besläktade metoder, var och en kopplad till resultatet som bevisade den.

Metoder som ditt team litar på delas med de personer och agenter som dina regler tillåter. En metod kan stanna hos en forskare, delas med ett team eller bli standard i hela organisationen. Var och en verifieras på nytt där den används, så en procedur som bevisats i ett sammanhang kontrolleras igen i nästa innan man litar på den där. En ny teammedlems agent börjar med teamets bästa metoder redan på plats, och när en expert går vidare stannar de metoder experten tog fram kvar hos teamet.

En uppsättning kugghjul i ingrepp på en platta i grafit, där ett koboltblått huvudkugghjul driver kugghjul i satinerat silver av olika storlekar.En uppsättning kugghjul i ingrepp på en platta i grafit, där ett koboltblått huvudkugghjul driver kugghjul i satinerat silver av olika storlekar.
Ett koboltblått huvudkugghjul som driver kugghjul i satinerat silver av olika storlek på en platta i grafit: en verifierad metod, anpassad för att driva de närliggande fallen runt den.

Se varför agenten förändrades

En förbättring som ditt team inte kan spåra är svår att lita på och ännu svårare att försvara inför dem som finansierar arbetet. MS Duplex dokumenterar varje förändring i beteendet: vad agenten nu gör annorlunda, sedan när och vilka utfall som motiverade den. Varje metod behåller resultatet den vilar på. När en teamledare frågar varför agenten planerar bättre körningar den här månaden än förra, finns svaret i historiken, med sina källor.

Historiken är också hur ett misstag rättas. Säg att en förändring vilade på ett enda resultat som senare visade sig tveksamt. Teamet tar bort just den lärdomen, och rekommendationerna som berodde på den försvinner med den, medan allt annat agenten har lärt sig finns kvar. Att korrigera en lärdom fungerar på samma sätt: bara den lärdomen ändras.

När angreppssätt bevisar sitt värde kan fler rutinbeslut avgöras direkt utifrån inlärda metoder, ofta helt utan modellanrop. Där beläggen är tunna eller fallet är obekant går beslutet till din modell eller till en forskare, med skälet.

  • +16 poängträffsäkrare än en modell finjusterad för uppgiften, i återkommande arbete, utan någon träningskörning, i MatterSpaces kontrollerade tester

Den siffran kommer från MatterSpaces kontrollerade tester av MS Duplex på återkommande arbete. Den visar vad inlärning från bekräftade utfall kan åstadkomma bredvid en modell. Vad den gör för ditt team är en fråga för ditt eget arbete, bedömd av dina egna experter.

Så bedömer du det på ditt eget arbete

Det rättvisa testet av en agent som blir bättre med användning är återkommande arbete som ditt team redan gör, mätt så som dina experter skulle mäta det.

  • Välj beslut som upprepas och där en felaktig eller onödig körning är dyr. Förbättring är lättast att se där samma typ av val återkommer ofta.
  • Kom överens med dina experter om måttet innan något körs: kostnaden för varje godkänt, reproducerbart resultat, och den experttid det kräver.
  • Kör samma modell, verktyg, data och budget med och utan MS Duplex, sida vid sida.
  • Låt dina experter bedöma resultaten blint, utan att veta vilken uppsättning som gav dem.
  • Läs historiken lika väl som poängen: misstag som slutar upprepas, korrigeringar som ingen behöver göra två gånger och metoder som når nya teammedlemmar.

En pilot med MatterSpace följer det mönstret, på dina egna arbetsflöden, med dina experter som domare.

Vanliga frågor

Blir agenten bättre utan att någon granskar den?

Den blir bättre av de utfall som ditt team väljer att fånga, till exempel tester, mätningar och expertkorrigeringar, så den fortsätter att bli bättre mellan granskningarna. Dina forskare och ingenjörer avgör vad som antas, dina regler går först och i styrda miljöer väntar de steg du väljer på en person innan de körs.

Vad är skillnaden mellan en lärdom och en metod?

En lärdom ändrar vad agenten provar eller håller tillbaka i en given situation, till exempel en inställning som misslyckades under vissa villkor. En metod är en hel procedur som bekräftats fungera, sparad med sina steg, sina villkor och resultatet som bevisade den, så att den kan tillämpas direkt eller anpassas till ett närliggande fall.

Måste vi finjustera vår modell?

Nej. MS Duplex arbetar bredvid modellen, vars vikter lämnas som de är, så det finns ingen datamängd att förbereda och ingen träningskörning att vänta på. Den fungerar bredvid en finjusterad modell lika väl som bredvid en generell.

Vad händer med det agenten har lärt sig om vi byter modell?

Det stannar hos ditt team. Erfarenheten finns i MS Duplex, i ett datalager som din organisation äger, så en ny modell eller agent börjar från de metoder och lärdomar som ditt team redan har bekräftat.

Byggt av MatterSpace

MatterSpace bygger MS Duplex för forskare, vetenskapare och ingenjörer inom alla fält, så att den AI de redan använder lär sig av varje resultat de bekräftar.

Läs vidare

Låt nästa körning dra nytta av den förra.

Kom till oss med den forskning som din AI borde bli bättre på. Vi planerar en pilot på dina egna arbetsflöden, med dina experter som domare.