Spring til indhold
Advancing Bits to Master Atoms
← Alle indlæg

MS Duplex8 min. læsetid

Agenter, der bliver bedre med brug, målt på dine egne resultater.

Sådan får MS Duplex de agenter, dit team allerede bruger, til at blive bedre for hver arbejdsrunde, og sådan bliver ét verificeret resultat til en metode, de genbruger og tilpasser.

Et stemmejern i grafit med en koboltblå skærekant, der hviler diagonalt på en flad slibesten i satinsølv.Et stemmejern i grafit med en koboltblå skærekant, der hviler diagonalt på en flad slibesten i satinsølv.

De fleste forskningsteams bruger nu AI-agenter til tilbagevendende arbejde: at rangere kandidater, anbefale indstillinger til næste kørsel, planlægge en batch, gennemgå en analyse. Arbejdet gentager sig hver uge. I de fleste opsætninger forbliver agenten, som den var. Ved sin hundrede opgave opfører den sig, som den gjorde ved sin første, og den fejl, en ekspert rettede sidste måned, vender tilbage denne måned.

Dette indlæg handler om agenter, der bliver bedre med brug: hvad det bør betyde for et forskningsteam, hvordan MS Duplex får det til at ske med de agenter, du allerede kører, hvordan ét verificeret resultat bliver til en metode, hele teamet genbruger, og hvordan du vurderer forbedringen på dit eget arbejde.

Hvad »bedre med brug« bør betyde

For et forskningsteam er den nyttige test snæver. Agentens adfærd bør ændre sig på grund af resultater, dit arbejde har bekræftet, og du bør kunne se, hvilke resultater der forårsagede hvilken ændring. Sproglig lethed og selvsikkerhed er ikke det afgørende. Forbedring i forskning viser sig som færre kørsler brugt på tilgange, teamet allerede ved fejler, bedre førstevalg ved tilbagevendende beslutninger og færre rettelser af den samme slags fejl.

I MS Duplex er målestokken resultatet. En test bestås, en måling kommer tilbage, en ekspert godkender en konklusion eller retter den og siger hvorfor. Disse bekræftede resultater er det, dine agenter lærer af, og de er også det, hver ændring i adfærd vurderes ud fra. Agentens egen opfattelse af, hvor godt den klarede sig, er ikke evidens.

  • En test eller kontrol, som agentens forslag består eller ikke består
  • Et måle- eller simuleringsresultat fra en kørsel, agenten planlagde
  • En eksperts godkendelse af en konklusion
  • En eksperts korrektion med begrundelsen bag den

Dit team vælger, hvilke af disse resultater MS Duplex registrerer, og dine forskere og ingeniører afgør, hvad der tages i brug. Dine regler kommer først.

Sådan ændrer en agents adfærd sig, runde for runde

For teamet ændrer dagen sig kun lidt. Dine agenter arbejder fortsat gennem de værktøjer, de bruger i dag, i Claude, Codex, Cursor, en anden agent, der taler MCP, eller dine egne agenter via API og Python SDK. MS Duplex sidder ved siden af modellen, med dens vægte uændrede, og tager imod resultaterne, efterhånden som de kommer. Hvert bekræftet resultat læres fra næste forespørgsel og frem.

To ændringer følger. Det, der virkede, rykker frem: næste gang et lignende tilfælde dukker op, er tilgangen bag en bekræftet succes blandt de første ting, agenten prøver. Det, der fejlede, holder op med at blive foreslået under de betingelser, hvor det fejlede. Den anden halvdel betyder lige så meget som den første. En indstilling, der fejler uden for et kendt driftsområde, kan være fin inden for det, så MS Duplex gemmer betingelserne sammen med fejlen og holder kun indstillingen tilbage, hvor de matcher.

Sig, at et teams agent anbefaler indstillinger til næste kørsel af en tilbagevendende evaluering. Over nogle runder kunne mønsteret se sådan ud:

  1. En blandet første rundeAgenten anbefaler indstillinger til otte kørsler. Fem består teamets acceptkontrol. Tre fejler, alle med den samme indstilling skubbet ud over det område, hvor metoden holder. Teamet bekræfter begge sæt resultater.
  2. En snævrere anden rundeAgenten tager udgangspunkt i indstillingerne bag de fem succeser og udelader den fejlende indstilling, hvor betingelserne matcher. Færre kørsler går til et resultat, teamet allerede har set.
  3. En korrektion med en begrundelseEn bedømmer retter én anbefaling og registrerer hvorfor: en kontrol, agenten sprang over, har betydning for denne slags input. Fra næste forespørgsel medtager agenten den kontrol på lignende input.
  4. Et bedre førstevalgEn usædvanlig kombination lykkes, hvor det sædvanlige førstevalg kom til kort. Den nye tilgang indtager pladsen forrest, knyttet til den kørsel, der begrundede den.
  5. En gennemgang med dokumentationen åbenLederen åbner dokumentationen og ser hver ændring i agentens adfærd, hvornår den skete, og hvilke resultater der forårsagede den.

Intet af dette ventede på en træningskørsel, et forberedt datasæt eller på, at nogen omskrev agentens instruktioner. Agenten blev bedre mellem gennemgangene, fordi evidensen blev ved med at komme mellem gennemgangene.

En trappe af firkantede blokke på en grafitsokkel, ru grafit nederst, finere satinsølv højere oppe og en koboltblå blok som øverste trin.En trappe af firkantede blokke på en grafitsokkel, ru grafit nederst, finere satinsølv højere oppe og en koboltblå blok som øverste trin.
En trappe af firkantede blokke, der rejser sig fra ru grafit forneden gennem finere satinsølv til et koboltblåt øverste trin: hver runde bekræftet arbejde lader agenten starte et trin højere end sidst.

Fra ét verificeret resultat til en metode, teamet genbruger

Noget af det, en agent lærer, er en præference: prøv dette først, hold dét tilbage her. Noget af det er en hel procedure. En forsker lander på en række kontroller, der fanger et dårligt input, før det bruger en kørsel, eller en måde at forberede data på, der gør en sammenligning mellem designs fair. Når en test eller en ekspert bekræfter, at proceduren virker, gemmer MS Duplex den som en metode, med dens trin, de betingelser, de blev bekræftet under, og det resultat, der beviste dem.

En metode bruges på en af to måder, afhængigt af hvor tæt det næste tilfælde ligger.

Det næste lignende tilfælde

Hvor betingelserne matcher dem, metoden blev bekræftet under, anvender agenten den direkte. En kollegas agent på den samme slags opgave får de samme gennemprøvede trin, så resultatet afhænger mindre af, hvem der tilfældigvis udførte arbejdet.

Et beslægtet tilfælde

Hvor noget er anderledes, såsom et nyt inputformat, et andet værktøj eller et bredere driftsområde, tilpasser MS Duplex metoden til de nye betingelser og foreslår den til kontrol, før nogen forlader sig på den. Når den tilpassede version er bekræftet, bliver den en selvstændig metode. Med tiden opbygger et team en familie af beslægtede metoder, hver knyttet til det resultat, der beviste den.

Metoder, dit team har tillid til, deles med de personer og agenter, dine regler tillader. En metode kan blive hos én forsker, deles med et team eller blive standard i hele organisationen. Hver metode verificeres igen dér, hvor den bruges, så en procedure, der er bevist i én sammenhæng, kontrolleres igen i den næste, før man stoler på den dér. Et nyt teammedlems agent starter med teamets bedste metoder allerede på plads, og når en ekspert går videre, bliver de metoder, vedkommende har udarbejdet, hos teamet.

Et sæt tandhjul i indgreb på en grafitplade, hvor ét koboltblåt hovedtandhjul driver tandhjul i satinsølv af forskellig størrelse.Et sæt tandhjul i indgreb på en grafitplade, hvor ét koboltblåt hovedtandhjul driver tandhjul i satinsølv af forskellig størrelse.
Et koboltblåt drivhjul, der driver tandhjul i satinsølv i forskellige størrelser på en plade i grafit: én verificeret metode, tilpasset til at drive de beslægtede tilfælde omkring den.

Se, hvorfor agenten ændrede sig

En forbedring, dit team ikke kan spore, er svær at stole på og endnu sværere at forsvare over for dem, der finansierer arbejdet. MS Duplex dokumenterer hver ændring i adfærd: hvad agenten nu gør anderledes, siden hvornår, og hvilke resultater der begrundede den. Hver metode bevarer det resultat, den bygger på. Når en leder spørger, hvorfor agenten planlægger bedre kørsler denne måned end sidste, står svaret i dokumentationen med kilderne.

Dokumentationen er også den måde, en fejl bliver rettet på. Sig, at én ændring byggede på et enkelt resultat, der senere viste sig tvivlsomt. Teamet fjerner den ene lektie, og de anbefalinger, der afhang af den, forsvinder med den, mens alt andet, agenten har lært, bliver. At rette en lektie fungerer på samme måde: kun den lektie ændres.

Efterhånden som tilgange beviser deres værd, kan flere rutinebeslutninger afgøres direkte ud fra lærte metoder, ofte helt uden modelkald. Hvor evidensen er tynd, eller tilfældet er ukendt, går beslutningen til din model eller til en forsker, med begrundelsen.

  • +16 ptsmere præcis end en model finjusteret til opgaven, på tilbagevendende arbejde, uden nogen træningskørsel, i MatterSpaces kontrollerede test

Det tal stammer fra MatterSpaces kontrollerede test af MS Duplex på tilbagevendende arbejde. Det viser, hvad læring fra bekræftede resultater kan gøre ved siden af en model. Hvad det gør for dit team, er et spørgsmål for dit eget arbejde, vurderet af dine egne eksperter.

Sådan vurderer du det på dit eget arbejde

Den fair test af en agent, der bliver bedre med brug, er tilbagevendende arbejde, dit team allerede udfører, målt sådan som dine eksperter ville måle det.

  • Vælg beslutninger, der gentager sig, og hvor en forkert eller unødvendig kørsel er dyr. Forbedring er lettest at se, hvor den samme slags valg ofte vender tilbage.
  • Aftal målestokken med dine eksperter, før noget kører: omkostningen ved hvert accepteret, reproducerbart resultat og den eksperttid, det kræver.
  • Kør den samme model og de samme værktøjer, data og budget med og uden MS Duplex, side om side.
  • Lad dine eksperter score resultaterne blindt, uden at vide, hvilken opsætning der frembragte dem.
  • Læs dokumentationen såvel som scorerne: fejl, der holder op med at gentage sig, rettelser, ingen behøver at lave to gange, og metoder, der når ud til nye teammedlemmer.

Et pilotprojekt med MatterSpace følger det mønster, på dine egne arbejdsgange, med dine eksperter som dommere.

Almindelige spørgsmål

Bliver agenten bedre, uden at nogen gennemgår den?

Den bliver bedre ud fra de resultater, dit team vælger at registrere, såsom test, målinger og ekspertkorrektioner, så den bliver ved med at blive bedre mellem gennemgangene. Dine forskere og ingeniører afgør, hvad der tages i brug, dine regler kommer først, og i styrede miljøer venter de trin, du vælger, på en person, før de kører.

Hvad er forskellen på en lektie og en metode?

En lektie ændrer, hvad agenten prøver eller holder tilbage i en given situation, såsom en indstilling, der fejlede under bestemte betingelser. En metode er en hel procedure, der er bekræftet at virke, gemt med sine trin, sine betingelser og det resultat, der beviste den, så den kan anvendes direkte eller tilpasses et beslægtet tilfælde.

Skal vi finjustere vores model?

Nej. MS Duplex arbejder ved siden af modellen, med dens vægte uændrede, så der er intet datasæt at forberede og ingen træningskørsel at vente på. Den virker lige så vel ved siden af en finjusteret model som ved siden af en generel.

Hvad sker der med det, agenten har lært, hvis vi skifter model?

Det bliver hos dit team. Erfaringen ligger i MS Duplex, i et lager, din organisation ejer, så en ny model eller agent starter fra de metoder og lektier, dit team allerede har bekræftet.

Bygget af MatterSpace

MatterSpace bygger MS Duplex til forskere, videnskabsfolk og ingeniører inden for alle fagområder, så den AI, de allerede bruger, lærer af hvert resultat, de bekræfter.

Fortsæt med at læse

  • Et koboltblåt blokformet modul med rækker af runde porte, placeret oven på en rektangulær base i satinsølv.Et koboltblåt blokformet modul med rækker af runde porte, placeret oven på en rektangulær base i satinsølv.

    MS Duplex8 min. læsetid

    Vi præsenterer MS Duplex: selvforbedrende agenter til forsknings- og ingeniørteams.

    MS Duplex kobles på den AI, dine forskere og ingeniører allerede bruger, og får den til at lære af bekræftede resultater, ekspertkorrektioner og beslutninger. Hvad den er, hvem den er til, og hvordan du kommer i gang.

    Læs indlægget →
  • En skrivebordsbakke i grafit med en stak tynde kort i satinsølv og et enkelt koboltblåt kort med fane, der står oprejst midt i stakken.En skrivebordsbakke i grafit med en stak tynde kort i satinsølv og et enkelt koboltblåt kort med fane, der står oprejst midt i stakken.

    MS Duplex8 min. læsetid

    Derfor glemmer din forsknings-AI, og hvad det koster dit team.

    De fleste AI-værktøjer starter hver session fra det, modellen vidste, da dens træning sluttede. Hvad det koster et forskningsteam, og hvad der ændrer sig, når bekræftede resultater bliver til erfaring.

    Læs indlægget →
  • En stor lukket blok i grafit med et slankt modul i satinsølv monteret på siden, som bærer en lille firkantet koboltblå indikator.En stor lukket blok i grafit med et slankt modul i satinsølv monteret på siden, som bærer en lille firkantet koboltblå indikator.

    MS Duplex8 min. læsetid

    Læring af hvert bekræftet resultat, uden træningskørsel.

    Sådan sammenligner MS Duplex sig med finjustering for forskningsteams: hvad hver af dem er god til, hvorfor en rettelse gælder fra næste forespørgsel, og hvordan én lektie ændres eller fjernes for sig.

    Læs indlægget →

Lad den næste kørsel drage nytte af den forrige.

Kom til os med den forskning, din AI skal blive bedre til. Vi planlægger et pilotprojekt på dine egne arbejdsgange, med dine eksperter som dommere.