Spring til indhold
Advancing Bits to Master Atoms
← Alle indlæg

MS Duplex8 min. læsetid

Sådan evaluerer du en selvforbedrende AI: seks spørgsmål til forskningsledere.

En købsguide til ledere inden for forskning og ingeniørarbejde: seks spørgsmål, du kan stille til enhver AI, der hævder at lære, hvordan et godt svar ser ud, og hvordan MS Duplex besvarer hvert af dem.

En skydelære i satinsølv, der holder en koboltblå terning mellem sine kæber på en planplade i grafit.En skydelære i satinsølv, der holder en koboltblå terning mellem sine kæber på en planplade i grafit.

Flere AI-værktøjer siger nu, at de lærer. For et forskningsteam dækker det ord over meget forskellige ting: en notefil, assistenten genlæser, en søgning i tidligere dokumenter, en model, der er gentrænet på teamets data, eller et system, der ændrer sin adfærd, efterhånden som resultaterne kommer ind. Hver af dem har sine anvendelser. De giver ikke et team det samme, og en kort demo viser sjældent forskellen.

Denne guide er til den forsknings- eller ingeniørleder, der skal træffe beslutningen. Den opstiller seks spørgsmål, du kan stille til enhver AI, der hævder at lære, og beskriver, hvordan et godt svar ser ud for hvert af dem. Derefter besvarer den dem for MS Duplex, så du kan holde os op på den samme standard som alle andre.

Derfor fortjener »den lærer« et nærmere blik

Når en AI lærer af dit arbejde, begynder den at handle på ting, som ingen skrev i prompten den dag. Det er pointen. Det er også derfor, et lærende system kræver skarpere spørgsmål end et statisk. En model, der opfører sig ens ved hver forespørgsel, kan gennemgås én gang. Et system, der ændrer sig med brug, skal forblive muligt at gennemgå, mens det ændrer sig.

De almindelige tilgange besvarer hver en del af dette. Instruktionsfiler og noter bevarer det, nogen har skrevet ned, og er kun så aktuelle som den seneste redigering. Retrieval henter passager, der ser relevante ud for det aktuelle tilfælde. Finjustering ændrer, hvad en model ved over hele linjen, via et forberedt datasæt og en træningskørsel, og den passer godt, når det er målet. Før et system begynder at forme beslutninger, bør dit team vide, hvilken af disse det køber, eller hvad det tilføjer ved siden af dem.

Prisen for et dårligt valg viser sig senere, i arbejdet. En agent gentager et fejlslagent trin, fordi en lektie ikke satte sig fast. En forældet værdi overlever i en anbefaling, fordi ingen kunne finde ud af, hvor den kom fra. Et team bliver på en ældre model, fordi et skift ville betyde, at det mistede det, det havde lært den gamle. Spørgsmålene nedenfor afdækker de risici før et pilotprojekt, mens de er billige at diskutere.

Seks spørgsmål, du kan stille til enhver AI, der hævder at lære

Stil dem til hvert system på din liste. Bed om en demonstration på et tilfælde, dit team vælger, og om dokumentationen bag hvert svar.

  1. Hvad lærer den af?Et godt svar nævner inputtene: bekræftede resultater, målinger, ekspertkorrektioner med deres begrundelser, godkendte beslutninger. Vær forsigtig, hvis svaret er »alt, hvad brugeren skriver«. I forskning fortjener en strøbemærkning og en bekræftet måling forskellig vægt, og dit team bør afgøre, hvilke resultater der tæller.
  2. Hvordan kan du se, hvorfor dens adfærd ændrede sig?Bed om at se én ændring i adfærd og evidensen for den. Et godt svar viser, hvad agenten nu gør anderledes, siden hvornår, og hvilke resultater der begrundede det. Hvis den eneste forklaring er, at systemet »er blevet bedre«, kan du ikke forsvare den forbedring over for andre.
  3. Hvordan retter eller fjerner du én lektie?Fejl kommer ind i enhver dokumentation: en fejlbehæftet måling, en korrektion, der kun holdt under snævre betingelser. Spørg, hvad der skal til for at rette én lektie, om noget andet ændrer sig, når du gør det, og om en fjernet lektie kan gendannes. Et godt svar indebærer ingen træningskørsel.
  4. Hvad sker der med erfaringen, når du skifter model?Forskningsteams skifter ofte model. Spørg, om erfaringen er bundet til én models vægte eller gemmes ved siden af modellen, og om en ny model starter med det, dit team har opbygget, eller starter forfra.
  5. Hvem ejer det, den lærer, og hvem kan se det?Spørg, hvor erfaringen gemmes, hvem der ejer den, og om den kan eksporteres. Spørg, hvordan deling fungerer i din organisation: om én forskers vaner kan forme alles agenter, og om noget, der er lært af dit arbejde, når ud til en anden virksomhed.
  6. Hvordan vil du vurdere den?En god leverandør foreslår en test på dit eget arbejde, med en målestok, dine eksperter godkender, før noget kører, og resultater, der scores uden kendskab til, hvilken opsætning der frembragte dem. Tal fra andres test viser, hvad der er muligt. Din egen test viser, hvad den gør for dit team.

Sådan svarer MS Duplex om læring og evidens

MS Duplex er et læringslag, der kobles på den AI, et forskningsteam allerede bruger: Claude, Codex, Cursor, enhver agent, der taler MCP, og et teams egne agenter via API og Python SDK. Den lærer ved siden af modellen, med dens vægte uændrede. Sådan besvarer den de to første spørgsmål.

MS Duplex lærer af de resultater og ekspertkorrektioner, dit team vælger at registrere: en test, der bestås, en måling, der kommer tilbage, en konklusion, en ekspert godkender, en korrektion med begrundelsen bag den. Hver lektie gemmes med sin evidens og de betingelser, den blev bekræftet under, og den gælder fra næste forespørgsel. Hvor et nyt tilfælde falder uden for de betingelser, markerer MS Duplex forskellen i stedet for at anvende lektien, som om intet havde ændret sig.

Når en kendsgerning ændrer sig, gælder den nyeste bekræftede værdi, og historikken over ændringen bevares. Det betyder noget for ethvert team, hvis referenceværdier, kalibreringer eller driftsgrænser flytter sig, efterhånden som forskningen gør.

Med hensyn til det andet spørgsmål er hver ændring i en agents adfærd dokumenteret. Det, der virkede, bliver det første, agenten prøver. Det, der fejlede under bestemte betingelser, holder op med at blive foreslået under de betingelser. Hver ændring er knyttet til de resultater, der begrundede den, så når en leder spørger, hvorfor agenten opfører sig bedre i dag end for en måned siden, står svaret i dokumentationen med kilderne.

En rund måler i satinsølv på et grafitstativ med en koboltblå viser, der peger højt på en fint graveret skala.En rund måler i satinsølv på et grafitstativ med en koboltblå viser, der peger højt på en fint graveret skala.
En rund satinsølvfarvet måler på et grafitstativ med en koboltblå viser, der peger højt på en fint graveret skala: en forbedring, der er værd at stole på, måles mod dine egne bekræftede resultater.

MS Duplex holder også skellet mellem det, der er kendt, og det, der er antaget. Den registrerer, hvilken handling der førte til hvilket udfald, under hvilke betingelser, og fortæller dine forskere, når en forbindelse endnu ikke er fastslået. Hvor evidensen er tynd, eller et tilfælde ikke ligner noget, der er set før, overlader den beslutningen til din model eller markerer den til en forsker, med begrundelsen.

Sådan svarer MS Duplex på kontrol, ejerskab og modeller

Rettelse og fjernelse af en lektie

Hver del af erfaringen viser, hvor den kom fra, i én signeret historik, dit team kan gennemgå og eksportere. Ret en lektie, og kun den lektie ændres. Fjern den, og de anbefalinger, der afhang af den, forsvinder med den, mens alt andet bliver. En fjernet lektie kan gendannes, hvis dit team ombestemmer sig. Intet af dette kræver en træningskørsel, fordi intet blev trænet ind i modellen i første omgang.

Dine regler ligger samme sted. MS Duplex holder regler og præferencer adskilt, og begge forbliver synlige i begrundelsen bag et trin. I styrede miljøer, som er understøttede opsætninger med hooks, stoppes et trin, der bryder en regel, før det kører, og de trin, du vælger, såsom en dyr simulering eller en ændring af fælles data, venter på, at en person godkender dem. En ny regel gælder fra næste forespørgsel.

En opretstående cylindrisk kerne af lag i grafit og satinsølv på en grafitbase med én tynd koboltblå tråd, der løber gennem hvert lag.En opretstående cylindrisk kerne af lag i grafit og satinsølv på en grafitbase med én tynd koboltblå tråd, der løber gennem hvert lag.
En opretstående kerne af lag i grafit og satinsølv med én tynd koboltblå tråd, der løber gennem hvert lag: hver lektie bevarer en linje tilbage til sin kilde, og det er det, der gør det muligt at fjerne én lektie for sig.

Ejerskab og modelfrihed

Den erfaring, dit team opbygger, ligger i MS Duplex, i et lager, din organisation ejer, uanset hvilken model eller leverandør du bruger. Med tiden rummer den:

  • Bekræftede resultater, hver med de betingelser, det gælder under
  • Ekspertkorrektioner, hver med sin begrundelse
  • Beslutninger, med evidensen bag dem
  • Verificerede metoder, som dine agenter genbruger og tilpasser
  • Planer, checkpoints og fremskridt i lange kampagner

Fordi den erfaring ligger ved siden af modellen, starter en ny model med det hele fra sin første forespørgsel. Dit team kan bruge én model til svære analyser og en anden til tilbagevendende arbejde i samme projekt, og begge trækker på den samme erfaring.

Inden for din organisation har hver forsker, hvert team og hele organisationen sit eget lag. En forskers eller ingeniørs arbejdsvaner forbliver personlige, det, et team bekræfter, deles med det team, og det, organisationen indfører som standard, gælder overalt. Dine regler afgør, hvad der flyttes mellem lagene, personer og agenter når kun det, deres adgang tillader, og intet af det deles med en anden virksomhed. Hvor MS Duplex kører, og hvordan dine data håndteres, aftales med dine sikkerheds- og dataansvarlige fra den første samtale.

Bedøm den på dit eget arbejde

Det sjette spørgsmål er det afgørende. MS Duplex evalueres gennem et pilotprojekt på dit eget arbejde, ved siden af din nuværende opsætning, og bedømmes af dine eksperter.

Vælg tilbagevendende arbejdsgange, hvor beslutninger gentager sig, og hvor en forkert eller unødvendig kørsel er dyr. Aftal målestokken med dine eksperter, før noget kører: omkostningen ved hvert accepteret, reproducerbart resultat og den eksperttid, det kræver. Kør samme model, værktøjer, data og budget med og uden MS Duplex. Lad derefter dine eksperter bedømme resultaterne uden at vide, hvilken opsætning der frembragte dem.

Hold hvert system, du overvejer, op mod den samme test. En AI, der forbedrer dit arbejde, bør vise det på dit arbejde, med en målestok, du sætter, bedømt af personer, der ikke vidste, hvilket svar der kom hvorfra.

Almindelige spørgsmål

Ændrer MS Duplex den model, vi bruger?

Den lader modellens vægte være, som de er. MS Duplex lærer ved siden af modellen, og derfor gælder en lektie fra næste forespørgsel, derfor kan én lektie rettes for sig, og derfor følger erfaringen med, når du skifter model.

Erstatter MS Duplex finjustering?

Finjustering bevarer sin plads, når det gælder om at ændre, hvad en model ved, over hele linjen. MS Duplex arbejder ved siden af en finjusteret model lige så vel som en generel og får den ene som den anden til at lære af dit teams bekræftede resultater.

Kan vi revidere, hvad AI'en har lært?

Ja. MS Duplex fører en signeret historik over, hvad der blev lært, brugt og godkendt. Dit team kan gennemgå og eksportere den, genopbygge en beslutning ud fra den og inspicere, rette, fjerne eller gendanne enhver lektie.

Hvem bestemmer, hvad AI'en lærer af?

Det gør dit team. MS Duplex lærer af de resultater og rettelser, dit team vælger at registrere, og dine forskere og ingeniører afgør, hvad der indføres. I styrede miljøer venter de trin, du vælger, på en person, før de kører.

Bygget af MatterSpace

MatterSpace bygger MS Duplex til forskere, videnskabsfolk og ingeniører inden for alle fagområder, så den AI, de allerede bruger, lærer af hvert resultat, de bekræfter.

Fortsæt med at læse

  • Et koboltblåt blokformet modul med rækker af runde porte, placeret oven på en rektangulær base i satinsølv.Et koboltblåt blokformet modul med rækker af runde porte, placeret oven på en rektangulær base i satinsølv.

    MS Duplex8 min. læsetid

    Vi præsenterer MS Duplex: selvforbedrende agenter til forsknings- og ingeniørteams.

    MS Duplex kobles på den AI, dine forskere og ingeniører allerede bruger, og får den til at lære af bekræftede resultater, ekspertkorrektioner og beslutninger. Hvad den er, hvem den er til, og hvordan du kommer i gang.

    Læs indlægget →
  • En skrivebordsbakke i grafit med en stak tynde kort i satinsølv og et enkelt koboltblåt kort med fane, der står oprejst midt i stakken.En skrivebordsbakke i grafit med en stak tynde kort i satinsølv og et enkelt koboltblåt kort med fane, der står oprejst midt i stakken.

    MS Duplex8 min. læsetid

    Derfor glemmer din forsknings-AI, og hvad det koster dit team.

    De fleste AI-værktøjer starter hver session fra det, modellen vidste, da dens træning sluttede. Hvad det koster et forskningsteam, og hvad der ændrer sig, når bekræftede resultater bliver til erfaring.

    Læs indlægget →
  • En stor lukket blok i grafit med et slankt modul i satinsølv monteret på siden, som bærer en lille firkantet koboltblå indikator.En stor lukket blok i grafit med et slankt modul i satinsølv monteret på siden, som bærer en lille firkantet koboltblå indikator.

    MS Duplex8 min. læsetid

    Læring af hvert bekræftet resultat, uden træningskørsel.

    Sådan sammenligner MS Duplex sig med finjustering for forskningsteams: hvad hver af dem er god til, hvorfor en rettelse gælder fra næste forespørgsel, og hvordan én lektie ændres eller fjernes for sig.

    Læs indlægget →

Lad den næste kørsel drage nytte af den forrige.

Kom til os med den forskning, din AI skal blive bedre til. Vi planlægger et pilotprojekt på dine egne arbejdsgange, med dine eksperter som dommere.