Hoppa till innehållet
Advancing Bits to Master Atoms
← Alla inlägg

MS Duplex8 min läsning

Hur en forskningsorganisation håller en AI som lär sig ansvarig.

Regler och godkännanden, lager för person, team och organisation, och en historik där varje lärdom behåller sin källa och kan korrigeras eller tas bort för sig.

En tung rund valvdörr i grafit som står något öppen, med låskolvar och gångjärn i satinerat silver och en koboltblå nyckel i det centrala låset.En tung rund valvdörr i grafit som står något öppen, med låskolvar och gångjärn i satinerat silver och en koboltblå nyckel i det centrala låset.

En AI som lär sig av ditt teams arbete förändras över tid. Det är skälet att ha en. Det betyder också att organisationen behöver svar på frågor som den redan ställer om människor: vem lärde den detta, vem kontrollerade det, vem får se det, vem godkände steget den just tog, och hur görs ett misstag ogjort.

En modell som slutar lära sig när träningen är klar väcker färre sådana frågor, eftersom den inte förändras mellan versioner. När bekräftade resultat, expertkorrigeringar och beslut börjar forma vad en agent gör härnäst måste ansvarsskyldigheten växa i takt med inlärningen. Det här inlägget går igenom de kontroller som MS Duplex ger en forskningsorganisation, i den ordning de flesta team sätter upp dem, och de frågor som är värda att avgöra innan en agent börjar lära sig på gemensamt arbete.

Börja med reglerna

Forskning bygger på regler som är lätta att formulera och dyra att bryta: en beräkningsbudget, ett godkänt protokoll, referensdata som bara vissa personer får ändra, en granskning innan ett resultat markeras som slutgiltigt. Bredvid dem finns preferenser: en favoritmetod, en standardinställning, det sätt som en grupp vill ha sina resultat uppställda. Båda spelar roll, och de förtjänar olika behandling.

MS Duplex håller isär regler och preferenser, och båda förblir synliga i resonemanget bakom varje steg, så att den som granskar arbetet kan se vilken av dem som formade det. En preferens kan vägas mot fallet som agenten har framför sig. En regel är en gräns som arbetet håller sig inom.

Hur en regel tillämpas beror på hur MS Duplex är ansluten. Med en standardanslutning anropar din agent MS Duplex för att hämta relevant erfarenhet, och dina regler och preferenser syns i dess resonemang. I en styrd miljö, en konfiguration som stöds och har hooks, passerar de steg du väljer genom MS Duplex innan de körs. Där stoppas ett steg som bryter mot en regel innan det startar, och de steg som ditt team markerar för godkännande, till exempel en dyr simulering eller en ändring av gemensamma data, väntar på en person. Varje godkännande sparas tillsammans med steget det tillät och namnet på personen som gav det.

Regler förändras i takt med forskningen. Ett nytt protokoll eller en ny budgetgräns gäller från och med nästa begäran. Det finns inget att träna om och ingen ny modellversion att validera, eftersom reglerna finns i MS Duplex bredvid modellen, vars vikter lämnas som de är.

En rak kanal i grafit med tre lås i satinerat silver längs den, där det mittersta låset är förseglat med ett koboltblått band.En rak kanal i grafit med tre lås i satinerat silver längs den, där det mittersta låset är förseglat med ett koboltblått band.
En rak kanal i grafit med tre slussar i satinerat silver längs den, där den mittersta slussen är förseglad med ett koboltblått band: arbetet rör sig längs sin vanliga väg, och de steg som ditt team väljer väntar vid en kontroll innan de fortsätter.

Bestäm vem som lär sig vad

Forskningskunskap har ägare. En del av den är en enskild forskares eller ingenjörs sätt att arbeta. En del är ett teams mödosamt vunna resultat. En del är den standard som hela organisationen bör följa. När en AI lär sig i en enda gemensam pool kan en persons vana till slut forma allas agenter, och ett tidigt fynd kan spridas längre än beläggen tillåter. När den inte lär sig något mellan personer återupptäcker varje team det som teamet bredvid redan har bekräftat.

MS Duplex ger varje forskare, varje team och hela organisationen ett eget erfarenhetslager. En forskares agent hämtar från forskarens personliga lager, teamets lager och organisationslagret tillsammans. Personer och agenter når bara den erfarenhet som deras behörighetsområde tillåter, med behörigheter som hålls under dina kontroller. Erfarenhet flyttas mellan lager när dina regler flyttar den, och inget av den delas med något annat företag.

Säg att en forskare märker att hennes agent väljer en analysinställning som misslyckas på en viss typ av indata, och hon korrigerar den. Så här skulle korrigeringen kunna färdas:

  1. En personlig lärdomKorrigeringen sparas med hennes skäl och de villkor den gäller under. Enligt teamets regler börjar en korrigering som denna i hennes personliga lager, så den formar hennes agent och ingen annans.
  2. Bekräftad av teametEn kollega kontrollerar korrigeringen mot teamets egna bekräftade resultat. Den flyttas till teamlagret, och varje agent i teamet tillämpar den från och med nästa begäran.
  3. Delad med ett andra teamEtt närliggande team stöter på samma typ av indata. Det första teamets ledare delar den korrigerade metoden med dem, med källan synlig, och den verifieras på nytt på deras arbete.
  4. Antagen som standardLedningen beslutar att metoden ska gälla i hela organisationen. Där dina regler kräver det väntar ändringen av den gemensamma erfarenheten på en persons godkännande, flyttas sedan till organisationslagret och gäller för varje teams agenter.
  5. Källan följer medI varje steg behåller lärdomen den ursprungliga korrigeringen, beläggen bakom den och historiken över vem som flyttade den. Den som tittar på standarden kan spåra den tillbaka till forskaren som först såg problemet.

Samma struktur skyddar personligt arbete. En forskares eller ingenjörs preferenser, till exempel hur mycket resonemang hennes agent visar före en rangordning, stannar hos hennes egen agent och lämnar alla andras som de var.

För en historik som vem som helst kan återskapa

Inom forskning är en slutsats bara så användbar som beläggen bakom den. En granskare frågar var en siffra kom ifrån. En kollega vill kontrollera ett beslut innan kollegan bygger vidare på det. Ett senare projekt behöver veta vilka antaganden som gällde vid tidpunkten. En AI vars lärdomar saknar källa lämnar var och en av dem utan svar.

I MS Duplex visar varje del av erfarenheten var den kommer ifrån: resultatet, mätningen eller expertbedömningen bakom den, och de villkor den bekräftades under. När en agent rekommenderar ett steg kan ditt team se vilka lärdomar den förlitar sig på. Hela underlaget finns i en enda signerad historik över vad som lärts in, vad som använts och vad som godkänts, och personer inom sitt behörighetsområde kan granska och exportera den. En forskare som inte var med kan återskapa ett beslut utifrån den historiken och kontrollera det själv.

Godkännanden finns i samma historik som lärdomarna. När en projektgranskning frågar varför en kostsam simulering kördes omfattar svaret lärdomen som rekommenderade den, regeln som höll kvar den för godkännande och personen som lät den gå vidare.

Korrigera och ta bort en lärdom

Misstag händer i alla forskningsprogram. En mätning visar sig komma från en felaktig uppställning, eller en experts korrigering gällde bara under snävare villkor än någon skrev ned. När kunskap tränas in i en modells vikter kräver det en ny träningskörning att rätta en enda sak, och annan kunskap kan slitas ned på vägen. Finjustering har sin plats för att ändra vad en modell kan över hela linjen; den passar bättre för breda förändringar än för att ta bort en enda felaktig lärdom.

I MS Duplex står varje lärdom för sig. Korrigera en lärdom så ändras bara den lärdomen, och agentens nästa rekommendation använder den korrigerade versionen. Ta bort en lärdom så försvinner rekommendationerna som berodde på den, medan allt annat förblir som det var. Om teamet senare kommer fram till att lärdomen var riktig kan den återställas. När en ny mätning ersätter en gammal gäller det senaste bekräftade värdet, och historiken över vad som ändrats sparas.

En upprätt cylindrisk kärna av skikt i grafit och satinerat silver på en bas i grafit, med en enda tunn koboltblå tråd som löper genom varje skikt.En upprätt cylindrisk kärna av skikt i grafit och satinerat silver på en bas i grafit, med en enda tunn koboltblå tråd som löper genom varje skikt.
En upprätt cylindrisk kärna av skikt i grafit och satinerat silver, med en enda tunn koboltblå tråd som löper genom varje skikt: varje lärdoms källa löper genom hela historiken, så att varje del av arbetet kan spåras tillbaka och kontrolleras.

Frågor att avgöra innan en agent lär sig på gemensamt arbete

Det mesta av styrningsarbetet är organisatoriskt. MS Duplex ger ditt team kontrollerna, och ditt team avgör hur de ska användas. Besvara dessa skriftligt innan agenter börjar lära sig på arbete som flera personer förlitar sig på.

  • Vilka regler som är regler, och vilka som är preferenser. Skriv reglerna som gränser som arbetet måste hålla sig inom, och behåll vanor och standardval som preferenser.
  • Vilka steg som väntar på en person. Dyra simuleringar och ändringar av gemensamma data är de vanliga första kandidaterna, och godkännanden gäller i styrda miljöer.
  • Vad som förblir personligt, vad som delas med ett team och vad som antas som organisationsstandard.
  • Vem som får flytta erfarenhet mellan lager, och om en ändring i organisationslagret kräver ett godkännande.
  • Vem som granskar historiken, och vem som får korrigera, ta bort eller återställa en lärdom.
  • Var MS Duplex körs och hur dina data hanteras. Detta avtalas med dina säkerhets- och dataansvariga från första samtalet.

Vanliga frågor

Stoppar MS Duplex ett steg innan det körs?

I en styrd miljö, en konfiguration som stöds och har hooks, ja: ett steg som bryter mot en regel stoppas, och de steg du markerar för godkännande väntar på en person. Med en standardanslutning anropar agenten MS Duplex för relevant erfarenhet, och dina regler och preferenser syns i dess resonemang.

Kan en forskares vanor ändra allas agenter?

Personliga preferenser stannar i den forskarens lager och formar bara forskarens egen agent. De når ett team eller organisationen bara när dina regler flyttar dem dit, och de behåller sin källa när det sker.

Vad händer med rekommendationerna när vi tar bort en lärdom?

Rekommendationerna som berodde på den lärdomen försvinner med den, och allt annat förblir som det var. Ändringen sparas i historiken, och lärdomen kan återställas om ditt team ändrar sig.

Delas något av vår erfarenhet med något annat företag?

Nej. Erfarenheten i varje lager tillhör din organisation, oavsett vilken modell eller leverantör du använder, och inget av den delas med något annat företag. Var MS Duplex körs och hur dina data hanteras avtalas med dina säkerhets- och dataansvariga.

Byggt av MatterSpace

MatterSpace bygger MS Duplex för forskare, vetenskapare och ingenjörer inom alla fält, så att den AI de redan använder lär sig av varje resultat de bekräftar.

Läs vidare

Låt nästa körning dra nytta av den förra.

Kom till oss med den forskning som din AI borde bli bättre på. Vi planerar en pilot på dina egna arbetsflöden, med dina experter som domare.