Hoppa till innehållet
Advancing Bits to Master Atoms
← Alla inlägg

MS Duplex9 min läsning

Skilj ett fynd från en aning före nästa kostsamma körning.

Hur MS Duplex registrerar orsak och verkan, spelar igenom alternativen innan beräkningskapacitet eller labbtid läggs, och lämnar de avgöranden den inte kan fatta till din modell eller en forskare.

En lupp i satinerat silver på ett stativ i grafit, hållen ovanför ett litet koboltblått block på stativets trappstegsformade bas i grafit.En lupp i satinerat silver på ett stativ i grafit, hållen ovanför ett litet koboltblått block på stativets trappstegsformade bas i grafit.

Varje forskarteam känner till skillnaden mellan ett resultat det kan bygga vidare på och ett resultat det fick en gång. Det första har bekräftats under kända villkor och håller när någon kontrollerar det. Det andra kan vara en slump. Personer som har arbetat med ett projekt ett tag bär den skillnaden i huvudet. En AI-agent gör det inte som standard: den rekommenderar nästa steg med samma säkra röst oavsett om steget vilar på många bekräftade körningar eller på en enda lyckosam eftermiddag.

Det glappet kostar pengar. En inställning som råkade komma före en framgång upprepas. Ett alternativ som teamet redan har uteslutit föreslås igen. Ett fall som inte liknar något teamet har sett behandlas som rutin, och en dyr körning går åt fel håll. Det här inlägget tittar på tre förmågor i MS Duplex som tillsammans sluter glappet: lära sig orsak och verkan, simulering före handling och beslut som känner sina gränser.

Behåll skälet tillsammans med resultatet

Ett resultat i sig säger vad som hände. Det säger inte varför. Säg att två körningar når målet och att båda använde samma två inställningar. En AI som bara behåller utfall har inget sätt att avgöra vilken inställning som spelade roll, så den rekommenderar båda, och en slump börjar bete sig som en regel.

MS Duplex behåller kopplingen mellan det som gjordes, villkoren det gjordes under och det som hände sedan, med beläggen bakom varje del. När fler bekräftade körningar kommer in blir bilden skarpare. Kanske leder den ena inställningen till målet under teamets vanliga villkor medan den andra inte gjorde någon skillnad. Den första blir en fastställd koppling. Den andra sorteras bort, och nästa rekommendation slutar luta sig mot den.

Det som förändrar ett teams vardag är märkningen. Varje rekommendation visar om kopplingen bakom den är fastställd eller ännu inte fastställd, och för vilka villkor. När en forskare frågar om ett villkor som teamet inte har testat rekommenderar MS Duplex den fastställda inställningen och säger att kopplingen inte har fastställts där. Forskaren ser en aning märkt som en aning.

Varje rekommendation innehåller det en kollega skulle behöva för att kontrollera den:

  • Den rekommenderade åtgärden, och de bekräftade utfall den ledde till
  • De villkor som utfallen bekräftades under
  • Om kopplingen är fastställd för de nuvarande villkoren, eller ännu inte
  • Källorna bakom den, så att en annan forskare kan återskapa rekommendationen

Det gör det okända till en plan. De kopplingar som betyder mest och ännu inte är fastställda är där nästa experiment gör störst nytta. Ett team kan köra det otestade fallet som ett medvetet test, och det bekräftade resultatet utvidgar antingen kopplingen till det nya villkoret eller markerar var den slutar gälla. Hur det än blir återspeglar nästa rekommendation det.

En förgrenad rad av upprättstående grafitbrickor på en mörk sockel, med en koboltblå bricka i början och en väg av fallna silverbrickor som leder in i en enda gren.En förgrenad rad av upprättstående grafitbrickor på en mörk sockel, med en koboltblå bricka i början och en väg av fallna silverbrickor som leder in i en enda gren.
En förgrenad rad av stående brickor i grafit, en koboltblå bricka i början och en bana av fallna silverbrickor som leder in i en enda gren: en åtgärd följd hela vägen till det utfall den ledde till, medan de andra grenarna står kvar.

Spela igenom alternativen innan budgeten är förbrukad

De flesta forskningsbudgetar förbrukas ett val i taget: en lång simulering på delad beräkningskapacitet, ett experiment som använder knappt material eller instrumenttid, en designgranskning som tar en expert från annat arbete. Var och en är värd att genomföra bara om den kan föra arbetet mot målet. Med en fast budget innebär varje återvändsgränd en körning mindre för ett alternativ som kunde ha fungerat.

Före ett kostsamt steg väger MS Duplex det sannolika utfallet av varje alternativ mot målet, utifrån det som ditt team redan har bekräftat: resultaten, villkoren de gäller under, korrigeringarna dina experter gjorde och körningarna som misslyckades. Alternativ som inte kan nå målet, eller som redan har misslyckats under samma villkor, sorteras bort innan något läggs på dem. Dina simulatorer, instrument och din analyskod producerar fortfarande resultaten. MS Duplex hjälper till att avgöra vilka körningar som är värda att göra.

Säg att ett team har budget för tre långa körningar den här omgången och nio kandidatdesigner på listan. En omgång kan se ut så här:

  1. Listan kommer inAgenten föreslår nio designer för omgången, var och en med de inställningar den skulle köras med.
  2. Var och en vägsMS Duplex spelar igenom varje design mot målet, utifrån teamets bekräftade resultat och villkoren de gäller under.
  3. Återvändsgränder sorteras bortTvå designer upprepar en kombination som redan har misslyckats under samma villkor, och en bygger på en inställning som en expert korrigerade tidigare i projektet. Var och en sorteras bort med sitt skäl.
  4. Tunna belägg flaggasFör två andra designer talar teamets erfarenhet ännu inte för den ena framför den andra. Det valet går till modellen eller till teamledaren, med en anteckning om vad som saknas.
  5. Tre körningar genomförsDe mest lovande designerna körs genom teamets egna verktyg. I en styrd miljö kan en körning över teamets kostnadsgräns först vänta på en persons godkännande.
  6. Nästa omgång börjar längre framResultaten bekräftas, resonemanget bakom varje körning och varje bortsorterad design finns kvar i historiken, och nästa omgång börjar från det som den här visade.

Historiken är lika viktig som valet. En ledare som godkänner en kostsam körning kan se varför den valdes framför alternativen. En forskare som kommer in i projektet senare kan se varför en design som såg lovande ut sorterades bort, och om skälet fortfarande gäller.

Avgör det som är känt, lämna vidare det som inte är det

Mycket av ett forskarteams AI-arbete är samma beslut som fattas om och om igen: vilken inställning som passar en välbekant analys, om en kandidat klarar en känd screening, vilken metod som passar ett standardfall. Att skicka vart och ett av dem genom en modell kostar anrop och tid, och svaret kan glida mellan körningar även när fallet är detsamma.

Där en metod som ditt team har bekräftat tydligt är tillämplig, under matchande villkor, fattar MS Duplex beslutet direkt och konsekvent, ofta helt utan modellanrop. Varje beslut hänvisar till metoden och beläggen bakom den. Där beläggen är tunna går beslutet till din modell för att resonera igenom, med en anteckning om vad som saknas. Där fallet inte liknar något som ditt team har bekräftat flaggas det för en forskare, med skälet.

Nästa gång fallet dyker upp

En forskares beslut i ett flaggat fall lärs in med sitt skäl. När ett liknande fall kommer under samma villkor kan MS Duplex avgöra det direkt, och experten slipper samma fråga. Varje bekräftat beslut utvidgar den uppsättning fall som teamet kan avgöra utan att fråga, och de överlämningar som återstår är de som behöver en person.

  • −89%färre modellanrop än en modell som finjusterats för uppgiften, i återkommande arbete, i MatterSpaces kontrollerade tester

Den siffran kommer från MatterSpaces kontrollerade tester på återkommande arbete, där beslut som en inlärd metod avgör inte behöver något modellanrop. Den visar var besparingarna kommer ifrån: modellkostnaderna går till de fall som kräver resonemang. En pilot mäter vad den gör på ditt eget arbete.

En sorteringsgrind i satinerat silver på en ram i grafit, där silverkulor faller rakt ned genom mitten medan koboltblå kulor leds av ned i en sidoränna.En sorteringsgrind i satinerat silver på en ram i grafit, där silverkulor faller rakt ned genom mitten medan koboltblå kulor leds av ned i en sidoränna.
En sorteringsgrind i satinerat silver på en ram i grafit, där silverkulor faller rakt ned genom mitten medan koboltblå kulor leds av ned i en sidoränna: rutinfall går rakt igenom, och de ovanliga skickas till modellen eller den person som bör ta dem.

Vad som förändras för dem som leder arbetet

De tre förmågorna vilar på samma historik, så var och en stärker de andra. Det som teamet lär sig om orsak och verkan är det som varje alternativ vägs mot före ett kostsamt steg. Där beläggen tydligt talar för ett alternativ avgörs valet direkt. Där de är tunna går det till en person. Varje utfall som kommer tillbaka bidrar till de kopplingar som nästa val bygger på.

För en forskningsledare märks förändringen på några konkreta ställen:

  • Rekommendationer som säger om de vilar på en fastställd koppling eller på ett antagande.
  • Kostsamma körningar som väljs med alternativen och skälen registrerade.
  • Experttid som läggs på de avgöranden som behöver en expert, vart och ett med en anteckning om varför det skickades.
  • Rutinbeslut som fattas konsekvent när samma fall dyker upp under samma villkor.
  • Modellkostnader som riktas till de fall som kräver resonemang.

Om en koppling visar sig vara fel kan teamet korrigera den eller ta bort den för sig. Ta bort den så försvinner de rekommendationer som berodde på den, medan allt annat förblir som det var.

Att bedöma den på dina egna beslut

Det rättvisa testet är det arbete som ditt team redan upprepar. Välj återkommande arbetsflöden där beslut dyker upp om och om igen och där en felaktig eller onödig körning är dyr. Kom överens med dina experter om måttet innan något körs: kostnaden för varje godkänt, reproducerbart resultat, och den experttid det kräver. Kör sedan samma modell, verktyg, data och budget med och utan MS Duplex, och låt dina experter poängsätta resultaten utan att veta vilken konfiguration som gav dem.

För den här gruppen av förmågor bör du titta noga på de kostsamma körningar som gick till alternativ som teamet redan hade uteslutit, på om varje överlämning nådde rätt person med ett användbart skäl, och på om en forskare kan återskapa en rekommendation utifrån historiken utan hjälp.

Vanliga frågor

Hur vet MS Duplex att en koppling är fastställd?

Den behandlar en koppling mellan en åtgärd och ett utfall som fastställd bara så långt som ditt teams bekräftade resultat stöder den, och bara för de villkor de bekräftades under. Utanför de villkoren säger rekommendationen att kopplingen ännu inte har fastställts.

Ersätter simulering före handling våra simulatorer?

Dina simulatorer, instrument och din analyskod producerar fortfarande resultaten. Simulering före handling hjälper till att avgöra vilka körningar som är värda att göra, genom att väga varje alternativ mot målet och mot det som ditt team redan har bekräftat.

Vem fattar de beslut som MS Duplex inte avgör?

Fall som kräver resonemang går till din modell, med en anteckning om vilka belägg som saknas. Fall som inte liknar något som ditt team har bekräftat flaggas för en forskare. Forskarens beslut lärs in med sitt skäl, så att nästa liknande fall kan avgöras direkt.

Kan en person fortfarande godkänna en kostsam körning?

Ja. I styrda miljöer väntar de steg som ditt team väljer, till exempel en dyr simulering, på en persons godkännande innan de börjar, och godkännandet registreras med vem som godkände vad.

Byggt av MatterSpace

MatterSpace bygger MS Duplex för forskare, vetenskapare och ingenjörer inom alla fält, så att den AI de redan använder lär sig av varje resultat de bekräftar.

Läs vidare

Låt nästa körning dra nytta av den förra.

Kom till oss med den forskning som din AI borde bli bättre på. Vi planerar en pilot på dina egna arbetsflöden, med dina experter som domare.