Ga naar de inhoud
Advancing Bits to Master Atoms
← Alle artikelen

MS Duplex8 min. leestijd

Hoe een onderzoeksorganisatie een AI die leert verantwoordbaar houdt.

Regels en goedkeuringen, persoonlijke, team- en organisatielagen, en een dossier waarin elke les zijn bron behoudt en afzonderlijk kan worden gecorrigeerd of verwijderd.

Een zware ronde grafietkleurige kluisdeur die op een kier staat, met satijnzilveren grendels en scharnieren en een kobaltblauwe sleutel in het middelste slot.Een zware ronde grafietkleurige kluisdeur die op een kier staat, met satijnzilveren grendels en scharnieren en een kobaltblauwe sleutel in het middelste slot.

Een AI die leert van het werk van je team, verandert na verloop van tijd. Daarom wil je er juist een. Het betekent ook dat de organisatie antwoorden nodig heeft op vragen die ze al over mensen stelt: wie heeft het dit geleerd, wie heeft het gecontroleerd, wie mag het zien, wie heeft de stap goedgekeurd die het net zette, en hoe wordt een fout ongedaan gemaakt.

Een model dat stopt met leren aan het eind van zijn training, roept minder van die vragen op, omdat het tussen releases niet verandert. Zodra bevestigde resultaten, correcties van experts en beslissingen gaan bepalen wat een agent hierna doet, moet de verantwoording meegroeien met het leren. Dit artikel loopt de controles langs die MS Duplex een onderzoeksorganisatie geeft, in de volgorde waarin de meeste teams ze inrichten, en de vragen die het waard zijn om te beantwoorden voordat een agent op gedeeld werk begint te leren.

Begin met de regels

Onderzoek draait op regels die makkelijk te formuleren zijn en duur om te overtreden: een rekenbudget, een goedgekeurd protocol, referentiedata die alleen bepaalde mensen mogen wijzigen, een review voordat een resultaat als definitief wordt gemarkeerd. Daarnaast staan voorkeuren: een favoriete methode, een standaardinstelling, de manier waarop een groep haar resultaten graag opgemaakt ziet. Beide doen ertoe, en ze verdienen een verschillende behandeling.

MS Duplex houdt regels en voorkeuren gescheiden, en beide blijven zichtbaar in de redenering achter elke stap, zodat iedereen die het werk beoordeelt kan zien welke van de twee het heeft bepaald. Een voorkeur kan worden afgewogen tegen het geval waar de agent voor staat. Een regel is een grens waarbinnen het werk blijft.

Hoe een regel wordt toegepast, hangt af van hoe MS Duplex is gekoppeld. Met een standaardverbinding roept je agent MS Duplex aan om relevante ervaring op te halen, en verschijnen je regels en voorkeuren in de redenering. In een beheerde omgeving, een ondersteunde opzet met hooks, gaan de stappen die je selecteert via MS Duplex voordat ze draaien. Daar wordt een stap die een regel overtreedt, gestopt voordat hij begint, en wachten de stappen die je team voor goedkeuring markeert, zoals een dure simulatie of een wijziging in gedeelde data, op een persoon. Elke goedkeuring wordt bewaard bij de stap die ze toestond, met de naam van de persoon die ze gaf.

Regels veranderen mee met het onderzoek. Een nieuw protocol of een nieuwe budgetgrens geldt vanaf het volgende verzoek. Er hoeft niets opnieuw te worden getraind en er is geen nieuwe modelversie om te valideren, omdat de regels in MS Duplex naast het model staan, terwijl de gewichten ervan blijven zoals ze zijn.

Een recht grafieten kanaal met drie satijnzilveren sluizen erlangs, waarvan de middelste is afgesloten met een kobaltblauwe band.Een recht grafieten kanaal met drie satijnzilveren sluizen erlangs, waarvan de middelste is afgesloten met een kobaltblauwe band.
Een rechte grafietkleurige goot met drie satijnzilveren sluizen erlangs, de middelste sluis afgesloten met een kobaltblauwe band: het werk volgt zijn gebruikelijke route, en de stappen die je team selecteert wachten bij een controle voordat ze verdergaan.

Bepaal wie wat leert

Onderzoekskennis heeft eigenaren. Een deel ervan is de werkwijze van één wetenschapper of engineer. Een deel is het zwaarbevochten resultaat van een team. Een deel is de standaard die de hele organisatie zou moeten volgen. Als een AI in één gedeelde pool leert, kan de gewoonte van één persoon uiteindelijk ieders agent bepalen, en kan een vroege bevinding verder reizen dan het bewijs toelaat. Als hij niets leert over mensen heen, ontdekt elk team opnieuw wat het team ernaast al heeft bevestigd.

MS Duplex geeft elke onderzoeker, elk team en de hele organisatie een eigen laag ervaring. De agent van een onderzoeker put tegelijk uit diens persoonlijke laag, de laag van het team en de organisatielaag. Mensen en agents bereiken alleen de ervaring die hun scope toestaat, met machtigingen onder je eigen toegangsbeheer. Ervaring wordt tussen lagen verplaatst wanneer je regels dat doen, en niets ervan wordt gedeeld met een ander bedrijf.

Stel dat een onderzoeker merkt dat haar agent een analyse-instelling kiest die faalt op een bepaald soort input, en ze corrigeert die. Zo zou die correctie zich kunnen verspreiden:

  1. Een persoonlijke lesDe correctie wordt bewaard met de reden die ze opgaf en de omstandigheden waaronder de correctie geldt. Volgens de regels van het team begint een correctie als deze in haar persoonlijke laag, zodat die haar agent bepaalt en die van niemand anders.
  2. Bevestigd door het teamEen collega toetst de correctie aan de eigen bevestigde resultaten van het team. Ze gaat naar de teamlaag, en elke agent in het team past haar toe vanaf het volgende verzoek.
  3. Gedeeld met een tweede teamEen naburig team stuit op hetzelfde soort input. De teamleider van het eerste team deelt de gecorrigeerde methode met hen, met de bron in beeld, en ze wordt opnieuw geverifieerd op hun werk.
  4. Overgenomen als standaardDe leiding besluit dat de methode in de hele organisatie moet gelden. Waar je regels dat vereisen, wacht de wijziging in gedeelde ervaring op goedkeuring door een persoon, gaat dan naar de organisatielaag en geldt voor de agents van elk team.
  5. De bron reist meeBij elke stap behoudt de les de oorspronkelijke correctie, het bewijs erachter en de vastlegging van wie haar verplaatste. Iedereen die naar de standaard kijkt, kan die herleiden tot de onderzoeker die het probleem als eerste zag.

Dezelfde structuur beschermt persoonlijk werk. De voorkeuren van een wetenschapper of engineer, zoals hoeveel redenering haar agent laat zien vóór een rangschikking, blijven bij haar eigen agent en laten die van alle anderen zoals ze waren.

Houd een dossier bij dat iedereen kan reconstrueren

In onderzoek is een conclusie maar zo bruikbaar als het bewijs erachter. Een reviewer vraagt waar een getal vandaan kwam. Een collega wil een beslissing controleren voordat hij erop voortbouwt. Een later project moet weten welke aannames toen golden. Een AI waarvan de lessen geen bron hebben, laat elk van hen zonder antwoord.

In MS Duplex laat elk stuk ervaring zien waar het vandaan kwam: het resultaat, de meting of het oordeel van een expert erachter, en de omstandigheden waaronder het is bevestigd. Als een agent een stap aanbeveelt, kan je team zien op welke lessen die steunt. Het hele dossier staat in één ondertekende geschiedenis van wat er is geleerd, wat er is gebruikt en wat er is goedgekeurd, en mensen binnen hun scope kunnen die beoordelen en exporteren. Een onderzoeker die er niet bij was, kan een beslissing uit die geschiedenis reconstrueren en zelf controleren.

Goedkeuringen staan in dezelfde geschiedenis als de lessen. Als een projectreview vraagt waarom een kostbare simulatie draaide, bevat het antwoord de les die haar aanbeval, de regel die haar voor goedkeuring tegenhield en de persoon die haar liet doorgaan.

Een les corrigeren en verwijderen

Fouten gebeuren in elk onderzoeksprogramma. Een meting blijkt van een gebrekkige opstelling te komen, of de correctie van een expert gold alleen onder nauwere omstandigheden dan iemand had opgeschreven. Als kennis in de gewichten van een model wordt getraind, betekent het herstellen van één item een nieuwe trainingsrun, en kan andere kennis onderweg afslijten. Fine-tuning houdt zijn plaats voor het over de hele linie veranderen van wat een model weet; het past beter bij brede veranderingen dan bij het verwijderen van één verkeerde les.

In MS Duplex staat elke les op zichzelf. Corrigeer een les en alleen die les verandert, en de volgende aanbeveling van de agent gebruikt de gecorrigeerde versie. Verwijder een les en de aanbevelingen die ervan afhingen verdwijnen mee, terwijl al het andere blijft zoals het was. Als het team later besluit dat de les klopte, kan die worden hersteld. Als een nieuwe meting een oude vervangt, geldt de nieuwste bevestigde waarde en blijft de geschiedenis van wat er veranderde bewaard.

Een rechtopstaande cilindrische kern van lagen grafiet en satijnzilver op een grafieten basis, met één dunne kobaltblauwe draad die door elke laag loopt.Een rechtopstaande cilindrische kern van lagen grafiet en satijnzilver op een grafieten basis, met één dunne kobaltblauwe draad die door elke laag loopt.
Een rechtopstaande cilindrische kern van lagen grafiet en satijnzilver, met één dunne kobaltblauwe draad die door elke laag loopt: de bron van elke les loopt door het hele dossier, zodat elk deel van het werk kan worden herleid en gecontroleerd.

Vragen om te beantwoorden voordat een agent leert op gedeeld werk

Het meeste governancewerk is organisatorisch. MS Duplex geeft je team de controles, en je team beslist hoe het ze gebruikt. Beantwoord deze vragen schriftelijk voordat agents gaan leren op werk waar meerdere mensen op vertrouwen.

  • Welke regels regels zijn, en welke voorkeuren. Schrijf de regels op als grenzen waarbinnen het werk moet blijven, en houd gewoonten en standaardwaarden als voorkeuren.
  • Welke stappen op een persoon wachten. Dure simulaties en wijzigingen in gedeelde data zijn de gebruikelijke eerste kandidaten, en goedkeuringen gelden in beheerde omgevingen.
  • Wat persoonlijk blijft, wat met een team wordt gedeeld en wat als organisatiestandaard wordt overgenomen.
  • Wie ervaring tussen lagen mag verplaatsen, en of een wijziging in de organisatielaag een goedkeuring nodig heeft.
  • Wie het dossier beoordeelt, en wie een les mag corrigeren, verwijderen of herstellen.
  • Waar MS Duplex draait en hoe je data wordt behandeld. Dat wordt vanaf het eerste gesprek afgestemd met je beveiligingsverantwoordelijken en data-eigenaren.

Veelgestelde vragen

Stopt MS Duplex een stap voordat hij draait?

In een beheerde omgeving, een ondersteunde opzet met hooks, ja: een stap die een regel overtreedt, wordt gestopt, en de stappen die je voor goedkeuring markeert, wachten op een persoon. Met een standaardverbinding roept de agent MS Duplex aan voor relevante ervaring, en verschijnen je regels en voorkeuren in de redenering.

Kunnen de gewoonten van één onderzoeker de agent van iedereen veranderen?

Persoonlijke voorkeuren blijven in de laag van die onderzoeker en bepalen alleen diens eigen agent. Ze bereiken een team of de organisatie alleen als je regels ze daarheen verplaatsen, en ze behouden dan hun bron.

Wat gebeurt er met aanbevelingen als we een les verwijderen?

De aanbevelingen die van die les afhingen, verdwijnen mee, en al het andere blijft zoals het was. De wijziging wordt bewaard in de geschiedenis, en de les kan worden hersteld als je team van gedachten verandert.

Wordt er iets van onze ervaring gedeeld met een ander bedrijf?

Nee. De ervaring in elke laag is van je organisatie, welk model of welke leverancier je ook gebruikt, en niets ervan wordt gedeeld met een ander bedrijf. Waar MS Duplex draait en hoe je data wordt behandeld, wordt afgestemd met je verantwoordelijken voor beveiliging en data.

Gebouwd door MatterSpace

MatterSpace bouwt MS Duplex voor wetenschappers, onderzoekers en ingenieurs in elk vakgebied, zodat de AI die ze al gebruiken leert van elk resultaat dat ze bevestigen.

Lees verder

Laat de volgende run profiteren van de vorige.

Breng ons het onderzoek waarin je AI beter moet worden. We plannen een pilot op je eigen workflows, met je experts als beoordelaars.