Ga naar de inhoud
Advancing Bits to Master Atoms
← Alle artikelen

MS Duplex8 min. leestijd

Hoe je een zelfverbeterende AI beoordeelt: zes vragen voor onderzoeksleiders.

Een koopgids voor leiders in onderzoek en engineering: zes vragen om aan elke AI te stellen die beweert te leren, hoe een goed antwoord eruitziet en hoe MS Duplex elke vraag beantwoordt.

Een satijnzilveren schuifmaat die een kobaltblauwe kubus tussen zijn bekken klemt op een grafietkleurige vlakplaat.Een satijnzilveren schuifmaat die een kobaltblauwe kubus tussen zijn bekken klemt op een grafietkleurige vlakplaat.

Steeds meer AI-tools zeggen dat ze leren. Voor een onderzoeksteam dekt dat woord heel verschillende dingen: een notitiebestand dat de assistent opnieuw leest, een zoekfunctie over eerdere documenten, een model dat opnieuw is getraind op de data van het team, of een systeem dat zijn gedrag verandert naarmate er resultaten binnenkomen. Elk heeft zijn toepassingen. Ze geven een team niet hetzelfde, en een korte demo laat het verschil zelden zien.

Deze gids is bedoeld voor de leider in onderzoek of engineering die moet beslissen. Hij zet zes vragen uiteen om aan elke AI te stellen die beweert te leren, met bij elke vraag hoe een goed antwoord eruitziet. Daarna beantwoordt hij ze voor MS Duplex, zodat je ons aan dezelfde maatstaf kunt houden als alle anderen.

Waarom “het leert” een nadere blik verdient

Als een AI leert van je werk, gaat hij handelen op basis van dingen die niemand die dag in de prompt typte. Dat is de bedoeling. Het is ook de reden dat een lerend systeem lastigere vragen oproept dan een statisch systeem. Een model dat zich bij elk verzoek hetzelfde gedraagt, kan één keer worden beoordeeld. Een systeem dat door gebruik verandert, moet beoordeelbaar blijven terwijl het verandert.

De gangbare benaderingen beantwoorden elk een deel hiervan. Instructiebestanden en notities bewaren wat iemand heeft opgeschreven, en zijn zo actueel als de laatste bewerking. Retrieval haalt passages op die relevant lijken voor het geval in kwestie. Fine-tuning verandert over de hele linie wat een model weet, via een voorbereide dataset en een trainingsrun, en past goed wanneer dat het doel is. Voordat een systeem beslissingen gaat bepalen, moet je team weten welke van deze het koopt, of wat het systeem daarnaast toevoegt.

De kosten van een slechte keuze tonen zich later, in het werk. Een agent herhaalt een mislukte stap omdat een les niet bleef hangen. Een verouderde waarde overleeft in een aanbeveling omdat niemand kon vinden waar die vandaan kwam. Een team blijft op een ouder model omdat overstappen zou betekenen dat het verliest wat het het oude model heeft geleerd. De vragen hieronder brengen die risico’s vóór een pilot aan het licht, nu ze nog goedkoop te bespreken zijn.

Zes vragen om te stellen aan elke AI die beweert te leren

Leg ze voor aan elk systeem op je lijst. Vraag om een demonstratie op een geval dat je team kiest, en om het dossier achter elk antwoord.

  1. Waarvan leert het?Een goed antwoord noemt de inputs: bevestigde resultaten, metingen, correcties van experts met hun redenen, goedgekeurde beslissingen. Wees voorzichtig als het antwoord “alles wat de gebruiker typt” luidt. In onderzoek verdienen een terloopse opmerking en een bevestigde meting een verschillend gewicht, en je team zou moeten beslissen welke uitkomsten tellen.
  2. Hoe zie je waarom zijn gedrag veranderde?Vraag om één verandering in gedrag te zien, met het bewijs ervoor. Een goed antwoord laat zien wat de agent nu anders doet, sinds wanneer en welke uitkomsten dat rechtvaardigden. Als de enige uitleg is dat het systeem “is verbeterd”, kun je die verbetering tegenover niemand anders verdedigen.
  3. Hoe corrigeer of verwijder je één les?Fouten komen in elk dossier terecht: een gebrekkige meting, een correctie die alleen onder nauwe omstandigheden gold. Vraag wat er nodig is om één les te corrigeren, of er iets anders verandert als je dat doet, en of een verwijderde les kan worden hersteld. Bij een goed antwoord komt geen trainingsrun kijken.
  4. Wat gebeurt er met de ervaring als je van model wisselt?Onderzoeksteams wisselen vaak van model. Vraag of de ervaring vastzit aan de gewichten van één model of naast het model wordt bewaard, en of een nieuw model begint met wat je team heeft opgebouwd of opnieuw begint.
  5. Wie is eigenaar van wat het leert, en wie kan het zien?Vraag waar de ervaring wordt bewaard, wie de eigenaar is en of die kan worden geëxporteerd. Vraag hoe delen werkt binnen je organisatie: of de gewoonten van één onderzoeker ieders agent kunnen bepalen, en of iets wat van je werk is geleerd bij een ander bedrijf terechtkomt.
  6. Hoe ga je het beoordelen?Een goede leverancier stelt een test op je eigen werk voor, met een maatstaf die je experts afspreken voordat er iets draait en resultaten die worden gescoord zonder te weten welke opzet ze opleverde. Cijfers uit de tests van iemand anders laten zien wat mogelijk is. Je eigen test laat zien wat het voor je team doet.

Hoe MS Duplex antwoordt op leren en bewijs

MS Duplex is een leerlaag die aansluit op de AI die een onderzoeksteam al gebruikt: Claude, Codex, Cursor, elke agent die MCP spreekt, en de eigen agents van een team via de API en de Python SDK. Het leert naast het model, terwijl de gewichten ervan blijven zoals ze zijn. Zo beantwoordt het de eerste twee vragen.

MS Duplex leert van de uitkomsten en correcties van experts die je team kiest vast te leggen: een test die slaagt, een meting die terugkomt, een conclusie die een expert goedkeurt, een correctie met de reden erachter. Elke les wordt bewaard met het bewijs en de omstandigheden waaronder ze is bevestigd, en geldt vanaf het volgende verzoek. Waar een nieuw geval buiten die omstandigheden valt, signaleert MS Duplex het verschil in plaats van de les toe te passen alsof er niets is veranderd.

Als een feit verandert, geldt de nieuwste bevestigde waarde en blijft de geschiedenis van de wijziging bewaard. Dat is belangrijk voor elk team waarvan de referentiewaarden, kalibraties of operationele grenzen verschuiven naarmate het onderzoek vordert.

Wat de tweede vraag betreft: elke verandering in het gedrag van een agent is vastgelegd. Wat werkte, wordt het eerste wat de agent probeert. Wat onder bepaalde omstandigheden mislukte, wordt onder die omstandigheden niet langer voorgesteld. Elke verandering is gekoppeld aan de uitkomsten die haar rechtvaardigden, dus als een teamleider vraagt waarom de agent zich vandaag beter gedraagt dan vorige maand, staat het antwoord in het dossier, met de bronnen.

Een ronde satijnzilveren meter op een grafieten standaard, met een kobaltblauwe naald die hoog op een fijn gegraveerde schaal wijst.Een ronde satijnzilveren meter op een grafieten standaard, met een kobaltblauwe naald die hoog op een fijn gegraveerde schaal wijst.
Een ronde, satijnzilveren meter op een grafietkleurige voet, met een kobaltblauwe naald die hoog op een fijn gegraveerde schaal staat: een verbetering die vertrouwen verdient, wordt gemeten aan je eigen bevestigde uitkomsten.

MS Duplex bewaakt ook de grens tussen wat bekend is en wat wordt aangenomen. Het legt vast welke actie tot welke uitkomst leidde, onder welke omstandigheden, en vertelt je onderzoekers wanneer een verband nog niet is vastgesteld. Waar het bewijs mager is of een geval op niets lijkt wat eerder is gezien, geeft het de beslissing door aan je model of markeert het die voor een onderzoeker, met de reden.

De antwoorden van MS Duplex op controle, eigendom en modellen

Een les corrigeren en verwijderen

Elk stuk ervaring laat zien waar het vandaan komt, in één ondertekende geschiedenis die je team kan beoordelen en exporteren. Corrigeer een les en alleen die les verandert. Verwijder de les en de aanbevelingen die ervan afhingen, verdwijnen mee, terwijl al het andere blijft. Een verwijderde les kan worden hersteld als je team van gedachten verandert. Voor niets hiervan is een trainingsrun nodig, omdat er om te beginnen niets in het model is getraind.

Je regels staan op dezelfde plek. MS Duplex houdt regels en voorkeuren gescheiden, en beide blijven zichtbaar in de redenering achter een stap. In beheerde omgevingen, dat wil zeggen ondersteunde opzetten met hooks, wordt een stap die een regel overtreedt, gestopt voordat hij draait, en wachten de stappen die je selecteert, zoals een dure simulatie of een wijziging in gedeelde data, tot een persoon ze goedkeurt. Een nieuwe regel geldt vanaf het volgende verzoek.

Een rechtopstaande cilindrische kern van lagen grafiet en satijnzilver op een grafieten basis, met één dunne kobaltblauwe draad die door elke laag loopt.Een rechtopstaande cilindrische kern van lagen grafiet en satijnzilver op een grafieten basis, met één dunne kobaltblauwe draad die door elke laag loopt.
Een rechtopstaande kern van lagen grafiet en satijnzilver, met één dunne kobaltblauwe draad die door elke laag loopt: elke les houdt een lijn terug naar haar bron, en daardoor kan één les afzonderlijk worden verwijderd.

Eigendom en vrije modelkeuze

De ervaring die je team opbouwt, staat in MS Duplex, in een opslag die van je organisatie is, welk model of welke leverancier je ook gebruikt. Na verloop van tijd bevat die:

  • Bevestigde resultaten, elk met de omstandigheden waaronder ze gelden
  • Correcties van experts, elk met de bijbehorende reden
  • Beslissingen, met het bewijs erachter
  • Geverifieerde methoden die je agents hergebruiken en aanpassen
  • Plannen, checkpoints en voortgang van lange campagnes

Omdat die ervaring naast het model staat, beschikt een nieuw model er vanaf zijn eerste verzoek volledig over. Je team kan één model gebruiken voor moeilijke analyses en een ander voor terugkerend werk in hetzelfde project, terwijl beide putten uit dezelfde ervaring.

Binnen je organisatie heeft elke onderzoeker, elk team en de hele organisatie een eigen laag. De werkgewoonten van een wetenschapper of engineer blijven persoonlijk, wat een team bevestigt, wordt gedeeld met dat team, en wat de organisatie als standaard aanneemt, geldt overal. Je regels bepalen wat tussen lagen wordt doorgegeven, mensen en agents bereiken alleen wat hun bereik toestaat, en niets ervan wordt gedeeld met een ander bedrijf. Waar MS Duplex draait en hoe je data wordt behandeld, wordt vanaf het eerste gesprek afgestemd met je beveiligingsverantwoordelijken en data-eigenaren.

Beoordelen op je eigen werk

De zesde vraag is de beslissende. MS Duplex wordt geëvalueerd met een pilot op je eigen werk, naast je huidige opzet, en beoordeeld door je experts.

Kies terugkerende workflows waarin beslissingen zich herhalen en een verkeerde of onnodige run duur is. Spreek de maatstaf met je experts af voordat er iets draait: de kosten van elk geaccepteerd, reproduceerbaar resultaat en de experttijd die het kost. Draai hetzelfde model, dezelfde tools, dezelfde data en hetzelfde budget met en zonder MS Duplex. Laat je experts daarna de resultaten scoren zonder te weten welke opzet ze heeft opgeleverd.

Houd elk systeem dat je overweegt aan dezelfde test. Een AI die je werk verbetert, moet dat laten zien op je werk, met een maatstaf die jij vaststelt, gescoord door mensen die niet wisten welk antwoord waarvandaan kwam.

Veelgestelde vragen

Verandert MS Duplex het model dat we gebruiken?

Het laat de gewichten van het model zoals ze zijn. MS Duplex leert naast het model, en daarom geldt een les vanaf het volgende verzoek, kan één les afzonderlijk worden gecorrigeerd en gaat de ervaring mee wanneer je van model wisselt.

Vervangt MS Duplex fine-tuning?

Fine-tuning houdt zijn plaats voor het over de hele linie veranderen van wat een model weet. MS Duplex werkt naast een gefinetuned model net zo goed als naast een algemeen model, en laat beide leren van de bevestigde resultaten van je team.

Kunnen we controleren wat de AI heeft geleerd?

Ja. MS Duplex houdt een ondertekende geschiedenis bij van wat is geleerd, gebruikt en goedgekeurd. Je team kan die beoordelen en exporteren, er een beslissing uit reconstrueren, en elke les inzien, corrigeren, verwijderen of herstellen.

Wie bepaalt waarvan de AI leert?

Je team. MS Duplex leert van de uitkomsten en correcties die je team kiest vast te leggen, en je wetenschappers en engineers beslissen wat wordt overgenomen. In beheerde omgevingen wachten de stappen die je selecteert op een persoon voordat ze draaien.

Gebouwd door MatterSpace

MatterSpace bouwt MS Duplex voor wetenschappers, onderzoekers en ingenieurs in elk vakgebied, zodat de AI die ze al gebruiken leert van elk resultaat dat ze bevestigen.

Lees verder

Laat de volgende run profiteren van de vorige.

Breng ons het onderzoek waarin je AI beter moet worden. We plannen een pilot op je eigen workflows, met je experts als beoordelaars.