Ga naar de inhoud
Advancing Bits to Master Atoms
← Alle artikelen

MS Duplex8 min. leestijd

Waarom je onderzoeks-AI vergeet, en wat dat je team kost.

De meeste AI-tools beginnen elke sessie vanuit wat het model wist toen zijn training eindigde. Wat dat een onderzoeksteam kost, en wat er verandert wanneer bevestigde resultaten ervaring worden.

Een grafietkleurig bureaubakje met een stapel dunne satijnzilveren kaarten, met één kobaltblauwe tabkaart rechtop in het midden van de stapel.Een grafietkleurig bureaubakje met een stapel dunne satijnzilveren kaarten, met één kobaltblauwe tabkaart rechtop in het midden van de stapel.

De meeste onderzoeksteams kennen deze sessie. Een wetenschapper of engineer opent een nieuw gesprek met de AI, legt het project opnieuw uit, herhaalt de grenzen van de methode, plakt de resultaten van vorige week erin en corrigeert dezelfde fout die ze op dinsdag al corrigeerde. De AI is capabel. Hij onthoudt het niet.

Dat is het standaardgedrag van de meeste AI-tools, en het wordt gemakkelijk onderschat, omdat de kosten verspreid zijn over veel kleine momenten en niemand het totaal ziet. Dit artikel legt uit waar het vergeten vandaan komt, wat het een onderzoeksteam kost en wat er verandert wanneer het werk dat je team bevestigt, ervaring wordt die de AI bewaart.

Waar het vergeten vandaan komt

Een model leert wat het weet tijdens de training. Wanneer de training eindigt, ligt die kennis vast. Het model kan redeneren over een nieuw probleem, analysecode schrijven en de documenten lezen die je het geeft, maar niets wat het in de ene sessie ziet, verandert wat het in de volgende weet.

Onderzoek merkt dit gat sterker dan het meeste werk. De kennis waarop een team steunt, is meestal de nieuwste: een meting die gisteren terugkwam, een correctie die een expert vanochtend maakte, een bedrijfsgrens die iemand vorige week bevestigde. Niets daarvan kan in de trainingsdata van een model staan. Het bestond nog niet toen het model werd getraind.

Binnen een sessie kan de AI een deel hiervan in zijn context vasthouden. Wanneer de sessie eindigt, is het weg. De volgende sessie, de agent van een collega of het model van volgend kwartaal begint weer vanaf de dag dat de training stopte. Het model zelf iets nieuws leren betekent een dataset voorbereiden en nog een trainingscyclus draaien, iets wat weinig onderzoeksteams voor elke les doen.

Wat het een onderzoeksteam kost

De kosten van vergeten verschijnen zelden als post op een begroting. Ze komen op vier plekken naar voren.

  • Opnieuw uitleggen. Wetenschappers en engineers besteden het begin van elke sessie aan het herhalen van het doel, de beslissingen en de randvoorwaarden, en de agent stelt vragen die het team lang geleden al heeft beantwoord.
  • Herhaalde fouten. Een expert corrigeert de agent, en bij de volgende sessie is de correctie weg. Dezelfde expert maakt haar opnieuw, of een collega die haar heeft gemist, laat de fout erdoor.
  • Werk waarvoor twee keer wordt betaald. Een run die onder bepaalde omstandigheden mislukte, wordt opnieuw voorgesteld, omdat niets de mislukking heeft bewaard. Rekenkracht, materialen en instrumenttijd gaan naar het herontdekken van wat het team al wist.
  • Verouderde feiten. Een nieuwe meting vervangt een oude, maar de oude waarde staat nog in een geplakt transcript of een notitiebestand, en komt terug in een antwoord alsof ze actueel is.

Stel dat de agent van een team instellingen aanbeveelt voor een terugkerende analyse, en niets bewaart wat hij leert. Over een maand kan het patroon er zo uitzien:

  1. Week één: een correctieEen expert wijst een aanbeveling af omdat die een bekende grens van de methode negeert, en legt uit waarom. De agent doet het goed voor de rest van die sessie.
  2. Week twee: dezelfde foutIn een nieuwe sessie doet de agent dezelfde aanbeveling. Een andere reviewer ziet het en legt de grens opnieuw uit.
  3. Week drie: een mislukte run, herhaaldDe agent van een collega, met een ander model, stelt een configuratie voor die twee weken eerder mislukte. De run gaat door en mislukt om dezelfde reden.
  4. Week vier: een oude waardeEen nieuwe kalibratie heeft een referentiewaarde vervangen. De agent citeert de oude, omdat die in de notities stond die een wetenschapper of engineer erin plakte.
  5. Het totaalTwee keer uitleg van een expert, één verspilde run en één fout antwoord, allemaal voor lessen waarvoor het team al één keer had betaald.

Geen van deze momenten is op zichzelf dramatisch. Over een team en een jaar tellen ze op tot experttijd en budget die opgaan aan werk dat al gedaan was. De stilste kostenpost komt als laatste aan het licht: experts stoppen met het corrigeren van de AI omdat correcties niet blijven hangen, en het team verliest de gewoonte om hem iets bij te brengen.

Wat teams nu doen, en waar het ophoudt

Teams werken om het probleem heen. Veel teams houden een instructiebestand of notitiebestand bij voor hun AI, onderhouden een bibliotheek met prompts of koppelen een retrievalsysteem aan hun documenten. Elk hiervan helpt, en elk is de moeite waard.

Een notitiebestand bevat wat iemand heeft opgeschreven. Het werkt zolang het kort en actueel is. Naarmate het groeit, raakt het vol met regels waarvan niemand zeker weet of ze nog kloppen, en een oude regel blijft staan tot iemand hem verwijdert. Het model leest alles opnieuw en beoordeelt zelf wat van toepassing is.

Retrieval vindt passages die op de vraag lijken, wat nuttig is om documenten te vinden. Het zegt niet of een passage geldt onder de omstandigheden van vandaag, en als een feit is veranderd, kunnen zowel de oude als de nieuwe versie terugkomen.

Fine-tuning verandert wat een model over de hele linie weet, en houdt zijn plek voor die taak. Het leert van een voorbereide dataset en een trainingsrun, dus het beweegt in het tempo van trainingscycli in plaats van het tempo van het werk, en een nieuwe modelrelease betekent opnieuw beginnen.

  • 0% vs. 57%verouderde antwoorden nadat feiten veranderden: MS Duplex naast standaardretrieval, in gecontroleerde tests van MatterSpace

Dat cijfer uit de gecontroleerde tests van MatterSpace meet de vierde kostenpost op de lijst: antwoorden die een waarde citeren die het team al heeft vervangen. Het is de kostenpost die zich het best verbergt, omdat een verouderd antwoord even zelfverzekerd leest als een actueel antwoord.

Wat er verandert wanneer bevestigde resultaten ervaring worden

Het alternatief is de uitkomst bewaren in plaats van het gesprek. MS Duplex staat naast het model dat je team al gebruikt, terwijl de gewichten ervan blijven zoals ze zijn, en leert van de resultaten die je werk bevestigt. Een test slaagt, een meting komt terug, een expert keurt een conclusie goed of corrigeert er een en zegt waarom. Dat wordt ervaring, toegepast vanaf het volgende verzoek.

Elk stuk ervaring bewaart wat een onderzoeksteam nodig heeft om erop te kunnen vertrouwen:

  • Het resultaat, de meting of het oordeel van een expert waar het vandaan komt.
  • De omstandigheden waaronder het is bevestigd, zodat het wordt toegepast waar die omstandigheden overeenkomen.
  • De reden achter een correctie, zodat de agent bij het volgende geval dat punt eerst controleert.
  • De geschiedenis ervan, zodat wanneer een nieuwere bevestigde waarde een oudere vervangt, de nieuwere geldt en de wijziging vastgelegd blijft.

Dat verandert wat de agent daarna doet. Waar de omstandigheden overeenkomen, past hij toe wat is geleerd. Waar een geval verwant maar anders is, markeert MS Duplex wat afwijkt. Wat werkte, wordt het eerste wat de agent probeert, en wat mislukte, wordt niet meer voorgesteld.

Een wenteltrap van dunne satijnzilveren platen die oprijst vanaf een grafietkleurige basis, met de nieuwste bovenste treden in kobaltblauw.Een wenteltrap van dunne satijnzilveren platen die oprijst vanaf een grafietkleurige basis, met de nieuwste bovenste treden in kobaltblauw.
Een wenteltrap van dunne satijnzilveren platen die oprijst vanaf een grafietkleurige basis, met de nieuwste bovenste treden in kobaltblauw: elk bevestigd resultaat wordt een trede waarop de volgende sessie staat.

Draai dezelfde maand nog eens, nu met MS Duplex. De correctie uit week één geldt vanaf het volgende verzoek, in elke sessie en met elk model. De configuratie die mislukte, wordt niet meer voorgesteld, en het dossier laat zien waarom. De nieuwe kalibratie vervangt de oude waarde vanaf het volgende verzoek, met behoud van de geschiedenis van de wijziging. De expert legt de grens één keer uit.

De volgende sessie begint waar het werk staat

Vergeten gebeurt ook tussen mensen en tussen modellen. Een collega neemt het project over. Het team stapt over op een nieuwer model. In de meeste opstellingen zet elk van die veranderingen terug op nul wat de AI over het werk weet.

In MS Duplex gaan het doel, de beslissingen, de goedgekeurde methoden en de voortgang mee naar elke nieuwe sessie als een compact beeld van het werk, met elke bron vastgelegd. De agents die je autoriseert, beginnen vanuit hetzelfde beeld, met welk model ze ook draaien. De ervaring staat in een opslag die van je organisatie is, dus een nieuw model begint met alles wat het team heeft opgebouwd.

Een open grafieten archiefkist met rijen dunne satijnzilveren kaarten, met één kobaltblauwe scheidingskaart die boven de rest uitsteekt.Een open grafieten archiefkist met rijen dunne satijnzilveren kaarten, met één kobaltblauwe scheidingskaart die boven de rest uitsteekt.
Een open grafietkleurige koffer gevuld met rijen dunne satijnzilveren kaarten, met één kobaltblauwe tabkaart die boven de rest uitsteekt: het hele dossier op orde gehouden, met wat de volgende beslissing nodig heeft naar voren gehaald.

Een AI die ervaring bewaart, moet ook worden beheerd. Elke les kan afzonderlijk worden beoordeeld, gecorrigeerd of verwijderd. Corrigeer er één en alleen die ene verandert; verwijder hem en de aanbevelingen die ervan afhingen verdwijnen mee, terwijl al het andere blijft. Persoonlijke, team- en organisatielagen houden de gewoonten van een onderzoeker persoonlijk en de bevestigingen van een team binnen dat team, volgens jouw regels, en niets wordt gedeeld met een ander bedrijf.

Veelgestelde vragen

Waarom kan het model niet uit zichzelf onthouden?

Zijn kennis ligt vast wanneer de training eindigt. Om het iets nieuws te leren, moet je een dataset voorbereiden en nog een trainingscyclus draaien, dus wat je team tussen cycli leert, ontbreekt in elke nieuwe sessie.

Is een langer notitiebestand genoeg?

Een notitiebestand helpt zolang het kort en actueel is. Naarmate het groeit, blijven oude regels staan tot iemand ze verwijdert, en moet het model beoordelen welke nog kloppen. MS Duplex bewaart bevestigde uitkomsten met hun omstandigheden en geschiedenis, zodat de nieuwste bevestigde waarde geldt.

Wat gebeurt er als een feit verandert?

De nieuwste bevestigde waarde geldt vanaf het volgende verzoek, en de geschiedenis van de wijziging blijft bewaard. Bij verouderde antwoorden nadat feiten veranderden, maten de gecontroleerde tests van MatterSpace 0% vs. 57%, MS Duplex naast standaardretrieval.

Moeten we andere AI-tools gaan gebruiken?

Nee. MS Duplex koppelt aan Claude, Codex, Cursor en andere agents die MCP spreken, en aan je eigen agents en pipelines via de API en de Python SDK. Je wetenschappers en engineers houden de AI die ze al gebruiken.

Gebouwd door MatterSpace

MatterSpace bouwt MS Duplex voor wetenschappers, onderzoekers en ingenieurs in elk vakgebied, zodat de AI die ze al gebruiken leert van elk resultaat dat ze bevestigen.

Lees verder

Laat de volgende run profiteren van de vorige.

Breng ons het onderzoek waarin je AI beter moet worden. We plannen een pilot op je eigen workflows, met je experts als beoordelaars.