Blijft leren zonder te vergeten, te verouderen of te groeien.
Een agent die maandenlang draait, heeft vijf dingen tegelijk nodig: nieuw werk leren, eerder werk behouden, correcties aannemen, een vaste omvang houden en weten wat hij niet heeft geleerd. Tien soorten verzoeken werden na elkaar geleerd, daarna veranderde het beleid voor vier ervan.
Interne benchmarks. Alle cijfers op deze pagina komen uit tests die MatterSpace zelf heeft uitgevoerd en zijn niet onafhankelijk geverifieerd. Lees de disclaimer
- 5 / 5*Eisen voor leren in productie, allemaal gehaald in elke runCache en retrieval gemiddeld 2.2 / 5 · online fine-tuning 4 / 5
Eisen voor leren in productie, allemaal gehaald in elke run MS Duplex 5 / 5 Online fine-tuning 4 / 5 Cache en retrieval 2.2 / 5 - 0%*Verouderde antwoorden na een beleidswijzigingCache en retrieval 72%
Verouderde antwoorden na een beleidswijziging MS Duplex 0% Cache en retrieval 72% - Constant*Omvang in de loop van de tijdCache en retrieval groeiden tot ≈1,300 rijen
* Cijfers uit de interne benchmarks van MatterSpace, niet onafhankelijk geverifieerd. Lees de disclaimer
Vijf eisen, drie aanpakken.
Stap 1 van 6: Leert
Een correctie bereikt elke formulering.
Één beleidswijziging, en vier manieren om hetzelfde te vragen.
Stap 1 van 4: Vooraf
Vier bewoordingen van hetzelfde verzoek, alle beantwoord met volledige restitutie.*
Dezelfde omvang, hoe lang het ook draait.
Hoeveel elke aanpak groeit naarmate het werk doorgaat.
Stap 1 van 3: Het begin
Aan het begin bevatten cache en retrieval 128 rijen.*
Tien taken later kent het de eerste nog.
Nauwkeurigheid direct na het leren van elk soort verzoek, en na alle tien.
Stap 1 van 2: Net geleerd
Direct na het leren van elk verzoektype waren alle drie nauwkeurig.*
Hoe het is uitgevoerd.
- Het werk
- Tien soorten verzoeken uit klantenservice en bankieren, van wachtwoordresets tot geweigerde betalingen, na elkaar geleerd.
- De test
- Elke vraag in nieuwe bewoording, over details die niet in de training voorkwamen.
- Beleidswijziging
- Vier van de tien soorten kregen een nieuwe juiste actie; correcties kwamen in willekeurige volgorde binnen, zoals een reviewer ze stuurt.
- Slaagnormen
- Vooraf vastgesteld, en gelijk voor elke aanpak.
- Omvang
- Één hoofdrun, daarna tien onafhankelijke runs in een tweede opzet.
- Vergeleken met
- Cache en retrieval, een opslag op basis van de dichtstbijzijnde match, optimaal afgesteld, en online fine-tuning, allemaal met dezelfde invoer.
Wat het betekent voor je werk.
Correcties houden overal stand.
Na een beleidswijziging gaf MS Duplex in geen van de tien runs verouderde antwoorden.
Eerder werk blijft intact.
Het nam al zijn eerdere werk mee, run na run.
Het blijft even groot.
MS Duplex voegde niets toe aan zijn omvang; een geheugenopslag groeide tot ongeveer 1,300 rijen.*
Volgende: Kan overweg met nieuwe formuleringen, en herkent de dubbelgangers.Lees het →
Zie het in je eigen werk.
Van je eigen assistent tot elke agent die je bedrijf draait: een pilot zet MS Duplex in op je eigen werk, met vooraf afgesproken maatstaven.