Vai al contenuto
Advancing Bits to Master Atoms
← Tutti gli articoli

MS Duplex8 min di lettura

Agenti che migliorano con l’uso, misurati sui tuoi risultati.

Come MS Duplex fa migliorare a ogni giro di lavoro gli agenti che il tuo team usa già, e come un risultato verificato diventa un metodo che riutilizzano e adattano.

Uno scalpello in grafite con il filo tagliente blu cobalto, appoggiato in diagonale su un blocco piatto per affilare in argento satinato.Uno scalpello in grafite con il filo tagliente blu cobalto, appoggiato in diagonale su un blocco piatto per affilare in argento satinato.

Oggi la maggior parte dei team di ricerca usa agenti IA per il lavoro ricorrente: classificare candidati, raccomandare le impostazioni per la prossima esecuzione, pianificare un lotto, rivedere un’analisi. Il lavoro si ripete ogni settimana. Nella maggior parte delle configurazioni l’agente resta com’era. Al centesimo compito si comporta come al primo, e l’errore che un esperto ha corretto il mese scorso si ripresenta questo mese.

Questo articolo parla di agenti che migliorano con l’uso: cosa dovrebbe significare per un team di ricerca, come MS Duplex lo rende possibile con gli agenti che usi già, come un risultato verificato si trasforma in un metodo che tutto il team riutilizza e come valutare il miglioramento sul tuo lavoro.

Cosa dovrebbe significare “migliorare con l’uso”

Per un team di ricerca, il test utile è ristretto. Il comportamento dell’agente dovrebbe cambiare in base ai risultati che il tuo lavoro ha confermato, e dovresti poter vedere quali risultati hanno causato quale cambiamento. Scioltezza e sicurezza non c’entrano. Nella ricerca il miglioramento si vede in meno esecuzioni spese su approcci che il team sa già che falliscono, in prime scelte migliori sulle decisioni ricorrenti e in meno correzioni per lo stesso tipo di errore.

In MS Duplex, la misura è l’esito. Un test viene superato, arriva una misurazione, un esperto approva una conclusione o la corregge e spiega perché. Questi esiti confermati sono ciò da cui i tuoi agenti imparano, e sono anche il metro con cui si valuta ogni cambiamento di comportamento. La percezione che l’agente ha di come se l’è cavata non è una prova.

  • Un test o un controllo che la proposta dell’agente supera o non supera
  • Il risultato di una misurazione o di una simulazione da un’esecuzione pianificata dall’agente
  • L’approvazione di una conclusione da parte di un esperto
  • La correzione di un esperto, con la motivazione che la sostiene

È il tuo team a scegliere quali di questi esiti MS Duplex acquisisce, e sono i tuoi scienziati e ingegneri a decidere cosa viene adottato. Le tue regole vengono prima.

Come cambia il comportamento di un agente, un giro dopo l’altro

Per il team, la giornata cambia poco. I tuoi agenti continuano a lavorare con gli strumenti che usano oggi, in Claude, Codex, Cursor, un altro agente compatibile con MCP, o i tuoi agenti tramite l’API e il Python SDK. MS Duplex si affianca al modello, i cui pesi restano invariati, e acquisisce gli esiti man mano che arrivano. Ogni risultato confermato viene appreso dalla richiesta successiva.

Ne seguono due cambiamenti. Ciò che ha funzionato passa in testa: la prossima volta che si presenta un caso simile, l’approccio alla base di un successo confermato è tra le prime cose che l’agente prova. Ciò che è fallito smette di essere proposto nelle condizioni in cui è fallito. La seconda metà conta quanto la prima. Un’impostazione che fallisce oltre un intervallo operativo noto può andare bene al suo interno, quindi MS Duplex conserva le condizioni insieme al fallimento e trattiene l’impostazione solo dove corrispondono.

Supponiamo che l’agente di un team raccomandi le impostazioni per la prossima esecuzione di una valutazione ricorrente. Nel corso di alcuni giri, lo schema potrebbe essere questo:

  1. Un primo giro con esiti mistiL’agente raccomanda le impostazioni per otto esecuzioni. Cinque superano il controllo di accettazione del team. Tre falliscono, tutte con la stessa impostazione spinta oltre l’intervallo in cui il metodo regge. Il team conferma entrambe le serie di risultati.
  2. Un secondo giro più miratoL’agente parte dalle impostazioni alla base dei cinque successi e lascia fuori l’impostazione fallita dove le condizioni corrispondono. Meno esecuzioni finiscono in un esito che il team ha già visto.
  3. Una correzione motivataUn revisore corregge una raccomandazione e registra il motivo: un controllo che l’agente ha saltato è importante per questo tipo di input. Dalla richiesta successiva, l’agente include quel controllo sugli input simili.
  4. Una prima scelta miglioreUna combinazione insolita ha successo dove la solita prima scelta non era bastata. Il nuovo approccio prende il suo posto in testa, legato all’esecuzione che lo ha giustificato.
  5. Una revisione con la documentazione apertaIl responsabile apre la documentazione e vede ogni cambiamento nel comportamento dell’agente, quando è avvenuto e quali esiti lo hanno causato.

Niente di tutto questo ha atteso un addestramento, un dataset preparato o qualcuno che riscrivesse le istruzioni dell’agente. L’agente è migliorato tra una revisione e l’altra, perché le prove hanno continuato ad arrivare tra una revisione e l’altra.

Una scalinata di blocchi quadrati su un plinto in grafite, in grafite grezza alla base, in argento satinato più fine salendo e con un blocco blu cobalto come gradino più alto.Una scalinata di blocchi quadrati su un plinto in grafite, in grafite grezza alla base, in argento satinato più fine salendo e con un blocco blu cobalto come gradino più alto.
Una scala di blocchi quadrati che sale dalla grafite grezza in basso, passa per un argento satinato più fine e arriva a un gradino superiore blu cobalto: ogni giro di lavoro confermato permette all’agente di partire un gradino più in alto del precedente.

Da un risultato verificato a un metodo che il team riutilizza

Parte di ciò che un agente impara è una preferenza: prova prima questo, qui trattieni quello. Parte è un’intera procedura. Un ricercatore definisce una sequenza di controlli che intercetta un input difettoso prima che consumi un’esecuzione, o un modo di preparare i dati che rende equo il confronto tra progetti. Una volta che un test o un esperto conferma che la procedura funziona, MS Duplex la conserva come metodo, con i suoi passaggi, le condizioni in cui sono stati confermati e il risultato che li ha dimostrati.

Un metodo si usa in uno di due modi, a seconda di quanto è vicino il caso successivo.

Il caso analogo successivo

Dove le condizioni corrispondono a quelle in cui il metodo è stato confermato, l’agente lo applica direttamente. L’agente di un collega sullo stesso tipo di compito riceve gli stessi passaggi collaudati, così il risultato dipende meno da chi si è trovato a svolgere il lavoro.

Un caso affine

Dove qualcosa è diverso, come un nuovo formato di input, uno strumento diverso o un intervallo operativo più ampio, MS Duplex adatta il metodo alle nuove condizioni e lo propone per un controllo prima che qualcuno vi faccia affidamento. Una volta confermata, la versione adattata diventa un metodo a sé. Col tempo un team costruisce una famiglia di metodi correlati, ciascuno legato al risultato che lo ha dimostrato.

I metodi di cui il tuo team si fida vengono condivisi con le persone e gli agenti consentiti dalle tue regole. Un metodo può restare a un singolo ricercatore, essere condiviso con un team o diventare uno standard in tutta l’organizzazione. Ognuno viene verificato di nuovo dove viene usato, così una procedura collaudata in un contesto viene ricontrollata nel successivo prima di essere considerata affidabile lì. L’agente di un nuovo membro del team parte con i migliori metodi del team già a disposizione, e quando un esperto se ne va, i metodi che ha messo a punto restano al team.

Un insieme di ingranaggi che si incastrano su una piastra in grafite, con un ingranaggio principale blu cobalto che aziona ingranaggi in argento satinato di diverse dimensioni.Un insieme di ingranaggi che si incastrano su una piastra in grafite, con un ingranaggio principale blu cobalto che aziona ingranaggi in argento satinato di diverse dimensioni.
Un ingranaggio principale blu cobalto che aziona ingranaggi in argento satinato di diverse dimensioni su una piastra in grafite: un metodo verificato, adattato per far girare i casi affini intorno a sé.

Vedere perché l’agente è cambiato

Un miglioramento che il tuo team non può tracciare è difficile da considerare affidabile e ancora più difficile da difendere davanti a chi finanzia il lavoro. MS Duplex documenta ogni cambiamento di comportamento: cosa fa ora l’agente in modo diverso, da quando e quali esiti lo hanno giustificato. Ogni metodo conserva il risultato su cui si basa. Quando un responsabile chiede perché questo mese l’agente pianifica esecuzioni migliori rispetto al mese scorso, la risposta è nella documentazione, con le sue fonti.

La documentazione è anche il modo in cui si corregge un errore. Supponiamo che un cambiamento si basasse su un unico risultato che in seguito si è rivelato dubbio. Il team rimuove quella sola lezione, e le raccomandazioni che dipendevano da essa se ne vanno con lei, mentre tutto il resto che l’agente ha imparato resta. Correggere una lezione funziona allo stesso modo: cambia solo quella lezione.

Man mano che gli approcci si dimostrano validi, più decisioni di routine possono essere risolte direttamente dai metodi appresi, spesso senza alcuna chiamata al modello. Dove le prove sono scarse o il caso non è familiare, la decisione passa al tuo modello o a un ricercatore, con la motivazione.

  • +16 puntipiù accurato di un modello sottoposto a fine-tuning per il compito, sul lavoro ricorrente, senza alcun addestramento, nei test controllati di MatterSpace

Quel dato proviene dai test controllati di MatterSpace su MS Duplex applicato al lavoro ricorrente. Mostra cosa può fare l’apprendimento dagli esiti confermati accanto a un modello. Cosa fa per il tuo team è una questione che riguarda il tuo lavoro, valutata dai tuoi esperti.

Come valutarlo sul tuo lavoro

Il test corretto per un agente che migliora con l’uso è il lavoro ricorrente che il tuo team già svolge, misurato come lo misurerebbero i tuoi esperti.

  • Scegli decisioni che si ripetono e in cui un’esecuzione sbagliata o superflua costa cara. Il miglioramento si vede più facilmente dove lo stesso tipo di scelta si ripresenta spesso.
  • Concorda la misura con i tuoi esperti prima che parta qualsiasi cosa: il costo di ogni risultato accettato e riproducibile, e il tempo degli esperti che richiede.
  • Esegui lo stesso modello, con gli stessi strumenti, dati e budget, con e senza MS Duplex, fianco a fianco.
  • Fai valutare i risultati alla cieca ai tuoi esperti, senza sapere quale configurazione li ha prodotti.
  • Leggi la documentazione oltre ai punteggi: errori che smettono di ripetersi, correzioni che nessuno deve fare due volte e metodi che arrivano ai nuovi membri del team.

Un progetto pilota con MatterSpace segue questo schema, sui tuoi flussi di lavoro, con i tuoi esperti come giudici.

Domande frequenti

L’agente migliora senza che nessuno lo esamini?

Migliora a partire dagli esiti che il tuo team sceglie di acquisire, come test, misurazioni e correzioni degli esperti, quindi continua a migliorare tra una revisione e l’altra. Sono i tuoi scienziati e ingegneri a decidere cosa viene adottato, le tue regole vengono prima e, negli ambienti governati, i passaggi che selezioni attendono una persona prima di essere eseguiti.

Qual è la differenza tra una lezione e un metodo?

Una lezione cambia ciò che l’agente prova o trattiene in una determinata situazione, come un’impostazione che è fallita in certe condizioni. Un metodo è un’intera procedura di cui è confermato il funzionamento, conservata con i suoi passaggi, le sue condizioni e il risultato che l’ha dimostrata, così può essere applicata direttamente o adattata a un caso affine.

Dobbiamo fare il fine-tuning del nostro modello?

No. MS Duplex lavora accanto al modello, i cui pesi restano invariati, quindi non c’è alcun dataset da preparare né alcun addestramento da attendere. Funziona accanto a un modello sottoposto a fine-tuning così come a uno generico.

Cosa succede a ciò che l’agente ha imparato se cambiamo modello?

Resta al tuo team. L’esperienza risiede in MS Duplex, in un archivio di proprietà della tua organizzazione, così un nuovo modello o agente parte dai metodi e dalle lezioni che il tuo team ha già confermato.

Costruito da MatterSpace

MatterSpace costruisce MS Duplex per scienziati, ricercatori e ingegneri di ogni campo, perché l’IA che già usano impari da ogni risultato che confermano.

Continua a leggere

Fai in modo che la prossima esecuzione tragga vantaggio dall’ultima.

Portaci la ricerca in cui la tua IA dovrebbe migliorare. Pianificheremo un progetto pilota sui tuoi flussi di lavoro, con i tuoi esperti come giudici.