Vai al contenuto
Advancing Bits to Master Atoms
← Tutti gli articoli

MS Duplex8 min di lettura

Perché la tua IA di ricerca dimentica, e quanto costa al tuo team.

La maggior parte degli strumenti di IA inizia ogni sessione da ciò che il modello sapeva quando è finito il suo addestramento. Quanto costa questo a un team di ricerca, e cosa cambia quando i risultati confermati diventano esperienza.

Un vassoio da scrivania in grafite con una pila di sottili schede in argento satinato e, al centro della pila, un’unica scheda blu cobalto con linguetta in posizione verticale.Un vassoio da scrivania in grafite con una pila di sottili schede in argento satinato e, al centro della pila, un’unica scheda blu cobalto con linguetta in posizione verticale.

La maggior parte dei team di ricerca conosce questa sessione. Una scienziata o un ingegnere apre una nuova conversazione con l’IA, spiega di nuovo il progetto, ribadisce i limiti del metodo, incolla i risultati della settimana scorsa e corregge lo stesso errore che aveva corretto martedì. L’IA è capace. Non ricorda.

È il comportamento predefinito della maggior parte degli strumenti di IA, ed è facile sottovalutarlo, perché il costo è distribuito su molti piccoli momenti e nessuno vede il totale. Questo articolo spiega da dove nasce la dimenticanza, quanto costa a un team di ricerca e cosa cambia quando il lavoro che il tuo team conferma diventa esperienza che l’IA conserva.

Da dove nasce la dimenticanza

Un modello impara ciò che sa durante l’addestramento. Quando l’addestramento finisce, quella conoscenza resta fissa. Il modello può ragionare su un problema nuovo, scrivere codice di analisi e leggere i documenti che gli fornisci, ma nulla di ciò che vede in una sessione cambia ciò che sa nella successiva.

La ricerca risente di questo divario più della maggior parte degli altri lavori. La conoscenza da cui dipende un team è di solito la più recente: una misura arrivata ieri, una correzione fatta da un esperto stamattina, un limite operativo confermato da qualcuno la settimana scorsa. Niente di tutto questo può trovarsi nei dati di addestramento di un modello. Non esisteva quando il modello è stato addestrato.

All’interno di una sessione, l’IA può tenere parte di queste informazioni nel suo contesto. Quando la sessione finisce, se ne vanno. La sessione successiva, l’agente di un collega o il modello del prossimo trimestre ripartono dal giorno in cui l’addestramento si è fermato. Insegnare qualcosa di nuovo al modello stesso significa preparare un dataset ed eseguire un altro ciclo di addestramento, cosa che pochi team di ricerca fanno per ogni lezione.

Quanto costa a un team di ricerca

Il costo della dimenticanza compare raramente come voce di bilancio. Si manifesta in quattro punti.

  • Rispiegare. Gli scienziati e ingegneri passano l’inizio di ogni sessione a ribadire l’obiettivo, le decisioni e i vincoli, e l’agente fa domande a cui il team ha risposto da tempo.
  • Errori ripetuti. Un esperto corregge l’agente, e alla sessione successiva la correzione è sparita. Lo stesso esperto la rifà, oppure un collega che non l’aveva vista lascia passare l’errore.
  • Lavoro pagato due volte. Un’esecuzione fallita in determinate condizioni viene riproposta, perché niente ha conservato il fallimento. Calcolo, materiali e tempo di strumentazione finiscono nel riscoprire ciò che il team sapeva già.
  • Fatti superati. Una nuova misura sostituisce una vecchia, ma il vecchio valore resta in una trascrizione incollata o in un file di note, e ricompare in una risposta come se fosse attuale.

Immagina che l’agente di un team raccomandi le impostazioni per un’analisi ricorrente e che niente conservi ciò che impara. Nell’arco di un mese, lo schema può essere questo:

  1. Prima settimana: una correzioneUn esperto respinge una raccomandazione perché ignora un limite noto del metodo, e spiega perché. Per il resto di quella sessione l’agente fa la cosa giusta.
  2. Seconda settimana: lo stesso erroreIn una nuova sessione, l’agente fa la stessa raccomandazione. Un altro revisore se ne accorge e spiega di nuovo il limite.
  3. Terza settimana: un’esecuzione fallita, ripetutaL’agente di un collega, con un modello diverso, propone una configurazione fallita due settimane prima. L’esecuzione parte e fallisce per lo stesso motivo.
  4. Quarta settimana: un vecchio valoreUna nuova calibrazione ha sostituito un valore di riferimento. L’agente cita quello vecchio, perché era nelle note incollate da uno scienziato o da un ingegnere.
  5. Il totaleDue spiegazioni di esperti, un’esecuzione sprecata e una risposta sbagliata, tutto per lezioni che il team aveva già pagato una volta.

Nessuno di questi momenti è drammatico di per sé. In un team e nell’arco di un anno, si sommano in tempo degli esperti e budget spesi per lavoro già fatto. Il costo più silenzioso è l’ultimo a manifestarsi: gli esperti smettono di correggere l’IA perché le correzioni non restano, e il team perde l’abitudine di insegnarle.

Cosa fanno oggi i team, e fin dove arriva

I team aggirano il problema. Molti tengono un file di istruzioni o un file di note per la loro IA, mantengono una libreria di prompt o collegano un sistema di recupero ai loro documenti. Ognuno di questi aiuta, e vale la pena di averlo.

Un file di note contiene ciò che qualcuno ha scritto. Funziona finché è breve e aggiornato. Man mano che cresce, si riempie di righe di cui nessuno è sicuro che valgano ancora, e una riga vecchia resta finché qualcuno non la cancella. Il modello rilegge tutto e giudica da sé cosa si applica.

Il recupero trova passaggi che sembrano simili alla domanda, il che è utile per trovare documenti. Non dice se un passaggio si applica nelle condizioni di oggi, e quando un fatto è cambiato possono tornare sia la versione vecchia sia quella nuova.

Il fine-tuning cambia ciò che un modello sa in modo generale, e mantiene il suo ruolo per quel compito. Impara da un dataset preparato e da un addestramento, quindi procede al ritmo dei cicli di addestramento anziché al ritmo del lavoro, e una nuova release del modello significa ricominciare da capo.

  • 0% contro 57%risposte superate dopo che i fatti sono cambiati: MS Duplex accanto al recupero standard, nei test controllati di MatterSpace

Quel dato dei test controllati di MatterSpace misura il quarto costo dell’elenco: le risposte che citano un valore che il team ha già sostituito. È il costo che si nasconde meglio, perché una risposta superata si legge con la stessa sicurezza di una attuale.

Cosa cambia quando i risultati confermati diventano esperienza

L’alternativa è conservare l’esito anziché la conversazione. MS Duplex si affianca al modello che il tuo team usa già, lasciandone invariati i pesi, e impara dai risultati che il tuo lavoro conferma. Un test viene superato, arriva una misura, un esperto approva una conclusione o ne corregge una e spiega perché. Questo diventa esperienza, applicata dalla richiesta successiva.

Ogni elemento di esperienza conserva ciò di cui un team di ricerca ha bisogno per fidarsene:

  • Il risultato, la misura o il giudizio esperto da cui proviene.
  • Le condizioni in cui è stato confermato, così viene applicato dove quelle condizioni corrispondono.
  • Il motivo alla base di una correzione, così l’agente verifica quel punto per primo nel caso successivo.
  • La sua cronologia, così quando un valore confermato più recente sostituisce uno più vecchio, si applica quello più recente e la modifica resta documentata.

Questo cambia ciò che l’agente fa dopo. Dove le condizioni corrispondono, applica ciò che è stato appreso. Dove un caso è affine ma diverso, MS Duplex segnala cosa differisce. Ciò che ha funzionato diventa la prima cosa che l’agente prova, e ciò che è fallito smette di essere proposto.

Una scala a chiocciola di sottili piastre in argento satinato che sale da una base in grafite, con i gradini più recenti in cima in blu cobalto.Una scala a chiocciola di sottili piastre in argento satinato che sale da una base in grafite, con i gradini più recenti in cima in blu cobalto.
Una scala a chiocciola di sottili piastre in argento satinato che sale da una base in grafite, con i gradini più recenti in cima in blu cobalto: ogni risultato confermato diventa un gradino su cui poggia la sessione successiva.

Ripeti lo stesso mese con MS Duplex in funzione. La correzione della prima settimana si applica dalla richiesta successiva, in qualsiasi sessione e con qualsiasi modello. La configurazione fallita smette di essere proposta, e la documentazione mostra perché. La nuova calibrazione sostituisce il vecchio valore dalla richiesta successiva, conservando la cronologia della modifica. L’esperto spiega il limite una volta sola.

La sessione successiva parte dal punto in cui si trova il lavoro

La dimenticanza avviene anche tra persone e tra modelli. Un collega riprende il progetto. Il team passa a un modello più recente. Nella maggior parte delle configurazioni, entrambi i cambiamenti azzerano ciò che l’IA sa del lavoro.

In MS Duplex, l’obiettivo, le decisioni, i metodi approvati e l’avanzamento passano in ogni nuova sessione come un quadro compatto del lavoro, con ogni fonte documentata. Gli agenti che autorizzi partono dallo stesso quadro, con qualunque modello funzionino. L’esperienza risiede in un archivio di proprietà della tua organizzazione, quindi un nuovo modello parte con tutto ciò che il team ha costruito.

Un contenitore aperto in grafite con file di sottili schede in argento satinato archiviate, e una scheda divisoria blu cobalto sollevata sopra le altre.Un contenitore aperto in grafite con file di sottili schede in argento satinato archiviate, e una scheda divisoria blu cobalto sollevata sopra le altre.
Un contenitore aperto in grafite con file di sottili schede in argento satinato, e una scheda divisoria blu cobalto sollevata sopra le altre: l’intera documentazione tenuta in ordine, con ciò che serve alla prossima decisione portato in primo piano.

Un’IA che conserva esperienza deve anche essere governata. Ogni lezione può essere esaminata, corretta o rimossa singolarmente. Correggine una e cambia solo quella; rimuovila e le raccomandazioni che ne dipendevano se ne vanno con lei, mentre tutto il resto rimane. I livelli personale, di team e di organizzazione mantengono personali le abitudini di un ricercatore e all’interno di un team le conferme di quel team, secondo le tue regole, e nulla viene condiviso con un’altra azienda.

Domande frequenti

Perché il modello non riesce a ricordare da solo?

La sua conoscenza resta fissa quando finisce l’addestramento. Insegnargli qualcosa di nuovo significa preparare un dataset ed eseguire un altro ciclo di addestramento, quindi ciò che il tuo team impara tra un ciclo e l’altro manca in ogni nuova sessione.

Basta un file di note più lungo?

Un file di note aiuta finché è breve e aggiornato. Man mano che cresce, le righe vecchie restano finché qualcuno non le cancella, e il modello deve giudicare quali valgono ancora. MS Duplex conserva gli esiti confermati con le loro condizioni e la loro cronologia, così si applica il valore confermato più recente.

Cosa succede quando un fatto cambia?

Il valore confermato più recente si applica dalla richiesta successiva, e la cronologia della modifica viene conservata. Sulle risposte superate dopo che i fatti sono cambiati, i test controllati di MatterSpace hanno misurato 0% contro 57%, MS Duplex accanto al recupero standard.

Dobbiamo cambiare gli strumenti di IA che usiamo?

No. MS Duplex si collega a Claude, Codex, Cursor e agli altri agenti compatibili con MCP, e ai tuoi agenti e alle tue pipeline tramite l’API e il Python SDK. I tuoi scienziati e ingegneri continuano a usare l’IA che usano già.

Costruito da MatterSpace

MatterSpace costruisce MS Duplex per scienziati, ricercatori e ingegneri di ogni campo, perché l’IA che già usano impari da ogni risultato che confermano.

Continua a leggere

Fai in modo che la prossima esecuzione tragga vantaggio dall’ultima.

Portaci la ricerca in cui la tua IA dovrebbe migliorare. Pianificheremo un progetto pilota sui tuoi flussi di lavoro, con i tuoi esperti come giudici.