Conoscenza disponibile e comportamento sono due esigenze diverse
La RAG, retrieval augmented generation, cerca informazioni in fonti esterne e le fornisce al modello durante la risposta. Il fine tuning adatta un modello usando esempi di addestramento. Microsoft distingue l’uso della RAG per informazioni recuperabili dall’adattamento di comportamento, stile o prestazioni su un compito. Le due tecniche possono convivere.
Questo non significa che ogni chatbot richieda un archivio vettoriale o un addestramento dedicato. Un numero limitato di istruzioni e documenti può essere sufficiente per una prima prova. Prima di aggiungere componenti, conserva domande, risposte attese e motivi degli errori: fonte assente, ricerca sbagliata, interpretazione errata o formato non rispettato.
Scegli l’intervento in base al difetto osservato
Fai scorrere la tabella per confrontare tutte le colonne.
| Difetto | Prima ipotesi | Cosa verificare |
|---|---|---|
| Manca una procedura recente | Recupero da fonti approvate | Data, versione, accessi e passaggio effettivamente recuperato |
| Risposte corrette ma formato instabile | Istruzioni, esempi e validazione; valutare fine tuning se serve | Rispetto dello schema su casi mai usati per ottimizzare |
| Numero di scorte o stato ordine errato | Lettura dal sistema operativo autorevole | Identificativo, aggiornamento e regole di accesso |
| Documenti contraddittori | Risoluzione e gestione delle fonti | Quale documento prevale e chi può approvarlo |
Esempio illustrativo: un assistente per procedure interne
Immagina che l’ufficio operativo chieda quali documenti servono per aprire una pratica. La procedura cambia e versioni precedenti restano in cartelle condivise. Addestrare un modello sui file disponibili non risolve chi è responsabile della versione corrente. Prima assegna un proprietario alla procedura e rendi identificabile la versione valida.
Nella prova, l’assistente deve mostrare il passaggio su cui basa la risposta e riconoscere quando la fonte non contiene l’informazione. Una citazione esistente non basta: chi controlla deve verificare che sostenga proprio l’affermazione. Una domanda su un cliente specifico potrebbe invece richiedere una lettura autorizzata dal gestionale, non la ricerca nella procedura.
Valuta separatamente ricerca e risposta
Se confronti due configurazioni, modifica un elemento alla volta e conserva le versioni. Un risultato migliore può dipendere dalla pulizia dei documenti, non dal modello nuovo. Questa distinzione indica dove investire il prossimo sforzo.
- Per ogni domanda, registra il documento e il passaggio che dovrebbero essere trovati.
- Controlla se il recupero restituisce la fonte giusta prima di giudicare la scrittura della risposta.
- Prova domande senza risposta, documenti scaduti e utenti con permessi diversi.
- Tieni esempi di valutazione separati da quelli usati per modificare prompt o addestramento.
- Misura anche manutenzione delle fonti, attese e lavoro di revisione.
Cosa chiedere nel progetto
Richiedi un registro delle fonti, un insieme di domande di prova e una spiegazione delle esclusioni. Chiedi come una cancellazione o una revoca dei permessi arriva alla ricerca e quanto tempo serve perché abbia effetto. Per il fine tuning, chiarisci chi mantiene gli esempi e come si verifica una nuova versione.
L’output della valutazione può essere anche “non serve fine tuning” oppure “la ricerca va corretta prima di cambiare modello”. La tecnologia scelta dovrebbe rispondere a un errore misurato. Non accettare “addestrato sui tuoi dati” come descrizione sufficiente di fonti, accessi e aggiornamenti.
Un modello su cui lavorare.
Registro delle fonti dell’assistente AI
Un catalogo delle fonti autorizzate con versione valida, pubblico ammesso, ciclo di aggiornamento e test di reperibilità.
Scarica il modello MarkdownDataset di valutazione AI
Un registro di casi con risultati attesi verificati, criteri di giudizio e un insieme separato per il controllo finale.
Scarica il modello MarkdownVerifica della preparazione dei dati
Un inventario delle fonti con problemi osservati, azioni correttive e un campione approvato per la prova.
Scarica il modello MarkdownDomande pratiche
La RAG elimina le risposte inventate?
No. Il recupero può mancare la fonte, trovare un documento errato oppure fornire informazioni che il modello interpreta male. Occorrono prove e gestione esplicita dei casi senza evidenza.
Il fine tuning è necessario per usare documenti aziendali?
Non necessariamente. Documenti e dati possono essere forniti nel contesto o recuperati da fonti esterne. La scelta va verificata sul compito e sui suoi errori.
Come gestiamo dati che cambiano ogni minuto?
Per uno stato operativo corrente, valuta una lettura controllata dal sistema autorevole. Definisci freschezza e comportamento quando il sistema non è disponibile, invece di trattare una vecchia copia come dato corrente.
Riferimenti e metodo
Definizioni di recupero, indici e confronto con l’adattamento del modello. Gli scenari e i criteri di prova sono esempi operativi originali.