Introduzione
prompt chainingche sfruttaChain of Thought (CoT),ReActeFew-Shot learning. In questo articolo ti mostrerò come integrarle passo dopo passo, con esempi concreti, codici e metriche per monitorare l’accuracy.
1. Quando e come integrare Chain of Thought (CoT)
1.1 Perché il ragionamento passo-passo è fondamentale
- Contratti: molte clausole dipendono da condizioni sequenziali.
- Report finanziari: la valutazione di un indicatorio richiede calcoli intermedi.
- Documentazione medica: diagnosi e trattamenti si evolvono in step logici.
1.2 Inserire CoT nel prompt
\nPrompt = "\n\nEcco il contratto: [CONTENUTO] \n\n1. Leggi l'intero documento. 2. Identifica tutte le date. 3. Seleziona la data di scadenza. 4. Restituisci la data in formato ISO.\n";Il modello, ora guidato, ilabora ogni step prima di restituire la risposta finale.
2. ReAct: interazione dinamica con il documento
2.1 Cos’è ReAct e perché è utile
ReAct combinaReasoningeAct
2.2 Implementazione pratica con OpenAI API
import openai
messages = [
{"role": "system", "content": "You are a legal assistant. Use ReAct to extract data."},
{"role": "user", "content": "Ecco il contratto: [CONTENUTO]"}
]
response = openai.ChatCompletion.create(
model="gpt-4o-mini",
messages=messages,
temperature=0.0,
max_tokens=800
)
print(response.choices[0].message.content)READ_SECTIONseguito dal suo risultato, permettendo un ciclo di feedback.
3. Few-Shot Learning: strategie ottimali
3.1 Quanti esempi e a che granularità ?
- Contratti: 3-5 esempi di clausole con data di scadenza.
- Report finanziari: 4-6 esempi di calcolo di KPI.
- Documentazione medica: 5-7 esempi di diagnosi e farmaci.
3.2 Struttura degli esempi
\nEsempio 1:\n- Prompt: "\nContenuto: ...\n\nEsegui CoT per estrarre la data di scadenza.\n"\n- Risposta: "\nStep 1: Identifica la clausola...\nStep 2: ...\nData di scadenza: 2025-12-31."Gli esempi devono essereanchored(con riferimento a punti del documento) econcisi.
4. Design del workflow di prompt chaining
4.1 Architettura base
- Pre-processing: tokenizzazione e chunking con
Recursive Character Text Splitter. - CoT + ReAct: modello principale che genera passi intermedi.
- Post-processing: normalizzazione dei risultati (es. date ISO, numeri decimali).
- Feedback loop: se l’output non soddisfa la
confidence threshold, invia una nuova iterazione.
4.2 Gestione degli errori
5. Metriche di valutazione e iterazione
5.1 Metriche chiave
- Accuracy: percentuale di campi estratti correttamente.
- F1-Score: equilibrio tra precisione e recall.
- Latency: tempo medio di risposta per documento.
5.2 Tecniche di iterazione
- A/B testing dei prompt: Variazioni di CoT, ReAct e Few-Shot.
- Active learning: chiedi all’utente di validare solo i casi ambigui.
Conclusioni
Un workflow di prompt chaining combinato con CoT, ReAct e Few-Shot learning non è più un’idea futuristica, ma una pratica consolidata per l’estrazione di dati strutturati da documenti tecnici complessi. Inizia con pochi esempi ben strutturati, inserisci un ragionamento passo-passo e sfrutta la capacità dinamica di ReAct per gestire ambiguità . Monitora costantemente le metriche e iterare: così otterrai un sistema robusto, scalabile e pronto per il mondo reale.
Takeaways pratici
- CoT è indispensabile per documenti con logica sequenziale.
- Few-Shot: 3-5 esempi per dominio, con formato coerente.
- Feedback loop interno riduce gli errori di 30-40% in un mese.
- Metriche: accuracy ≥ 92 % e latency ≤ 2 s sono obiettivi realistici.
Domande Frequenti
Che differenza c'è tra Chain of Thought e ReAct?
Qual è la quantità ideale di esempi Few-Shot per un dominio tecnico?
Tra 3 e 6 esempi ben strutturati sono sufficienti per domini complessi; più esempi possono migliorare la generalizzazione, ma aumentano anche la lunghezza del prompt e i costi di esecuzione.