Disaccordi e controllo della qualità
Perché confrontare due revisioni
Due valutazioni indipendenti permettono di distinguere i casi chiari dai passaggi che dipendono da interpretazioni diverse. Il valore del campione non deriva dal numero di decisioni raccolte, ma dalla loro coerenza e verificabilità.
Risolvere un disaccordo
La scheda Adjudication mostra le unità sulle quali i due revisori non concordano. Il responsabile del confronto deve:
- rileggere la fonte e il contesto;
- confrontare decisione, classe e motivazione dei due revisori;
- controllare le citazioni e gli atom proposti;
- applicare le linee guida già concordate;
- scegliere o formulare la decisione finale;
- annotare la ragione della scelta, soprattutto se introduce un nuovo principio interpretativo.
Non bisogna decidere in base alla persona più esperta o alla maggioranza. La decisione deve poter essere spiegata facendo riferimento al testo ufficiale e alle regole comuni.
📷 Screenshot da inserire —
golden-dataset-10-disaccordi.png
Inquadrare il passaggio, le due revisioni e il comando per approvare la decisione finale.
Didascalia: Confronto e risoluzione di un disaccordo.
Quando aggiornare le linee guida
Un caso può rivelare una distinzione non prevista. Prima di modificare le regole, verificate se lo stesso problema ricorre in più unità. Se viene introdotta una nuova regola:
- descrivetela con almeno un esempio positivo e uno negativo;
- applicatela in modo coerente ai casi già esaminati;
- registrate una nuova versione delle linee guida;
- indicate da quale momento viene utilizzata.
Leggere i risultati della verifica
Il comando Esegui baseline AS IS confronta il riconoscimento attuale del sistema con le decisioni finali disponibili.
I principali valori sono:
- Precision: tra i passaggi indicati dal sistema come richieste, quanti lo sono davvero;
- Recall: tra tutte le richieste riconosciute dagli esperti, quante sono state trovate dal sistema;
- F1: sintesi dell'equilibrio tra precision e recall;
- Valutati: numero di unità per cui esiste una decisione finale utilizzabile.
Un risultato alto su poche unità non è sufficiente. Contano anche varietà dei Topic, presenza di casi negativi e separazione dei casi tenuti da parte per la verifica finale.
📷 Screenshot da inserire —
golden-dataset-11-risultati.png
Inquadrare i valori Precision, Recall, F1 e Valutati nell'Overview.
Didascalia: Risultati della verifica rispetto al Golden Dataset.
Quando il dataset è pronto
Il coordinatore può considerare concluso un ciclo quando:
- i documenti inclusi sono completi;
- tutte le unità previste hanno due revisioni indipendenti;
- i disaccordi sono stati risolti;
- le citazioni sono controllabili;
- gli atom sono comprensibili e non duplicati;
- le linee guida riportano le decisioni emerse;
- i Topic di verifica finale non sono stati usati per guidare le correzioni;
- i risultati sono stati discussi con il responsabile scientifico.
Esportare il lavoro
Il comando Esporta JSON produce una copia strutturata del dataset. Gli esperti non devono modificarla manualmente. L'esportazione serve per conservare una versione del lavoro, eseguire confronti e rendere ripetibili le verifiche.
Una nota chiara su un passaggio ambiguo è più utile di una decisione forzata. I casi difficili sono spesso quelli che producono il maggiore miglioramento nella qualità complessiva.