Valutazione linguistica IA conforme al QCER: come Talketet ha costruito un test linguistico affidabile

La maggior parte dei test linguistici usati nella selezione del personale poggia su una validazione accademica debole.

Il motivo è strutturale. Nella maggior parte dei casi il test linguistico è solo uno dei moduli di un pacchetto di valutazione pre-assunzione più ampio, accanto a test cognitivi, questionari di personalità e prove di giudizio situazionale.

Il pacchetto viene venduto come un prodotto unico e anche le prove di validità vengono presentate come un blocco unico. Così la componente linguistica eredita una credibilità che non si è mai guadagnata da sola.

I test Talketet per la selezione nascono invece da una validazione accademica approfondita e sono progettati per i contesti di assunzione.

In questo modo offriamo ai recruiter un test linguistico di alta qualità a un prezzo adatto alle assunzioni su larga scala.

La maggior parte dei test standardizzati di inglese e di altre lingue per la selezione ha una validità debole

Nel mercato della selezione i test linguistici sono ancora, per impostazione predefinita, a scelta multipla.

Il candidato legge una frase, sceglie la preposizione mancante e ottiene un punteggio.

Questi quiz grammaticali non dicono se quella persona sappia gestire al telefono il reclamo di un cliente o scrivergli un'email chiara.

La differenza conta, perché al recruiter serve sapere se il candidato parla e scrive al livello richiesto dal ruolo.

Misurare solo la comprensione scritta e orale e poi dare per scontato che la produzione sia allo stesso livello significa tirare a indovinare.

Fino a poco tempo fa c'era una giustificazione. Valutare parlato e scritto su grandi numeri significava esaminatori umani, formazione, taratura e costi.

L'intelligenza artificiale ha cambiato le cose. Strumenti come Talketet valutano parlato e scritto come farebbe un esaminatore formato.

Come scegliere lo strumento di valutazione linguistica più affidabile per assumere personale

Quattro domande separano un test validato in profondità da uno che si limita a sembrare autorevole.

• Il test valuta la produzione orale e scritta oppure solo grammatica, ascolto e lettura?
• L'allineamento al QCER è documentato in un testo che l'acquirente può leggere?
• La coerenza dei punteggi è stata misurata?
• Chi ha svolto la validazione e aveva un interesse commerciale nel risultato?

Quasi tutti i fornitori risponderanno di sì alle prime tre. La mossa utile è chiedere il documento che sta dietro a ogni sì.

Il test linguistico Talketet è stato validato da ricercatori indipendenti di importanti università europee. Scrivici e ti inviamo la documentazione.

Come ha fatto Talketet a costruire un'IA conforme al QCER che valuta come un esaminatore umano?

Il punto di partenza è il costrutto, cioè ciò che il test si propone di misurare. Il nostro quadro di riferimento unisce i descrittori del QCER alla Teoria della processabilità, che descrive come la lingua di chi apprende si sviluppi attraverso una sequenza fissa di stadi, uno dopo l'altro.

In questo modo la valutazione può verificare se il livello mostrato dal candidato corrisponde al modo in cui una seconda lingua viene realmente appresa.

Da qui discende la progettazione delle prove. Riduciamo al minimo la scelta multipla, perché si può indovinare, e la sostituiamo, ove possibile, con prove in cui il candidato deve parlare o scrivere.

Le risposte vengono poi valutate secondo una griglia esplicita con pesi fissi: grammatica, contenuto, lessico, comprensione, coesione, più fluenza e pronuncia per l'orale.

I punteggi sono ricondotti ai livelli QCER per ogni abilità e per il test nel suo insieme.

La coerenza è il punto in cui la valutazione automatica rischia di cedere, quindi l'abbiamo misurata direttamente. Abbiamo valutato più volte le stesse risposte e osservato quanto i risultati cambiassero tra un'esecuzione e l'altra. I parametri sono risultati coerenti in oltre il 95% dei casi.

Questa ricerca ha dimostrato che l'IA alla base di Talketet restituisce risultati conformi al QCER come farebbero valutatori umani.

Il metodo completo, i pesi e i risultati sono descritti negli articoli della nostra sezione ricerca.

Test linguistici e validazione: che cosa dimostra davvero la ricerca accademica

Una validazione approfondita è rara nella valutazione linguistica. Di solito riguarda solo gli esami ad alto impatto, dove un singolo punteggio può decidere l'ammissione di uno studente all'università.

Questi esami pubblicano le proprie ricerche e spiegano con precisione che cosa misurano e come assegnano i punteggi.

Il loro prezzo, però, è pensato per una singola persona che sostiene un singolo esame, ed è quindi troppo alto per la selezione del personale.

In Talketet volevamo la stessa qualità nei nostri test, con un prezzo scalabile per la selezione.

Abbiamo svolto questo lavoro con ricercatori di linguistica dell'Università di Pavia e dell'Università di Roma Tor Vergata.

I risultati sono stati presentati a CLiC-it 2025 (italiano come lingua seconda) e ai convegni AIA (Associazione Italiana di Anglistica) e GSCP (Gruppo di Studio sulla Comunicazione Parlata) per l'inglese.

Il processo di validazione è passato per la revisione tra pari: i nostri articoli sono pubblici e liberamente consultabili.

A validare il nostro quadro di riferimento e la nostra tecnologia sono stati ricercatori di linguistica senza alcun interesse commerciale.

Come la valutazione linguistica di Talketet è stata testata contro i bias

Un bias emerge in un test linguistico quando i candidati che condividono una caratteristica estranea alla competenza linguistica ottengono, come gruppo, punteggi diversi.

Nella selezione del personale questo è un problema giuridico oltre che di misurazione, e il regolamento europeo sull'intelligenza artificiale (AI Act) tratta di conseguenza la valutazione in ambito lavorativo.

Il primo controllo pubblicato ha riguardato il genere di chi parla. Abbiamo sottoposto le stesse risposte orali con una voce maschile e una femminile, su tutti i parametri di punteggio, per capire se il modello reagisse alla persona anziché alla prestazione. Il genere non ha avuto effetti rilevanti sui punteggi.

Trovi maggiori informazioni in questo articolo.

Questo studio rende Talketet uno dei pochi strumenti di valutazione linguistica basati sull'IA per la selezione a essere stato testato contro i bias.

Valutazione linguistica affidabile per le assunzioni su larga scala

In passato, chi assumeva su grandi numeri doveva scegliere tra due opzioni:

• un test linguistico validato ma costoso, con valutatori umani
• un test a scelta multipla economico ma poco accurato

Con Talketet oggi si ottiene il meglio di entrambi:

un test linguistico validato in profondità, con un prezzo calibrato sui volumi e adatto alla selezione del personale.