Test Invalsi sotto il fuoco del boicottaggio

La sfiducia nell’Invalsi sta erodendone la credibilità. I boicottaggi hanno l’effetto di deteriorare l’efficacia di uno strumento non esente da criticità. L’accettabilità del test standardizzato va costruita attraverso un esame indipendente e autorevole dei risultati ottenuti finora.

Quando a suggerire è il professore

L’anno scorso ho avuto la fortuna di avere accesso a tutti i dati dei test Invalsi. L’obiettivo della ricerca era quello di seguire nel tempo l’evoluzione dei risultati degli studenti dalla quinta elementare alla prima media inferiore per capire quali fattori ne influenzino l’andamento. Una volta iniziato il lavoro sono emersi due problemi. Uno è ben conosciuto ed è il fatto che le risposte registrate sono in molti casi palesemente falsate. Non si tratta di errori casuali, se si guarda alla distribuzione dei punteggi ottenuti nelle classi in cui durante le prove è presente soltanto il professore (a sinistra) e quella nelle classi in cui è presente anche un esaminatore esterno (a destra): la maggior frequenza di punteggi alti nel primo caso è evidente.

L’istogramma riporta per ogni punteggio la frazione degli studenti che l’hanno ottenuto e si riferisce alla prova di Italiano in V elementare. Le barre più lunghe per i punteggi massimi nelle classi in cui non c’era un esaminatore esterno chiariscono la natura della manipolazione dei risultati: dove non c’è controllo si manipolano le risposte affinché per la maggior parte degli studenti quasi tutte risultino corrette.

Un secondo problema riguarda gli studenti che potevamo effettivamente seguire fra la quinta elementare e la prima media. Dei 520mila studenti in Veneto nel 2011-12 riuscivamo a ritrovarne solamente 307mila l’anno successivo. Gli altri 200mila erano nel campione, ma non potevano essere identificati.
Questo forse spiega perché non esistono pubblicazioni importanti basate sui test Invalsi, la qualità dei dati è un problema serio. Non sorprende il fatto che uno dei lavori più interessanti in circolazione di Joshua Angrist, Erich Battistin e Daniela Vuri riguardi proprio il problema della manipolazione dei risultati.

I limiti dei test e il circolo vizioso della scuola italiana

Quest’anno probabilmente le cose sono andate anche peggio, complice la contemporanea discussione dell’ennesima riforma, l’insofferenza verso i test si è diffusa enormemente. C’è da attendersi quindi che la qualità dei dati sarà ancora peggiore e che le chance di utilizzarli come strumento di valutazione siano ancora più ridotte.
La scuola italiana si trova in un circolo vizioso in cui la sfiducia verso uno strumento lo rende meno credibile, riducendone ulteriormente l’affidabilità.
Il grande pregio dei test standardizzati è che sono costruiti per restituire risultati che prescindono dal contesto in cui vengono somministrati. La grande scommessa dell’Invalsi è stata proprio questa, produrre uno strumento in grado di identificare situazioni critiche, che necessitano investimenti pubblici, così come contesti di eccellenza, che possano essere portati ad esempio di innovazione nel processo di educazione.
Il problema è che la comparabilità dei punteggi viene a caro prezzo, si deve rinunciare a un giudizio completo e personale e optare per uno strumento che riassume le conoscenze di uno studente in un numero ottenuto attraverso regole di compilazione e correzione molto rigide.
Purtroppo, i test standardizzati hanno mostrato limiti anche sotto altri profili. Ci sono numerose prove ad esempio che non siano un buono strumento per valutare l’efficacia del lavoro dei professori. James Heckman ha da poco pubblicato un libro nel quale si dimostra che il Ged (General educational development), test necessario per l’accesso all’università negli Stati Uniti per gli studenti che non frequentano il college, ha un impatto profondo sulle conoscenze dei ragazzi. A parità di altre condizioni, gli studenti che superano il Ged per accedere all’università risultano sistematicamente meno capaci di realizzarsi nella vita lavorativa rispetto ai loro coetanei che hanno frequentato il college.
Negli Stati Uniti, quindi, si discute del reale valore di questi test come misura dell’apprendimento degli studenti. Occorrerebbe anche dalle nostre parti dare risposte alle domande e alle critiche, soprattutto a quelle ragionevoli. Sono risposte che possono venire solo fino a un certo punto dai tecnici, deve essere in primo luogo la politica a farsi carico, anche in termini di risorse, della credibilità dei test Invalsi. Se questo test serve, occorrerebbe raccontare a cosa e come.
Negli ultimi anni una serie di esperienze come quella messicana e brasiliana hanno dimostrato che una valutazione indipendente e autorevole dell’efficacia delle innovazioni nelle politiche pubbliche riesce a renderle credibili agli occhi dell’opinione pubblica e sostenibili politicamente. Per l’Invalsi invece non esiste una narrativa che possa chiarirne l’utilità e circoscriverne i limiti.
Se la mia percezione è corretta, i risultati dei test Invalsi di quest’anno risulteranno meno affidabili di quelli degli anni precedenti e sarà ancora più complicato spiegarne l’utilità. Occorre interrompere questo circolo vizioso, far tesoro delle esperienze dei primi sette anni di vita del test e finanziarne adeguatamente una valutazione indipendente e un miglioramento sostanziale.