Lavoce.info

A CHI CONVIENE BARARE AI TEST INVALSI? *

Le prove Invalsi su base universale servono in primo luogo a dare a tutte le singole scuole uno specchio sulla propria specifica situazione. Ecco perché chi “imbroglia” fa del male innanzitutto a se stesso. Quest’anno l’Istituto non restituirà le prove nelle situazioni dove i dati non risultino affidabili e cercherà di migliorare la conduzione e i controlli sull’espletamento delle prove. Ma più che in un’attività di repressione, l’Invalsi si impegnerà a favorire una maggiore informazione e un più trasparente dibattito sul contenuto e sulle finalità del test.

La ratio delle prove Invalsi su base universale è quella di fornire a tutte le singole scuole uno specchio sulla propria specifica situazione, uno specchio che, per quanto inevitabilmente imperfetto e parziale, ha il pregio di essere omogeneo per tutti e in tutto il paese. (1) La mera osservazione delle tendenze del sistema scolastico nel suo complesso potrebbe invece essere anche soddisfatta attraverso rilevazioni su base campionaria, che interessino cioè solo alcune scuole e alcune classi (e quindi solo alcuni studenti). Se l’analisi del sistema nel suo complesso fosse l’unico obiettivo, l’uso di rilevazioni su base campionaria, pur non riducendo i costi di costruzione delle prove, potrebbe anzi consentire di affinare ulteriormente l’osservazione su tutta una serie di aspetti di contorno relativi alla singola scuola (meglio ancora alla singola classe) e al gruppo di studenti concretamente testati, potenzialmente rilevanti nell’interpretare i concreti risultati nelle prove. (2)
Per coniugare le due finalità, le prove Invalsi vengono in realtà proposte a tutti su base universale (quantomeno in alcuni gradi scolastici), ma in un campione di classi e di scuole vengono anche “vigilate” da osservatori esterni. In quello stesso campione, mantenendo sempre l’anonimato che contraddistingue le prove stesse che non collegano il singolo insegnante ai risultati delle prove dei suoi alunni, da quest’anno verranno raccolte informazioni ulteriori sui metodi didattici adoperati e più in generale sulle opinioni dei docenti in merito alle prove.
Sono le risultanze di questo campione a costituire l’oggetto del rapporto nazionale che viene prodotto dall’Invalsi per la fine di luglio (quest’anno sarà presentato il 20 luglio). I risultati delle singole scuole, di tutte le singole scuole, vengono invece restituiti gradualmente a queste ultime per fornire loro uno specchio entro cui guardarsi: quest’anno la restituzione verrà avviata già a partire dal mese di settembre, arricchendola con una “guida alla lettura”, che faciliti le scuole nella propria libera attività di autovalutazione, parte del proprio normale ciclo di programmazione e riprogrammazione didattica.

COMPORTAMENTI ANOMALI: DOVE E PERCHÉ

La congruenza di questo doppio binario è però messa in crisi dal fatto che, in particolare nelle scuole e nelle classi che non sono parte del campione, vi è chi “bara”, per usare l’espressione usata da Marco Bertoni , Giorgio Brunello e Lorenzo Rocco.
La tavola 1 presenta una stima del fenomeno per l’anno scolastico 2010-11 per i diversi gradi scolastici censiti. Pur nella diversità dei risultati a seconda dei gradi e degli ambiti considerati, è da segnalare come la stima del fenomeno sia simile, nella sua dimensione complessiva, all’entità delle anomalie segnalate nell’intervento di Bertoni, Brunello e Rocco. Ciò, nonostante la logica dell’esercizio qui riportato sia diversa, essendo finalizzata a evidenziare l’entità dei comportamenti anomali non nella media del sistema, ma in ciascuna singola classe. L’esercizio statistico guarda infatti alla performance degli studenti di una data classe, ritenendo sospetta quella che sia al tempo stesso “troppo” elevata e “troppo” omogenea (per la precisione si considera in realtà non la performance complessiva degli studenti bensì l’intero pattern di modalità di risposta a tutte le diverse domande che caratterizzano una singola prova). La presenza di comportamenti anomali, che non è peraltro un fenomeno solo italiano, meriterebbe di essere meglio indagata. (3) Senza qui entrare nei dettagli, va sottolineato come il fenomeno sia alquanto variabile tra Regioni: pur con differenze tra i vari ambiti e gradi, è in genere nel Mezzogiorno (le regioni indicate col pallino scuro), e in particolare in Calabria, ove si raggiungono i vertici massimi (figura 1).
Tra le ragioni dei comportamenti anomali è molto probabile vi siano le “incomprensioni” sul ruolo delle prove Invalsi: benché non siano destinate a (e non siano di conseguenza disegnate in modo da consentire) una “valutazione” dei singoli insegnanti, diffuso è il sospetto che sotto sotto questa sia l’intenzione, il che porta a illeciti, per quanto comprensibili, meccanismi di difesa da parte di singoli insegnanti. Il contenuto “culturale” delle prove è poi spesso osteggiato, alle volte sulla base di informazioni inesatte: sono banalmente equiparate a “quiz a crocette”, laddove invece nella prova di quest’anno relativa alla seconda classe della scuola superiore, circa un terzo delle domande era a risposta aperta. (4) Mentre si manca di cogliere lo sforzo di coniugare orientamento alle competenze e rappresentatività dei contenuti dell’attività scolastica concretamente posta in essere, nel sistema scolastico italiano. (5) L’idea stessa di prove omogenee su tutto il territorio nazionale è a volte osteggiata da chi sostiene che confrontare ragazzi dal background diverso sia privo di senso e che peraltro dimentica che nelle stesse rilevazioni – e da altre fonti – l’Invalsi raccoglie informazioni sul contesto scolastico e familiare proprio per evitare di fare confronti impropri. (6)

COME MIGLIORARE LE PROVE

Una maggiore informazione e un più trasparente dibattito sul contenuto e sulle finalità delle prove Invalsi senz’altro potrebbe aiutare. A tale fine due precisazioni possono essere utili. Le risultanze sulle singole scuole sono e saranno restituite individualmente alle singole scuole e non divulgate, se non per libera scelta della scuola medesima. La seconda precisazione però trascende i confini dell’Invalsi, perché sarebbe utile sancire chiaramente che tali risultanze (e le connesse elaborazioni che cerchino ad esempio di individuare il cosiddetto valore aggiunto apportato dalle singole scuole) possono costituire la base per individuare le scuole in condizione maggiormente critica – meritevoli quindi di maggiori attenzioni e supporto – ma non per istituire generalizzate differenziazioni retributive di natura premiale. Gli schemi premiali per i singoli possono avere un loro ruolo, ma non possono basarsi sic et simpliciter sulle attuali prove Invalsi, che verrebbero snaturate ove ciò avvenisse. 
Vi sono però anche altri modi di prevenire e contrastare le anomalie in sede di conduzione delle prove. Migliorare la conduzione e i controlli sull’espletamento delle prove (ad esempio, con maggiori ricorrezioni a campione) è senz’altro doveroso. In prospettiva, l’uso del computer potrà anche facilitare il contrasto (e più in generale, arricchire le informazioni che dalle prove si possono ricavare, passando a prove di natura adattiva. (7)
Già nell’immediato, anziché genericamente invocare un’attività di repressione del fenomeno, che pure sarebbe più che legittima e doverosa, si può inoltre evidenziare che chi “imbroglia” fa del male innanzitutto a se stesso. Disporre di risultati truccati priva infatti le scuole e le classi di quello specchio, pur parziale e imperfetto, che le prove cercano di fornire. Da quest’autunno l’Invalsi pertanto non restituirà proprio i dati relativi a quelle situazioni ove i dati risultino essere a tal punto anomali da non essere affidabili (e ovviamente non restituirà i dati relativi alle, peraltro poche, classi ove le prove non sono state affatto svolte per via dello sciopero avverso le prove proclamato dai Cobas della scuola). Anche negli altri casi, i risultati saranno restituiti al netto dell’effetto stimato della presenza di comportamenti anomali. Il dirigente scolastico e il consiglio d’istituto, ove siedono tutte le componenti del mondo della scuola, inclusi i genitori e, nel caso delle scuole secondarie di secondo grado, gli studenti, avranno inoltre contezza della rilevanza degli eventuali comportamenti anomali statisticamente individuati.

* Paolo Sestito è commissario straordinario dell’Invalsi.

(1) Proprio perché parziali (basti dire che si considerano solo due ambiti disciplinari, italiano e matematica, a valenza peraltro trasversale e basilare) le prove non sono la base del giudizio valutativo sul singolo studente. Anche nel caso delle prove effettuate all’interno dell’esame di Stato conclusivo del primo ciclo d’istruzione (classe terza secondaria di primo grado), le prove contano per circa un sesto del giudizio complessivo.
(2) Rimarrebbero inalterati i costi di costruzione delle prove per quanto attiene la definizione del quadro di riferimento, la formulazione delle singole domande concrete, il loro pre-testing e tutto quel processo che mediamente richiede almeno 12-15 mesi per la predisposizione di una prova ben fatta e che non varia al mutare del numero di soggetti a cui poi la prova venga sottoposta.
(3) Il caso forse più noto di analisi del cheating è quello delle scuole di Chicago, circa 10 anni orsono, allora governate da A. Duncan (attuale ministro della Scuola nell’amministrazione Obama) e indagate da S. Leavitt (che ne parla tra l’altro nel primo volume della sua fortunata serie Freaknomics). 
(4) Ci si riferisce all’orientamento culturale generale delle prove e non alla singola domanda, che sempre potrà avere, benché si passi per un lungo processo di controlli e verifiche, qualche ambiguità irrisolta. La caratteristica delle prove strutturate definite dall’Invalsi è peraltro quella che un singolo quesito che, nonostante il pre-test, dovesse risultare imprecisamente formulato, si vedrà comunque abbassato il proprio peso specifico, all’interno della prova, a seguito delle elaborazioni statistico-psicometriche basate sulle risposte effettive dell’intera popolazione studentesca oggetto di osservazione.
(5) Le competenze vengono misurate proponendo contesti e situazioni di vario tipo come stimolo per l’attivazione di processi cognitivi che i saperi e le aree di apprendimento scolastico dovrebbero contribuire a sviluppare. Si cerca quindi di misurare l’utilizzo consapevole e non il mero possesso mnemonico dei saperi e delle conoscenze. Questo rende le prove Invalsi meglio attrezzate, rispetto alle rilevazioni internazionali Iea_Pirls, Iea-Timss e Ocse-Pisa in Italia condotte peraltro dall’Invalsi) nel cercare di fornire alle singole scuole strumenti per avviare riflessioni didattico-metodologiche a fini di miglioramento.
(6) Dire che i traguardi educativi, il cui raggiungimento le prove Invalsi cercano di verificare, debbano essere permanentemente e sistematicamente diversi a seconda dell’origine sociale sarebbe una ben strana forma di attenzione ai più deboli, condannati per definizione a un syllabus di serie B. Il fatto che i “più deboli” abbiano necessità di un supporto particolare e che la scuola debba porre loro obiettivi graduali e realistici, tali da stimolarne lo sforzo al miglioramento senza deprimerne la motivazione a ben fare, non è in contraddizione col fatto che la misurazione debba essere il più possibile obiettiva e comparabile.
(7) Una prova adattiva si compone di quesiti diversi in funzione delle risposte via via fornite dal rispondente. Le prove somministrate mediante computer aprono quindi la possibilità di  personalizzare i contenuti rispetto alle caratteristiche e ai livelli di preparazione del singolo studente, con misurazioni più precise e affidabili.

Tavola 1 Incidenza del cheating nei vari gradi scolastici

 

Italiano

matematica

Impatto medio complessivo (a)

% di classi con cheating elevato (b)

Impatto medio complessivo (a)

% di classi con cheating elevato (b)

II primaria

7,4

12,0

8,8

13,3

V primaria

6,7

11,2

7,4

12,7

I secondaria di I grado

6,0

12,0

1,4

2,9

III secondaria di I grado

7,6

14,3

5,9

12,1

II superiore

11,3

21,7

3,4

7,3

(a)     variazione assoluta nella percentuale di risposte corrette (in centesimi) nell’intera popolazione di classi non-campione ascrivibile a fenomeni di cheating
(b)     % di classi non-campione nelle quali la propensione al cheating  è tale da provocare un innalzamento nella percentuale di risposte corrette pari ad almeno 10 punti percentuali 

                                                                                                                                                                                  Fig. 1 Differenze tra regioni nella rilevanza del cheating

.

Lavoce è di tutti: sostienila!

Lavoce.info non ospita pubblicità e, a differenza di molti altri siti di informazione, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!

Leggi anche:  Istruzione, un investimento strategico*
Leggi anche:  Istruzione, un investimento strategico*

Precedente

PERCHÉ GLI EUROBOND NON SONO LA SOLUZIONE

Successivo

UNA RC-CASA CONTRO LE CALAMITÀ

  1. Alessandro Balestrino

    Ringrazio l’autore per la lucidità con cui ha esposto compiti, obiettivi e limiti del test. Non posso che essere d’accordo con, e enfatizzare a mia volta, l’assoluta necessità di chiarire a studenti e insegnanti l’effettivo ruolo dei test Invalsi, la cui potenziale utilità è per me indubbia. Io ho due figlie alle scuole superiori e le voci che raccolgo da loro su come i ragazzi vedono i test Invalsi sono preoccupanti; e non ricevono rassicurazioni da nessuno (ad esempio il significato degli ispettori era oscuro, lo confesso, anche a me prima di leggere questo intervento). L’uso del test per dare il voto all’esame di terza media resta però a mio parere improprio, e fonte di distorsioni (gli studenti si prepararano per il test, sono incentivati a “barare” ecc). Certo, vale solo un sesto, ma anche il tema vale solo un sesto. Agli occhi dello studente è una prova, non più un test di rilevazione statistica. Eliminare questo aspetto contribuirebbe a diminuire le paure sull’uso del test Invalsi per valutare gli individui.

  2. Andrea Z

    Anzitutto voglio esprimere apprezzamento per l’articolo. Desidero però sollevare alcune questioni in su INVALSI. Intanto si rileva che i docenti sentono di essere costretti a agire per invalsi ma senza adeguate indicazioni né incentivazioni; vi è disparità, infatti, tra coloro che partecipano a attività analoghe e gli altri che restano sollevati da tali incombenze. Inoltre le procedure operative sono inutilmente complicate. L’etichettatura è dispendiosa ma sostanzialmente inutile. Il passaggio ad un sistema informatico online consentirebbe in primo luogo di risparmiare sulla quantità di fascicoli cartacei inviati persino in eccesso e semplificherebbe le procedure di correzione, evitando errori e lungaggini superflue; potrebbe, inoltre, migliorare l’affidabilità dei test, sfruttando strumenti come la non sequenzialità delle domande, la disposizione casuale delle risposte possibili, la validazione delle risposte ambigue; ausili audio potrebbero avere la duplice finalità di aiutare gli studenti con disturbi percettivi o cognitivi ma anche di «isolare» acusticamente i candidati. Grazie per questa opportunità. Andrea Z.

  3. ciro daniele

    Ebbene sì: anche insegnati e studenti sono (inaspettatamente) agenti razionali e “foreward looking”. E in questi casi è addirittura controproducente somministrare “trattamenti” che potrebbero avere conseguenze sgradevoli per chi vi si sottopone, come dovrebbero sapere bene gli economisti da almeno una quarantina di anni a questa parte. Quindi i test INVALSI possono essere migliorati quanto si vuole, ma non si può sperare di ridurre il cheating in modo significativo. Se escludiamo la fattibilità di controlli “sovietici”, l’unica strada sarebbe quella di togliere ogni conseguenza pratica ai test, che però allora diventerebbero inutili. Non è un caso se a nessuno viene (ancora) in mente di rendere obbligatorio un check up periodico e la cura delle eventuali patologie riscontrate, e ci si affida invece allo spirito di sopravvivenza individuale. Infine, visto che i test costano tempo e fatica, temo che spesso gli insegnanti (non retribuiti!) abbiano semplicemente dato un punteggio a tavolino, in modo da minimizzare il loro sforzo. I più accorti avranno introdotto anche un po’ di varianza nei risultati.

  4. Marco S.

    Un commento più ai commenti che all’articolo. Trovo sempre più sorprendente come, in Italia, sopravviva l’idea che un esame o un test non debbano valutare la preparazione individuale, con tutti i limiti e le critiche che – ovviamente – possono essere mosse al singolo test o esame.. Quanto all’uso del termine “sovietico” si tratta ovviamente di un termine inappropriato o iniquo . Un esempio? Il test GRE, amministrato da privati e volto a rilevare la preparazione di base per la valutazione da parte di università americane si svolge in ambiente sovietico. Un po’ meno efficace è oggi il test toefl, perché le società private che gestiscono la somminisrazione a volte risparmiano troppo sugli ambienti. In ogni caso il concetto, semplicissimo, è che un test ha senso prima di tutto se verifica alcuni esiti di una preparazione scolastica o personale, e non è possibile copiare. Che poi il punteggio ad un test non sia affatto sufficiente a distinguere tra individui un potenziale buon ricercatore da un replicante, questo è un altro discorso, serio. Questi test sono usati per individuare gap più che eccellenze o potenzialità, maggiori punti di forza e debolezza.

Lascia un commento

Non vengono pubblicati i commenti che contengono volgarità, termini offensivi, espressioni diffamatorie, espressioni razziste, sessiste, omofobiche o violente. Non vengono pubblicati gli indirizzi web inseriti a scopo promozionale. Invitiamo inoltre i lettori a firmare i propri commenti con nome e cognome.

Powered by WordPress & Theme by Anders Norén