Perché i sondaggi continuano a sbagliare

Anche sul referendum costituzionale i sondaggi non hanno azzeccato il risultato. Questa volta è stata la distanza tra “no” e “sì” a essere sottostimata. Le ragioni sono molte: le non risposte e la massa notevole di indecisi, certo. Ma anche alcune rilevanti leggerezze nella selezione dei campioni.

Un altro risultato imprevisto

Il commento attribuito al presidente del Consiglio – “Non credevo mi odiassero così tanto” – una volta appresi i risultati relativi al voto sulla riforma costituzionale, rende bene l’idea di quanto l’esito fosse largamente inatteso, sebbene quasi tutti i sondaggi concordassero nel ritenere maggioritaria l’opposizione alla riforma. È anche del tutto evidente come una tale disfatta abbia acuito il senso politico del voto, ancorché il 40 per cento di consensi corrisponda, in linea di massima, a quelli ottenuti dal Pd alle elezioni europee del 2014, che acclamarono Matteo Renzi trionfatore.
Analizzando i dati relativi ai sondaggi pubblicati nel periodo 11-18 novembre 2016, reperibili sul sito della presidenza del Consiglio, si corrobora la convinzione che l’esito del voto fosse imprevisto.
La figura 1 riporta l’intervallo entro cui, con fiducia del 95 per cento, il sondaggio corrispondente colloca la percentuale di voti a favore del “no”. La percentuale di votanti contrari alla riforma costituzionale è stata sistematicamente sottostimata. Il dato reale (59,11 per cento) ricade nell’intervallo di confidenza solo in un caso, e a malapena. Analoga considerazione può essere svolta per ciò che attiene alla partecipazione al voto (65,47 per cento), i cui dati, con i relativi intervalli di confidenza, sono riportati in figura 2. L’intervallo di valori previsti per il tasso di partecipazione non è mai in grado di catturare il valore effettivo.
Peraltro, tra i sondaggi considerati, solo il 68 per cento rende noto il tasso previsto di partecipazione al voto – cosa quantomeno strana, data la rilevanza del dato – la cui distribuzione, tra i sondaggi, presenta un’eccentrica variabilità. La variabilità suggerisce l’esistenza di una non giustificabile eterogeneità nei campioni estratti dalle società di sondaggi, e dunque di una distorsione nei risultati.
Nelle settimane precedenti il voto, immaginando, sulla base delle previsioni disponibili, che la distanza tra “no” e “sì” non fosse incolmabile, e che un colpo di teatro fosse dunque ancora possibile, l’attenzione degli analisti si è molto concentrata sugli effetti che un’accresciuta partecipazione avrebbe prodotto sull’esito del referendum. In effetti è possibile rilevare, sul complesso dei sondaggi, una tendenza del vantaggio del “no” sul “sì” ad acuirsi al crescere della partecipazione prevista al voto (figura 3).
Sebbene le due tendenze non siano comparabili, è interessante rilevare che disaggregando il dato definitivo del voto a livello regionale (figura 4), la tendenza tra partecipazione e scarto tra “no” e “sì” risulta comunque del tutto opposta.

Rilevazioni spericolate

Queste considerazioni indicano che una certa spericolatezza nelle modalità di realizzazione dei sondaggi persiste in Italia, così come un certo grado di noncuranza nel fornire tutti i dati rilevanti (ad esempio, numero di sostituzioni). La spericolatezza genera peraltro false credenze.
Sull’onda del dibattito statunitense innescato dall’incapacità dei sondaggi di prevedere la vittoria di Donald Trump alle recenti presidenziali, è possibile effettuare alcune considerazioni ulteriori.
La fonte di distorsione su cui maggiormente gli analisti stanno concentrando l’attenzione è connessa al cosiddetto nonresponse bias (l’effetto delle non risposte). La deformazione è causata dal fatto che una quota rilevante delle persone contattate è reticente a partecipare alla rilevazione. Ad esempio, per ciò che concerne i sondaggi da noi considerati, il tasso di risposta medio è pari al 22,04 per cento. A causa dei rifiuti a partecipare alla rilevazione, e dunque a causa dell’elevato numero di sostituzioni, il campione è distorto da autoselezione. Fra l’altro non tutte le società realizzatrici pubblicano dati sul tasso di risposta.
In alcuni recenti interventi, Andrew Gelman e David Rothschild hanno ricondotto al nonresponse bias anche le ragioni dell’apparente volatilità del consenso nel corso delle campagne elettorali, per cui l’elettore finisce per rassomigliare a una banderuola agitata dal vento (si veda qui e qui). La loro tesi è che le preferenze degli elettori sono molto stabili; instabile sarebbe la disponibilità a partecipare ai sondaggi. Tale disponibilità verrebbe notevolmente influenzata da avvenimenti singolari, in grado di galvanizzare o deprimere, temporaneamente, una parte politica, e così condizionare il comportamento degli individui che vi si identificano.
Per la ritrosia che i sostenitori di una parte o di un’altra potrebbero aver esibito nell’aderire alle rilevazioni, la massa notevole di indecisi, alcune rilevanti leggerezze nella selezione dei campioni, non è un caso che, anche per il referendum sulla riforma costituzionale, i sondaggi abbiano mancato, e di molto, la risposta esatta.

Figura 1

Figura 2

Figura 3

Figura 4