Anche sul referendum costituzionale i sondaggi non hanno azzeccato il risultato. Questa volta è stata la distanza tra “no” e “sì” a essere sottostimata. Le ragioni sono molte: le non risposte e la massa notevole di indecisi, certo. Ma anche alcune rilevanti leggerezze nella selezione dei campioni.
Un altro risultato imprevisto
Il commento attribuito al presidente del Consiglio – “Non credevo mi odiassero così tanto” – una volta appresi i risultati relativi al voto sulla riforma costituzionale, rende bene l’idea di quanto l’esito fosse largamente inatteso, sebbene quasi tutti i sondaggi concordassero nel ritenere maggioritaria l’opposizione alla riforma. È anche del tutto evidente come una tale disfatta abbia acuito il senso politico del voto, ancorché il 40 per cento di consensi corrisponda, in linea di massima, a quelli ottenuti dal Pd alle elezioni europee del 2014, che acclamarono Matteo Renzi trionfatore.
Analizzando i dati relativi ai sondaggi pubblicati nel periodo 11-18 novembre 2016, reperibili sul sito della presidenza del Consiglio, si corrobora la convinzione che l’esito del voto fosse imprevisto.
La figura 1 riporta l’intervallo entro cui, con fiducia del 95 per cento, il sondaggio corrispondente colloca la percentuale di voti a favore del “no”. La percentuale di votanti contrari alla riforma costituzionale è stata sistematicamente sottostimata. Il dato reale (59,11 per cento) ricade nell’intervallo di confidenza solo in un caso, e a malapena. Analoga considerazione può essere svolta per ciò che attiene alla partecipazione al voto (65,47 per cento), i cui dati, con i relativi intervalli di confidenza, sono riportati in figura 2. L’intervallo di valori previsti per il tasso di partecipazione non è mai in grado di catturare il valore effettivo.
Peraltro, tra i sondaggi considerati, solo il 68 per cento rende noto il tasso previsto di partecipazione al voto – cosa quantomeno strana, data la rilevanza del dato – la cui distribuzione, tra i sondaggi, presenta un’eccentrica variabilità. La variabilità suggerisce l’esistenza di una non giustificabile eterogeneità nei campioni estratti dalle società di sondaggi, e dunque di una distorsione nei risultati.
Nelle settimane precedenti il voto, immaginando, sulla base delle previsioni disponibili, che la distanza tra “no” e “sì” non fosse incolmabile, e che un colpo di teatro fosse dunque ancora possibile, l’attenzione degli analisti si è molto concentrata sugli effetti che un’accresciuta partecipazione avrebbe prodotto sull’esito del referendum. In effetti è possibile rilevare, sul complesso dei sondaggi, una tendenza del vantaggio del “no” sul “sì” ad acuirsi al crescere della partecipazione prevista al voto (figura 3).
Sebbene le due tendenze non siano comparabili, è interessante rilevare che disaggregando il dato definitivo del voto a livello regionale (figura 4), la tendenza tra partecipazione e scarto tra “no” e “sì” risulta comunque del tutto opposta.
Rilevazioni spericolate
Queste considerazioni indicano che una certa spericolatezza nelle modalità di realizzazione dei sondaggi persiste in Italia, così come un certo grado di noncuranza nel fornire tutti i dati rilevanti (ad esempio, numero di sostituzioni). La spericolatezza genera peraltro false credenze.
Sull’onda del dibattito statunitense innescato dall’incapacità dei sondaggi di prevedere la vittoria di Donald Trump alle recenti presidenziali, è possibile effettuare alcune considerazioni ulteriori.
La fonte di distorsione su cui maggiormente gli analisti stanno concentrando l’attenzione è connessa al cosiddetto nonresponse bias (l’effetto delle non risposte). La deformazione è causata dal fatto che una quota rilevante delle persone contattate è reticente a partecipare alla rilevazione. Ad esempio, per ciò che concerne i sondaggi da noi considerati, il tasso di risposta medio è pari al 22,04 per cento. A causa dei rifiuti a partecipare alla rilevazione, e dunque a causa dell’elevato numero di sostituzioni, il campione è distorto da autoselezione. Fra l’altro non tutte le società realizzatrici pubblicano dati sul tasso di risposta.
In alcuni recenti interventi, Andrew Gelman e David Rothschild hanno ricondotto al nonresponse bias anche le ragioni dell’apparente volatilità del consenso nel corso delle campagne elettorali, per cui l’elettore finisce per rassomigliare a una banderuola agitata dal vento (si veda qui e qui). La loro tesi è che le preferenze degli elettori sono molto stabili; instabile sarebbe la disponibilità a partecipare ai sondaggi. Tale disponibilità verrebbe notevolmente influenzata da avvenimenti singolari, in grado di galvanizzare o deprimere, temporaneamente, una parte politica, e così condizionare il comportamento degli individui che vi si identificano.
Per la ritrosia che i sostenitori di una parte o di un’altra potrebbero aver esibito nell’aderire alle rilevazioni, la massa notevole di indecisi, alcune rilevanti leggerezze nella selezione dei campioni, non è un caso che, anche per il referendum sulla riforma costituzionale, i sondaggi abbiano mancato, e di molto, la risposta esatta.
Figura 1
Figura 2
Figura 3
Figura 4 
Lavoce è di tutti: sostienila!
Lavoce.info non ospita pubblicità e, a differenza di molte altre testate, l’accesso ai nostri articoli è completamente gratuito. L’impegno dei redattori è volontario, ma le donazioni sono fondamentali per sostenere i costi del nostro sito. Il tuo contributo rafforzerebbe la nostra indipendenza e ci aiuterebbe a migliorare la nostra offerta di informazione libera, professionale e gratuita. Grazie del tuo aiuto!
Massimo Aria è professore associato in Statistica Sociale presso il Dipartimento di Scienze Economiche e Statistiche della Federico II. I suoi interessi di ricerca riguardano l’analisi bibliometrica, la progettazione e realizzazione di indagini campionarie, l’impiego dei metodi di analisi multidimensionale dei dati e di data editing per l’analisi di problematiche relative ai fenomeni economici e sociali.
È autore del software Bibliometrix R package.
Sergio Beraldo è Professore associato di Economia politica presso l’Università di Napoli ‘Federico II’ e research fellow del Center for Studies in Economics and Finance (CSEF). I suoi interessi di ricerca ricadono nell’ambito dell’Economia pubblica e della Teoria economica delle istituzioni.
Michele Lalla
La frase “ancorché il 40 per cento di consensi corrisponda, in linea di massima, a quelli ottenuti dal Pd alle elezioni europee del 2014” è ingiustificata perché: (1) dovrebbe rappresentare quanto meno l’insieme dei partiti al governo, (2) perché proprio il PD era diviso sul tema al suo interno. I sondaggi elettorali sulle intenzioni di voto, con tutti i limiti di tali sondaggi citati nel testo, danno il PD è intorno al 30%. Ciò costituirebbe una riprova delle obiezioni poste. Se si assume per buono il dato fornito dai media (e quindi da qualche istituto di sondaggi) che circa il 75% dei “sì” sono voti del PD, allora 0,75 X 40%=30%; ossia il PD sarebbe sempre al 30%. Naturalmente, a tale argomentazione si può contro-obiettare che i dissidenti rivoterebbero PD. Certo, ma intanto non è scontato il loro rientro e molto cambierebbe nelle elezioni politiche. Sulle altre considerazioni dell’articolo pesano diversi elementi, tra i quali il silenzio di 14 giorni prima del voto e non mi è chiaro se i sondaggi siano telefonici. In tal caso si ha una lista completamente inaffidabile e si ritorna al caso della Literay Digest.
UngernSternberg
Alle Europee tra l’altro l’astensione è sempre alta. Al referendum la partecipazione è stata come alle politiche.
Il 40% del PD alle Europee è frutto dell’alta astensione che ha danneggiato gli altri, in primis M5S.
Dire che corrisponde al 40% del si è una bufala grossolana.
In quel 40% c’era un buon 5% da Forza Italia, 3-4% da centristi per Monti/NCD e simili, ovvero gente che preferisce Renzi a Grillo.
Cosiccome il 60% del No è misto, ma evidente di gente che preferisce Grillo a Renzi.
Ma se ci si vuole convincere che il PD prenderebbe 40% al primo turno dopo la batosta del referendum, fate pure. Disonestà intellettuale fino alla fine.
Sergio Beraldo
Nell’articolo intendevamo soltanto evidenziare come il 40% dei consensi a favore della propria posizione avesse in un caso determinato un trionfo, in un altro una disfatta. Non intendevamo in alcun modo sostenere, ed infatti non è scritto nell’articolo, che se si votasse ora il PD prenderebbe il 40% dei consensi.
Massimo GIANNINI
Uno dei fattori di maggior peso sia la stima degli indecisi e soprattutto dell’affluenza. L’astensionismo a livello di contea/stato ha infatti distorto i sondaggi in America allorché in Italia man mano che l’affluenza aumentava era possibile stimare meglio il risultato. Infatti per il referendum è risulta evidente l’alta correlazione tra affluenza e distribuzione del voto secondo la forza politica di appartenenza tradizionale. Quanto più alta era l’affluenza tanto più il risultato si sarebbe avvicinato, e andava stimato, secondo i criteri delle elezioni politiche. Un’alta affluenza favoriva e ha favorito il NO perché lo schieramento era decisamente più ampio e vario.
Henri Schmit
Premetto che non sono esperto. Ma trovo l’analisi, in particolare il problema delle sostitutzioni e del nonresponse bias, estremamente interessante. Penso che i sondaggi dopo il referendum potrebbero essere più interessanti, più informativi, di quelli durante la campagna. Il NRB potrebbe incidere meno. Chi ha votato come? come voterebbe alle politiche? ha votato sul merito del quesito o sul governo? qual è stata la ragione/motivazione del suo giudizio: una riforma convincente, una riforma imperfetta ma necessaria o utile, una riforma con più difetti che pregi, una riforma interamente sbagliata, una riforma viziata da secondi fini inaccettabili? Se fossi un capopartito vorrei conoscere le risposte a QUESTE domande.
Enrico
Una provocazione ed una domanda. Chi li commissiona è consapevole della reale esiguità del campione ? Visto che nei fatti poi sui sondaggi si creano anche proposte di legge sarebbe il caso di affidarsi a standard più elevati anche in ragione del fatto che un po’ in tutto il mondo questo genere di analisi ha fallito. Su questo punto la comunità scientifica come si pone ?
Sergio Beraldo
Standard più elevati implicano costi più alti che i committenti non intendono sostenere. D’altro canto non è sicuro che il committente sia sempre in grado di apprezzare la qualità dell’analisi. Io valuterei molto positivamente un codice di autoregolamentazione che almeno induca i realizzatori a rendere pubbliche quelle informazioni rilevanti spesso omesse da cui la qualità del sondaggio può essere inferita.
Andrea
mi permetto di offrire due nuovi strumenti in aiuto ai sondaggisti: le bioscienze, il bio marketing (la capacità di previsione del comportamento umano attraverso l’analisi di parametri biometrici) e i famosi BIG Data. In un prossimo futuro, ma mlt prossimo comprendere l’esito del voto sarà un gioco da ragazzi in mano a pochi…..il passo successivo? I computer quantici quando non sarà più vera la massima di Picasso “i computer sono macchine stupide sanno solo dare risposte”