Enquestes electorals i escopetes de fira

“Les enquestes han fallat!”. Aquesta és segurament la frase que més vaig sentir als amics, la família i als mitjans de comunicació durant les hores i dies següents a les eleccions generals del passat 26 de juny. El programa d’humor Polònia va fer un gag sobre les empreses que fan les enquestes electorals que a mi, personalment, em va fer riure molt.

Estic totalment d’acord amb totes aquestes apreciacions, però en descàrrec de les empreses que fan demoscòpia he de dir que no és gens fàcil preveure el resultat d’unes eleccions, i menys quan hi ha dues noves formacions que passen a formar part del panorama electoral. En la “cuina” de les enquestes electorals s’utilitza bàsicament ––però no únicament– el record del vot per assignar als indecisos a qui votaran, i amb dues noves formacions com Podemos i Ciutadans es més difícil fer les estimacions de a qui votaran els indecisos. A més també cal tenir present que l’abstenció a les eleccions va ser superior al 30%, mentre que en la darrera enquesta electoral del CIS el percentatge d’abstenció no arribava al 20% (aquí, pregunta 6), i que en l’enquesta de El Periódico l’abstenció se situava per sota del 10% (aquí).

Però el que em resulta més sorprenent de tot plegat no són els errors de les enquestes pre-electorals sinó l’error de l’enquesta a peu d’urna. Es tracta d’una enquesta a persones que han votat, no es preguntava sobre el que votaran o creuen que votaran, sinó que és preguntava el que havien votat feia uns pocs minuts. En la següent taula es pot veure l’estimació de la distribució dels diputats per partit polític segons l’enquesta a peu d’urna de les eleccions del 26-J, i la distribució dels diputats per partit polític d’acord amb els resultats de les eleccions.

 

Diputats segons enquesta a peu d’urna

Diputats eleccions 26-J

PP

117-121

137

PSOE

81-85

85

C’s

26-30

32

PODEMOS

91-95

71

ERC

11-12

9

PNB

5-6

5

CDC

5

8

BILDU

3-4

2

COALICIÓN CANARIA

1

1

Crec que la taula mostra clarament els errors de l’enquesta a peu d’urna, i la pregunta és: per què ha fallat? Jo hi veig quatre possibles respostes:

1a) Vot ocult.

2a) Error en la “cuina” de l’enquesta.

3a) Error mostral.

4a) Error en el disseny mostra.

De les quatre opcions anteriors, no crec que siguin ni la primera ni la segona. En les anteriors eleccions generals del 20 de desembre de 2015, la meva parella va ser enquestada a la sortida del col·legi electoral, a banda de ser preguntada sobre quin partit havia votat, també se li va preguntar sobre el record de vot en les dos anteriors escomeses electorals, el sexe, l’edat i el nivell d’estudis. L’enquestador va facilitar un dispositiu mòbil a la meva parella per tal de respondre a les preguntes que feien referència al vot i al record de vot, és a dir, l’enquestador en cap moment va veure que responia la meva parella en quant a qui havia votat. Suposant que s’hagi seguit un procediment similar en l’enquesta a peu d’urna de les eleccions 26-J[1], això em porta a concloure que l’enquestat no oculta el vot a l’enquestador, ja que aquest no el veu. Malgrat tot, es pot donar el cas que alguns enquestats hagin ocultat el seu vot real, però veig molt i molt difícil que hi hagués una “mentida organitzada” que donés una diferència tan gran entre els resultats de l’enquesta a peu d’urna i els resultats electorals. Pel que fa a la “cuina” de les enquestes a peu d’urna, no crec que aquesta sigui gaire “elaborada”; segurament es fan ponderacions per sexe, grup d’edat i nivell d’instrucció, i potser alguna variable més, però no crec que tingui tanta importància com si que la té en les enquestes pre-electorals.

Pel que fa a l’error mostral, aquest sempre hi és quan es treballa amb mostres, per tant no es pot descartar mai aquesta opció. He trobat molt poca informació tècnica sobre l’enquesta a peu d’urna que va fer l’empresa Sigma Dos: l’error mostral de l’enquesta al conjunt de l’Estat espanyol era de l’1%, i per comunitats autònomes del 2%; en total es van enquestar a 132.000 persones de 2.720 meses electorals. Personalment no crec que la desviació entre el resultat de l’enquesta i el resultat de les eleccions s’hagi produït per l’error mostral, però certament és una possibilitat que sempre s’ha de tenir en compte.

L’última opció és l’error a l’hora de dissenyar la mostra. Desconec completament com es va dissenyar el mostreig de l’enquesta a peu d’urna, però m’imagino que devia de ser un mostreig aleatori polietàpic. Suposo que en la primera etapa cal distribuir el nombre de meses a enquestar per cada província en funció del nombre diputats que li corresponen; en un segona etapa se seleccionen les meses a enquestar, però no crec que totes les meses se seleccionessin de forma aleatòria sinó que es van buscar meses que en anteriors eleccions donaven resultats molt similars als de la seva província (veieu el post El cerca-meses…electoral); la darrera etapa, un cop seleccionades les meses electorals a enquestar, consistiria en fer que l’enquestador segueixi algun patró per seleccionar a l’enquestat (per exemple, enquestar a una persona en intervals de cinc minuts, o enquestar a una persona de cada 10 persones que passen per davant de l’enquestador…). Val a dir, però, que crec que fer la selecció per mesa electoral no és la millor opció (jo ho explico amb les meses electorals, perquè és la informació tècnica que he trobat de l’enquesta a peu d’urna), ja que diverses meses es solen agrupar en col·legis o locals electorals, i això per l’enquestador fa més difícil trobar a una persona que hagi votat en una determinada mesa a la sortida d’un local electoral.

Jo advoco per aquesta darrera opció com la més probable a l’hora d’explicar l’error que va tenir l’enquesta a peu d’urna. Per comprovar-ho hauria de saber les meses que es van seleccionar per fer l’enquesta, informació que òbviament no disposo. Però si que disposo dels resultats provisionals de totes les meses electorals de l’Estat espanyol en les eleccions del 26-J[2]. El que faré amb aquesta informació és simular un treball de camp similar al que penso que va fer l’empresa Sigma Dos, amb la diferència que jo selecciono a l’atzar les meses electorals a enquestar, i també estic completament segur que els enquestats no menteixen.

A continuació explico els passos del que he fet:

1r) Calcular com es distribuirien per províncies les 2.720 meses electorals a enquestar, i ho he fet en funció dels diputats que corresponen a cada província

2n) Calcular el nombre de persones a enquestar per cada mesa electoral. Consisteix a dividir 132.000 per 2.720, és a dir, 48 persones per mesa.

3r) Amb les dades dels dos punts anteriors, seleccionar a l’atzar per cada província el nombre de meses que li corresponen. I per cada mesa seleccionar a l’atzar 48 persones que els hi pregunto a quin partit han votat (i que òbviament no em menteixen); com a vector de probabilitats per a la mostra d’enquestats de les meses escollides a l’atzar utilitzo la distribució final de vots per partits de la respectiva mesa.

4t) Repetir 1.000 vegades el punt 3), és a dir, faig un Montecarlo.

Els resultat de les 1.000 mostres és el següent. L’enquesta de Sigma Dos es va equivocar, agafant el valor de l’interval de diputats que està més a prop del nombre de diputats obtingut, en 44 diputats. En les 1.000 mostres aleatòries que he creat, la desviació més alta és de 28 diputats, i la més petita és de 2 diputats. No hi ha cap de les 1.000 mostres que encerti exactament el nombre de diputats, fet altrament lògic. La desviació mediana de les 1.000 mostres ha estat de 14 diputats.

hist

CONCLUSIONS

La desviació de 44 diputats de l’enquesta de Sigma Dos supera amb escreix la desviació més elevada que he obtingut amb 1.000 mostres aleatòries (28 diputats), per tant, si bé l’error mostral és possible, també cal dir que és molt poc probable. I si es descarta, tal i com, s’ha explicat anteriorment les opcions del vot ocult i de l’error en la “cuina” de l’enquesta, només queda la opció d’un disseny mostral no correcte per explicar l’error de l’enquesta a peu d’urna.

Corolari

Els resultats de les 1.000 mostres també ens ensenya que encertar exactament amb uns valors poblacionals és molt i molt difícil. Per aquest motiu s’haurien de donar més habitualment del que es fa les xifres d’enquestes amb intervals.

Gerard Reverté Calvet

Servei d’Estudis i Planificació

Ajuntament de Mataró

 

Si voleu replicar els resultats d’aquest post trobareu en aquest enllaç (aquí) el fitxer d’R on hi ha el codi, també hi trobareu els fitxers d’excel amb els resultats electorals del 26-J de totes les meses de l’Estat espanyol i també el fitxer d’excel amb el nombre de diputats, nombre de meses, nombre de locals electorals, nombre municipis, nombre de districtes, nombre de seccions de les províncies espanyoles.

[1]En les eleccions del 20D l’empresa que va fer l’enquesta a peu d’urna va ser TNS; mentre que en les eleccions del 26J l’enquesta la va dur a terme Sigma Dos.

[2]Les dades dels resultats de totes les meses de les eleccions del 26-J han estat facilitades, en arxius d’excel, pel Ministerio del Interior el passat 1 de juliol, tres dies després de fer la petició per correu electrònic.

Anuncis

Deixa un comentari

Fill in your details below or click an icon to log in:

WordPress.com Logo

Esteu comentant fent servir el compte WordPress.com. Log Out / Canvia )

Twitter picture

Esteu comentant fent servir el compte Twitter. Log Out / Canvia )

Facebook photo

Esteu comentant fent servir el compte Facebook. Log Out / Canvia )

Google+ photo

Esteu comentant fent servir el compte Google+. Log Out / Canvia )

Connecting to %s

%d bloggers like this: