Son fiables las encuestas de intención de voto?

En España existe un justificado debate en torno a los sondeos preelectorales y si fallan dichas encuestas, es decir, si sirven para algo y está justificado el inmenso gasto que generan. A continuación vamos a reflexionar sobre la fiabilidad de las encuestas de intención de voto. 

En general, una encuesta supone un instrumento de medición de la opinión pública es fiable en la medida que, su aplicación por distintos investigadores, debe producir los mismos resultados con un leve margen de error entre las distintas mediciones. Por ejemplo, una báscula es un instrumento de medida fiable siempre que, independientemente de la persona que realice la medición, se obtenga el mismo resultado con un leve margen de error entre cada una de las mediciones realizadas. En este sentido, las encuestas que cuentan con una buena metodología de extracción de datos y una muestra considerable suelen ser muy fiables. Difícilmente se pueden encontrar encuestas que cuenten con una buena metodología de extracción de datos y que ofrezcan una gran disparidad de resultados respecto a la intención directa de voto (voto declarado). Probablemente, en el caso especial de las encuestas de intención de voto, los aparentes problemas de fiabilidad  sean derivados de los problemas de las estimaciones de resultados, lo que se conoce coloquialmente como "cocina de datos"

Las encuestas de intención de voto son un caso especial de estudio dentro de los sondeos de opinión pública porque presentan un problema de validez en sus resultados, derivados de la “no respuesta” o voto indeciso (voto oculto). En España, la media del voto no declarado  oscila sobre el 40% del total de la muestra, lo que obliga a realizar estimaciones estadísticas al respecto para intentar calcular la previsión del resultado electoral. En la mayoría de los casos, la fórmula por la que se calcula el voto es secreta. Es decir, se crea un contexto en el que es difícil distinguir los resultados que provienen de estudios rigurosos de otros que no lo son, debido a una falta de información generalizada sobre la ficha técnica o la estimación de resultados empleados en cada estudio. 

Esta situación redunda en la pérdida de confianza generalizada de la población sobre un importante instrumento de investigación social destinado a medir el grado de apoyo de cada facción política entre la población.  Este hecho, fundamentalmente, se debe a que algunos estudios responden a intereses políticos y económicos en la divulgación de sus resultados más que a criterios científicos al respecto. 

A grandes rasgos, se podría decir que en España se realizan dos tipos de encuestas preelectorales:

a)      Las que cumplen los principios metodológicos  con el mayor rigor posible donde se muestran los datos completos de la ficha técnica y la matriz de imputación del voto.

b)      Las que no cumplen con el debido rigor metodológico y ofrecen poca o ninguna información sobre su ficha técnica o la forma en la que se ha realizado la estimación final de la intención de voto. 

Cuando no se ofrecen datos sobre la elaboración de la encuesta y su ficha técnica,  no sólo hay que sospechar de que el estudio no responda a las medidas metodológicas necesarias para que pueda ser calificado como tal, sino que pueden albergar la intención de manipular y movilizar al electorado en un sentido predeterminado.

En este sentido las encuestas realizadas por instituciones públicas de reconocido prestigio, como el CIS, poseen una metodología o “protocolo” de extracción de datos de elevada calidad frente a la mayor parte de los sondeos de intención de voto realizados en nuestro país.

A diferencia del CIS, la mayor parte de los sondeos preelectorales que se realizan en España son encuestas de tipo telefónica. Las encuestas telefónicas suelen utilizar el listado de la guía de teléfonos fijos para poderacceder a la muestra y, por tanto, redunda en que, por distintos problemas,sólo pueden localizar aproximadamente a un 30% de la población de estudio. A su vez, de este aproximadamente 30%, parece que responden un 16% de las personas encuestadas lo que redunda en un posible sesgo de la muestra. Por tanto, debido a problemas metodológicos, muchas de estas encuestas cubren o a una escasa parte de la población que pretenden representar en sus resultados.

Según manuales y estudios de varios autores al respecto, las encuestas realizadas presencialmente ofrecen una disparidad de resultados entre sí mucho menor que la diferencia de resultados que se puede observar entre las encuestas que se han realizado telefónicamente (CATI, Computer Assited Telephone Interview). Evidentemente, las encuestas que cuentan con entrevistas personales son más caras que las que se realizan telefónicamente.

En este aspecto, la mayor parte de las instituciones académicas de reconocido prestigio, cuentan con una metodología de extracción de la muestra de tipo estadística (para que sea representativa de la población de estudio), una nutrida muestra de estudio (igual o superior a 1.200 casos, que suele permitir fraccionar los datos conservado la representatitividad estadística de los mismos), una nutrida red de puntos de muestreo (tanto en ámbitos rurales como urbanos) y una administración de cuestionarios de tipo presencial que ayude a reducir problemas de sesgo en la localización de la muestra. Harina de otro costal es el cálculo de la estimación de voto que realiza el CIS con los resultados de sus propios sondeos de intención de voto. Si bien el CIS ofrece una alta fiabilidad en la metodología de producción de datos y una exhaustiva ficha técnica en cada encuesta, la manera en la que el CIS cocina la predicción de los resultados es prácticamente secreta. 

A pesar de las diferencias metodológicas entre las encuestas presenciales y las que se realizan telefónicamente, parece que se continúan realizando sondeos de intención de voto mediante encuesta telefónica porque, además de requerir un menor tiempo y coste económico en su elaboración, en muchas ocasiones, dichas encuestas pueden llegar a clavar la predicción del resultado electoral con mayor exactitud que otras encuestas que cuentan con mayor rigor metodológico y financiación en la elaboración de las mismas. Este hecho puede deberse a la pericia del investigador principal (IP) o responsable del estudio a la hora de calcular el voto oculto y estimar el cómputo total del mismo. En este sentido, a riesgo de perder o ganar credibilidad en los resultados de cada estudio, es respetable que en cada empresa privada de sondeos electorales decidan si quieren hacer pública su fórmula de estimación del voto.   

Sin embargo, es bastante cuestionable que el CIS, siendo una entidad pública, trabaje con una fórmula privada en la estimación final del voto. Por otra parte, también es bastante cuestionable que en los medios de comunicación se publiquen resultados de encuestas en las que no se describa la ficha técnica o la fórmula de estimación del voto. Esta situación de desinformación respecto a las fichas técnicas y fórmulas de estimación del voto, en muchos de los estudios publicados en los diferentes medios de comunicación, dificulta en gran medida a los lectores poder discernir entre un estudio de intención de voto riguroso de otro que no lo sea.

Pensamos que esta situación podría mejorarse si las distintas empresas de sondeos preelectorales comnpelentaran su metodología combinando entrevistas presenciales con entrevistas telefónica, además de ofrecer todo tipo de datos sobre la ficha técnica y una descripción detallada de las operaciones realizadas para estimar el voto a la hora de publicar los resultados en medios de comunicación. Difícilmente encontraremos un estudio riguroso que no se acompañe con una buena descripción de la ficha técnica del estudio y, algún tipo de referencia sobre la ponderación o imputación de datos que se ha realizado, el cálculo final de la intención de voto atribuida a cada partido político en cuestión.  

Un conocimiento científico es universal, comunicable y replicable. Los sondeos electorales que no describen detalladamente la metodología y las operaciones necesarias para poder replicar los resultados de los mismos, a priori, no deberían ser considerados como estudios de tipo científico. 

También sería interesante que CIS hiciera accesible los microdatos junto la publicación del avance de resultados y la matriz de imputación del voto de cada encuesta preelectoral, para que los investigadores interesados pudieran replicar y validar los resultados emitidos por la institución pública del CIS.

En resumen: 

La falta de información sobre las respectivas fichas técnicas y las fórmulas de estimación de resultados facilita que sean publicados estudios rigurosos junto a otros que no lo son.

Para resolver esta situación, los medios de comunicación, a la hora de publicar resultados que provienen de sondeos electorales, deberían plantearse adoptar algunas medidas editoriales análogas a las revistas académicas exigiendo información  sobre la ficha técnica de cada estudio y las matices o fórmulas de imputación del voto.  



El Taller de AV by Antonio M. Pérez Flores y Víctor M. Muñoz Sánchez is licensed under a Creative Commons Reconocimiento-NoComercial 4.0 Internacional License.

Guía rápida para interpretar la Ficha Técnica de una Encuesta

Ante la inminente campaña electoral surgen como hongos numerosos estudios que ofrecen distintos y dispares resultados sobre el probable resultado de la campaña.

Que aparezcan los datos de una encuesta en un medio informativo no es indicador de la calidad de sus datos. Del mismo modo que a nadie se le ocurre adquirir en un supermercado productos de alimentación sin estar adecuadamente etiquetados por alguna organización de control de calidad, no es demasiado saludable consumir datos de una encuesta electoral que carezca de la ficha técnica de la encuesta. Cada estudio posee una ficha técnica donde se muestra una serie de datos que dan indicios de la calidad del proceso de extracción de los datos, y por tanto, del producto final de los mismos.

Para ayudar a nuestros lectores a interpretar el contenido de un ficha técnica de una encuesta, hemos elaborado una guía rápida de recomendaciones que, sin necesidad de tener conocimientos previos en estadística o metodología de muestreo, serán útiles para guiarnos en su contenido.

En la ficha técnica de una encuesta deberían aparecer como mínimo los siguientes datos:

-Ámbito y universo al que pertenece la muestra: dónde y a quién se le pregunta.

-Tamaño de la muestra: a mayor tamaño menor error en la inferencia de los datos.

-Puntos de muestreo: cuantos más puntos de muestreo posea la encuesta, y mejor repartidos se encuentren, mejora sensiblemente la calidad de los datos.

-Procedimiento de muestreo: describe el tipo de muestreo, es decir, la forma en que han sido recogidos los datos. Existen diferentes tipos de muestreo que reducen o aumentan el error estándar de la encuesta. El método por excelencia es el muestreo aleatorio simple que es un método similar al que se emplea en la Loteria, el resto de tipos de muestreo suelen aumentar el error estándar de la encuesta.

Explicar las diferencias entre los variados tipos de muestreo es algo bastante complejo.  Por ofrecer unas nociones básicas, en un buen método de extracción de datos, el encuestador no debe elegir la persona a la que le administra el cuestionario, hay que introducir mecanismo aleatorios en la elección final de los individuos. En definitiva, cuando menos se guarde la equiprobabilidad de los sujetos que componen la muestra (que todos los individuos tengan las mismas probabilidades de ser elegidos) y menos se respeten los mecanismos aleatorios en la selección final de las personas que componen la muestra, se reduce la rigurosidad del proceso de selección y redunda en el aumento del error de la encuesta hasta llegar a invalidarla.

-Error muestral: aunque parezca el dato más importante, los anteriores apartados suelen ser mejores indicadores de la calidad de los datos. Como regla general habría que tomar con pinzas los datos procedentes de encuestas con más de tres puntos de error estándar.  Puesto que el error estándar se refiere al total de la muestra, en el momento que se empieza a fraccionar los datos aumenta el error inferencial de los mismos. Una encuesta con una buena muestra permite fraccionarla conservando la representatividad estadística de la encuesta.

-Fecha de realización:  para interpretar los datos en su justo contexto es muy importante conocer la fecha en la que fueron recogidos. Los datos de una encuesta son como los que proporciona una foto fija de una paisaje. 

-Investigador principal y entidad que realizan la encuesta.Es interesante que aparezcan los datos sobre la financiación de la encuesta y el nombre del investigador principal responsable de la encuesta.

Como regla general, cuanto más cara es una encuesta mejor suele ser su procedimiento de extracción de datos.

En definitiva, tengamos cuidado con los productos pseudo científicos y sus sucedáneos que se ofrecen a diario en las redes sociales y medios de comunicación.Ya que los medios de comunicación no muestran demasiado celo en presentar indicios sobre la calidad de las encuestas que publican, deberíamos tener bastante cuidado a la hora de consumir los datos que  nos ofrecen para evitar informarnos con encuestas en mal estado.

El Taller de AV by Antonio M. Pérez Flores y Víctor M. Muñoz Sánchez is licensed under a Creative Commons Reconocimiento-NoComercial 4.0 Internacional License.