Encuestas y periodismo: la pistola del mono

El famoso teorema del pollo dice: “si yo me como dos pollos y usted ninguno, estadísticamente ambos hemos comido un pollo”. Cualquiera que tenga un mínimo conocimiento de estadística sabe que esta afirmación de trazo grueso simplifica hasta el extremo toda una rama de las matemáticas, de la cual el periodismo, en un alarde de inconsistencia, le saca partido y a la vez reniega de ella.

La estadística, esos datos, cifras, tasas, muestras o índices de los cuales se nutre el periodismo actual, valga la redundancia, en un amplio porcentaje, nos ayuda a comprender el mundo que nos rodea y, lo que es más importante, medirlo y explicarlo. No hay día sin noticia sobre encuesta ni artículo sin referencia a algún estudio realizado en alguna oscura universidad de Minesota. ¿Cómo podemos fiarnos de los datos que nos ofrecen?

La respuesta está en la misma estadística y en sus leyes, una especie de límites autoimpuestos por la disciplina que los estudios rigurosos cumplen a rajatabla para dar veracidad a sus resultados. Entre otras:

  • Regla de aleatoriedad, por la que todos los miembros de la población tienen la misma probabilidad de formar parte de la muestra.
  • Muestreo de cuotas, por la que se elijen los sujetos por grupos de características
  • Valorar el margen de error de forma mensurable
  • Publicar los metadatos de la propia encuesta:

    o ¿Quién ha realizado la encuesta?

    o ¿Quién paga la encuesta y para qué se ha hecho?

    o ¿Cuántas personas han participado en la encuesta?

    o ¿Cómo se ha seleccionado la muestra?

    o ¿Cuándo se realizó la encuesta?

    o ¿Cómo se realizó la encuesta?

Ejemplo de mala encuesta
La Fundación Gestrafic nace de la empresa Gestrafic, dedicada a la gestión de multas de tráfico, entre otras cosas. Según su web, tiene “el objetivo de servir de puente entre los ciudadanos y las administraciones dentro del ámbito de la seguridad vial”, y para ello realiza encuestas donde se valoran ciertos aspectos del tráfico y la seguridad vial.

Para realizar este estudio nos basamos en una encuesta con metadatos sobre la misma sobre las zonas de regulación de aparcamientos zona ORA. Los datos que nos ofrece son:

Captura1

Es decir, la muestra es de 3302 encuestas, pero no conocemos datos básicos sobre cómo se ha seleccionado la muestra, si es extrapolable a una población mayor, el tamaño de las localidades donde se ha realizado la encuesta, las zonas (residencial, centro, negocios, etc) a las que se refiere la encuesta, los aparcamientos o metros cuadrados reservados para la zona ORA respecto del resto, etc.

Es cierto que se diferencia entre ciudad o pueblo, pero ignoramos a qué se refiere, si a tamaño de la localidad (¿Huelva es una ciudad con 145.000 habitantes y Fuenlabrada es un pueblo con 193.000?) o su percepción como localidad. Igualmente, la diferencia entre localidad de interior o de costa es inconsistente, ya que, a menos que se refiera a localidades que aumentan su población en vacaciones, no hay diferencias significativas entre unas y otras.

El margen de edad es demasiado amplio, diferenciando tan solo tres tramos, uno de ellos con un margen de 30 años, demasiado amplio para abarcar parámetros como soltero, emancipado, casado, con hijos, etc. La separación por sexos también es un dato significativo, ya que la encuesta ha entrevistado a un 72,23% y un 27,77% de mujeres, cuando los datos en 2013 (la encuesta es de 2014) según la DGT era de 59,15% conductores hombres frente al 40,85% de conductores mujeres.

Captura2

Analizando la encuesta, encontramos sesgos en las propias preguntas:

Captura3

¿Y si estoy de acuerdo con la aplicación de la zona ORA pero no en zonas residenciales? ¿Y si creo que debe aumentar o disminuir el tiempo de aparcamiento? ¿O si deben existir tickets especiales para trabajadores de la zona?

Captura4

¿Si considero que la tasa es abusiva es que estoy de acuerdo pero me parece cara o es que no me gusta pagar por aparcar? ¿Creo que es recaudatoria pero me parece bien pagar?

Estas consideraciones hacen de esta una mala encuesta. Al tratarse de una encuesta publicada en una web de una empresa particular no tendría más importancia ni trascendencia si no fuera porque la Fundación Gestrafic junto con la Fundación de la asociación de consumidores FACUA las utiliza para argumentar y justificar ciertas opiniones que, supuesta y anónimamente, representan la opinión de los ciudadanos.

Ejemplo de buena encuesta
A principio de 2019 se publicaba la noticia de que un porcentaje cada vez más amplio de los consumidores españoles compraban guiados por la ética y la sostenibilidad. La web de RTVE, posiblemente una de las webs de noticias más rigurosas a nivel periodístico, titulaba esta noticia avalada por un estudio realizado por la Organización de Consumidores (OCU) y la organización sin ánimo de lucro que promueve la “Nueva Economía e Innovación Social” (NESI), ofreciendo datos resultado del estudio.

Captura6

Para analizar la encuesta vamos a la fuente, esto es, la propia web de la OCU donde se encuentra el informe “Otro consumo para un futuro mejor” (PDF). Por desgracia nos tenemos que conformar con el informe, pero la OCU nos ofrece la posibilidad de disponer del informe completo enviando un correo electrónico. A fecha de entrega de este trabajo, aún no lo he recibido.

En cualquier caso, podemos guiarnos por las indicaciones del informe: “Los datos que aparecen en el presente estudio provienen de tres fuentes principales: consumidores, expertos en consumo sostenible y nuevas economías y la bibliografía disponible de estudios e informes actualizados”. Nos interesa comprobar la encuesta a consumidores, de la que dice:

Para conocer la opinión y actitudes de los consumidores, llevamos a cabo tres estudios complementarios entre los meses de febrero y abril de 2018:
Encuesta representativa de la población española: un cuestionario breve a una muestra de 1.284 personas representativa de la sociedad española (…).
Grupos de discusión de nueve personas en Barcelona, Bilbao y Madrid con consumidores que se declaran comprometidos con asuntos éticos y ecológicos (…).
Encuesta exploratoria (…) de la que obtuvimos 340 respuestas que, sin ánimo de ser representativas de la población española, nos sirvieron para profundizar en los hábitos y actitudes de los consumidores (…).

Es decir, por un lado toma una muestra representativa de la sociedad española con un número de encuestas razonable (1284) que, si se ha realizado bien la muestra, puede ser extrapolable al total de la población.

Por otro realiza una encuesta cualitativa mediante grupos de discusión entre expertos de distintas especialidades y localidades, donde sus respuestas y reflexiones se atienden pero no influyen en la encuesta cuantitativa.

Por último, se realiza una encuesta “orientativa” no representativa para guiar a los autores del estudio sobre hábitos y actitudes.

Se ofrece además un listado con los nombres y cargos de los expertos entrevistados y los autores del estudio. También ofrece datos de cuándo se ha realizado la encuesta (febrero-abril de 2018) y personas participantes.

En los resultados del estudio se diferencia bien qué respuestas se corresponden con el estudio exploratorio y cuáles pertenecen a la encuesta propiamente dicha.

Captura7

Captura8

Por último, el informe combina los testimonios de los expertos con los resultados de la encuesta, ofreciendo algunas recomendaciones.

En resumen, esta encuesta, a falta de verificar con las tablas de datos, parece que cumple los requisitos de idoneidad para que resulte fiable:

  • Muestra representativa
  • Margen de error
  • Metadatos de la propia encuesta

Al igual que en la anterior encuesta, vemos que tuvo relevancia en webs de noticias como Europa Press:

En resumen, las encuestas son un arma de doble filo en manos inexpertas ya que pueden provocar titulares engañosos, alejados de la realidad, si no se han realizado con el rigor necesario. Los periodistas deben conocer los requisitos mínimos que debe cumplir una encuesta para comprobar su veracidad o, al menos, descubrir que lo que tiene en sus manos tiene un interés o un sesgo que nada tiene que ver con la estadística. Porque si no, dar por buena una encuesta que no cumpla los requisitos mínimos pues ser tan peligroso como un mono con pistola.

444ae1860961bee65b6fc88948bd49ee

Be Sociable, Share!