El barómetro de octubre del Centro de Investigaciones Sociológicas se ha convertido esta semana en una de las búsquedas que más han crecido en Google en España, y no tanto por lo que dice como por la discusión que ha abierto sobre cómo se hace una encuesta. Con los mismos microdatos, el CIS da al PSOE casi doce puntos de ventaja sobre el PP, mientras que otro cálculo ajustado por recuerdo de voto deja a ambos partidos prácticamente empatados. En esta lección dejamos a un lado la política para mirar el caso con las herramientas de la investigación de mercados, porque la pregunta de fondo, cómo saber si una muestra representa de verdad a la población que queremos conocer, es la misma que se hace cualquier marca antes de lanzar un producto.
Una encuesta que se convirtió en noticia
El CIS publicó el miércoles 14 de octubre el primer barómetro tras la convocatoria de las elecciones generales del 29 de noviembre. Según su ficha técnica, recogida por elDiario.es, el estudio se basa en 5.025 entrevistas telefónicas a personas mayores de edad realizadas entre el 1 y el 6 de octubre, con un margen de error de más o menos 1,4 puntos. Su estimación sitúa al PSOE en el 34 % de los votos y al PP en el 22,2 %, una ventaja de 11,8 puntos, como detalla este otro artículo del mismo diario.
Ese mismo día, el equipo de Ateneo del Dato, que elabora encuestas para elDiario.es, utilizó los microdatos públicos del propio CIS para hacer un cálculo alternativo. Su conclusión fue muy distinta, ya que con las mismas respuestas el PSOE obtendría un 28,6 % y el PP un 28,2 %, lo que en escaños supondría un empate técnico. La diferencia entre ambas lecturas no está en los datos, sino en lo que se hace con ellos, y ahí empieza la lección.
Los mismos datos con dos historias
Para entender el debate hay que distinguir dos cifras que suelen confundirse. La intención directa de voto es lo que responde la gente cuando se le pregunta a quién votaría, mientras que la estimación es el resultado de ajustar esas respuestas para corregir los desequilibrios de la muestra y repartir el voto de quienes todavía no lo tienen claro. Ese proceso de ajuste es lo que popularmente se llama "cocina", y no es ninguna trampa, sino una parte imprescindible del trabajo de cualquier instituto demoscópico.
El problema aparece cuando se mira quién ha contestado. Según el análisis de Ateneo del Dato, el 32,1 % de las personas entrevistadas dice haber votado al PSOE en las elecciones de 2023, cuando en realidad lo hizo el 22,1 % del censo electoral, mientras que los votantes del PP aparecen infrarrepresentados. Si en una muestra sobran votantes de un partido y faltan los de otro, cualquier resultado que no lo corrija partirá de una foto deformada, y por eso muchos institutos ponderan sus datos con el recuerdo de voto, es decir, dan más peso a los grupos que faltan y menos a los que sobran hasta que la muestra se parece al resultado real de las últimas elecciones.
El CIS no aplica ese ajuste y defiende su propio modelo de estimación, que combina la intención de voto con otras variables como la simpatía hacia los partidos o la valoración de los líderes. Quienes defienden este enfoque recuerdan que el recuerdo de voto tampoco es un dato perfecto, porque las personas olvidan o reinterpretan con el tiempo lo que votaron. Sus críticos responden con la trayectoria, ya que según un análisis de El País citado por Maldita.es, desde 2018 el CIS ha sobrestimado al bloque de izquierdas en 41 de 42 elecciones. Más allá de quién tenga razón, el caso demuestra algo que cualquier investigador de mercados debería tener grabado, que una estimación nunca es mejor que la muestra de la que parte ni más creíble que la transparencia con la que se explica.
Todo lo que puede fallar en una encuesta
La metodología de encuestas tiene un concepto que ordena muy bien este debate, el error total de encuesta. Robert Groves y Lars Lyberg lo sintetizaron en 2010 en un artículo de referencia publicado en Public Opinion Quarterly, "Total Survey Error. Past, Present, and Future", donde explican que el margen de error que aparece en las fichas técnicas solo mide una parte de lo que puede salir mal, la que depende del azar al elegir a quién se pregunta. El resto de los errores no se reduce entrevistando a más gente, porque procede de otras fuentes.
- Error de cobertura. Ocurre cuando una parte de la población no puede ser encuestada, por ejemplo porque no tiene teléfono fijo o no está en la base de datos que se utiliza para contactar.
- Error de muestreo. Es la diferencia que se produce por azar al preguntar a unos pocos miles de personas en lugar de a todas, y es el único que recoge el famoso margen de error.
- Error de no respuesta. Aparece cuando quienes aceptan contestar son distintos de quienes se niegan, algo que parece estar en el centro del debate sobre el CIS.
- Error de medición. Surge cuando la pregunta, el orden de las preguntas o la presencia del entrevistador condicionan la respuesta, o cuando la persona no dice lo que piensa.
- Error de ajuste. Se produce cuando las correcciones que se aplican a los datos brutos, la cocina, no compensan bien los desequilibrios o introducen otros nuevos.
La lección de la Literary Digest
El ejemplo más famoso de la historia lo protagonizó la revista estadounidense Literary Digest en 1936, cuando envió por correo unos diez millones de papeletas para anticipar el resultado de las elecciones presidenciales y recibió más de dos millones de respuestas. Con esa montaña de datos pronosticó una clara victoria del republicano Alf Landon, pero Franklin D. Roosevelt ganó con alrededor del 61 % de los votos. Durante décadas se explicó el fracaso por la lista de contactos, sacada en buena parte de guías telefónicas y registros de automóviles en plena Gran Depresión, aunque el politólogo Peverill Squire demostró en 1988, en un estudio también publicado en Public Opinion Quarterly, que el problema decisivo fue que respondieron sobre todo los votantes de Landon, más motivados para devolver la papeleta. Mientras tanto, George Gallup acertó con una muestra muchísimo más pequeña pero mejor diseñada, y la investigación de mercados aprendió para siempre que una muestra grande no es lo mismo que una muestra representativa.
Lo que este debate enseña a las marcas
Aunque el caso sea electoral, los problemas son idénticos a los que afrontan cada día los departamentos de marketing. Una encuesta de satisfacción que solo responden los clientes más entusiastas o los más enfadados ofrece una imagen deformada de la marca, un panel en línea puede estar lleno de personas muy habituadas a contestar cuestionarios que no se parecen al consumidor medio, y un estudio de lanzamiento que solo pregunta a quienes ya compran la categoría puede sobrestimar el interés por un producto nuevo. En todos esos casos la solución pasa por lo mismo que discuten estos días los sociólogos, comparar la muestra con datos reales de la población, ponderar cuando no coinciden y explicar con claridad cómo se ha hecho.
También hay una lección de comunicación. Una encuesta es, al final, un mensaje que alguien publica para que otros lo crean, y su credibilidad depende tanto de los números como de la transparencia del método. El CIS publica sus microdatos, y gracias a eso otros analistas han podido hacer su propio cálculo, algo que muchas empresas no hacen con los estudios que difunden en sus notas de prensa. Cuando una marca anuncia que "nueve de cada diez clientes la recomiendan", la pregunta que debería hacerse cualquier lector es la misma que estos días se hacen los expertos, a quién se preguntó, cuántos respondieron y qué se hizo con sus respuestas.
Cómo leer una encuesta sin que te engañe
Antes de compartir o utilizar una encuesta, sea política o comercial, conviene revisar algunos puntos básicos, muchos de los cuales recoge también esta guía de Maldita.es.
- Busca la ficha técnica. Comprueba quién la ha hecho y pagado, cuándo se realizó, a cuántas personas se entrevistó y por qué medio, ya sea teléfono, internet o en persona.
- Distingue respuesta y estimación. Fíjate en si la cifra que se publica es lo que respondió la gente o el resultado de un modelo, y en ese caso pregunta cómo funciona.
- Mira quién ha contestado. Compara la composición de la muestra por edad, sexo, territorio o comportamiento anterior con los datos reales de la población.
- No te quedes con una sola. Compara varias encuestas y observa la tendencia a lo largo del tiempo, que suele ser más fiable que cualquier dato aislado.
- Desconfía de la precisión excesiva. Un decimal no convierte una estimación en un hecho, sobre todo cuando las diferencias están dentro del margen de error.
En este vídeo de laSexta, publicado con motivo de las elecciones generales de 2019, se explica de forma muy sencilla en qué consiste la cocina de una encuesta y por qué cada instituto puede llegar a resultados distintos.
Ponlo en práctica
Tres ejercicios para hacer en clase o por tu cuenta.
- Compara intención y estimación. Descarga un barómetro reciente de la web del CIS y localiza la intención directa de voto, la estimación y el recuerdo de voto. Después anota cuánto se separan unas cifras de otras y qué explicación da la ficha técnica.
- Audita una encuesta comercial. Busca una nota de prensa de una marca que cite una encuesta propia y comprueba si informa del tamaño de la muestra, del método y de las fechas. Valora después qué credibilidad le darías y por qué.
- Diseña una muestra. Imagina que una marca de zapatillas quiere conocer la opinión de los jóvenes de entre 18 y 30 años. Decide cómo los contactarías, qué grupos podrían quedar fuera y con qué dato real comprobarías que la muestra se parece a la población.
Resumen en cinco ideas
- Con los mismos microdatos, el CIS da una ventaja de casi doce puntos y un cálculo ponderado por recuerdo de voto deja a los dos grandes partidos empatados.
- La clave está en la composición de la muestra, porque si sobran personas de un grupo y faltan de otro el resultado sale deformado.
- Según el marco del error total de encuesta de Groves y Lyberg, el margen de error solo mide una parte de lo que puede fallar.
- El caso de la Literary Digest en 1936 demostró que una muestra enorme puede equivocarse si no es representativa.
- En marketing, la credibilidad de una encuesta depende tanto de los números como de la transparencia del método.
Preguntas frecuentes
¿Qué es la cocina de una encuesta?
Es el nombre popular que recibe el proceso de estimación, es decir, el conjunto de ajustes que un instituto aplica a las respuestas brutas para corregir los desequilibrios de la muestra y asignar el voto de los indecisos. No es una manipulación en sí misma, sino una parte necesaria del trabajo, aunque cada instituto la hace con criterios distintos y por eso conviene que los explique.
¿Qué es el recuerdo de voto y para qué sirve?
Es la respuesta a la pregunta de a quién votó cada persona en las últimas elecciones. Como el resultado real de esas elecciones se conoce, comparar ambos datos permite detectar si en la muestra sobran o faltan votantes de algún partido y corregirlo ponderando las respuestas. Su limitación es que la memoria no es perfecta y algunas personas olvidan o reinterpretan su voto con el tiempo.
¿Qué es el error total de encuesta?
Es un marco de la metodología de encuestas, sintetizado por Robert Groves y Lars Lyberg en 2010, que reúne todas las fuentes de error posibles, desde quién puede ser encuestado y quién acepta responder hasta cómo se formulan las preguntas y cómo se ajustan los resultados. Su idea central es que el margen de error que aparece en las fichas técnicas solo mide una parte del problema.
¿Por qué una muestra muy grande puede equivocarse?
Porque el tamaño solo reduce el error aleatorio, pero no corrige los sesgos. El caso clásico es el de la revista Literary Digest, que en 1936 reunió más de dos millones de respuestas y aun así pronosticó la derrota de Franklin D. Roosevelt, que acabó ganando con claridad, porque las personas que respondieron no se parecían al conjunto de los votantes.
¿Qué tiene que ver esto con el marketing?
Mucho, porque las marcas toman decisiones de producto, precio o comunicación a partir de encuestas de satisfacción, paneles y estudios de mercado que sufren los mismos problemas. Si responden sobre todo los clientes más entusiastas o los más enfadados, la foto sale deformada, y por eso la investigación de mercados también necesita revisar la muestra, ponderar y explicar su método.