Radiografía a las encuestas: cómo se cocinan los cuestionados sondeos políticos

Cada miércoles a las seis de la tarde, en las oficinas de Plaza Pública-Cadem ubicadas en Barrio Italia se comienzan a hacer cientos de llamadas para preparar la encuesta política que será publicada el lunes siguiente. Son 120 personas -divididas en varias áreas de investigación de mercado y opinión pública- que se comunican con un poco más de 700 personas que fueron seleccionados previamente desde una base de datos que busca representar al país en este estudio.

El jueves, a la misma hora, continúan los llamados y, si aún faltan por hacer, se realizan el viernes en la mañana. También el jueves se realizan las encuesta cara a cara a 220 personas en tres puntos del país: la región de Valparaíso, del Biobío y la Metropolitana. Esta muestra complementa los llamados telefónicos para buscar una representatividad mayor, según el documento metodológico que mantienen en su sitio web.

Así funciona la metodología que ocupan Cadem desde enero de 2014 cuando partieron realizando este sondeo, que semana a semana marca la agenda noticiosa y busca influir en ella, colocando más arriba o más abajo a los pre candidatos presidenciales y fijando la aprobación del Gobierno y de la Presidenta Michelle Bachelet. Cadem -dirigida por Roberto Izikson- es la única medición que lo hace semanalmente, una fórmula que le ha significado varias críticas.

En la academia y en el circuito político relativizan su metodología, tanto por la baja cantidad de encuestados -738 casos en el último estudio- y porque solo cubren el 70% del país, lo que a juicio de expertos le quita representatividad. Izikson, gerente de Asuntos Públicos de Cadem, la defiende.

“Quisimos rescatar lo mejor de las encuestas telefónicas, pero complementar con una encuesta cara a cara para llegar de forma efectiva a los niveles altos y bajos, lo que logramos en los puntos de afluencia. Hacer una medición probabilística en hogares significa mucho tiempo y recursos, por eso existen alternativas que se llaman cuotas por teléfono, fijos y celulares, por afluencia o incluso online”, afirma.

Así lo hicieron para obtener los resultados publicados este lunes, donde el ex presidente Sebastián Piñera -de quien el mismo Izikson fue su asesor en La Moneda por cuatro años- quedó seis punto por delante de Alejandro Guillier, manteniendo el liderazgo histórico en esta encuesta, y prolongando el estancamiento de Ricardo Lagos.

El mundo de los estudios

Tanto Cadem como la encuesta del Centro de Estudios Públicos (CEP) -que se realiza semestralmente-, la de Adimark -una vez al mes- y el Barómetro de la Política de CERC-Mori -trimestralmente- tienen metodologías y resultados distintos. Y, a veces, muy distintos.

A comienzos de enero, las cuatro encuestas -que coincidieron en un mismo periodo- mostraron cifras distintas en la pregunta “¿Quién cree que será el próximo Presidente de Chile?” para Piñera, quien obtuvo entre un 43% y un 27% liderando los sondeos, y para Guillier con números entre un 25% y 11%. ¿Por qué pasa esto? Los expertos aseguran que tiene que ver con la metodología que ocupan.

“Algunos tipos de encuestas pueden tener mayores niveles de precisión que otras. La encuesta cara a cara es más costosa y más compleja de realizar, pero si se logra bien tiene mayores niveles de calidad. En el caso de las encuestas telefónicas, no se sabe muy bien cuáles son las bases de datos que se usan, cómo se definieron y eso pone en duda su calidad”, explica José Manuel Gaete, investigador de la Academia de Humanismo Cristiano.

De acuerdo al British Polling Council (BPC), una asociación de encuestadores inglesa que busca fijar un estándar para estos estudios, existen básicamente dos tipos de mediciones: las probabilísticas o las que son fijadas por cuotas poblacionales, también llamadas estratificadas.

En el primer caso, todas las personas tienen una probabilidad de ser seleccionados en una muestra. En el segundo, se realizan cuotas de población para que, por ejemplo, exista una cantidad proporcionada de hombres y mujeres de acuerdo al último censo, lo que reduce las estimaciones de error.

Gaete asegura que en las encuestas locales pocas veces hay clarificaciones de cómo se hizo la muestra, cómo se trata el reemplazo de personas que no quisieron ser sondeadas, cuántos contestaron o cuándo se habló con otra persona. Tampoco hay claridad de por qué y cómo las encuestadoras acceden a todas las bases de datos del país, dice.

Adimark, por ejemplo, solo realiza estudios de una muestra aleatoria por vía telefónica y no hace pública la forma en cómo la construye. La información disponible en la encuesta publicada en enero especifica que fueron 1070 casos, de los que 853 fueron a red fija y 217 a celulares, solo de los principales centros urbanos del país.

La medición que supera la “prueba de la blancura” es la del CEP, conocida como la madre de todas las encuestas. Es la única que entrega detalles, una semana después de publicar los resultados, de cómo se hizo el sondeo, la tasa de respuestas y la muestra completa. Esta encuesta -financiada por el empresariado- es exclusivamente cara a cara.

El encuestador debe entrevistar a la persona seleccionada a como dé lugar, reagendando si es necesario. La idea es que quien fue escogido sea efectivamente parte de la encuesta, una rigurosidad que hace que no tenga tasa de reemplazo disminuyendo el margen de error. Con esta metodología logran una de las tasas más altas de respuesta en todo Latinoamérica.

Metodología parecida tiene el barómetro de la política de CERC-Mori, donde no hay muestras telefónicas.

La cuotas de la población

Algunas de estas encuestas tienen otro problema, aseguran en la academia: la sobre y sub representación de sectores de la población. Esto último ocurre, sobre todo, en los sondeos telefónicos, ya que hoy solo una pequeña parte de la población tiene este tipo de servicios, siendo las personas mayores y sectores socioeconómicos medios y altos las que la lideran.

Nueve de cada diez personas del 10% más rico del país tiene teléfono fijo, aunque normalmente no son usuarios de éste. “Si haces una encuesta C1 por teléfono, lo más probable es que te conteste cualquiera en la casa menos el C1 que te interesa”, explica Roberto Izikson.

Al otro extremo, solamente el 30% del grupo socioeconómico D tiene líneas fijas, con una complicación adicional: en los horarios en que se hacen las encuestas, “las personas de esa condición social están en movimiento, después del trabajo o no están en sus casas”, dice el vocero de Cadem.

Pese a esto, dos encuestas basan sus resultados en este tipo de entrevistas a red fija: Adimark y la dirigida por Izikson, aunque esta última incluye una muestra adicional y complementaria de entrevistas cara a cara con las cuotas que no pudieron ser representadas por la vía telefónica. La crítica contra estos sondeos indica que hay una sobre representación de ciertos sectores.

“En el pasado, se sabía quiénes eran los usuarios de teléfono fijo por región y se podía estimar su condición socioeconómica y comportamiento anterior. Sabíamos que se comportaban de una manera pero hoy con el celular es muy difícil hacer eso, por lo que hay que cambiar los modelos”, explica Claudio Fuentes, académico del Instituto de Asuntos Públicos de la Universidad de Chile.

Misma opinión tiene José Manuel Gaete. “Los teléfonos fijos van en retirada y los celulares en alza, y con eso se producen errores probabilísticos de sobre y sub representación en una encuesta exclusivamente por llamadas”, explica.

Estas distorsiones podrían explicar las altas diferencias entre una medición y otra, como en el caso de los sondeos de la primera semana de enero cuando en la percepción de quién será el próximo jefe de Estado Piñera obtenía un 43% en Adimark frente a un 27% en la CEP.

Roberto Izikson, de Cadem, defiende la encuesta vía teléfono, aunque reconoce que existen limitantes. “Tienen fortalezas importantes todavía, como llegar a todo Chile, llegar a comunas pequeñas, a todas las edades, géneros y una transversalidad económica”, dice.

“Nosotros creemos que las diferencias que podrían haber entre encuestas no tienen que ver con la muestra. Creemos en nuestro 70% de representación del país. No representamos el 30% restante porque para nosotros es muy caro, es más lento, no cumpliría los objetivos para una encuesta semanal, pero lo hemos asumido de forma transparente”, dice. Y lo reafirma: “Nuestros resultados con el 70% resultan ser muy parecidos a los del CEP con el 100%”.

Prediciendo las elecciones

Ninguna encuesta en el país puede predecir el resultado de una elección, aunque algunas se acerquen a los resultados. En eso concuerdan tanto los encuestadores como los expertos. Sin embargo, muchas de ellas se utilizan con el fin de determinar el comportamiento de las personas frente a un escenario presidencial.

“Las encuestas son solo una foto en un largo fotograma de una película. Si pensamos que fuese así, habría que pensar en cuán difícil es adivinar el final de una película viendo solo un cuadro de ésta”, dice José Manuel Gaete.

Según el académico lo que sí hacen estos sondeos son dos cosas: revelar tendencias históricas y hacer una comparación de grupos sociales, pero siempre como fotos del momento. “Lo que uno puede leer correctamente es la tendencia y lo que se muestra hoy concretamente es el ascenso rápido de Guillier y el estancamiento de Lagos. Eso es todo”, concluye.

En lo concreto -agrega-, las encuestas preguntan qué harían si las elecciones fueran el domingo, “otra cosa es que nosotros tomemos esas preguntas como predicciones”. Además, el mismo experto explica que con una encuesta es muy difícil saber si alguien realmente va a ir a votar o si una persona está mintiendo al encuestador. De hecho, en la CEP posterior a las elecciones municipales, un 53% declaró haber ido a sufragar: en la realidad solo asistió un 35% del país.

Según Marta Lagos, directora de CERC-Mori, el uso político de las encuestas, como la elección de candidatos por parte de los partidos políticos en base a estos estudios, ha reducido “la complejidad de las encuestas” a una batalla por influir en la opinión pública que le ha quitado credibilidad a los resultados.

“Andar preguntando sobre las intenciones de voto en preguntas abiertas… ¡¡¡no sé a quién se le ocurrió hacer algo así!!! Eso es básicamente hacer una pregunta electoral infinita para un universo que sabemos que será finito”, dice Lagos con molestia.

Claudio Fuentes dice que en los modelos predictivos anteriores se podía estimar de mejor manera el comportamiento del voto, pero que el voto voluntario cambió el escenario, terminando con las estimaciones y segmentaciones que se conocían. “Ni siquiera sabemos hoy si van a votar”, dice.

El estándar internacional

Marta Lagos es una férrea opositora de las encuestas Cadem y Adimark. Ella asegura que ninguna “cumple con las condiciones mínimas fijadas por los organismos internacionales de encuestas”, como ESOMAR, que son tener un mínimo de encuestas o que se cubra todo el territorio nacional.

“La Cadem no mide al país completo. Adimark deja afuera al 30% del país, y siempre son los más pobres. Es imposible que puedan tener sus opiniones porque entrevistan a las personas de las ciudades más grandes, donde las personas de sectores más bajos no se concentran”, dice.

La recomendación de los organismos que lideran el mundo de las encuestas en el mundo es que éstas sean de al menos mil casos, lo que va reduciendo el margen de error. Con mil entrevistas, el margen de error se sitúa en un 3%, mientras que con dos mil, se puede lograr un 2,7%. Así lo explican en el National Council on Public Polls (NCPP), en Estados Unidos.

“Entre más gente sea entrevistada, más pequeño es el margen de error. Pero también es un error pensar que ‘más es automáticamente mejor’, porque hay otros factores que pueden ser más importantes a la hora de calcular la calidad de una encuesta”, afirman.

La encuesta Cadem es la que tiene la menor cantidad de entrevistados: 738 en la última medición frente a la recomendación de los organismos. “Entendemos ese punto”, dice Roberto Izikson, aunque afirma que su encuesta tiene 2280 casos al mes si es que se suman los cuatro estudios mensuales, o 3500 casos si hay una semana extra.

“Si lo miramos así, tenemos muchos más casos que el resto de las encuestas, sobre todo más que Adimark si nos comparamos con ellos que tienen mil al mes. Eso nos disminuye los márgenes de error”, asegura.

Según José Manuel Gaete, el gran problema en Chile con las encuestas es la transparencia. “Estamos súper al debe con la falta de información de cómo se realizan las mediciones en muchos ámbitos, desde el diseño hasta la presentación de los resultados. Lo importante es hacer cambios por esa línea para poder leer bien lo que nos están diciendo”.