¿Puedes confiar en una encuesta? La historia detrás del BREXIT 🇬🇧 y las trampas de las estimaciones estadísticas.

En un mundo donde tomar decisiones informadas es clave para sostener proyectos y asegurar financiamiento, no basta con tener datos: hay que tener datos confiables y sobre todo saber cómo interpretarlos. Y una de las herramientas de interpretación es la estadística.

Entonces, ¿qué hace que una estimación estadística sea realmente válida?

Para resolver esta pregunta, Sturge primero nos da contexto y nos cuenta el origen de las estimaciones estadísticas. Para luego atacar la pregunta central utilizando un ejemplo vinculado al referéndum del BREXIT. Arranquemos con la ‘entrada’.

1)¿Cuál es el origen de las estimaciones estadísticas?

Imagínate estar en la mesa del Consejo del Rey de la serie: Juego de Tronos 🐉 discutiendo el escenario de una amenaza de guerra.

¿Cuál crees que va a ser una de las preguntas-guía de la conversación?

En todo escenario de guerra una de las principales preocupaciones es la contabilidad de los recursos disponibles. Y para eso la corona solicita la medición de la dotación de riqueza en su reinado. Esta necesidad dio origen a los primeros intentos de censos en la historia de la humanidad.

Pero los censos en esos tiempos eran bastante onerosos porque las personas tenían patrones conductuales de persistente dispersión y movilidad. Entonces para resolver este desafío apareció A. Bonley: un matemático para quién la estadística es la ciencia de los promedios.

Bonley fue el pionero de las estimaciones estadísticas basadas en muestras que consisten en el diseño y medición de valores en una muestra que son representativas de los valores de toda la población.

Ahora, pasemos a la pregunta ‘de fondo’.

2)¿Cuáles son los atributos que debe tener una estimación estadística para que sea representativa?

Para que una estimación sea representativa debe contar con dos atributos:

1. Proporcionalidad al universo o población.
2. Aleatoriedad en el proceso de extracción de la muestra.

Imagínate que estas cocinando una sopa criolla en casa y quieres probar su nivel de sal.

Para testear la sal no probamos toda la olla, sino que agarramos una cuchara, removemos bien la sopa y probamos una pequeña muestra.

¿Nuestro nivel de sal de la muestra es representativo de toda la olla?

Exploremos cada uno de los atributos requeridos.

Proporcionalidad:

La exposición de nuestra sopa criolla a un nivel de temperatura constante a través del fuego de la cocina y la mezcla que hacemos al removerla generan una distribución uniforme de las intensidades en los sabores garantizando una proporcionalidad entre la cuchara de sopa que probamos (muestra) y toda la olla (universo). ✅

Aleatoriedad

Cuando metemos la cuchara a nuestra sopa para extraer una muestra y probarla lo hacemos al azar (aleatoriamente), es decir no seguimos un procedimiento sistemático. ✅

Entonces con estos dos ✅ ✅ podemos aseverar que la mayoría de veces, la muestra que tomamos de nuestra sopa es representativa. Voilá.

Ahora utilicemos este marco analítico para desgranar el ejemplo que propone Sturge. Pero antes hagamos una distinción clave entre los atributos de proporcionalidad y aleatoriedad. De los dos atributos solo la aleatoriedad está 100% bajo nuestro control: nosotros decidimos si la extracción de la muestra va a ser o no aleatoria. Mientras que la proporcionalidad depende de factores fuera de nuestro control porque está depende de las dinámicas y cambios sociales, económicos, culturales y tecnológicos de nuestra sociedad.

A diferencia de la sopa en la que podemos controlar su entorno con la regulación del fuego de la cocina, nosotros no podemos controlar el entorno social en el que habita la población que queremos analizar. Por ejemplo, la llegada del internet, los smartphones y el desarrollo de la IA están reconfigurando nuestras relaciones sociales. Y esta alteración se transmite a los patrones conductuales de la población que queremos analizar. Ojo con esta diferencia.

Ahora si regresemos al ejemplo del texto.

En 2004, luego del ingreso de UK a la UE y la posterior adhesión del grupo de los 8: Hungría, República Checa, Estonia, Latvia, Lithuania, Polonia, Eslovaquia y Eslovenia surgió la preocupación en la población inglesa por el tema migratorio.

Todos y todas en UK querían saber el volumen de inmigrantes a UK luego de su ingreso a la UE. Por esos años la estimación se realizaba con la International Passenger Survey. Pero el problema de esta encuesta es que no era ni proporcional, ni aleatoria. Por ende, las estimaciones de esta encuesta no eran representativas.

Revisemos la encuesta atributo por atributo.

Proporcionalidad.

De la mano con la adhesión a la UE de varios países europeos surgió la aerolínea húngara: Wizz Air 🛫. Adelantándose al potencial flujo de migrantes, el empresario húngaro: József Váradi apostó por viajes low cost y para eso empezó a utilizar como destino en UK a los aeropuertos regionales.

La muestra de la International Passenger Survey estaba acotada a los aeropuertos principales de UK: Heathrow, Gatwick y Manchester. Por ende la encuesta no capturaba todo el flujo de personas que llegaba a través de los aeropuertos utilizados por Wizz Air.

La muestra capturada no era proporcional al universo de migrantes porque estaba excluyendo a un grupo significativo. En simple, el mundo cambió, la gente cambió, pero el marco muestral no se actualizó. ❌

Aleatoriedad

La toma de muestra de la International Passenger Survey se realizaba en los pasillos de los aeropuertos justo luego de pasar el control migratorio de ingreso a UK. Y aquí viene el detalle crucial: la participación era voluntaria. Los encuestadores se aproximaban a las personas que llegaban cansadas del vuelo y les preguntaban si deseaban participar en la encuesta. Entonces la muestra estaba cargada del sesgo de auto-selección porque solo las personas con interés y la energía suficiente participaban de ella. La muestra de la International Passenger Survey no era extraída de manera aleatoria. ❌

Entonces la muestra de la International Passenger Survey no era ni proporcional, ni aleatoria y por ende sus estimados no eran representativos.

A puertas del referéndum del BREXIT de 2016, la población de UK no contaba con cifras validas y confiables de inmigración, que era justamente el tópico central para el voto. Esta ausencia de data confiable generó una sensación de caos, incertidumbre y miedo que fue capitalizado por los partidarios pro BREXIT. El resto es historia.

En un contexto donde demostrar impacto es clave para asegurar financiamiento y sostener proyectos, no podemos darnos el lujo de basarnos en datos dudosos, entonces la próxima vez que te presenten resultados de una encuesta siempre, pero siempre solicita su ficha técnica y revisa si la muestra es proporcional y aleatoria para verificar si sus resultados son representativos o no.

Luego de leer este artículo, ¿crees que las muestras de las encuestas telefónicas de los programas dominicales y de radio son representativas?, ¿Y las encuestas de satisfacción de usuarios? ¿Y esa encuesta con la que levantaste tu línea de base?

Continuará ….