Un fracaso para contar

Un consejo común que he leído o escuchado es el de comenzar una presentación con una historia. Es una buena manera de acercarse a la audiencia, de captar su interés, y de establecer una conexión humana con ella. Ahora bien, no es algo que haya aplicado. En general mis charlas se han relacionado con un problema científico que es de interés para la audiencia, por tanto, esa cercanía ya existe. También he sabido aprovechar esa conexión y hacerla crecer, por lo que he logrado colaboraciones con otras personas e instituciones.

Ya tengo una historia para contar: la de mi fracaso académico más grande y sus consecuencias. Me refiero a una bullada predicción sobre el resultado del plebiscito constitucional del 4 de septiembre de 2022 en Chile, donde junto a Ricardo Baeza-Yates indicamos que ganaría la opción Apruebo por 52%, cuando en realidad perdió al obtener solamente un 38%.

En este post describo cómo se generó esa historia y cuáles son mis aprendizajes de ella.

La historia #

Llevo por lo menos siete años publicando artículos y análisis sobre el uso de redes sociales para discusión política en Chile. El plebiscito de salida de septiembre de 2022 no fue la excepción. Como en todas las elecciones pasadas, he publicado en Twitter mi análisis de la composición de posiciones en la red. Para ello utilicé un clasificador de posiciones políticas (que hemos presentado en ACM Web Science en los años 2020 y 2022), más ajustes demográficos basados en el censo de 2017 y en los resultados del plebiscito del 2020. En esta ocasión, junto a Ricardo publicamos una predicción que consideraba el análisis de Twitter más ajustes que permitirían extrapolar la composición de la población. Lo habíamos hecho para las elecciones presidenciales y para el plebiscito de entrada. Sin embargo, esta vez fue diferente. Muy diferente.

Incluso antes de la elección recibí demasiadas respuestas. Entre ellas, algunas con cuestionamientos válidos al modelo y a los supuestos que teníamos. De hecho, ese feedback me sirvió para realizar algunas mejoras y publicar una predicción actualizada. Pero este tipo de respuestas fueron una minoría. La mayoría fue una avalancha de mensajes con ataques personales, hablando de intenciones políticas detrás del análisis. Eso me llamó la atención porque un mes atrás, a fines de julio, había publicado el mismo análisis y no había generado ese volumen ni esas actitudes en las respuestas. Me sentí angustiado por la exposición a personas que buscaban expresar su odio, y también por el antagonismo que otras personas empezaron a ver en mí. Incluso hubo gente que intentó entrar a mis cuentas de correo y de redes sociales. Por prevención tuve que eliminar todos mis tweets y ponerle candado a mi cuenta. Eso también fue interpretado de manera tendenciosa y fomentó aún más ataques.

Luego las encuestas mostraron una reducción en la brecha entre apruebo y rechazo, y hubo manifestaciones multitudinarias a favor del apruebo. Entonces, actualizamos la predicción y la volvimos a publicar. La recepción fue similar. Hoy, con la elección efectuada, ya sabemos que el resultado del modelo fue desastroso, en tanto estuvo totalmente alejado del resultado final: Nuestra última predicción fue 52% a favor del apruebo, muy lejano del 38% que obtuvo en la votación.

Entiendo que nadie había previsto esa derrota apabullante del apruebo. Yo no esperé el final de la votación para asumir que el modelo no había funcionado. Durante el recuento de votos, cuando se había contabilizado el 1% de las mesas y noté que había un patrón generalizado en el país, publiqué un tweet con el siguiente contenido:

“Qué decir, nuestro método falló espectacularmente. Queda analizar cómo mejorarlo e intentarlo de nuevo la próxima vez. Espero que esto sea lo mejor para chilenos y chilenas. No era mi opción, pero sin duda todes tenemos que trabajar juntos.”

Fue un tweet sincero. Algunas personas que rechazaron me respondieron de buena manera. Les agradezco la comprensión y el respeto. Yo pienso que sí podemos trabajar en conjunto para mejorar el país.

Aún así recibí una segunda ola de ataques, enrostrando el mal resultado del modelo. En realidad me parece bien que se ponga el énfasis en el error, pero creo que mucha gente no comprende que así funciona la ciencia: nos equivocamos más veces de las que acertamos, y ante cada error, buscamos la manera de entender qué salió mal y cómo mejorarlo en el próximo intento. Este post es, de hecho, una manera de realizar ese análisis.

Otras recepciones negativas incluyeron un post en LinkedIn y un “premio” por parte del Economista Flaite. El post en LinkedIn fue de parte de alguien que me había acosado por Twitter. Allí realizó una caracterización errónea del trabajo, de hecho, cometió errores como no nombrarme, decir que yo era ayudante de Ricardo, cuando somos co-autores, y adjudicarme “predicciones catastróficas de la vacunación del COVID” cuando yo nunca he publicado ningún análisis relacionado con COVID en Chile. A pesar de esa partida falsa, el post se viralizó en LinkedIn y generó mucha discusión. Y, en general, creo que fue fructífera. Agradezco a quienes dieron su opinión, en especial a Karim Touma y Roberto Camhi, que fueron críticos con el modelo de manera argumentada y respetuosa. También fui testigo de cómo un académico de renombre atacó a Ricardo y después editó sus mensajes para aparentar que nunca lo había hecho. Mi conclusión es que escenarios como éste sacan lo peor de algunas personas.

El premio del Economista Flaite fue la medalla de oro en modelos callamperos. Qué decir, nuestro método presentó un resultado desastroso. Le respondí que aceptaba la medalla, pero que esperaba no ganarla de nuevo en el futuro. Ahora bien, dado el alcance que tiene esa cuenta anónima (135 mil seguidores al momento de publicar este post), eso significó también más acoso. En ese momento incluso pensé en eliminar mi presencia de la red.

Fue un porrazo fuerte que sin duda dejará cicatrices.

Un día de la semana, mientras me dirigía al trabajo, recordé una escena del libro La corrupción de un ángel de Yukio Mishima. En ella, la tarjeta de presentación del protagonista queda tachada para siempre después de un error que mancilló su reputación. Un simple error destruyó el prestigio construido durante décadas. Mientras caminaba por Santiago Centro pensé que no puedo dejar que este fracaso se convierta en eso. ¡En la ciencia lo normal es equivocarse! Como me respondió alguien, ahora tengo más información que antes, a todo nivel. Así que mejoraré métodos, participaré menos en la red social para reducir mi exposición, e ignoraré trolls. Pero no me iré y seguiré compartiendo los resultados de mis investigaciones.

Esto es lo que contaré en mis presentaciones. Siempre describía mi trayectoria. Hasta antes de esta elección era pristina, ahora siempre estará la sombra de este fracaso. Pero no la ocultaré. No la negaré. No me avergonzaré de contarla. Con orgullo relataré que fui capaz de aprender y surgir de las cenizas. Porque así es la ciencia.

Errores y Aprendizajes #

El principal error que cometí fue pensar que las herramientas que disponía eran suficientes para el problema a resolver. En mi línea de investigación de informática urbana suelo resaltar la importancia de la colaboración entre disciplinas, pero en este caso hice caso omiso de mis propias prácticas y consejos. Como dice el refrán: “en casa de herrero, cuchillo de palo”.

No basta con reconocer el error principal. Es necesario desglosarlo en errores específicos, de manera que más adelante no vuelva a errar en las mismas partes del camino. He identificado los siguientes:

1) No capté la emocionalidad del ambiente ni anticipé lecturas tendenciosas. #

Un mes previo a la elección publiqué un análisis casi idéntico al final, cuya recepción fue sumamente positiva, más que en términos de la distribución apruebo/rechazo, en la curiosidad e interés que generaban los resultados. Era la respuesta común a los experimentos que suelo publicar en redes sociales. Más tarde, ad-portas de la elección, no sopesé las emociones en la reacción de las personas, y menos lo visceral de sus respuestas. Si se publica algo, se asume que tiene una intención política.

Me sorprende que prácticamente nadie vio la parte científica de este trabajo. Con esto no culpo a la audiencia, ciertamente fue una comunicación ineficiente de mi parte. Yo publiqué esto como un experimento, con la intención de aportar al debate y a la caracterización de la discusión, pero fue recibido con segundas intenciones, como “decir que las encuestas están equivocadas”. En realidad, en un momento aclaré que encuestas y Twitter muestran facetas diferentes de la realidad, y que me parece que es un aporte mostrar la faceta que las encuestas no revelan.

2) Asumí supuestos que iban contra la evidencia de otras fuentes, sin cuestionarlo. #

Existe un paper conocido de Daniel Gayo-Avello que dice que no se pueden predecir elecciones con Twitter. Eso lo tenemos más que claro, por dos puntos. Primero, justamente dentro de la literatura se habla que no se pueden predecir elecciones basándonos en el volumen de contenido o de interacciones. Esa es una crítica que se recibe constantemente. Pero nuestro modelo agrupa personas, no volumen ni interacción, y de hecho identifica bots y cuentas que no son personas (como medios e instituciones), y no las considera en el análisis de la distribución de posiciones políticas. Segundo, sabemos que la población de la red social está sesgada respecto a la distribución real. Por eso utilizamos el censo. Dicho eso, creo que por eso nuestro método funcionó muy bien en el plebiscito del 2020 (¡donde estuvimos muy cerca del porcentaje de apruebo!). Entonces, ¿cuál fue el error? A mi juicio, haber asumido que la evidencia que presentaban todas las encuestas (que gana el rechazo) obedecía a la diferencia en la población encuestada, y solamente a eso. Eso lleva al siguiente punto.

3) Asumí que la población no votante se distribuía del mismo modo que la población indecisa. #

Nuestro modelo identifica cuentas que no tienen una postura política explícita, que clasificamos dentro del grupo de gente indecisa. Esto es un supuesto y podría ser erróneo. Y sobre ese supuesto, pensamos que la gente que votaría ahora y que nunca lo había hecho se comportaría igual que ese grupo. Ciertamente no fue así. Este es un punto donde nuestro supuesto falló radicalmente y donde faltó colaboración con personas expertas en elecciones.

4) Asumí que los enlaces a publicaciones y código fuente serían considerados. #

Finalmente, en la visualización que presenté con los resultados estaba la explicación del método, los links al código fuente, que también incluí en los hilos que publiqué, además de los links a las presentaciones y papers. Aún así recibimos críticas que no tienen nada que ver con lo que hicimos. Incluso se nos criticó de usar “modelos matemáticos”, “inteligencia artificial” y “big data”. Nunca utilizamos esos términos. Mis tweets hablaban de distribución de cuentas de Twitter, ajustadas por censo y supuestos de distribución de votos en la población que no usa Internet. Esta malinterpretación podría estar vinculada con el primer punto, pero también fue un error el no darse cuenta de que toda la estructura detrás del modelo sería ignorada.

Todavía hay camino por recorrer #

Si bien reconozco estos errores y tomaré medidas para corregirlos, no volveré a trabajar con predicciones electorales en Twitter. Mi mayor aprendizaje y acción será dedicarme más a mi línea principal de investigación: la informática urbana. Publico esta crónica no solo para hacer un análisis propio de la situación y determinar cómo continuar en mi carrera, sino también para que otras personas sepan que en la ciencia nos equivocamos, fallamos, y, sobretodo, nos ponemos de pie nuevamente, reconociendo nuestros errores y mirando hacia el futuro.