Ir al contenido
  1. Bitacoras/

Un fracaso para contar

·10 mins

Un consejo com√ļn que he le√≠do o escuchado es el de comenzar una presentaci√≥n con una historia. Es una buena manera de acercarse a la audiencia, de captar su inter√©s, y de establecer una conexi√≥n humana con ella. Ahora bien, no es algo que haya aplicado. En general mis charlas se han relacionado con un problema cient√≠fico que es de inter√©s para la audiencia, por tanto, esa cercan√≠a ya existe. Tambi√©n he sabido aprovechar esa conexi√≥n y hacerla crecer, por lo que he logrado colaboraciones con otras personas e instituciones.

Ya tengo una historia para contar: la de mi fracaso académico más grande y sus consecuencias. Me refiero a una bullada predicción sobre el resultado del plebiscito constitucional del 4 de septiembre de 2022 en Chile, donde junto a Ricardo Baeza-Yates indicamos que ganaría la opción Apruebo por 52%, cuando en realidad perdió al obtener solamente un 38%.

En este post describo cómo se generó esa historia y cuáles son mis aprendizajes de ella.

Imagen generada en MidJourney. “Un chileno que sue√Īa despierto”.
Imagen generada en MidJourney: Un chileno que sue√Īa despierto.

La historia #

Llevo por lo menos siete a√Īos publicando art√≠culos y an√°lisis sobre el uso de redes sociales para discusi√≥n pol√≠tica en Chile. El plebiscito de salida de septiembre de 2022 no fue la excepci√≥n. Como en todas las elecciones pasadas, he publicado en Twitter mi an√°lisis de la composici√≥n de posiciones en la red. Para ello utilic√© un clasificador de posiciones pol√≠ticas (que hemos presentado en ACM Web Science en los a√Īos 2020 y 2022), m√°s ajustes demogr√°ficos basados en el censo de 2017 y en los resultados del plebiscito del 2020. En esta ocasi√≥n, junto a Ricardo publicamos una predicci√≥n que consideraba el an√°lisis de Twitter m√°s ajustes que permitir√≠an extrapolar la composici√≥n de la poblaci√≥n. Lo hab√≠amos hecho para las elecciones presidenciales y para el plebiscito de entrada. Sin embargo, esta vez fue diferente. Muy diferente.

Incluso antes de la elecci√≥n recib√≠ demasiadas respuestas. Entre ellas, algunas con cuestionamientos v√°lidos al modelo y a los supuestos que ten√≠amos. De hecho, ese feedback me sirvi√≥ para realizar algunas mejoras y publicar una predicci√≥n actualizada. Pero este tipo de respuestas fueron una minor√≠a. La mayor√≠a fue una avalancha de mensajes con ataques personales, hablando de intenciones pol√≠ticas detr√°s del an√°lisis. Eso me llam√≥ la atenci√≥n porque un mes atr√°s, a fines de julio, hab√≠a publicado el mismo an√°lisis y no hab√≠a generado ese volumen ni esas actitudes en las respuestas. Me sent√≠ angustiado por la exposici√≥n a personas que buscaban expresar su odio, y tambi√©n por el antagonismo que otras personas empezaron a ver en m√≠. Incluso hubo gente que intent√≥ entrar a mis cuentas de correo y de redes sociales. Por prevenci√≥n tuve que eliminar todos mis tweets y ponerle candado a mi cuenta. Eso tambi√©n fue interpretado de manera tendenciosa y foment√≥ a√ļn m√°s ataques.

Luego las encuestas mostraron una reducci√≥n en la brecha entre apruebo y rechazo, y hubo manifestaciones multitudinarias a favor del apruebo. Entonces, actualizamos la predicci√≥n y la volvimos a publicar. La recepci√≥n fue similar. Hoy, con la elecci√≥n efectuada, ya sabemos que el resultado del modelo fue desastroso, en tanto estuvo totalmente alejado del resultado final: Nuestra √ļltima predicci√≥n fue 52% a favor del apruebo, muy lejano del 38% que obtuvo en la votaci√≥n.

Entiendo que nadie había previsto esa derrota apabullante del apruebo. Yo no esperé el final de la votación para asumir que el modelo no había funcionado. Durante el recuento de votos, cuando se había contabilizado el 1% de las mesas y noté que había un patrón generalizado en el país, publiqué un tweet con el siguiente contenido:

“Qu√© decir, nuestro m√©todo fall√≥ espectacularmente. Queda analizar c√≥mo mejorarlo e intentarlo de nuevo la pr√≥xima vez. Espero que esto sea lo mejor para chilenos y chilenas. No era mi opci√≥n, pero sin duda todes tenemos que trabajar juntos.”

Fue un tweet sincero. Algunas personas que rechazaron me respondieron de buena manera. Les agradezco la comprensión y el respeto. Yo pienso que sí podemos trabajar en conjunto para mejorar el país.

A√ļn as√≠ recib√≠ una segunda ola de ataques, enrostrando el mal resultado del modelo. En realidad me parece bien que se ponga el √©nfasis en el error, pero creo que mucha gente no comprende que as√≠ funciona la ciencia: nos equivocamos m√°s veces de las que acertamos, y ante cada error, buscamos la manera de entender qu√© sali√≥ mal y c√≥mo mejorarlo en el pr√≥ximo intento. Este post es, de hecho, una manera de realizar ese an√°lisis.

Otras recepciones negativas incluyeron un post en LinkedIn y un “premio” por parte del Economista Flaite. El post en LinkedIn fue de parte de alguien que me hab√≠a acosado por Twitter. All√≠ realiz√≥ una caracterizaci√≥n err√≥nea del trabajo, de hecho, cometi√≥ errores como no nombrarme, decir que yo era ayudante de Ricardo, cuando somos co-autores, y adjudicarme “predicciones catastr√≥ficas de la vacunaci√≥n del COVID” cuando yo nunca he publicado ning√ļn an√°lisis relacionado con COVID en Chile. A pesar de esa partida falsa, el post se viraliz√≥ en LinkedIn y gener√≥ mucha discusi√≥n. Y, en general, creo que fue fruct√≠fera. Agradezco a quienes dieron su opini√≥n, en especial a Karim Touma y Roberto Camhi, que fueron cr√≠ticos con el modelo de manera argumentada y respetuosa. Tambi√©n fui testigo de c√≥mo un acad√©mico de renombre atac√≥ a Ricardo y despu√©s edit√≥ sus mensajes para aparentar que nunca lo hab√≠a hecho. Mi conclusi√≥n es que escenarios como √©ste sacan lo peor de algunas personas.

El premio del Economista Flaite fue la medalla de oro en modelos callamperos. Qué decir, nuestro método presentó un resultado desastroso. Le respondí que aceptaba la medalla, pero que esperaba no ganarla de nuevo en el futuro. Ahora bien, dado el alcance que tiene esa cuenta anónima (135 mil seguidores al momento de publicar este post), eso significó también más acoso. En ese momento incluso pensé en eliminar mi presencia de la red.

Fue un porrazo fuerte que sin duda dejar√° cicatrices.

Un día de la semana, mientras me dirigía al trabajo, recordé una escena del libro La corrupción de un ángel de Yukio Mishima. En ella, la tarjeta de presentación del protagonista queda tachada para siempre después de un error que mancilló su reputación. Un simple error destruyó el prestigio construido durante décadas. Mientras caminaba por Santiago Centro pensé que no puedo dejar que este fracaso se convierta en eso. ¡En la ciencia lo normal es equivocarse! Como me respondió alguien, ahora tengo más información que antes, a todo nivel. Así que mejoraré métodos, participaré menos en la red social para reducir mi exposición, e ignoraré trolls. Pero no me iré y seguiré compartiendo los resultados de mis investigaciones.

Esto es lo que contaré en mis presentaciones. Siempre describía mi trayectoria. Hasta antes de esta elección era pristina, ahora siempre estará la sombra de este fracaso. Pero no la ocultaré. No la negaré. No me avergonzaré de contarla. Con orgullo relataré que fui capaz de aprender y surgir de las cenizas. Porque así es la ciencia.

Errores y Aprendizajes #

El principal error que comet√≠ fue pensar que las herramientas que dispon√≠a eran suficientes para el problema a resolver. En mi l√≠nea de investigaci√≥n de inform√°tica urbana suelo resaltar la importancia de la colaboraci√≥n entre disciplinas, pero en este caso hice caso omiso de mis propias pr√°cticas y consejos. Como dice el refr√°n: “en casa de herrero, cuchillo de palo”.

No basta con reconocer el error principal. Es necesario desglosarlo en errores específicos, de manera que más adelante no vuelva a errar en las mismas partes del camino. He identificado los siguientes:

1) No capté la emocionalidad del ambiente ni anticipé lecturas tendenciosas. #

Un mes previo a la elecci√≥n publiqu√© un an√°lisis casi id√©ntico al final, cuya recepci√≥n fue sumamente positiva, m√°s que en t√©rminos de la distribuci√≥n apruebo/rechazo, en la curiosidad e inter√©s que generaban los resultados. Era la respuesta com√ļn a los experimentos que suelo publicar en redes sociales. M√°s tarde, ad-portas de la elecci√≥n, no sopes√© las emociones en la reacci√≥n de las personas, y menos lo visceral de sus respuestas. Si se publica algo, se asume que tiene una intenci√≥n pol√≠tica.

Me sorprende que pr√°cticamente nadie vio la parte cient√≠fica de este trabajo. Con esto no culpo a la audiencia, ciertamente fue una comunicaci√≥n ineficiente de mi parte. Yo publiqu√© esto como un experimento, con la intenci√≥n de aportar al debate y a la caracterizaci√≥n de la discusi√≥n, pero fue recibido con segundas intenciones, como “decir que las encuestas est√°n equivocadas”. En realidad, en un momento aclar√© que encuestas y Twitter muestran facetas diferentes de la realidad, y que me parece que es un aporte mostrar la faceta que las encuestas no revelan.

2) Asumí supuestos que iban contra la evidencia de otras fuentes, sin cuestionarlo. #

Existe un paper conocido de Daniel Gayo-Avello que dice que no se pueden predecir elecciones con Twitter. Eso lo tenemos m√°s que claro, por dos puntos. Primero, justamente dentro de la literatura se habla que no se pueden predecir elecciones bas√°ndonos en el volumen de contenido o de interacciones. Esa es una cr√≠tica que se recibe constantemente. Pero nuestro modelo agrupa personas, no volumen ni interacci√≥n, y de hecho identifica bots y cuentas que no son personas (como medios e instituciones), y no las considera en el an√°lisis de la distribuci√≥n de posiciones pol√≠ticas. Segundo, sabemos que la poblaci√≥n de la red social est√° sesgada respecto a la distribuci√≥n real. Por eso utilizamos el censo. Dicho eso, creo que por eso nuestro m√©todo funcion√≥ muy bien en el plebiscito del 2020 (¬°donde estuvimos muy cerca del porcentaje de apruebo!). Entonces, ¬Ņcu√°l fue el error? A mi juicio, haber asumido que la evidencia que presentaban todas las encuestas (que gana el rechazo) obedec√≠a a la diferencia en la poblaci√≥n encuestada, y solamente a eso. Eso lleva al siguiente punto.

3) Asumí que la población no votante se distribuía del mismo modo que la población indecisa. #

Nuestro modelo identifica cuentas que no tienen una postura política explícita, que clasificamos dentro del grupo de gente indecisa. Esto es un supuesto y podría ser erróneo. Y sobre ese supuesto, pensamos que la gente que votaría ahora y que nunca lo había hecho se comportaría igual que ese grupo. Ciertamente no fue así. Este es un punto donde nuestro supuesto falló radicalmente y donde faltó colaboración con personas expertas en elecciones.

4) Asumí que los enlaces a publicaciones y código fuente serían considerados. #

Finalmente, en la visualizaci√≥n que present√© con los resultados estaba la explicaci√≥n del m√©todo, los links al c√≥digo fuente, que tambi√©n inclu√≠ en los hilos que publiqu√©, adem√°s de los links a las presentaciones y papers. A√ļn as√≠ recibimos cr√≠ticas que no tienen nada que ver con lo que hicimos. Incluso se nos critic√≥ de usar “modelos matem√°ticos”, “inteligencia artificial” y “big data”. Nunca utilizamos esos t√©rminos. Mis tweets hablaban de distribuci√≥n de cuentas de Twitter, ajustadas por censo y supuestos de distribuci√≥n de votos en la poblaci√≥n que no usa Internet. Esta malinterpretaci√≥n podr√≠a estar vinculada con el primer punto, pero tambi√©n fue un error el no darse cuenta de que toda la estructura detr√°s del modelo ser√≠a ignorada.

Todavía hay camino por recorrer #

Si bien reconozco estos errores y tomaré medidas para corregirlos, no volveré a trabajar con predicciones electorales en Twitter. Mi mayor aprendizaje y acción será dedicarme más a mi línea principal de investigación: la informática urbana. Publico esta crónica no solo para hacer un análisis propio de la situación y determinar cómo continuar en mi carrera, sino también para que otras personas sepan que en la ciencia nos equivocamos, fallamos, y, sobretodo, nos ponemos de pie nuevamente, reconociendo nuestros errores y mirando hacia el futuro.