Cómo hacer mejores predicciones cuando no tiene suficientes datos

Cuando Donald Trump declaró por primera vez su candidatura a la presidencia de los Estados Unidos, la mayoría de los analistas pronosticaron que tenía muy pocas posibilidades de convertirse en el candidato republicano. Probablemente el más destacado de ellos fuera Nate Silver de FiveThirtyEight. Él estimado que Trump tenía un 2% de probabilidades de ganar la nominación. Esta estimación se basó en varios datos históricos importantes sobre los candidatos anteriores, como los antecedentes de los que procedían, si contaban con el amplio respaldo del partido y sus éxitos y fracasos en el pasado. Se trata de un enfoque de predicción estándar basado en la suposición subyacente de que lo que intenta predecir (Trump) es comparable a sus antecedentes históricos (candidatos anteriores del Partido Republicano) y, por lo tanto, puede evaluarse en función de su desempeño. Sin embargo, como tenemos claro ahora, en algunos casos únicos, como el fenómeno Trump, solo pudimos aprender poco de la historia directa reciente.

Un problema similar surge en las encuestas. Los analistas políticos utilizan las encuestas para estimar la probabilidad de éxito de un candidato. Sin embargo, las encuestas no son perfectas y, por lo general, tienen varios tipos de sesgos, como el efecto de que no respondan, la compensación de llamar a teléfonos fijos o a teléfonos móviles y los cambios en las tendencias de participación electoral. Para superar estos obstáculos, los estadísticos políticos crean modelos que tratan de corregir los errores de las encuestas utilizando datos de elecciones anteriores. Este método se basa en la suposición subyacente de que las encuestas actuales e históricas cometen el mismo tipo de errores. Por ejemplo, los analistas podrían suponer que la población de personas que no responden se distribuye de manera similar a lo largo del tiempo, una suposición que puede o no ser cierta.

Para agravar ambos problemas, dado que las elecciones presidenciales son un acontecimiento relativamente poco frecuente, nuestros datos históricos son limitados; en otras palabras, el tamaño de la muestra es relativamente pequeño y está anticuado.

Los estadísticos predictivos del sector privado se enfrentan a problemas similares cuando intentan predecir eventos inesperados o cuando trabajan a partir de datos defectuosos o incompletos. El simple hecho de delegar el trabajo a las máquinas no ayudará: la mayoría de las técnicas de aprendizaje automático y minería estadística también parten del supuesto de que los datos históricos, que se utilizan para entrenar el modelo de aprendizaje automático, se comportan de manera similar a los datos objetivo, a los que se aplica el modelo más adelante. Sin embargo, esta suposición no suele ser válida, ya que los datos están obsoletos y, a menudo, resulta caro o poco práctico obtener los datos recientes adicionales que sustentan esta suposición.

Por lo tanto, para seguir siendo relevantes, los estadísticos tendrán que dejar la posición purista de ajustar modelos que se basan únicamente en datos históricos directos y enriquecer sus modelos con datos recientes de dominios similares que podrían captar mejor las tendencias actuales.

Esto se conoce como aprendizaje por transferencia, un campo que ayuda a resolver estos problemas al ofrecer un conjunto de algoritmos que identifican las áreas de conocimiento que son «transferibles» al dominio de destino. Este conjunto de datos más amplio se puede utilizar entonces para ayudar a «entrenar» el modelo. Estos algoritmos identifican los puntos en común entre la tarea objetivo, las tareas recientes, las tareas anteriores y las tareas similares pero no iguales. Por lo tanto, ayudan a guiar el algoritmo para que aprenda solo de las partes relevantes de los datos.

En el ejemplo de las elecciones presidenciales de los Estados Unidos, podríamos utilizar este método para entender qué fenómenos económicos y sociales internacionales podrían predecir el ascenso de un candidato inesperado como Trump. Por ejemplo, si bien el fenómeno Trump es nuevo en el reciente clima político estadounidense, los estudiosos de la política a nivel mundial llevan bastante tiempo observando esta tendencia. En» Trump, el Brexit y el auge del populismo: los desposeídos de la economía y la reacción cultural» Ronald Inglehart y Pippa Norris examinan el reciente aumento del apoyo a los partidos populistas en muchas sociedades occidentales. En Gran Bretaña, por ejemplo, si bien el Partido de la Independencia del Reino Unido solo ganó un escaño en las elecciones generales de mayo de 2015, su retórica populista alimentó un sentimiento antieuropeo y antiinmigración, lo que más tarde lo llevó a ganar el referéndum sobre el Brexit de la UE. Inglehart y Norris encuentran muchas similitudes entre el ascenso de los populistas en diferentes países; los mismos efectos de la inseguridad económica en las economías posindustriales y la reacción violenta contra la diversificación de las sociedades han llevado a los mismos grupos de votantes a votar.

La idea del aprendizaje por transferencia sugiere que el uso de los datos de votación del Reino Unido sobre el Brexit de 2016 podría haber permitido a los estadísticos entender mejor la participación mundial actual y las tendencias de votación. Por lo tanto, un modelo que tuviera en cuenta datos de fuera de los EE. UU. podría haber pronosticado un mayor apoyo a Trump, especialmente en los grupos demográficos que comparten los mismos puntos de vista antiinmigración que los observados recientemente en el Reino Unido.

La política ofrece solo un estudio de caso que destaca la creciente necesidad de técnicas estadísticas novedosas que puedan adaptarse a los datos que cambian con frecuencia. Los problemas que se derivan del uso de datos históricos también prevalecen en muchos otros sectores. Si bien las empresas tienden a realizar inversiones estratégicas utilizando datos históricos, por ejemplo, a menudo ignoramos la posibilidad de que la realidad ya haya cambiado.

El problema de las muestras pequeñas también surge en otros lugares. Pensemos en una empresa con una operación exitosa en los EE. UU. que quiere expandirse al mercado alemán. ¿Cómo pueden traducir los conocimientos que han adquirido en el mercado estadounidense y aplicarlos a la expansión alemana? ¿Hay alguna forma de minimizar los costes o los riesgos? Los métodos de aprendizaje por transferencia pueden ayudar al modelo a sobrepasar las similitudes entre los mercados estadounidense y alemán, como los grupos de población que comparten características demográficas y económicas similares, y a infravalorar las diferencias. Desde una perspectiva empresarial, esto permitirá a los responsables de la toma de decisiones simular el rendimiento de la empresa en un entorno similar al del mercado objetivo.

En lugar de las técnicas habituales de utilizar únicamente los datos históricos del mismo problema para hacer predicciones, los estadísticos políticos y los predictores empresariales también deberían empezar a utilizar datos de problemas similares que se han producido más recientemente, aunque no estén directamente relacionados. Para establecer la conexión entre los dos problemas, transferir algoritmos de aprendizaje ayudan a centrar el proceso de aprendizaje en las partes más relevantes de los datos históricos de entrenamiento.

Es cierto que los datos históricos son enormemente valiosos para hacer predicciones. Sin embargo, la posibilidad de utilizar técnicas más avanzadas en la ciencia de datos ayudará a aprovechar la información de eventos comparables actuales, lo cual es crucial para hacer predicciones más precisas, especialmente cuando los datos históricos son limitados o el entorno es incierto. Para evitar errores críticos de predicción, los analistas de datos deben adoptar nuevos métodos que les permitan traducir los conocimientos de diferentes períodos y dominios.