PathMBA Vault

Desarrollo de productos

3 humanos + 1 ordenador = mejor predicción

por Matthias Seifert, Allègre L. Hadida

Los ordenadores suelen superar a la gente a la hora de predecir el futuro, como demostró de manera convincente el analista político Nate Silver durante las elecciones presidenciales estadounidenses de 2012 y muestra en su libro La señal y el ruido. Sin embargo, los estudios han descubierto que las predicciones de los humanos son a veces mejores que las de las máquinas. Supongamos que intenta pronosticar el éxito de un producto en el momento del lanzamiento. ¿Debería confiar en un ordenador o confiar en la sabiduría de un experto?

Una nueva investigación sugiere que el mejor enfoque no es lo uno o lo otro, sino ambos. Pero «ambos» no significa una simple mezcla 50/50. En contextos relativamente inequívocos, confíe más en el análisis informático. En las de alta incertidumbre, calcule las opiniones de tres expertos y dé más peso a su juicio combinado que a los resultados de la máquina.

Descubrimos estas pautas probando varias combinaciones de predicciones humanas e informáticas sobre las canciones de éxito en las listas de éxitos de Alemania y el Reino Unido. En el transcurso de 12 semanas, pedimos a 180 personas —la mitad de ellas profesionales de la industria de la música y la otra mitad estudiantes de posgrado sin conocimientos particulares del negocio de la música— que pronosticaran las 100 mejores posiciones de sencillos de artistas nuevos y establecidos.

Hacer una predicción sobre una canción de un artista consagrado es un problema «bien estructurado»: los datos de interpretación anteriores reducen la incertidumbre. Aquí descubrimos que en una competencia directa entre el hombre y la máquina, la máquina tendía a ganar (por «máquina» nos referimos al software que se basa en herramientas estadísticas comunes para analizar una supuesta relación lineal). Pero los mejores resultados se obtienen al mezclar predicciones humanas y de ordenador. El nivel de experiencia de los humanos era irrelevante; obtuvimos los resultados más precisos simplemente dando a la previsión de la máquina un poco más de peso que a la de los humanos.

Mejorar su previsión

En nuestro experimento con canciones pop, las mejores predicciones en un contexto muy incierto procedían de mezclar entradas humanas y de ordenadores en diferentes cantidades,

Para los artistas desconocidos (un contexto más incierto), los humanos tendían a ganarle a la máquina. Pero repito, la combinación de predicciones humanas y de ordenador produjo los mejores resultados. Y en este caso, la experiencia importaba mucho. Si analizamos solo a los estudiantes, la combinación óptima dio mucho más peso a la predicción del ordenador. Para los profesionales de la industria de la música, era todo lo contrario.

Luego calculamos el promedio de las opiniones de un número variable de profesionales. Cuanto más grande sea el grupo, mejor será la previsión, pero la mayor ganancia la obtenemos al pasar de dos expertos a tres.

Los estudios anteriores han sido contradictorios, ya que los ordenadores suelen ganar en los experimentos de laboratorio y las personas ganan en entornos naturales. Creemos que hay una razón para ello. Los entornos de laboratorio suelen estar bien estructurados, lo que favorece el procesamiento sistemático de los ordenadores. Las condiciones mal estructuradas de muchos entornos naturales favorecen el desordenado funcionamiento del cerebro humano.

Ese es un punto importante a la hora de decidir en qué medida confiar en una predicción informática sobre el lanzamiento de un producto. Si se trata de un producto innovador, algo que los clientes no hayan visto antes, un ordenador puede ofrecer información valiosa, pero debería apoyarse más en el juicio de las personas con experiencia.