Por qué las recomendaciones generadas por algoritmos no son suficientes

Las empresas, las organizaciones sin fines de lucro y los gobiernos diseñan algoritmos para conocer y predecir las preferencias de los usuarios. Incluyen estos algoritmos en los sistemas de recomendación que ayudan a los consumidores a tomar decisiones sobre todo, desde qué productos o servicios comprar hasta qué películas ver y qué trabajos perseguir. Como estos algoritmos se basan en el comportamiento de los usuarios para deducir las preferencias de los usuarios, los sesgos humanos están incluidos en el diseño de los algoritmos. Para crear algoritmos que predigan de forma más eficaz las preferencias de los usuarios y mejoren mejor el bienestar de los consumidores y el bienestar social, las organizaciones deben emplear formas de medir las preferencias de los usuarios que tengan en cuenta estos sesgos.

Considere una nueva aplicación que prometa revolucionar sus cenas. Utiliza un algoritmo patentado para recomendarle alimentos personalizados solo para usted. Con ganas de probarlo, se inscribe rápidamente. Pero las recomendaciones no son las que esperaba. El lunes, pizza. El martes, una hamburguesa. Miércoles, pollo frito. El jueves, barbacoa. El viernes, filetes con patatas fritas. Confundido, llama a la empresa para preguntar qué está pasando.

«Nuestro algoritmo analiza sus pedidos de comida anteriores y selecciona sus favoritos», explican. «Entonces solo recomendamos los favoritos, nada más. ¡Es el plan de comidas personalizado perfecto!»

Así es como se crean los algoritmos. Por eso los algoritmos nos fallan.

Los algoritmos que nos ayudan a tomar las mejores decisiones (que nos conectan con las mejores ideas, experiencias, trabajos, personas y productos) deberían enriquecer nuestras vidas. Pero los algoritmos, como los que curan redes sociales, asignar atención médica, y precio del seguro de automóvil — no cumplen esta promesa. Algoritmos creados para y por gobiernos y organizaciones sin fines de lucro, como los algoritmos utilizados para pronosticar actividad delictiva y puntuar los exámenes de ingreso a la universidad, también se están quedando cortos.

Una de las principales razones de este decepcionante rendimiento es que los algoritmos modernos que ayudan y sustituyen a la toma de decisiones humanas, como los sistemas de recomendación, se basan en un modelo psicológico de lo que hace el usuario. En un nuevo periódico de Naturaleza Comportamiento humano, mis colegas y yo sostenemos que una restricción fundamental es de lo que los algoritmos están diseñados para aprender: nuestro comportamiento. Los algoritmos se basan en nuestros clics, visualizaciones, compras y otras huellas digitales para deducir nuestras preferencias. Estos «preferencias reveladas» puede identificar nuestras preferencias por cosas que no sabíamos que queríamos, como un viaje a Montenegro, una cena en Le Bernardin o un reality show sobre un restaurante de West Hollywood. Aun así, las preferencias reveladas de los usuarios individuales son una medida incompleta y, a veces, engañosa del «preferencias normativas» que componen sus verdaderos objetivos y valores.

Sesgos que afectan a la toma de decisiones

Los psicólogos y economistas del comportamiento han documentado muchos anomalías en la toma de decisiones humanas. Cuando estos sesgos psicológicos influyen en nuestro comportamiento, los algoritmos combinan erróneamente nuestras preferencias reveladas y normativas.  Estos son tres ejemplos:

Pensando rápido

A menudo nos faltan los conocimientos, el tiempo, la capacidad o la motivación para decidir de forma racional. Entonces confiamos en intuiciones asociativas y hábitos y están influenciados por factores contextuales como la predeterminado nos recomiendan. Estas estrategias de decisión suelen ser buenas, pero pueden crear sesgos sistemáticos en nuestra toma de decisiones. Los algoritmos que se basan en nuestros hábitos pueden aprender preferencias que ya no apoyamos (p. ej., la mayoría de los fumadores quieren dejar de fumar). Los algoritmos entrenados según nuestro comportamiento lo harán reflejar nuestros sesgos e inequidades estructurales en sistemas que nunca respaldamos y que puede que nos estén ocultando. Cuando Amazon creó un algoritmo de contratación, aprendió a dar preferencia a los candidatos masculinos antes que a las mujeres a partir de las decisiones de contratación humana en las que se formó — un sesgo de género eso había pasado desapercibido hasta que lo codificó el algoritmo.

Quiere, no debe

Tenemos deseos contradictorios: dejarnos llevar por la presente o esperar al futuro, para tomar nosotros o compartir, para aprovechar lo que sabemos o correr el riesgo y probar algo nuevo. Los algoritmos observan y basan las recomendaciones en las preferencias de los usuarios a la hora de tomar decisiones. Estos algoritmos aprenden las resoluciones de conflictos que son más gratificantes (deseos) de manera más inmediata, incluso si aspiramos a resoluciones a largo plazo (deberíamos). Usuarios de Netflix poner películas de alto nivel como Planeta Tierra en sus listas de seguimiento, pero terminan haciendo un atracón de telenovelas tipo Bridgerton y películas de acción tipo Extracción.

Las normas sociales y el status quo

En plataformas como Amazon, YouTube y Facebook, los algoritmos nos guían para ver y comprar lo que la gente como nosotros ve y compra. Confiamos en los sistemas de recomendación y las listas (por ejemplo, los más vendidos) para encontrar opciones en los grandes catálogos de las plataformas. Los sistemas de recomendación nos ayudan a encontrar lo que nos gusta, pero también cambiar nuestras preferencias y reducir la diversidad de lo que vemos y compramos, aumentando la cuota de mercado de las opciones populares y existentes. Sin una ingeniería considerable, los sistemas de recomendación sugerir Harry Potter en todas partes, ya sea relevante (por ejemplo, para los usuarios que ven El señor de los anillos) o irrelevante (por ejemplo, para que los usuarios compren Dominar el arte de la cocina francesa).

Hay varias medidas que las organizaciones pueden tomar para crear algoritmos más eficaces.

Algoritmos de auditoría para detectar prejuicios humanos.

Las empresas pueden utilizar las pruebas A/B y analizar los datos internos para revelar cuándo y por qué el comportamiento de los usuarios y las preferencias normativas de los usuarios divergen. Los investigadores, con la cooperación de un sistema de salud, descubrieron que la organización el algoritmo priorizó a los pacientes blancos sobre los negros para acceder a servicios adicionales porque el sistema de salud gastó más en pacientes blancos igualmente sanos que en los que son negros y utilizó el gasto como indicador de la salud. UN algoritmo de análisis del valor de mercado utilizado por los gobiernos municipales en los Estados Unidos, guiar la inversión y la continuación de los servicios públicos tiende a despriorizar los barrios con una mayor concentración de residentes negros y más pobres, en parte, porque incorpora datos como las tasas de propiedad de viviendas, que están influenciadas por sesgos estructurales debido a prácticas crediticias con prejuicios históricos.

Incluso sin acceso a los datos internos de la empresa, los científicos, los gobiernos y las organizaciones sin fines de lucro pueden auditar los algoritmos para detectar prejuicios humanos mediante observar a los usuarios individuales, examinar la API de las plataformas y utilizar bots, y con estudios de intervención. Usuarios de Facebook a los que los investigadores pagaban en un experimento desactivar su cuenta durante cuatro semanas, pasaron más tiempo con sus familias y dijeron que se sentían mejor, y muchos abandonaron la plataforma al dejar de pagar. Estos resultados sugieren que muchos usuarios pasaban tiempo en Facebook por costumbre, no porque les gustara o les resultara satisfactorio.

Mejorar el diseño de los algoritmos para reflejar mejor las preferencias normativas de los usuarios.

Los diseñadores de algoritmos podrían hacer que los algoritmos pasen de reflejar deseos a reflejar más deberían ampliar el horizonte temporal del comportamiento observado. Cuando Meta redujo el volumen de notificaciones in situ que recibían los usuarios a solo las notificaciones más relevantes, por ejemplo, la intervención inicialmente redujo las visitas a Facebook a corto plazo, pero al final las visitas se recuperaron y crecieron a largo plazo.

Cuando la gente elige entre alternativas (por ejemplo, una manzana y una barra de chocolate), el camino que toma el ratón puede revelar preferencias contradictorias entre esas opciones. Tecnologías de rastreo del ratón que analizan las trayectorias de los ratones podría revelar conflictos entre deseos y deberes que se pasan por alto al confiar en los datos de elección (por ejemplo, las tasas de clics). Por supuesto, ajustar los algoritmos por completo según lo que debería podría acabar con la demanda de los usuarios, pero encontrar un equilibrio mejor entre lo que quiere y lo que debe beneficiar a las empresas y a los usuarios.

Entrene algoritmos con diferentes datos de usuario.

Los algoritmos se entrenan normalmente en una parte, o un pliegue, de un conjunto de datos y, a continuación, se validan con otros datos que sirven como muestra de retención. Los diseñadores de algoritmos podrían entrenar selectivamente los algoritmos con los datos de los usuarios que muestran opciones más deliberadas y una mejor toma de decisiones y reportan los resultados deseados (por ejemplo, menos soledad, mayor felicidad o satisfacción, etc.). Los diseñadores podrían entrenar algoritmos con los usuarios que dedican más tiempo o consideran más datos antes de tomar decisiones. Por ejemplo, en lugar de entrenar vehículos autónomos para todo el mundo, los diseñadores podrían entrenar a los AV para que conduzcan de forma segura. Los diseñadores podrían entrenar los algoritmos de las redes sociales con los usuarios que están más contentos, más satisfechos con su experiencia o que interactúan con el contenido de fuentes creíbles. Si esos usuarios no existen, los diseñadores podrían crear simulaciones de usuarios que se comporten de manera que reflejen las preferencias normativas de los usuarios y entrenar los algoritmos con esos datos simulados.

Cree algoritmos que se basen menos exclusivamente en el comportamiento y más directamente en las preferencias declaradas.

Integrar las prácticas de diseño humano en los algoritmos beneficia a muchos aplicaciones del aprendizaje automático. Los diseñadores pueden solicitar las preferencias de los usuarios mediante encuestas y entrevistas y combinarlas con las preferencias reveladas en el comportamiento de los usuarios al incluir sus medidas en la cesta de objetivos que los algoritmos están diseñados para optimizar. Si le decimos a Netflix que nos muestre nuevos documentales científicos, su algoritmo no debería servirnos solo para las comedias y películas de acción de nuestro historial de visualización. Los usuarios suelen darse cuenta cuando un algoritmo les falla y su los comentarios explícitos pueden mejorar las recomendaciones. Para entender cómo quieren los usuarios que las plataformas regulen los espacios privados en la realidad virtual para el acoso y el acoso, Meta colaboró con los investigadores para llevar a cabo estudios electorales deliberativos con encuestados de 32 países.

Es hora de que las empresas, los gobiernos y los científicos inviertan en la ciencia del comportamiento del diseño de algoritmos. Los diseñadores no pueden programar para salir de la psicología humana. El diseño de los algoritmos debe ir más allá de las preferencias reveladas. Los algoritmos podrían reflejar las personas que aspiramos a ser, no solo lo que hemos sido.