La IA puede ayudar a abordar la inequidad, si las empresas se ganan la confianza de los usuarios

Las predicciones alcistas sugieren que la inteligencia artificial (IA) podría contribuir hasta 15,7 billones de dólares para la economía mundial de aquí a 2030. Desde coches autónomos hasta aprobaciones hipotecarias más rápidas y decisiones publicitarias automatizadas, los algoritmos de IA prometen numerosos beneficios para las empresas y sus clientes.

Lamentablemente, es posible que estas ventajas no se disfruten por igual. El sesgo algorítmico (cuando los algoritmos producen resultados discriminatorios contra determinadas categorías de personas, normalmente las minorías y las mujeres) también puede empeorar las desigualdades sociales existentes, especialmente en lo que respecta a la raza y el género. Del algoritmo de predicción de reincidencia utilizado en los tribunales para el algoritmo de predicción de la atención médica utilizado en los hospitales, los estudios han encontrado pruebas de sesgos algorítmicos que empeoran las disparidades raciales para las personas afectadas, no las mejoran.

Muchas empresas se han esforzado considerablemente por combatir los sesgos algorítmicos en su gestión y sus servicios. A menudo utilizan enfoques basados en la ciencia de los datos para investigar cuáles serán las predicciones de un algoritmo antes de lanzarlo al mundo. Esto puede incluir examinar las diferentes especificaciones de los modelos de IA, especificar la función objetivo que el modelo debe minimizar, seleccionar los datos de entrada que se van a incluir en el modelo, procesar previamente los datos y hacer predicciones del modelo después del procesamiento.

Sin embargo, el resultado final del despliegue de un algoritmo se basa no solo en las predicciones del algoritmo, sino también en la forma en que las empresas y los clientes lo utilizarán en última instancia, y a menudo se pasa por alto este contexto crítico de receptividad y adopción del algoritmo. Sostenemos que el despliegue del algoritmo debe tener en cuenta las condiciones del mercado en las que se utiliza el algoritmo. Estas condiciones del mercado pueden afectar a qué o a quién y en qué medida afectarán las decisiones del algoritmo y, por lo tanto, influir en los beneficios obtenidos para los usuarios del uso del algoritmo.

Por ejemplo, para ayudar a sus anfitriones a maximizar sus ingresos (es decir, los ingresos inmobiliarios), Airbnb lanzó una herramienta de precios inteligentes basada en algoritmos de IA que ajusta automáticamente el precio diario del anuncio. Los anfitriones de Airbnb tienen información muy limitada sobre las propiedades de Airbnb de la competencia, las tarifas de los hoteles, la estacionalidad y otros factores de demanda que pueden utilizar para fijar el precio correcto de sus propiedades. El algoritmo de precios inteligentes tenía como objetivo ayudar con ello, ya que incorporaba información relevante sobre las características del anfitrión, la propiedad y el vecindario de las enormes fuentes de información de la empresa para determinar el mejor precio para una propiedad. En nuestro estudio publicado recientemente, los ingresos diarios medios de los anfitriones que adoptaron precios inteligentes aumentó un 8,6%. Sin embargo, tras el lanzamiento del algoritmo, la brecha de ingresos raciales aumentó (es decir, los anfitriones blancos ganaban más) a nivel de población, lo que incluye tanto a los adoptantes como a los no adoptantes, ya que los anfitriones negros tenían muchas menos probabilidades de adoptar el algoritmo que los anfitriones blancos.

En las pruebas, la herramienta hizo exactamente lo que tenía que hacer. Descubrimos que era totalmente a ciegas, ya que los precios de anuncios similares se reducían en la misma cantidad independientemente de la raza del anfitrión. El algoritmo mejoró los ingresos de los anfitriones negros más que los de los blancos. Esto se debe a que la curva de demanda inmobiliaria de los anfitriones negros era más elástica (es decir, respondía mejor a los cambios de precios) que la curva de demanda de propiedades equivalentes propiedad de anfitriones blancos. Como la reducción de precios fue la misma, el número de reservas aumentó más para los anfitriones negros que para los blancos, lo que se tradujo en un aumento mayor de los ingresos para los anfitriones negros que para los blancos. Desde la perspectiva de la ciencia de los datos, tuvo un despliegue perfecto: este algoritmo bienintencionado y ciego a las razas tenía como objetivo ofrecer beneficios financieros al mejorar los ingresos de todos los adoptantes y ofrecer beneficios sociales al reducir la brecha de ingresos raciales entre los adoptantes.

En el mundo real, sin embargo, era una historia diferente. El lanzamiento del algoritmo acabó ampliando, en lugar de reducir, la disparidad racial en Airbnb. Esta consecuencia no deseada podría haberse evitado internalizando las condiciones del mercado durante el despliegue del algoritmo.

Hemos determinado que las empresas deben tener en cuenta las siguientes condiciones del mercado durante la creación de los algoritmos de IA: 1) la receptividad de los usuarios objetivo a un algoritmo de IA, 2) las reacciones de los consumidores ante las predicciones de los algoritmos y 3) si el algoritmo debe regularse para abordar las desigualdades raciales y económicas incorporando el comportamiento estratégico de las empresas en el desarrollo del algoritmo. Airbnb, por ejemplo, debería haberse preguntado: 1) ¿Cómo reaccionarán los anfitriones de Airbnb ante (más específicamente, adoptarán) el algoritmo? y 2) ¿Cómo se puede animar a los anfitriones negros a adoptarlo? Estas condiciones del mercado determinan el resultado final del mercado (por ejemplo, el precio del producto, la demanda inmobiliaria, las ventajas para los usuarios) de la aplicación de un algoritmo de IA y, por lo tanto, deben analizarse y tenerse en cuenta desde el principio.

¿Cómo percibirán los usuarios objetivo un algoritmo?

El algoritmo de precios inteligentes de Airbnb aumentó los ingresos diarios de todos los que lo utilizaban. Los anfitriones blancos vieron un aumento de 5,20$ por día y los anfitriones negros un aumento de 13,9$. Los nuevos precios redujeron la disparidad económica entre los usuarios en un 71,3%.

Sin embargo, dado que los anfitriones negros tenían un 41% menos de probabilidades que los blancos de adoptar el algoritmo, el resultado de la introducción del algoritmo no fue del todo satisfactorio. Para los presentadores negros que no usaron el algoritmo, la brecha de ingresos en realidad aumentado. Esto lleva a la siguiente pregunta: Si es el CEO de una empresa que desea erradicar la inequidad racial y recibe un informe algorítmico de este tipo, ¿qué espera sembrar en el equipo de dirección de ciencia e ingeniería?

Para abordar la baja receptividad de los anfitriones negros a la nueva herramienta, Airbnb podría animar a los anfitriones negros a adoptar el algoritmo, por ejemplo, recompensando a los usuarios negros que lo prueben o compartiendo una descripción detallada y pruebas de las ventajas del uso del algoritmo. También descubrimos que la brecha de adopción racial era más significativa entre los anfitriones con un nivel socioeconómico (SES) bajo, por lo que lo más eficaz sería centrarse en los anfitriones negros de los cuartiles más bajos del SES.

Sin embargo, para ello, es esencial entender por qué la gente duda en primer lugar. Hay muchas razones por las que las personas pueden no ser receptivas a ceder el control a un algoritmo. Por ejemplo, la educación y los ingresos tienen lo encontraron para explicar un obstáculo para la adopción de la alta tecnología para los usuarios negros, especialmente cuando el uso de la tecnología es caro (desde el punto de vista financiero). Incluso si la tecnología se ofrece de forma gratuita (por ejemplo, el algoritmo de precios inteligentes de Airbnb), la confianza también desempeña un papel importante: Un documento de trabajo (Shunyuan Zhang es coautor con Yang Yang) indicó que crear conciencia sobre los prejuicios raciales haría que los grupos desfavorecidos confiaran menos y dudaran más a la hora de adoptar algoritmos en general, incluidos los ciegos raciales que ofrecen beneficios financieros, de salud o educativos a los usuarios.

En conversaciones con una empresa de comercio electrónico centrada en artículos de segunda mano, los autores del estudio descubrieron que solo el 20% de los vendedores utilizaban la herramienta de precios gratuita que ofrecía la empresa, lo que hacía que los precios fueran ineficientes y las ventas fueran lentas. Un estudio preliminar sugirió que los vendedores podrían sobreestimar el valor de sus artículos usados y podrían no estar dispuestos a aceptar las sugerencias de precios pronosticadas por algoritmos; esto se denomina efecto de dotación. Por ejemplo, imagine que un vendedor pone en venta un vestido de segunda mano que cree que vale 15 dólares, pero el algoritmo de precios, que se basa en un enorme conjunto de datos y modelos, sugiere 10 dólares y el vendedor reacciona negativamente. En respuesta a reacciones como esta, la empresa podría explicarle al vendedor cómo se hizo la sugerencia de 10 dólares y presentar artículos similares que tenían un precio y se vendían a 10 dólares. Proporcionar esa explicación aumenta la transparencia de las operaciones comerciales y mejora la confianza de los clientes.

En pocas palabras, al incorporar las diferencias en la adopción de algoritmos de IA entre los grupos raciales, las empresas deberían personalizar sus esfuerzos de promoción de algoritmos y tratar de abordar las preocupaciones de los usuarios que más desean adoptarlos.

¿Cómo reaccionarán los consumidores ante los efectos de un algoritmo de IA?

Es un error ver los algoritmos de IA simplemente como modelos que generan decisiones e impactan en las personas que las reciben. El impacto va en ambos sentidos: la forma en que los consumidores (es decir, los destinatarios de las decisiones) reaccionen ante las decisiones de la IA determinará el efecto del algoritmo en los resultados del mercado.

El algoritmo de precios inteligentes de Airbnb es un buen ejemplo de este fenómeno. Supongamos que es el CEO de Airbnb y que informa sobre el algoritmo desarrollado por su empresa en una audiencia de un comité de la Cámara de Representantes sobre la IA equitativa. Le alegrará que su algoritmo, condicionado a la adopción, pueda combatir la inequidad racial. Sin embargo, podría hacer más para mitigar la disparidad racial. Debe tener en cuenta las siguientes condiciones clave de marketing: 1) Los anfitriones blancos y negros pueden enfrentarse a diferentes curvas de demanda y 2) Los anfitriones negros están menos representados en los datos utilizados para entrenar el algoritmo de la IA. En concreto, la curva de demanda de propiedades para anfitriones negros era más elástica que la de propiedades similares propiedad de anfitriones blancos. La discriminación social puede provocar diferentes curvas de demanda, lo que lleva a los huéspedes a ser más sensibles a los precios de las propiedades de propiedad negra que a las de propiedad blanca.

Como los huéspedes respondieron mejor a las reducciones de precios en las propiedades de propiedad negra, es fundamental incorporar esta condición del mercado a la hora de implementar un algoritmo de IA. Puede reducir aún más la brecha de ingresos entre los anfitriones blancos y negros utilizando directamente la raza o incluyendo indirectamente características cercanas o correlacionadas en el algoritmo. Hacer caso omiso de las diferencias inherentes en las condiciones del mercado puede llevar a sugerencias de precios que están más lejos de los precios óptimos para los anfitriones negros que de los precios óptimos para los anfitriones blancos. Esto se debe a que los anfitriones negros representan solo el 9% de los alojamientos de Airbnb, mientras que los anfitriones blancos representan el 80%. 

¿Qué deben hacer las empresas?

Si forma parte de un grupo de trabajo sobre equidad en la IA a nivel empresarial o gubernamental, ¿qué debe hacer al considerar cómo implementar un algoritmo para mitigar las disparidades raciales? Si tuviera que esbozar el ecosistema del algoritmo focal, ¿quiénes serían los creadores, los usuarios objetivo y los receptores de las decisiones del algoritmo? ¿Cómo reaccionarían ante el algoritmo y cómo afectarían sus reacciones al resultado final del algoritmo?

Primero, considere detenidamente cómo percibirán el algoritmo los usuarios objetivo. Esto determinará su desempeño en el mundo real. Pregunte si los usuarios conocen (o se les puede informar) de cómo funciona el algoritmo. Si saben que su empresa está implementando un nuevo algoritmo para abordar una inequidad, ¿cómo reaccionarán? Si los usuarios infrarrepresentados se sienten presionados o piensan que el algoritmo puede estar sesgado en su contra, será menos probable que lo utilicen. Tenga en cuenta que la discriminación histórica y los problemas recientes relacionados con la infrarrepresentación en los conjuntos de datos pueden hacer que los usuarios objetivo se muestren escépticos (por ejemplo, podría decirse que preocupaciones bien fundadas en la atención médica puede impulsar la desigualdad en la vacunación contra la COVID-19).

Segundo, centrarse en generar confianza y ayudar a los usuarios a entender qué el algoritmo está destinado a hacer y cómo funciona. Si la adopción del algoritmo es opcional (como en el caso de Airbnb), este proceso de considerar si los usuarios (especialmente los usuarios de grupos infrarrepresentados) entenderán el algoritmo, confiarán en él y lo adoptarán es aún más importante. Es importante comunicar claramente con ellos el propósito de introducir el algoritmo y su funcionamiento, así como incentivarlos a utilizar el algoritmo, especialmente cuando es más eficaz para los grupos minoritarios o de género. Haga que explicar cómo se lanzó la iniciativa para reducir las desigualdades raciales —y cómo lo hará— forme parte de su estrategia de despliegue.

***

Debido a la escalabilidad y al valor de las predicciones precisas, las empresas desplegarán y aplicarán cada vez más algoritmos en sus operaciones y servicios, y es probable que la adopción no haga más que aumentar. Sin embargo, las empresas deben abordar la preocupación de que los algoritmos puedan producir resultados sesgados en contra de los grupos desfavorecidos. Lamentablemente, los enfoques más comunes impulsados por la ciencia de datos, incluidos el procesamiento de los datos y la calibración de las especificaciones de los modelos, son insuficientes e ineficientes. Para que las empresas combatan mejor los problemas de sesgo algorítmico, tener en cuenta la percepción y la adopción de los algoritmos y las condiciones del mercado, como las que hemos descrito, debería ser una parte importante del despliegue de las herramientas algorítmicas.

Si se hacen bien, estas herramientas bien podrían mitigar los sesgos humanos y reducir las consecuencias económicas que se derivan de ellos. Si se hace mal, solo con unos pocos algoritmos de firmas establecidas, podría socavar y retrasar por completo el despliegue de los algoritmos de IA.