Corregir la discriminación en los mercados en línea

A finales de la década de 1980, los profesores de derecho Ian Ayres y Peter Siegelman se propusieron averiguar si los negros y las mujeres tenían las mismas ofertas que los hombres blancos a la hora de comprar un coche nuevo. Capacitaron a 38 personas —algunas blancas y otras negras, otras hombres y otras mujeres— para que negociaran una compra con un guion fijo y descubrieron diferencias inquietantes: en 153 concesionarios, los compradores negros y femeninos pagaban más por los mismos coches que los hombres blancos, y las mujeres negras eran las que más pagaban (de media, casi 900 dólares más que los hombres blancos). Aunque los hallazgos no sorprendieron a la mayoría de la gente, y menos aún a los negros y las mujeres, fueron una demostración convincente de lo discriminatorios que pueden ser los mercados.

Avanzamos rápidamente una docena de años hasta los primeros días del comercio por Internet. Los emprendedores estaban experimentando con la venta de todo tipo de productos por Internet, incluidos automóviles. Los economistas Fiona Scott Morton, Florian Zettelmeyer y Jorge Silva-Risso analizaron esta nueva forma de vender coches y descubrieron que eliminaba la discriminación racial y de género que, según descubrieron, persistía en la venta de automóviles fuera de línea.

De hecho, la primera generación de mercados online, incluidos eBay, Amazon y Priceline, dificultó que los vendedores discriminaran. Las transacciones se realizaron con relativo anonimato. Un usuario podía negociar una compra sin proporcionar ningún dato de identificación hasta que el vendedor hubiera aceptado la oferta. Como Neoyorquino El famoso dibujo animado decía: «En Internet, nadie sabe que es un perro».

Excepto que las plataformas (y ahora sus usuarios) sí saben si es blanco o negro, hombre o mujer, humano o canino. Y recientemente se ha revelado que Internet es una fuente de discriminación, no su fin: al descubrir su identidad, los grupos desfavorecidos se enfrentan a muchos de los mismos desafíos a los que se han enfrentado durante mucho tiempo en el mundo fuera de línea, que a veces se agravan por la falta de regulación, la prominencia que las fotos dan a la raza y el género y el hecho de que los posibles discriminadores pueden actuar sin enfrentarse nunca personalmente a sus víctimas.

¿Qué ha pasado y qué podemos hacer al respecto?

El surgimiento de la discriminación digital

En los primeros días del comercio electrónico, comprar en línea a menudo requería un acto de fe. Un vendedor de eBay en Florida podría publicar, por ejemplo, una tarjeta de béisbol de los Topps para la temporada 1974 de Nolan Ryan con los California Angels, junto con una descripción de su estado. Un coleccionista de Massachusetts podría pujar por la mira de la carta sin que lo vea, según esa descripción. Una tarjeta en perfecto estado puede valer 60 dólares, pero una con orejas de perro solo valdría una fracción. ¿Qué impedía que el vendedor hiciera pasar una tarjeta desgastada por impoluta? Muy poco: un estudio realizado por los economistas Ginger Jin y Andrew Kato reveló que, a principios de la década de 2000, los comerciantes de eBay solían tergiversar la calidad de las cartas coleccionables deportivas.

El problema con los primeros tiempos del comercio electrónico era que un lado del mercado solía saber cosas que el otro no sabía: el estado de una tarjeta de béisbol, la fiabilidad y el cuidado con el que se empaquetaban los productos, etc. Estos desafíos se presentan en todos los mercados, pero fueron particularmente graves en las plataformas en línea, por dos razones principales. En primer lugar, es más difícil superar las asimetrías de la información cuando no puede tener un producto en la mano. En segundo lugar, los vendedores en línea eran, casi por definición, nuevos en el negocio, ya que el negocio en sí existía solo unos años. No había marcas establecidas, como Sotheby’s y Sears, que aseguraran a los compradores que no se dejarían engañar.

Con el tiempo, los comentarios de los compradores y otros comentarios han permitido a los vendedores de comercio electrónico ganarse una reputación. Pero, ¿por qué dejar de recopilar comentarios cuando se podría extraer tanta información potencialmente útil de las identidades de los compradores y vendedores? Por ejemplo, en un estudio de 2012 sobre préstamos entre particulares realizado por Jefferson Duarte, Stephan Siegel y Lance Young, los sujetos calificaron la confiabilidad de los posibles prestatarios después de ver fotografías de los mismos. Resultó que las personas que «parecen confiables» tenían más probabilidades de que se les concedieran sus solicitudes de préstamo. Lo que es más sorprendente es que también tenían más probabilidades de reembolsar los préstamos. La implicación era que si este tipo de información detallada podía ayudar a los participantes del mercado a evaluar las perspectivas de una transacción, tenía sentido proporcionarla.

En los sitios web de servicios que van desde trabajar por cuenta propia hasta compartir viajes y pasear perros, muchos vendedores ahora tienen discreción sobre con quién hacen negocios en función de su apariencia o incluso solo por el nombre. La disponibilidad de esa información depende de cada plataforma, ya que algunos sitios conservan un cierto grado de anonimato, mientras que otros se remontan a prácticas prohibidas durante mucho tiempo en los mercados fuera de línea. Del mismo modo, en muchos sitios, incluidos Etsy y CustomMade, los posibles compradores no solo ven los productos, sino también los nombres y las fotos de los vendedores. Si bien tener detalles sobre los posibles socios de transacciones puede hacer que las personas se sientan más cómodas, cada vez hay más pruebas de que facilita la discriminación.

El mercado de alquileres de corta duración Airbnb es un buen ejemplo de ello con respecto a la aparición de la discriminación en los mercados en línea y las formas en que las elecciones de diseño influyen en su alcance. Cuando un posible inquilino busca anuncios, ve descripciones e imágenes tanto de la propiedad como del anfitrión. Y los anfitriones pueden ver los nombres (y en muchos casos las imágenes) de los posibles inquilinos antes de aceptarlos o rechazarlos.

Uno de nosotros (Mike, que trabaja con Benjamin Edelman y Daniel Svirsky) ha investigado la discriminación racial en Airbnb. En un estudio centrado en el mercado estadounidense, el grupo creó 20 perfiles de usuario y envió solicitudes de alquiler a unos 6.400 anfitriones. Los perfiles y las solicitudes eran idénticos excepto por un detalle: el nombre del usuario. La mitad de los perfiles tenían nombres que (según el registro de nacimiento) son comunes entre los blancos, mientras que la otra mitad tenían nombres comunes entre los negros.

Las solicitudes con nombres que suenan negros tenían un 16% menos de probabilidades de ser aceptadas que las que tenían nombres que sonaban blancos. Y la discriminación era generalizada, y se producía con anuncios baratos y caros, barrios diversos y homogéneos, habitaciones en la propia vivienda del anfitrión y unidades independientes alquiladas por propietarios con varios anuncios. La mayoría de los anfitriones que rechazaron las solicitudes de perfiles que sonaban negros nunca habían recibido a un huésped negro, lo que sugiere que algunos anfitriones se inclinan especialmente a discriminar por motivos de raza. (En respuesta a este estudio y al creciente coro de críticas por parte de los usuarios y los reguladores, Airbnb encargó a un grupo de trabajo que identificara formas de reducir la discriminación, y propuso una serie de cambios en septiembre de 2016. Analizaremos algunos aspectos de las políticas anunciadas más adelante.)

Los investigadores ya han documentado la discriminación racial en una variedad de áreas en Internet, desde los mercados laborales hasta las solicitudes de crédito y la vivienda. Lo habilitan dos funciones: marcadores de raza, la mayoría obviamente fotografías, pero también indicadores más sutiles, como los nombres; y discreción por parte de los participantes del mercado con quienes realizan transacciones. Como veremos en la siguiente sección, ambas son elecciones de los diseñadores de plataformas.

Otra característica del comercio en línea a veces, también de manera contraria a la intuición, ha fomentado la discriminación en lugar de suprimida: el uso de algoritmos y macrodatos. Los resultados de búsqueda que ofrece Google, los libros que sugiere Amazon y las películas que recomienda Netflix son ejemplos de máquinas que sustituyen el imperfecto juicio humano sobre lo que quieren los clientes. Es tentador suponer que eliminar el juicio humano también eliminaría los prejuicios humanos. Pero ese no es el caso.

De hecho, la discriminación generada por los algoritmos se produce de formas que los humanos probablemente evitarían. En un estudio revelador, la profesora de informática Latanya Sweeney intentó entender el papel de la raza en los anuncios de Google. Buscó nombres afroamericanos comunes, como Deshawn y, bueno, Latanya, y grabó los anuncios que aparecían con los resultados. Luego buscó nombres, como Geoffrey, que son más comunes entre los blancos. Las búsquedas de nombres que suenan negros tenían más probabilidades de generar anuncios que ofrecían investigar posibles registros de arrestos.

Por supuesto, Google no se propuso mostrar anuncios con registros de arrestos a personas que buscaban nombres afroamericanos. Esto ocurrió porque un algoritmo «decidió», basándose en búsquedas anteriores, que alguien que buscaba «Deshawn» tenía más probabilidades que alguien que buscaba «Geoffrey» de hacer clic en un anuncio relacionado con una detención (y, por lo tanto, generar ingresos para Google). Es decir, la elección la hicieron, aunque sin darse cuenta, los diseñadores de algoritmos de Google.

Hacia un diseño de mercado más inteligente

Las plataformas, incluso cuando pertenecen al mismo sector, suelen diferir en sus características de diseño, lo que puede provocar diferentes niveles de vulnerabilidad a la discriminación. Tome la decisión de publicar fotos de usuario y cuándo. Uber no proporciona a los conductores fotos de posibles pasajeros, pero su competidor Lyft sí. Esto hace que Uber sea menos vulnerable que Lyft a la discriminación por parte de los conductores. Del mismo modo, la página principal de resultados de búsqueda de la tienda de alquileres vacacionales HomeAway muestra solo las fotos del alojamiento en alquiler y guarda las fotos de los anfitriones hasta una página posterior (si es que las muestra), mientras que Airbnb exige que los anfitriones incluyan fotos de sí mismos en su página principal de resultados de búsqueda.

Las empresas también tienen diferentes enfoques para investigar la posible discriminación y tomar medidas correctivas. Por ejemplo, eBay trabajó con un equipo de psicólogos sociales para determinar si los vendedores masculinos obtienen precios más altos que las mujeres por artículos similares (sí). Sin embargo, lo más común es que las empresas eviten el tema. Aunque muchos ejecutivos reconocen que existe discriminación y expresan su interés en reducirla, hemos visto pocos esfuerzos serios como los de eBay para evaluar su alcance. Por lo tanto, los investigadores que deseen estudiar la discriminación en línea deben realizar sus propios experimentos o extraer datos decididamente imperfectos de los sitios web. (Y sabemos de casos en los que los abogados de la empresa han hecho esos esfuerzos en un intento de bloquear las investigaciones relacionadas con la raza).

El sesgo generado por los algoritmos se produce de formas que los humanos probablemente evitarían.

Es posible que incluso las empresas con las mejores intenciones no elijan el mejor enfoque para luchar contra la discriminación, porque, por lo que sabemos, no existe un sistema para analizar las opciones de diseño disponibles y sus implicaciones. Nuestro objetivo en lo que sigue es ofrecer un marco para las empresas que desean diseñar y gestionar un mercado próspero y, al mismo tiempo, minimizar el riesgo de discriminación.

No esperamos que todos los diseñadores de mercado tomen las mismas decisiones. Del mismo modo que la competencia toma diferentes decisiones de diseño en función de otras situaciones (por ejemplo, Lyft permite a los pasajeros dar propina a través de su aplicación, pero Uber no), tomarán diferentes decisiones a la hora de hacer frente a la discriminación; entre otras razones, imponen diferentes primas a la hora de evitar la discriminación (aunque creemos que las plataformas deberían cumplir con un estándar alto en este sentido). Nuestro objetivo es ayudar a los diseñadores a considerar plenamente las implicaciones y las desventajas de sus elecciones de diseño.

A continuación, ofrecemos dos principios rectores para las plataformas que se enfrentan a este desafío de diseño de mercado. A continuación, evaluamos cuatro opciones de diseño que pueden afectar a la discriminación.

Principio 1: No ignore la posibilidad de discriminación.

Las plataformas deberían empezar con un seguimiento más cuidadoso. Actualmente, la mayoría desconoce la composición racial y de género de los participantes en la transacción. Un informe periódico (y una auditoría ocasional) sobre la raza y el género de los usuarios, junto con las medidas del éxito de cada grupo en la plataforma, es un paso necesario (aunque no suficiente) para revelar y abordar cualquier problema. Puede arrojar luz sobre las áreas en las que la discriminación es un problema y revelar los avances a lo largo del tiempo. También puede ser un primer paso de buena fe para reducir la discriminación. Por ejemplo, Airbnb debería informar periódicamente de las tasas de aceptación de los huéspedes desglosadas por factores como la raza y el sexo. Hacer pública esta información ayudaría a aumentar la conciencia de los usuarios y los reguladores y a mantener la presión sobre las empresas para que aborden con seriedad los problemas de discriminación que surgen a medida que sus plataformas evolucionan. (La divulgación pública de datos relacionados con la discriminación es una dimensión en la que las políticas anunciadas por Airbnb no cumplen con creces, pero es necesaria para garantizar que los objetivos amplios y loables de la empresa se traduzcan en resultados concretos).

Principio 2: Mantener una mentalidad experimental.

Las plataformas deberían hacer lo que mejor saben hacer: experimentar. Empresas como Facebook, Yelp y eBay han incorporado ideas experimentales al desarrollo de nuevos productos y funciones. Para poner a prueba las opciones de diseño que pueden, junto con otras intervenciones, influir en el alcance de la discriminación, las empresas deberían realizar ensayos controlados aleatorios. Hay que aplaudir a Airbnb por su reciente experimento de ocultar las fotos de los anfitriones en su página principal de resultados de búsqueda para explorar los efectos en los resultados de las reservas (aunque no ha hecho públicos los resultados).

Decisión de diseño 1: ¿Proporciona demasiada información?

En muchos casos, el cambio más simple y efectivo que puede hacer una plataforma es retener información potencialmente confidencial de los usuarios, como la raza y el género, hasta que se haya acordado una transacción. Algunas plataformas, incluidas Amazon y eBay, ya lo hacen. Sin embargo, para muchos otros significaría apartarse de su forma de hacer negocios. Un ejecutivo de una plataforma con una valoración multimillonaria nos dijo que su empresa nunca consideraría eliminar las fotos o los nombres.

Además de elegir qué información revelar, las plataformas eligen qué tan destacada hacer que aparezca. Y una gran cantidad de pruebas han demostrado que la prominencia importa. En algunas plataformas, por ejemplo, los gastos de envío son independientes del precio base y son menos importantes que él. En un experimento influyente, los economistas Jennifer Brown, Tanjim Hossain y John Morgan demostraron que, en esta situación, un precio base más bajo aumenta las probabilidades de que un artículo se venda, incluso si se compensa con un coste de envío más alto. En otras palabras, el cliente se ve influido no solo por la información que ve, sino también por la información que ocupa más espacio.

Para ver cómo se puede aplicar esta información, recuerde la comparación entre Airbnb, que muestra las fotos de los anfitriones en su página principal de resultados de búsqueda, y HomeAway, que no. (En septiembre, Airbnb declaró que probaría formas alternativas de presentar fotos y otra información relevante sobre la raza, aunque no se comprometió a dar detalles específicos). Al reducir la prominencia de la raza, las plataformas podrían reducir la discriminación.

Decisión de diseño 2: ¿Podría automatizar aún más el proceso de transacciones?

Cuando usa Uber, toca la pantalla para pedir un viaje; solo después de confirmar sabrá quién lo recogerá. En teoría, puede cancelar si no le gusta la valoración o el aspecto del conductor. Pero eso requiere esfuerzo, y este pequeño «coste de transacción» probablemente sea suficiente para impedir la mayoría de las cancelaciones basadas en la apariencia. Uber podría haber permitido a los pasajeros ver al conductor antes de pulsar confirmar o cancelar, pero decidió no hacerlo.

Hacer que las transacciones se realicen antes de que se revele la raza y el género dificulta la discriminación de las personas. Pensemos en la función de Airbnb conocida como «reserva instantánea», diseñada para que las reservas sean más sencillas y prácticas. Que un anfitrión lo utilice permite a los inquilinos reservar su propiedad sin que ella los haya aprobado primero. La reserva instantánea es una función opcional: los propietarios deben suscribirse a ella. Las investigaciones han demostrado que el sesgo por defecto es fuerte: la mayoría de los anfitriones utilizan la opción que esté configurada por defecto. Si Airbnb cambiara su opción predeterminada a la reserva instantánea y exigiera que los anfitriones se excluyeran activamente de ella, lo más probable es que la discriminación disminuya. La empresa podría incluso considerar la posibilidad de hacer que los anfitriones paguen por el privilegio de filtrar a los clientes; por ejemplo, podría cobrar una prima por no participar en la reserva instantánea. (En septiembre, la empresa anunció que aceleraría el uso de la reserva instantánea, aunque no especificó cómo lo lograría).

Creemos que el aumento de la automatización y los incentivos económicos estándar, si se implementan cuidadosamente, podrían reducir la discriminación y, al eliminar algunas de las idas y venidas necesarias para completar una transacción, aumentar los beneficios en una variedad de plataformas.

Decisión de diseño 3: ¿Podría hacer que las políticas de discriminación fueran más prioritarias?

En un estudio de 2012, el equipo de investigación formado por Lisa Shu, Nina Mazar, Francesca Gino, Dan Ariely y Max Bazerman se propuso comprobar si algo tan simple como la ubicación de una firma en un formulario podía afectar a la honestidad. Observaron que a menudo se pide a las personas que rellenen la información y, al final, firmen para dar fe de su veracidad. Se preguntaban si sería menos probable que la gente hiciera trampa si firmaran al principio del formulario, antes de rellenarlo. De hecho, firmar en la cúspide permitió hacer menos trampas tanto en un experimento de laboratorio como en un experimento en el mundo real con una compañía de seguros de automóviles. También funcionó en el contexto de las declaraciones de impuestos.

Aquí hay una lección para los mercados: si quiere que la gente haga algo, piense detenidamente en when to prompt them. La mayoría de las plataformas tienen políticas que prohíben la discriminación, pero están enterradas en letra pequeña. Por ejemplo, los anfitriones de Airbnb deben aceptar no discriminar, pero lo hacen al registrarse por primera vez como propietario. Para cuando una anfitriona decida si acepta a un posible inquilino, probablemente haya olvidado ese acuerdo. Los mercados podrían presentar políticas antidiscriminatorias en un momento más relevante y hacer que el anfitrión se comprometa a no discriminar durante el proceso de transacción propiamente dicho. Algunas personas seguirían infringiendo las políticas, por supuesto, pero eso requeriría una elección mucho más consciente.

Decisión de diseño 4: ¿Deberían sus algoritmos tener en cuenta la discriminación?

Las elecciones de diseño también determinan hasta qué punto un algoritmo provoca discriminación. Hasta ahora, muchos diseñadores de algoritmos han ignorado factores como la raza y el género y solo esperan lo mejor. Pero en muchos casos, la probabilidad de que un algoritmo logre la igualdad sin querer es prácticamente nula; recuerde cómo los algoritmos de Google gestionaban los anuncios para obtener registros de arrestos.

Si una diseñadora de algoritmos se preocupa por la imparcialidad, tiene que hacer un seguimiento del impacto de la raza o el género en la experiencia del usuario y fijar objetivos explícitos. ¿Quiere asegurarse de que no se rechace a los clientes negros con tarifas más altas que a los clientes blancos? ¿Que a las mujeres se les ofrecen los mismos precios que a los hombres?

Google modificó su algoritmo en respuesta al estudio del registro de arrestos, pero las empresas pueden supervisar estos problemas y responder de forma proactiva. Eso podría implicar compensar la discriminación de algunos usuarios. Por ejemplo, supongamos que Uber se da cuenta de que algunos pasajeros dan siempre valoraciones bajas a los conductores negros, que reciben cinco estrellas de la mayoría de sus otros pasajeros. La empresa podría infravalorar las valoraciones de esos pasajeros —que se han revelado discriminatorios— al calcular las puntuaciones generales de los conductores negros en los comentarios.

Una lección de las orquestas sinfónicas

Las plataformas existen en un contexto social más amplio, por supuesto; no podemos crear un mundo ciego al color y al género simplemente diseñando plataformas que sean menos aptas para facilitar la discriminación. Y sería una ilusión imaginarse que todos los diseñadores de plataformas aspiraran a ese objetivo; a veces permitir la discriminación es bueno para los negocios. Cuando ese sea el caso, solo podemos apelar al sentido de responsabilidad social de los líderes empresariales o esperar que la regulación gubernamental intervenga.

Sin embargo, hay muchos casos en los que la idea de «hacer el bien haciendo el bien» se mantiene, ocasiones en las que las empresas de plataformas podrían reducir la discriminación a un bajo coste o incluso aumentar las ganancias. También es posible que unas cuantas empresas ilustradas puedan iniciar un ciclo virtual que obligue a otros participantes del mercado a comportarse mejor.

Piense en cómo se superó el desafío de crear diversidad en las orquestas sinfónicas estadounidenses. A mediados de la década de 1960, menos del 10% de los músicos de las «cinco grandes» orquestas estadounidenses (Boston, Filadelfia, Chicago, Nueva York y Cleveland) eran mujeres. En las décadas de 1970 y 1980, como parte de una iniciativa de diversidad más amplia, los grupos cambiaron sus procedimientos de audición para eliminar posibles sesgos. En lugar de realizar las audiciones cara a cara, sentaban a los músicos detrás de una pantalla u otro separador. En un estudio histórico del 2000, las economistas Claudia Goldin y Cecilia Rouse descubrieron que la pantalla aumentaba la tasa de éxito de las mujeres músicos en un 160%. De hecho, atribuyeron aproximadamente una cuarta parte del aumento de la diversidad de género de las orquestas a este simple cambio. Y dado que la selección se basaba más directamente en la habilidad musical, las orquestas estaban sin duda mejor.

Cuando leímos este estudio por primera vez, hace muchos años, nos intrigó la rara visión que ofrecía de los efectos de la discriminación y el enorme impacto de un cambio pequeño. Pero la solución parecía frustrantemente específica del contexto. Era difícil imaginar interacciones ciegas al género o la raza entre compradores y vendedores o entre empleadores y candidatos a un puesto de trabajo.

La era de Internet lo ha cambiado. Al principio fuimos testigos del potencial de Internet para crear mercados sin consideraciones de raza, género y edad. Hemos evolucionado lo suficiente como para que los diseñadores de plataformas puedan elegir dónde y cuándo colocar las pantallas virtuales. Esperamos que utilicen ese poder para crear una sociedad más inclusiva.