¿Cuándo deja de ser ética la tecnología predictiva?

Personal de HBR/KKGAS/Sidney Morgan/Stocksy

El aprendizaje automático puede determinar mucho sobre usted, incluida parte de su información más confidencial. Por ejemplo, puede predecir su orientación sexual, si está embarazada, si dejará su trabajo y si es probable que muera pronto. Los investigadores pueden predecir la raza en función de los me gusta de Facebook, y los funcionarios de China utilizan el reconocimiento facial para identificar y rastrear a los uigures, un grupo étnico minoritario.

Bien, ¿las máquinas realmente «saben» estas cosas sobre usted o solo hacen conjeturas informadas? Y, si están haciendo una inferencia sobre usted, igual que haría cualquier humano que conozca, ¿hay algo malo en que sean tan astutos?

Veamos algunos casos:

En los Estados Unidos, la historia de Objetivo: predecir quién está embarazada es probablemente el ejemplo más famoso de un algoritmo que hace inferencias sensibles sobre las personas. En 2012, un artículo del New York Times sobre cómo las empresas pueden aprovechar sus datos incluía una anécdota sobre un padre que se enteró de que su hija adolescente estaba embarazada porque Target le envió cupones para artículos para bebés, en un aparente acto de premonición. Aunque la historia del adolescente puede ser apócrifo — aunque hubiera ocurrido, lo más probable es que se tratara de una coincidencia, no de un análisis predictivo, el responsable de los cupones, según el proceso de Target detallado por El New York Times historia: existe un riesgo real para la privacidad a la luz de este proyecto predictivo. Al fin y al cabo, si el departamento de marketing de una empresa predice quién está embarazada, ha comprobado datos confidenciales y no voluntarios desde el punto de vista médico que solo el personal sanitario normalmente está formado para gestionar y proteger adecuadamente.

Centro Insight

• La IA y la igualdad

  Patrocinado por SAS

  Diseñar sistemas que sean justos para todos.

El acceso mal gestionado a este tipo de información puede tener enormes implicaciones en la vida de una persona. Como ciudadano preocupado publicado en línea, imagine que «el trabajo de una mujer embarazada es inestable y [su] discapacidad estatal aún no está configurada correctamente… hacer que se divulgue podría poner en riesgo el costo minorista de un parto (aproximadamente 20 000 dólares), los pagos por discapacidad durante el tiempo libre (aproximadamente 10 000 a 50 000 dólares) e incluso su trabajo».

No se trata de un caso de mal manejo, filtración o robo de datos. Más bien, es la generación de nuevo datos: el descubrimiento indirecto de verdades no voluntarias sobre las personas. Las organizaciones pueden predecir estos poderosos conocimientos a partir de los datos inocuos existentes, como si los crearan de la nada.

Irónicamente, nos enfrentamos a una desventaja cuando los modelos predictivos funcionan demasiado bien? Sabemos que hay un coste cuando los modelos predicen incorrectamente, pero también hay un coste cuando predicen correctamente?

Incluso si el modelo no es muy preciso, per se, puede que siga confiando en sus predicciones para un grupo determinado de personas embarazadas. Supongamos que el 2% de las clientas de entre 18 y 40 años están embarazadas. Si el modelo identifica a las clientas, por ejemplo, tres veces más probabilidades que la media de estar embarazadas, solo el 6% de las identificadas estarán realmente embarazadas. Es un ascensor de tres. Pero si observa un grupo mucho más pequeño y centrado, por ejemplo, el 0,1% con más probabilidades de estar embarazada, es posible que tenga una elevación mucho mayor de, digamos, 46, lo que haría que las mujeres de ese grupo tuvieran un 92% de probabilidades de estar embarazadas. En ese caso, el sistema sería capaz de revelar que esas mujeres tienen muchas probabilidades de estar embarazadas.

El mismo concepto se aplica al predecir la orientación sexual, la raza, el estado de salud, la ubicación y sus intenciones de dejar su trabajo. Incluso si un modelo no es muy preciso en general, puede revelar con mucha confianza (para un grupo limitado) cosas como la orientación sexual, la raza o el origen étnico. Esto se debe a que, por lo general, hay una pequeña parte de la población para la que es más fácil predecir. Bien, puede que solo pueda hacer predicciones con confianza para un grupo relativamente pequeño, pero incluso el 0,1% más rico de una población de un millón significaría que se han identificado con confianza a 1000 personas.

Es fácil pensar en las razones por las que la gente no querría que alguien supiera estas cosas. A partir de 2013, Hewlett-Packard puntuaba de forma predictiva a sus más de 300 000 trabajadores con la probabilidad de que dejaran su trabajo. HP la llamó puntuación de riesgo de vuelo y se la entregaron a los gerentes. Si tiene previsto marcharse, su jefe probablemente sea el_último_ persona a la que querrá averiguar antes de que sea oficial.

Como otro ejemplo, las tecnologías de reconocimiento facial pueden servir como una forma de rastrear la ubicación, lo que reduce la libertad fundamental de moverse sin revelarla, ya que, por ejemplo, las cámaras de seguridad posicionadas públicamente pueden identificar a las personas en momentos y lugares específicos. Desde luego, no condeno rotundamente el reconocimiento facial, pero sepa que el CEO está en ambas Microsoft y Google lo he hecho por esta razón.

En otro ejemplo, una consultora estaba modelando las pérdidas de empleados para un departamento de recursos humanos y se dio cuenta de que podían modelar las muertes de los empleados, ya que esa es una forma de perder a un empleado. La gente de recursos humanos respondió con: «¡No nos muestre!» No querían la responsabilidad de saber potencialmente qué empleados corrían el riesgo de morir pronto.

Investigación ha demostrado que los modelos predictivos también pueden discernir otros atributos personales, como la raza y el origen étnico, basándose, por ejemplo, en los «me gusta» en Facebook. Una de las preocupaciones son las formas en que los vendedores pueden utilizar este tipo de predicciones. Como la profesora de gobierno y tecnología de Harvard, Latanya Sweeney ponlo, «Al final del día, la publicidad online tiene que ver con la discriminación. No querrá que las madres con recién nacidos reciban anuncios de cañas de pescar y no querrá que los pescadores reciban anuncios de pañales. La pregunta es ¿cuándo esa discriminación pasa de centrarse en los clientes a afectar negativamente a todo un grupo de personas?» De hecho, un estudio de Sweeney mostró que las búsquedas en Google de nombres «que suenen negros» tenían un 25% más de probabilidades de mostrar un anuncio que sugiriera que la persona tenía un historial de arrestos, incluso si el anunciante no tenía a nadie con ese nombre en su base de datos de registros de arrestos.

«Si crea una tecnología que pueda clasificar a las personas por una etnia, alguien la utilizará para reprimir esa etnia», dice Clare Garvie, asociado sénior del Centro de Privacidad y Tecnología de Georgetown Law.

Lo que nos lleva a China, donde el gobierno aplica el reconocimiento facial a identificar y rastrear a los miembros de los uigures, un grupo étnico oprimido sistemáticamente por el gobierno. Este es el primer caso conocido de un gobierno que utiliza el aprendizaje automático para elaborar perfiles por etnia. Esta señalización de las personas por grupo étnico está diseñada específicamente para utilizarse como factor en las decisiones discriminatorias, es decir, las decisiones basadas, al menos en parte, en una clase protegida. En este caso, los miembros de este grupo, una vez identificados, recibirán un trato o consideración diferente según su origen étnico. Una empresa emergente china valorada en más de mil millones de dólares dijo que su software podía reconocer «grupos sensibles de personas». Su sitio web decía: «Si originalmente un uigur vive en un vecindario y en 20 días aparecen seis uigures, envía las alarmas inmediatamente» a las fuerzas del orden.

Implementar el tratamiento diferencial de un grupo ético basado en la tecnología predictiva lleva los riesgos a un nivel completamente nuevo. Jonathan Frankle, investigador de aprendizaje profundo en el MIT, advierte que este potencial se extiende más allá de China. «No creo que sea exagerado tratar esto como una amenaza existencial a la democracia. Una vez que un país adopta un modelo tan autoritario, utiliza los datos para hacer cumplir el pensamiento y las reglas de una manera mucho más arraigada… En esa medida, se trata de una crisis urgente en la que estamos entrando poco a poco sonámbulos».

Es un verdadero desafío trazar la línea en cuanto a qué objetivos predictivos perseguidos con el aprendizaje automático no son éticos, y mucho menos cuáles deberían legislarse en contra, si los hubiera. Pero, como mínimo, es importante estar atento a cuando el aprendizaje automático sirva para potenciar una práctica poco ética preexistente y también a cuando genere datos que deben gestionarse con cuidado.