Algoritmos de auditoría para detectar sesgos

Laurence Dutton/Getty Images

En 1971, el filósofo John Rawls propuso un experimento mental para entender la idea de equidad: la velo de ignorancia. ¿Y si, preguntó, pudiéramos borrarnos los sesos para no recordar quiénes éramos: nuestra raza, nuestro nivel de ingresos, nuestra profesión, cualquier cosa que pudiera influir en nuestra opinión? ¿A quién protegeríamos y a quién serviríamos con nuestras políticas?

El velo de la ignorancia es un ejercicio filosófico para pensar en la justicia y la sociedad. Pero también se puede aplicar al floreciente campo de la inteligencia artificial (IA). Elogiamos los resultados de la IA como matemáticos, programáticos y, quizás, intrínsecamente mejores que las decisiones humanas cargadas de emociones. ¿Puede la IA proporcionar el velo de ignorancia que nos lleve a resultados objetivos e ideales?

La respuesta hasta ahora ha sido decepcionante. Por muy objetiva que pretendamos que sea nuestra tecnología, en última instancia, está influenciada por las personas que la crean y los datos que la alimentan. Los tecnólogos no definen las funciones objetivas detrás de la IA independientemente del contexto social. Los datos no son objetivos, reflejan sesgos sociales y culturales preexistentes. En la práctica, la IA puede ser un método para perpetuar los prejuicios y provocar consecuencias negativas no deseadas y resultados inequitativos.

La conversación de hoy sobre las consecuencias no deseadas y los resultados justos no es nueva. También en 1971, el Tribunal Supremo de los Estados Unidos estableció la noción de» impacto dispar «— la teoría legal predominante utilizada para revisar la discriminación no intencionada. En concreto, el Griggs contra Duke Power Company la sentencia declaró que, independientemente de la intención, los resultados dispares y discriminatorios para las clases protegidas (en este caso, con respecto a la contratación) violaban el Título VII de la Ley de Derechos Civiles de 1964. Hoy en día, esta sentencia se utiliza ampliamente para evaluar las decisiones de contratación y vivienda, y es la base legal para investigar la posible discriminación por la IA. En concreto, define cómo entender las «consecuencias no deseadas «y si los resultados de un proceso de decisión son justos. Si bien la regulación de la IA se encuentra en sus primeras etapas, la equidad será un pilar clave para discernir el impacto adverso.

El campo de la ética de la IA atrae a un grupo interdisciplinario de abogados, filósofos, científicos sociales, programadores y otros. Con la influencia de esta comunidad, Accenture Applied Intelligence* ha desarrollado una herramienta de equidad para entender y abordar los sesgos tanto de los datos como de los modelos algorítmicos que son la base de los sistemas de IA.

¿Cómo funciona la herramienta?

Nuestra herramienta mide el impacto dispar y corrige la paridad predictiva para lograr la igualdad de oportunidades. La herramienta expone los posibles impactos dispares mediante la investigación de los datos y el modelo. El proceso se integra con los procesos de ciencia de datos existentes. El primer paso de la herramienta se utiliza en el proceso de investigación de datos. Los pasos 2 y 3 se producen después de desarrollar un modelo. En su forma actual, la herramienta de evaluación de equidad funciona con modelos de clasificación, que se utilizan, por ejemplo, para determinar si se concede o no un préstamo a un solicitante. Los modelos de clasificación agrupan personas o objetos según características similares. La herramienta ayuda al usuario a determinar si esta agrupación se produce de manera injusta y proporciona métodos de corrección.

La herramienta consta de tres pasos:

• La primera parte examina los datos para detectar la influencia oculta de las variables sensibles definidas por el usuario en otras variables. La herramienta identifica y cuantifica el impacto que tiene cada variable predictora en la salida del modelo para identificar qué variables deberían centrarse en los pasos 2 y 3. Por ejemplo, un uso popular de la IA es la contratación y la evaluación de los empleados, pero los estudios muestran que el género y la raza están relacionados con el salario y con el ascenso. Las organizaciones de recursos humanos podrían utilizar la herramienta para garantizar que variables como las funciones laborales y los ingresos sean independientes de la raza y el género de las personas.
• La segunda parte de la herramienta investiga la distribución de los errores del modelo para las diferentes clases de una variable sensible. Si hay un patrón perceptiblemente diferente (visualizado en la herramienta) de los términos de error para hombres y mujeres, esto indica que los resultados pueden estar impulsados por el género. Nuestra herramienta aplica una distorsión estadística para corregir el término de error, es decir, el término de error se hace más homogéneo en los diferentes grupos. El grado de reparación lo determina el usuario.
• Por último, la herramienta examina la tasa de falsos positivos en los diferentes grupos y aplica una tasa igual de falsos positivos determinada por el usuario en todos los grupos. Los falsos positivos son una forma particular de error del modelo: casos en los que el resultado del modelo decía «sí» cuando la respuesta debería haber sido «no». Por ejemplo, si se considerara que una persona tiene un riesgo crediticio bajo, se le concede un préstamo y, a continuación, no lo paga, sería un falso positivo. El modelo predijo falsamente que la persona tenía un riesgo crediticio bajo.

Para ser justos, es posible que se produzca una disminución en la precisión del modelo y la herramienta muestra cualquier cambio en la precisión que se pueda producir. Como el equilibrio entre precisión e imparcialidad depende del contexto, confiamos en el usuario para determinar la compensación. Según el contexto de la herramienta, puede que sea una prioridad mayor garantizar resultados equitativos que optimizar la precisión.

Una de las prioridades al desarrollar esta herramienta era alinearla con el ágil proceso de innovación que utilizan las organizaciones competitivas en la actualidad. Por lo tanto, nuestra herramienta tenía que ser capaz de gestionar grandes cantidades de datos para no impedir que las organizaciones ampliaran los proyectos de IA de prueba de concepto. También tenía que ser fácilmente comprensible para el usuario medio. Y tenía que funcionar junto con los flujos de trabajo de ciencia de datos existentes para que el proceso de innovación no se viera obstaculizado.

Nuestra herramienta no se limita a dictar lo que es justo. Más bien, evalúa y corrige el sesgo dentro de los parámetros establecidos por sus usuarios, quienes, en última instancia, necesitan definir variables sensibles, términos de error y tasas de falsos positivos. Sus decisiones deben regirse por la comprensión de la organización de lo que denominamos IA responsable, los principios básicos que una organización seguirá al implementar la IA para generar confianza entre sus partes interesadas, evitar riesgos para su negocio y aportar valor a la sociedad.

El éxito de la herramienta no solo dependía de ofrecer soluciones para mejorar los algoritmos, sino también de su capacidad para explicar y entender los resultados. Su objetivo es facilitar una conversación más amplia entre científicos de datos y no científicos de datos. Al crear una herramienta que priorice la participación humana por encima de la automatización en la colaboración entre humanos y máquinas, nuestro objetivo es inspirar la continuación del debate sobre la equidad hacia prácticas éticas prácticas en el desarrollo de la IA. 

* Un primer prototipo de la herramienta de equidad se desarrolló en un grupo de estudio de datos del Instituto Alan Turing. Accenture da las gracias al instituto y a los académicos participantes por su papel.