Para crear una IA menos sesgada, contrate a un equipo más diverso

Jean-Philippe Tournut/Getty Images

No nos han faltado escándalos en lo que respecta a la IA. En 2016, Microsoft Tay, un bot de IA creado para aprender en tiempo real a partir del contenido de las redes sociales convertido en un troll misógino y racista 24 horas después del lanzamiento. UN Informe ProPublica afirmó que un algoritmo —creado por un contratista privado— tenía más probabilidades de calificar a los candidatos negros a la libertad condicional como de mayor riesgo. UN estudio histórico del gobierno de los EE. UU. informó que a más de 200 algoritmos de reconocimiento facial (la mayoría en el sector) les resultaba más difícil distinguir los rostros que no eran blancos. El sesgo en nuestra IA creada por humanos probablemente se deba en parte a la falta de diversidad en los humanos que la crearon. Al fin y al cabo, si ninguno de los investigadores que están creando sistemas de reconocimiento facial es gente de color, garantizar que los rostros que no son blancos se distingan correctamente puede ser una prioridad mucho menor.

Fuentes de discriminación en los campos de la IA y la tecnología

La tecnología tiene una fuerza laboral notablemente no diversa. UN Estudio de 2019 descubrió que menos del 5,7% de los empleados de Google eran latinos y el 3,3% eran negros. Del mismo modo tarifas bajas existen en toda la industria de la tecnología. Y esas cifras no son mejores fuera de la industria de la tecnología, con empleados latinos y negros representando solo el 7 y el 9%, respectivamente, de los trabajadores de STEM en la economía general. (Comprenden 18,5% y 13,4%, respectivamente, de la población estadounidense.) La ciencia de datos destaca especialmente: según una estimación, infrarrepresenta a las mujeres, los hispanos y los negros más que cualquier otro puesto en la industria de la tecnología. No es de extrañar que un estudio de 2019 realizado por la organización sin fines de lucro Mujeres fundadoras avanzan más rápido (F4) descubrió que El 95% de los candidatos encuestados denunció haber sufrido discriminación en el lugar de trabajo. Con una fuerza laboral tan sesgada, ¿cómo podemos esperar que a nuestra IA le vaya mejor?

Abundan las fuentes de sesgo en la contratación. Parte de esto proviene de la IA. Amazon es famoso por tener que desechar su robot de reclutamiento de IA cuando la empresa descubrió que tenía prejuicios contra las mujeres. Y no se trata solo de los titanes de la tecnología: la encuesta de LinkedIn sobre las tendencias mundiales de contratación de 2018 reveló que El 64% de los empleadores utilizan la IA y los datos en la contratación, incluidos los mejores empleadores como Target, Hilton, Cisco, PepsiCo e Ikea. Pero no podemos culpar enteramente a la IA: hay una fuente de sesgo de contratación mucho más profunda y sistémica. Un campo establecido de la investigación académica sugiere que la evaluación de los currículums humanos está intrínsecamente sesgada. Mediante innovadores experimentos de campo, investigadores universitarios han demostrado que los evaluadores de currículums discriminan por raza, religión, origen nacional, sexo, orientación sexual, y edad. La discriminación es tan frecuente que las minorías suelen participar activamente blanquear currículums (y, posteriormente, tienen más éxito en el mercado laboral). Escanear los currículums, ya sea por ordenador o por un humano, es una práctica arcaica que es mejor relegar al basurero de la historia. En el mejor de los casos, mide la capacidad del candidato para presumir con tacto de sus logros y, en el peor de los casos, proporciona todos los ingredientes correctos para la discriminación intencional o no intencional. Entonces, ¿cómo están superando las empresas este desafío?

Un interludio musical

Existe un paralelismo poco probable en —de todos los lugares— en el campo de la música clásica. En las décadas de 1970 y 1980, las orquestas históricamente dominadas por los hombres empezaron a cambiar sus procedimientos de contratación. Las audiciones se realizaron a ciegas (se colocó una pantalla entre el candidato y el comité de jueces para que no se pudiera discernir la identidad del audicionante), solo se juzgó su música. Los efectos de este cambio fueron asombrosos: Investigadores de Harvard descubrió que las mujeres aprobaban 1,6 veces más en las audiciones a ciegas que en las no ciegas, y el número de mujeres intérpretes en las orquestas aumentó entre 20 y 30 puntos porcentuales. Al centrarse en el desempeño del candidato (en lugar de en los atributos discriminatorios irrelevantes), las empresas pueden aumentar tanto la diversidad como la calidad de sus nuevas contrataciones. He aquí cómo.

Las evaluaciones basadas en proyectos son más justas y precisas

Al igual que las orquestas sinfónicas, las empresas inteligentes están empezando a adoptar técnicas de entrevista más objetivas. Las principales son las evaluaciones basadas en proyectos. Si bien los parámetros exactos varían, las evaluaciones basadas en proyectos de la IA y la ciencia de datos suelen pedir al candidato que limpie y analice algunos datos del mundo real y que redacte un breve informe con sus hallazgos. Algunas son evaluaciones más dirigidas, mientras que otras son más abiertas. Algunas se llevan a casa, mientras que otras se administran durante una entrevista presencial. Independientemente de su estilo, piden a los candidatos que demuestren sus propias habilidades, en lugar de simplemente afirmarlas.

Las evaluaciones basadas en proyectos tienen una serie de ventajas. En primer lugar, proporcionan mucha más información sobre un candidato de la que podría ofrecer cualquier currículum. En una entrevista reciente, Hugo Bowne-Anderson, El director de evangelización y marketing de la ciencia de datos de la empresa de ciencia de datos Coiled, me dijo que «tener un proceso que imite las comunicaciones científicas de datos en el lugar de trabajo añade un nivel completamente nuevo a la evaluación y envía un montón de señales a los entrevistadores».

Centro Insight

• La IA y la igualdad

  Patrocinado por SAS

  Diseñar sistemas que sean justos para todos.

En segundo lugar, el contenido de estas evaluaciones es más realista de lo que se puede deducir al escanear los currículums. Las evaluaciones basadas en proyectos ofrecen «un adelanto sobre el trabajo y las habilidades del candidato», según Jesse Anderson, un veterano de la industria y autor de» Equipos de datos.» No está solo. En una entrevista reciente, Sean Gerrish, director de ingeniería y autor de» Cómo piensan las máquinas inteligentes» señaló que «los desafíos para llevar a casa dan a los empleadores la oportunidad de simular el desempeño del candidato en el trabajo de manera más realista que con preguntas desconcertantes de entrevistas».

Por último, la IA y la ciencia de datos no tienen que ver solo con el cálculo de números, sino que gran parte se reduce a situar la ciencia de datos en un contexto empresarial. Una de las preguntas más difíciles es decidir qué pregunta hacer a los datos que son relevantes para la empresa y que la ciencia puede abordar rigurosamente. Otro desafío importante y poco apreciado es comunicar esos resultados a un gerente de empresa. Como dice Bowne-Anderson, estas evaluaciones hacen que los candidatos «respondan a una pregunta empresarial o formulen una respuesta de ciencia de datos de manera que sea útil para el responsable de la toma de decisiones». Estas sutiles cualidades se reflejan en una evaluación basada en proyectos, pero son difíciles de deducir de la selección del currículum.

Para combatir los prejuicios en la IA, las empresas necesitan talentos de IA más diversos. Las empresas sofisticadas e innovadoras abandonan cada vez más la selección de currículums, plagada de prejuicios, por una evaluación basada en proyectos. En La incubadora de datos (donde organizamos una beca de ciencia de datos responsable de producir cientos de doctorados científicos de datos cada año), descubrimos que más del 60% de las empresas ahora ofrecen evaluaciones de datos para llevar a casa a sus candidatos. Otro, aproximadamente el 20%, requiere proyectos de datos de entrevistas presenciales, en los que los candidatos analicen los conjuntos de datos como parte del proceso de entrevistas. Del resto de los empleadores, la mayoría son empresas más grandes y establecidas que, por lo general, tardan más en adaptarse a los cambios. Las empresas que siguen centrándose en la evaluación de los currículums y renuncian a evaluaciones más objetivas tienen que entender las repercusiones negativas en la diversidad laboral y que esto puede estar perpetuando, no disminuyendo, el sesgo en la IA y la analítica.