Una guía práctica para desarrollar una IA ética

Sr. Cole_Photographer/Getty Images

Las empresas aprovechan los datos y la inteligencia artificial para crear soluciones escalables, pero también están aumentando sus riesgos reputacionales, reglamentarios y legales. Por ejemplo, Los Ángeles está demandando a IBM por supuestamente apropiarse indebidamente de los datos que recopilaba con su omnipresente aplicación meteorológica. Están investigando a Optum por parte de los reguladores por crear un algoritmo que supuestamente recomendaba que los médicos y enfermeros prestaran más atención a los pacientes blancos que a los pacientes negros más enfermos. Están investigando a Goldman Sachs por parte de los reguladores por utilizar un algoritmo de IA que supuestamente discriminaba a las mujeres al conceder límites de crédito más altos a los hombres que a las mujeres en sus tarjetas Apple. Facebook concedió tristemente a Cambridge Analytica, una firma política, acceso a los datos personales de más de 50 millones de usuarios.

Hace unos años, los debates sobre «ética de los datos» y «ética de la IA» estaban reservados a las organizaciones sin fines de lucro y al mundo académico. Hoy en día, las empresas de tecnología más importantes del mundo (Microsoft, Facebook, Twitter, Google y más) están creando equipos de rápido crecimiento para abordar los problemas éticos que se derivan de la recopilación, el análisis y el uso generalizados de enormes cantidades de datos, especialmente cuando esos datos se utilizan para entrenar modelos de aprendizaje automático, también conocidos como IA.

Centro de información

• La IA y la igualdad

  Patrocinado por SAS

  Diseñar sistemas que sean justos para todos.

Estas empresas invierten en respuestas a preguntas éticas que alguna vez fueron esotéricas porque se han dado cuenta de una verdad simple: no poner en práctica los datos y la ética de la IA es una amenaza para los resultados finales. No dar en el blanco puede exponer a las empresas a riesgos reputacionales, reglamentarios y legales, pero eso no es ni la mitad. No poner en práctica los datos y la ética de la IA conduce a un desperdicio de recursos, a ineficiencias en el desarrollo y el despliegue de los productos e incluso a la incapacidad de utilizar los datos para entrenar modelos de IA. Por ejemplo, según se informa, los ingenieros de Amazon pasaron años trabajando en la IA para contratar software, pero al final desechó el programa porque no podían encontrar la manera de crear un modelo que no discriminara sistemáticamente a las mujeres. Sidewalk Labs, una filial de Google, se enfrentó a una reacción masiva por parte de ciudadanos y funcionarios del gobierno local por sus planes de construir una «ciudad inteligente» impulsada por el IoT en Toronto, debido a la falta de normas éticas claras para el tratamiento de los datos del proyecto. La empresa finalmente desechó el proyecto en una pérdida de dos años de trabajo y 50 millones de dólares.

A pesar de los costes de equivocarse, la mayoría de las empresas abordan la ética de los datos y la IA a través de debates ad hoc por producto. Sin un protocolo claro sobre cómo identificar, evaluar y mitigar los riesgos, los equipos acaban pasando por alto los riesgos, esforzándose por resolver los problemas a medida que se presentan o cruzando los dedos con la esperanza de que el problema se resuelva solo. Cuando las empresas intentan abordar el tema a gran escala, tienden a implementar políticas estrictas, imprecisas y demasiado amplias que conducen a falsos positivos en la identificación de los riesgos y a obstaculizar la producción. Estos problemas aumentan en órdenes de magnitud cuando se presenta a vendedores de terceros, que pueden o no estar pensando en estas preguntas.

Las empresas necesitan un plan para mitigar los riesgos: cómo utilizar los datos y desarrollar productos de IA sin caer en problemas éticos a lo largo del camino. Al igual que otras estrategias de gestión de riesgos, un enfoque operativo de la ética de los datos y la IA debe identificar de forma sistemática y exhaustiva los riesgos éticos en toda la organización, desde la TI hasta los recursos humanos, el marketing, los productos y más.

Qué no debe hacer

Dejando de lado a las grandes empresas de tecnología, hay tres enfoques estándar para la mitigación ética del riesgo de los datos y la IA, ninguno de los cuales da sus frutos.

En primer lugar, está la enfoque académico. Los académicos —y hablo de 15 años de experiencia como exprofesor de filosofía— son fantásticos en la investigación rigurosa y sistemática. Los académicos que son especialistas en ética (normalmente se encuentran en los departamentos de filosofía) son expertos en detectar los problemas éticos, sus fuentes y en cómo analizarlos. Pero si bien los especialistas en ética académica pueden parecer la pareja perfecta, dada la necesidad de identificar y mitigar sistemáticamente los riesgos éticos, lamentablemente tienden a hacer preguntas diferentes a las de las empresas. En su mayor parte, los académicos se preguntan: «¿Deberíamos hacer esto? ¿Sería bueno para la sociedad en general? ¿Conduce al florecimiento humano?» Las empresas, por otro lado, tienden a preguntarse: «Dado que vamos a hacer esto, ¿cómo podemos hacerlo sin hacernos vulnerables a los riesgos éticos?»

El resultado son tratamientos académicos que no abordan los usos tan particulares y concretos de los datos y la IA. Esto se traduce en la ausencia de instrucciones claras para los desarrolladores sobre el terreno y los altos directivos, que tienen que identificar y elegir entre un conjunto de estrategias de mitigación de riesgos.

La siguiente es la enfoque «sobre el terreno». Dentro de las empresas, quienes hacen las preguntas son ingenieros, científicos de datos y directores de productos entusiastas. Saben hacer las preguntas relacionadas con el riesgo relevantes para la empresa precisamente porque son ellos los que fabrican los productos para lograr objetivos empresariales específicos. Sin embargo, lo que les falta es el tipo de formación que reciben los académicos. Como resultado, no tienen la habilidad, los conocimientos ni la experiencia para responder a las cuestiones éticas de forma sistemática, exhaustiva y eficiente. También carecen de un ingrediente fundamental: el apoyo institucional.

Por último, hay empresas (sin mencionar los países) que se están desplegando principios éticos de la IA de alto nivel. Google y Microsoft, por ejemplo, pregonaron sus principios hace años. La dificultad está en poner en práctica esos principios. ¿Qué significa exactamente decir «equidad»? ¿Qué deben hacer los ingenieros cuando se enfrentan a las docenas de definiciones y métricas que las acompañan para ser justos en la literatura sobre ciencias de la computación? ¿Qué métrica es la correcta en un caso dado y quién toma esa decisión? Para la mayoría de las empresas, incluidas las empresas de tecnología que están intentando resolver el problema de forma activa, no hay respuestas claras a estas preguntas. De hecho, parece una fusión en torno a un conjunto compartido de valores abstractos en realidad oculta un desajuste generalizado.

Cómo poner en práctica la ética de los datos y la IA

La ética de la IA no viene en una caja. Dados los diferentes valores de las empresas en docenas de sectores, un programa de ética de datos e IA debe adaptarse a las necesidades empresariales y reglamentarias específicas de la empresa. Sin embargo, estos son siete pasos para crear un programa de ética de datos e IA personalizado, operativo, escalable y sostenible.

1. Identifique la infraestructura existente que un programa de ética de datos e IA puede aprovechar. La clave para la creación exitosa de un programa de ética de datos e IA es utilizar el poder y la autoridad de la infraestructura existente, como una junta de gobierno de datos que se reúna para hablar sobre la privacidad, la ciberseguridad, el cumplimiento y otros riesgos relacionados con los datos. Esto permite que las preocupaciones de quienes están «sobre el terreno» (por ejemplo, los propietarios y gerentes de los productos) surjan y, cuando es necesario, pueden, a su vez, plantear las principales preocupaciones a los ejecutivos pertinentes. La aceptación de la junta de gobierno funciona por varias razones: 1) el nivel ejecutivo marca la pauta de la seriedad con la que los empleados se toman estas cuestiones, 2) una estrategia ética de datos e IA tiene que encajar con la estrategia general de datos e IA, que se diseña a nivel ejecutivo, y 3) proteger la marca de los riesgos legales, reglamentarios y de reputación es, en última instancia, una responsabilidad de la alta dirección, y tienen que ser alertados cuando surgen problemas de alto riesgo.

Si ese organismo no existe, las empresas pueden crear uno (un consejo o comité de ética, por ejemplo) con personal relacionado con la ética, como los de ciberseguridad, riesgo y cumplimiento, privacidad y análisis. También sería recomendable incluir a expertos externos en la materia, incluidos especialistas en ética.

2. Cree un marco de riesgo ético para los datos y la IA que se adapte a su sector. Un buen marco comprende, como mínimo, una articulación de las normas éticas —incluidas las pesadillas éticas— de la empresa, una identificación de las partes interesadas externas e internas pertinentes, una estructura de gobierno recomendada y una articulación de la forma en que se mantendrá esa estructura ante los cambios de personal y circunstancias. Es importante establecer los KPI y un programa de control de calidad para medir la eficacia continua de las tácticas que llevan a cabo su estrategia.

Un marco sólido también deja claro cómo se incorpora la mitigación ética del riesgo en las operaciones. Por ejemplo, debe identificar los estándares éticos que deben cumplir los recopiladores de datos, los desarrolladores de productos y los directores y propietarios de productos. También debería articular un proceso claro mediante el cual las preocupaciones éticas se eleven a los líderes más altos o a un comité de ética. Todas las empresas deberían preguntarse si existen procesos que examinen los algoritmos sesgados, las violaciones de la privacidad y los resultados inexplicables.

Aun así, los marcos también tienen que adaptarse al sector de la empresa. En las finanzas, es importante pensar en cómo se determinan las identidades digitales y en cómo las transacciones internacionales pueden ser seguras desde el punto de vista ético. En el cuidado de la salud, tendrá que haber protecciones adicionales en torno a la privacidad, sobre todo porque la IA permite el desarrollo de la medicina de precisión. En el sector minorista, donde los motores de recomendación ocupan un lugar preponderante, es importante desarrollar métodos para detectar y mitigar los sesgos asociativos, en los que las recomendaciones provienen de asociaciones estereotipadas y, a veces, ofensivas con varios grupos de población.

3. Cambie su forma de pensar sobre la ética siguiendo el ejemplo de los éxitos en la atención médica. Muchos altos líderes describen la ética en general —y la ética de los datos y la IA en particular— como «blanda» o «difusa», y sostienen que no es lo suficientemente «concreta» como para ser procesable. Los líderes deberían inspirarse en la atención médica, una industria que se ha centrado sistemáticamente en la mitigación ética de los riesgos al menos desde la década de 1970. Los especialistas en ética médica, los profesionales de la salud, los reguladores y los abogados han explorado a fondo las principales preocupaciones sobre lo que constituye la privacidad, la autodeterminación y el consentimiento informado, por ejemplo. Esas ideas pueden transferirse a muchos dilemas éticos en torno a la privacidad y el control de los datos de los consumidores.

Por ejemplo, las empresas dan fe de que respetan a los usuarios de sus productos, pero ¿qué significa eso en la práctica? En el cuidado de la salud, un requisito esencial para demostrar respeto por los pacientes es que solo se les trate después de conceder su consentimiento informado, lo que incluye el consentimiento que, como mínimo, no sea el resultado de mentiras, manipulaciones o comunicaciones en palabras que el paciente no pueda entender, como jerga legal impenetrable o términos médicos latinos. Se pueden aplicar estos mismos tipos de requisitos a la forma en que se recopilan, utilizan y comparten los datos de las personas. Garantizar que los usuarios no solo estén informados de cómo se utilizan sus datos, sino también de que se les informe desde el principio y de una manera que facilite la comprensión (por ejemplo, no enterrando la información en un documento legal largo), es una lección fácil de aprender de la atención médica. La lección más general es desglosar los grandes conceptos éticos, como la privacidad, el sesgo y la explicabilidad, en infraestructuras, procesos y prácticas que hagan realidad esos valores.

4. Optimice la orientación y las herramientas para los directores de producto . Si bien su marco proporciona una orientación de alto nivel, es esencial que la orientación a nivel de producto sea granular. Tomemos, por ejemplo, el tan elogiado valor de la explicabilidad en la IA, una característica muy valorada de los modelos de aprendizaje automático que probablemente formará parte de su estructura. Los algoritmos estándar de aprendizaje automático utilizan el reconocimiento de patrones y son demasiado difíciles de manejar para que los humanos los entiendan. Pero es común —sobre todo cuando los resultados de la IA pueden cambiarle la vida— querer o exigir explicaciones sobre los productos de la IA. El problema es que a menudo hay una tensión entre hacer que los resultados sean explicables, por un lado, y hacer que los resultados (por ejemplo, las predicciones) sean precisos, por otro.

Los directores de producto tienen que saber cómo hacer esa compensación y se deben desarrollar herramientas personalizadas para ayudar a los directores de producto a tomar esas decisiones. Por ejemplo, las empresas pueden crear una herramienta con la que los directores de proyectos puedan evaluar la importancia de la explicabilidad de un producto determinado. Si la explicabilidad es deseable porque ayuda a descubrir el sesgo en un algoritmo, pero los resultados sesgados no son un problema para esta aplicación de aprendizaje automático en particular, entonces eso resta importancia a la explicabilidad en relación con la precisión. Si los productos se rigen por las normas que requieren explicaciones (por ejemplo, las normas del sector bancario que obligan a los bancos a explicar por qué se ha denegado un préstamo a una persona), la explicabilidad será imperativa. Lo mismo ocurre con otros valores relevantes, por ejemplo, cuáles, si los hay, de las docenas de métricas que se utilizan para determinar si un producto ofrece resultados justos o equitativos.

5. Crear conciencia organizacional. Hace diez años, las empresas apenas prestaban atención a los ciberriesgos, pero no cabe duda de que ahora sí, y se espera que los empleados comprendan algunos de esos riesgos. Cualquiera que toque datos o productos de IA, ya sea en RRHH, marketing u operaciones, debe entender el marco ético de datos e IA de la empresa. Crear una cultura en la que se pueda implementar y mantener con éxito una estrategia ética de datos e inteligencia artificial requiere educar y mejorar las habilidades de los empleados y capacitarlos para que planteen cuestiones importantes en momentos cruciales y planteen las principales preocupaciones al órgano deliberante correspondiente. A lo largo de este proceso, es importante explicar claramente por qué la ética de los datos y la IA es importante para la organización, de manera que demuestre que el compromiso no forma parte simplemente de una campaña de relaciones públicas.

6. Incentive formal e informalmente a los empleados a desempeñar un papel en la identificación de los riesgos éticos de la IA. Como hemos aprendido de numerosos ejemplos infames, las normas éticas se ven comprometidas cuando se incentiva económicamente a las personas a actuar de forma poco ética. Del mismo modo, no incentivar económicamente las acciones éticas puede llevar a que pierdan prioridad. Los valores de una empresa están determinados en parte por la forma en que dirige los recursos financieros. Cuando los empleados no ven un presupuesto para escalar y mantener un programa sólido de ética de datos e IA, centran su atención en lo que les hace avanzar en su carrera. Recompensar a las personas por sus esfuerzos a la hora de promover un programa de ética de datos es esencial.

7. Supervise los impactos e involucre a las partes interesadas. Crear conciencia organizacional, comités de ética, gerentes de producto informados, propietarios, ingenieros y recopiladores de datos forma parte del proceso de desarrollo e, idealmente, de aprovisionamiento. Pero debido a la limitación de recursos, tiempo y a la falta general de imaginación de todas las formas en que las cosas pueden ir mal, es importante controlar el impacto de los productos de datos e IA que están en el mercado. Se puede construir un coche con bolsas de aire y zonas de deformación, pero eso no significa que sea seguro conducirlo a 160 km/h por una calle secundaria. Del mismo modo, los productos de IA se pueden desarrollar de forma ética pero desplegarse de forma poco ética. Aquí hay que realizar investigaciones tanto cualitativas como cuantitativas, especialmente con la participación de las partes interesadas para determinar cómo les ha afectado el producto. De hecho, en el escenario ideal, las partes interesadas pertinentes se identifican al principio del proceso de desarrollo y se incorporan a una articulación de lo que hace y lo que no hace el producto.

Operacionalizar los datos y la ética de la IA no es una tarea fácil. Requiere la aceptación de los altos directivos y la colaboración interfuncional. Sin embargo, las empresas que hagan la inversión no solo verán un riesgo mitigado sino también una adopción más eficiente de las tecnologías que necesitan para seguir adelante. Y, por último, serán exactamente lo que sus clientes, consumidores y empleados buscan: fiables.