Si su empresa utiliza la IA, necesita una junta de revisión institucional

Puede que las conversaciones sobre la IA y la ética hayan empezado como una preocupación para activistas y académicos, pero ahora —impulsados por la creciente frecuencia de titulares sobre algoritmos sesgados, modelos de caja negra e infracciones de la privacidad— las juntas directivas y los líderes de datos e IA se han dado cuenta de que es un tema para el que necesitan un enfoque estratégico.

La solución se esconde a plena vista. Otros sectores ya han encontrado formas de abordar complejos dilemas éticos de forma rápida, eficaz y de una manera que se pueda replicar fácilmente. En lugar de intentar reinventar este proceso, las empresas tienen que adoptar y personalizar uno de los mejores inventos de la atención médica: el Consejo de Revisión Institucional (IRB).

Tres pasos en los debates sobre ética de la IA

La mayoría de los debates sobre la ética de la IA siguen la misma fórmula errónea, que consiste en tres movimientos, cada uno de los cuales es problemático desde la perspectiva de una organización que quiere mitigar los riesgos éticos asociados a la IA.

Así es como suelen ir estas conversaciones.

En primer lugar, las empresas comienzan a identificar la ética de la IA con la «equidad» en la IA o, a veces, de manera más general, con «equidad, equidad e inclusión». No cabe duda de que esto resuena con el espíritu de la época: el auge de BLM, el movimiento antirracista y el apoyo empresarial a las medidas de diversidad e inclusión.

En segundo lugar, pasan del lenguaje de la equidad al lenguaje del «sesgo»: «algoritmos» sesgados, como dicen los medios populares, o «modelos» sesgados, como los llaman los ingenieros (más exactamente). Los ejemplos de modelos (supuestamente) sesgados son bien conocidos, incluidos los de Amazon, Optum Health, y Goldman Sachs.

Por último, buscan formas de abordar el problema tal como lo han definido. Hablan de las herramientas técnicas (ya sean de código abierto o vendidas por las grandes tecnologías o una empresa emergente) para identificar los sesgos, que comparan de manera estándar los resultados de un modelo con docenas de métricas cuantitativas o «definiciones» de equidad que se encuentran en la floreciente área de investigación académica de la ética del aprendizaje automático (ML). También podrían considerar la posibilidad de involucrar a las partes interesadas, especialmente a las que comprenden poblaciones históricamente marginadas.

Si bien algunos debates recientes sobre ética de la IA van más allá, muchos de los más destacados no. Y el conjunto de acciones más comunes que los profesionales emprenden realmente se deriva de estas tres medidas: la mayoría de las empresas adoptan una estrategia de mitigación de riesgos que utiliza una de las herramientas técnicas antes mencionadas, si es que están haciendo algo.

Todo esto debería mantener despiertos a los guardianes de la reputación de la marca por la noche, porque este proceso apenas ha rayado la superficie de los riesgos éticos que introduce la IA. Para entender por qué es así, hagamos cada uno de estos movimientos por turnos.

El primer movimiento lo lleva en la dirección equivocada, porque reduce inmediatamente el alcance. Definir «ética de la IA» como «equidad en la IA» es problemático por la sencilla razón de que las cuestiones de equidad son solo un subconjunto de las cuestiones éticas: acaba de decidir ignorar enormes franjas de riesgo ético. Lo más obvio es que hay cuestiones relacionadas con las violaciones de la privacidad (dado que la mayor parte de la IA actual es aprendizaje automático, que a menudo se basa en los datos de las personas) y algoritmos de caja negra o salidas inexplicables. Pero hay más. Por ejemplo, el principal riesgo ético relacionado con los coches autónomos propulsados por la IA no son los prejuicios ni la privacidad, sino matar y mutilar . El riesgo ético de la tecnología de reconocimiento facial no termina cuando se eliminan los prejuicios del modelo (del que hay una serie de ejemplos); un software de reconocimiento facial imparcial todavía permite la vigilancia por parte de las empresas y los gobiernos (fascistas). La IA también necesita enormes cantidades de energía para alimentar los ordenadores que entrenan los algoritmos, lo que implica un sorprendente grado de daños al medio ambiente. La lista de formas en las que una empresa puede hacer frente a un desastre ético es infinita, por lo que reducir la ética de la IA a cuestiones relacionadas con la equidad es una receta para el desastre.

La segunda medida reduce aún más su mandato: las cuestiones de sesgo son un subconjunto de las cuestiones de equidad. Más específicamente, las cuestiones de sesgo en el contexto de la IA son cuestiones de cómo se trata a las diferentes subpoblaciones en relación con otras, es decir, si los bienes, los servicios y las oportunidades se distribuyen de manera justa y equitativa. Son los anuncios de trabajo ¿colocados de tal manera que es tan probable que los vea la población afroamericana como la población blanca? ¿Las mujeres que solicitan un trabajo tienen las mismas probabilidades de que su currículum lleve a una entrevista que el currículum de un hombre? El problema con este enfoque es que las cuestiones de equidad van más allá de las cuestiones de la distribución justa de los bienes entre varias subpoblaciones.

Lo más obvio es que hay cuestiones sobre lo que cualquier persona se merece independientemente de cómo se trate a los demás. Si lo torturo y usted protesta, no justificaría que dijera: «No se preocupe, estoy torturando a otras subpoblaciones al mismo ritmo que a la población de la que forma parte». Toda la categoría de derechos humanos tiene que ver con lo que cada persona se merece, independientemente de cómo se trate a los demás. La equidad implica de manera crucial las cuestiones del desierto individual, y un debate, y mucho menos una estrategia de mitigación del riesgo, que omita esto es tanto más peligroso para él.

El último problema para las organizaciones llega en el tercer movimiento: identificar y adoptar estrategias y herramientas técnicas de mitigación de los sesgos. Las organizaciones suelen apoyarse en las herramientas técnicas, en particular, como su instrumento de referencia (o único) significativo para descubrir los sesgos, medido por«definiciones» cuantitativas de equidad encontradas en la literatura reciente sobre informática. En este caso, nos topamos con una serie de fracasos en la mitigación del riesgo ético.

En primer lugar, esas más de dos docenas de métricas cuantitativas de equidad son no son compatibles entre sí. Simplemente no puede ser justo según todos ellos al mismo tiempo. Eso significa que hay que emitir un juicio ético: ¿cuáles, si es que hay alguna, de estas métricas cuantitativas de equidad son las éticas o apropiadas de utilizar? En lugar de contratar a abogados, teóricos políticos o especialistas en ética —todos los cuales tienen formación en este tipo de cuestiones éticas complejas—, estas decisiones las toman los científicos e ingenieros de datos. Pero si los expertos no están presentes, no puede esperar que su diligencia debida se haya realizado de manera responsable.

En segundo lugar, estas herramientas normalmente solo entran en vigor hasta bien entrado el ciclo de vida del desarrollo. Porque miden la producción de los modelos de IA, se utilizan una vez que se han elegido los conjuntos de datos y se han entrenado los modelos, y se han dedicado muchos recursos al producto. Entonces es ineficiente, por no decir impopular, volver a la mesa de dibujo si se detecta un problema de sesgo que no se puede resolver de una manera bastante sencilla.

En tercer lugar, si bien la búsqueda de una solución técnica y cuantitativa para la ética de la IA es comprensible, la verdad es que muchas cuestiones éticas no se pueden reducir a métricas o KPI cuantitativos. La vigilancia es un problema porque destruye la confianza, provoca ansiedad, altera el comportamiento de las personas y, en última instancia, erosiona la autonomía. Las preguntas sobre si las personas reciben un trato respetuoso, si el diseño de un producto es manipulador o simplemente ofrece incentivos razonables, si una decisión supone una carga para las personas que es demasiado grande como para esperar razonablemente de ellas, todas requieren evaluaciones cualitativas.

En cuarto lugar, estas herramientas técnicas no cubren todos los tipos de sesgos. No descubren, por ejemplo, si su motor de búsqueda tiene etiquetó a los negros como «gorilas».» Son casos de sesgo para los que no existe ninguna herramienta técnica.

En quinto lugar, la forma en que estas herramientas miden los sesgos suelen ser no es compatible con la ley antidiscriminación vigente . Por ejemplo, la ley antidiscriminación prohíbe a las empresas utilizar variables como la raza y el género en su proceso de toma de decisiones. Pero, ¿y si es necesario hacer eso para comprobar el sesgo de sus modelos y, por lo tanto, influir en los cambios que realizan en el modelo en un esfuerzo por mitigar el sesgo? Eso parece no solo permisible desde el punto de vista ético, sino también plausiblemente exigido desde el punto de vista ético.

Por último, en cuanto a la participación de las partes interesadas, en general es algo bueno. Sin embargo, aparte de los problemas logísticos a los que da lugar, no mitiga por sí solo ningún riesgo ético; los deja en su lugar, a menos que uno sepa cómo pensar a través de los comentarios de las partes interesadas. Por ejemplo, supongamos que sus partes interesadas son racistas. Supongamos que las normas locales del lugar donde va a desplegar su IA fomentan la discriminación de género. Supongamos que sus partes interesadas no están de acuerdo entre sí porque, en parte, tienen intereses contradictorios; al fin y al cabo, las partes interesadas no son un grupo monolítico con una perspectiva única. La opinión de las partes interesadas es valiosa, pero no puede derivar programáticamente una decisión ética a partir de las aportaciones de las partes interesadas.

Una forma mejor: la IA IRB

Lo que quiero decir aquí no es que las herramientas técnicas y la divulgación con las partes interesadas no deban evitarse; de hecho, son muy útiles. Pero necesitamos formas más exhaustivas de hacer frente al riesgo ético. Lo ideal es que esto implique crear un programa integral de mitigación ética de riesgos para la IA que se implementa en toda la organización, hay que admitir que es un trabajo pesado. Si una empresa busca algo que hacer en un plazo relativamente corto que pueda tener un gran impacto (y que más adelante se adapte bien al programa más amplio de mitigación de riesgos), debería seguir el ejemplo de la atención médica sobre la mitigación ética del riesgo y crear un IRB.

En los Estados Unidos, los IRB en la medicina se introdujeron para mitigar los riesgos éticos que se presentaban y se percibían comúnmente en la investigación en seres humanos. Parte de esa conducta poco ética fue particularmente espantosa, incluidos los experimentos de Tuskegee, en los que los médicos se abstuvieron de tratar a los hombres negros con sífilis, a pesar de que había penicilina disponible, para poder estudiar la progresión sin paliativos de la enfermedad. En términos más generales, los objetivos de una IRB incluyen defender los principios éticos fundamentales del respeto a las personas, la beneficencia y la justicia. Los IRB desempeñan su función aprobando, denegando y sugiriendo cambios en los proyectos de investigación propuestos.

Comparar los tipos de riesgos éticos presentes en la medicina con los tipos presentes en la IA es útil por varias razones. En primer lugar, en ambos casos existe la posibilidad de dañar a personas y grupos de personas (por ejemplo, a los miembros de una raza o género en particular). En segundo lugar, existe una amplia gama de riesgos éticos que pueden correr en ambos campos, que van desde el daño físico y la angustia mental hasta la discriminación de las clases protegidas, la invasión de la privacidad de las personas y el socavamiento de la autonomía de las personas. En tercer lugar, muchos de los riesgos éticos en ambos casos se deben a las aplicaciones particulares de la tecnología en cuestión.

Aplicada a la IA, la IRB puede tener la capacidad de identificar de forma sistemática y exhaustiva los riesgos éticos en todos los ámbitos. Al igual que en la investigación médica, un IRB de IA no solo puede desempeñar la función de aprobar y rechazar varias propuestas, sino que también debe hacer recomendaciones éticas para mitigar los riesgos a los investigadores y desarrolladores de productos. Además, un IRB bien constituido —hablaremos sobre esto en un momento— puede desempeñar las funciones que el enfoque actual no puede.

Cuando se trata de crear y mantener una IRB, hay tres cuestiones importantes: la pertenencia a la junta, la jurisdicción y la articulación de los valores que se esforzará por lograr (o al menos las pesadillas que se esfuerza por evitar).

Membresía

Para identificar y mitigar de forma sistemática y exhaustiva los riesgos éticos de la IA, un IRB de IA necesita un equipo de expertos diverso. Querrá contratar a un ingeniero que comprenda las bases técnicas de la investigación y/o el producto para que el comité pueda entender lo que se está haciendo y lo que se puede hacer desde un punto de vista técnico. Del mismo modo, es importante que alguien esté muy familiarizado con el diseño de productos. Hablan el idioma de los desarrolladores de productos, entienden el «recorrido del cliente» y pueden ayudar a diseñar estrategias éticas de mitigación de riesgos de manera que no socaven las funciones esenciales de los productos en cuestión.

También querrá incluir a miembros relacionados con la ética, como abogados y oficiales de privacidad. Su conocimiento de la normativa actual y potencial, la ley antidiscriminación y las prácticas de privacidad son puntos importantes a tener en cuenta a la hora de investigar los riesgos éticos.

En la medida en que la IRB de IA tiene como función identificar y mitigar los riesgos éticos, sería prudente que incluyera a un especialista en ética, por ejemplo, a alguien con un doctorado en filosofía especializado en ética o, por ejemplo, a alguien con un máster en ética médica. El especialista en ética no está ahí para actuar como una especie de sacerdote con puntos de vista éticos superiores. Están ahí porque tienen formación, conocimientos y experiencia relacionados con la comprensión y la detección de una amplia gama de riesgos éticos, están familiarizados con los conceptos y distinciones importantes que ayudan a una deliberación ética clara y la habilidad de ayudar a grupos de personas a evaluar objetivamente las cuestiones éticas. Es importante destacar que este tipo de evaluación de riesgos es diferente de los riesgos que se encuentran en los modelos de evaluación de riesgos creados por los científicos e ingenieros de datos, que suelen centrarse en cuestiones relacionadas con la precisión y la calidad de los datos.

También le puede resultar útil incluir a varios expertos en la materia, según la investigación o el producto en cuestión. Si el producto va a implementarse en las universidades, debería incluirse a alguien muy familiarizado con sus operaciones, objetivos y distritos electorales. Si se trata de un producto que se va a implementar en Japón, puede ser importante incluir a un experto en cultura japonesa.

Por último, como parte de un esfuerzo por mantener la independencia y la ausencia de conflictos de intereses (por ejemplo, los miembros buscan la aprobación de sus jefes), es importante tener al menos un miembro que no esté afiliado a su organización (y, dicho sea de paso, es obligatorio para los IRB médicos). Al mismo tiempo, todos los miembros deben tener una idea de los objetivos y necesidades empresariales.

Jurisdicción

¿Cuándo se debe consultar a una IRB de IA, cuánta potencia debe tener y dónde debe situarse en el desarrollo de productos? En la comunidad médica, se consulta a los IRB antes del inicio de la investigación. La razón es obvia: se consulta a la IRB cuando se realizarán las pruebas en sujetos humanos y se necesita la aprobación antes de que comiencen las pruebas. En lo que respecta a la autoridad, los IRB médicos son la máxima autoridad. Pueden aprobar y rechazar las propuestas, así como sugerir cambios en la propuesta, y sus decisiones son inapelables. Una vez que un IRB rechaza una propuesta, otro IRB no puede aprobarla y la decisión no puede apelarse.

La misma regla debería aplicarse a una IRB de IA.

A pesar de que el daño normalmente se produce durante el despliegue de la IA, no durante la investigación y el desarrollo del producto, hay motivos sólidos para tener un IRB de IA antes de que comience la investigación o el desarrollo del producto. La razón principal de esto es que es mucho más fácil (y, por lo tanto, más económico y eficiente) cambiar proyectos y productos que aún no existen. Si, por ejemplo, solo se da cuenta de un riesgo ético importante debido a una consecuencia potencial o probable no deseada de la forma en que se diseñó el producto, tendrá que lanzar al mercado un producto que sepa que es riesgoso desde el punto de vista ético o tendrá que pasar por el costoso proceso de reingeniería del producto.

Si bien la ley otorga su autoridad a los IRB médicos, hay al menos una razón sólida por la que debería considerar la posibilidad de conceder voluntariamente ese grado de poder a un IRB de IA: es una herramienta con la que se puede generar una gran confianza entre los empleados, los clientes y los consumidores. Eso es particularmente cierto si su organización es transparente en cuanto a las operaciones —aunque no las decisiones exactas— de la IRB. Si ser una empresa sólida desde el punto de vista ético está en lo más alto de la pirámide de valores de su empresa, entonces es una buena idea conceder a una IRB de IA la independencia y el poder de vetar las propuestas sin posibilidad de apelar (a un miembro de su equipo ejecutivo, por ejemplo).

Por supuesto, a menudo (lamentablemente) no es así. La mayoría de las empresas verán la IRB de la IA como una herramienta para mitigar los riesgos, no para eliminarlos, y hay que admitir al menos la posibilidad, si no la probabilidad, de los casos en los que una empresa puede llevar a cabo un proyecto que es éticamente arriesgado y, al mismo tiempo, altamente rentable. Para las empresas con ese tipo de apetito por el riesgo ético, habrá que crear un proceso de apelación o, si solo les preocupa un poco la mitigación del riesgo ético, pueden hacer que las declaraciones del consejo de administración sean consultivas en lugar de exigirlas. Sin embargo, en ese momento, no deben esperar que la junta sea particularmente eficaz a la hora de mitigar sistemáticamente los riesgos éticos.

Valores

Ha creado su IRB de IA y ha definido su jurisdicción. Ahora tendrá que articular los valores por los que debe guiarse. La forma estándar de hacerlo es articular una serie de principios y, luego, tratar de aplicarlos al caso en cuestión. Esto es notoriamente difícil, dada la gran variedad de formas en que se pueden interpretar y aplicar los principios; basta con pensar en las diversas e incompatibles formas en que los políticos sinceros interpretan y aplican el principio de equidad.

En la ética médica —y en la ley, de hecho—, la toma de decisiones no suele guiarse únicamente por los principios. En cambio, se basan en estudios de casos y precedentes, y comparan cualquier caso que se esté investigando con casos anteriores que son similares. Esto permite a su IRB aprovechar la información aportada en el caso anterior al presente. También aumenta la probabilidad de coherencia en la aplicación de los principios en todos los casos.

En este sentido, se puede avanzar articulando las decisiones anteriores que los altos directivos tomaron por motivos éticos antes de la existencia de la IRB. Supongamos, por ejemplo, que la IRB sabe que los principales líderes rechazaron un contrato con un gobierno determinado por motivos éticos particulares sobre el funcionamiento del gobierno en general o la forma en que previeron que el gobierno utilizaría su producto. El razonamiento que llevó a la decisión puede revelar cómo se deben decidir los casos futuros. En el caso de que no existan esos casos y/o no se haya revelado ningún caso, puede ser útil considerar ejemplos ficticios, preferiblemente aquellos que no sea improbable que se conviertan en ejemplos reales en el futuro, y que la IRB delibere y decida sobre esos casos. Hacerlo garantizará estar preparado para el caso real cuando llegue a su puerta. También fomenta la fría objetividad con la que se pueden considerar los casos ficticios —cuando no hay dinero en juego, por ejemplo— para transferirlos a los casos reales con los que se compararán.

***

Todos sabemos que adoptar una estrategia de IA se está convirtiendo en una necesidad para mantener la competitividad. Como buena noticia, los miembros de la junta directiva y los líderes de datos ven la mitigación ética de los riesgos de la IA como un componente esencial de esa estrategia. Pero los enfoques actuales son manifiestamente inadecuados y muchos líderes no están seguros de cómo desarrollar esta parte de su estrategia.

En ausencia del ideal (un compromiso generalizado con la creación de un programa sólido de riesgo ético para la IA desde el primer día), crear, mantener y potenciar una IRB de IA puede ser una base sólida para lograr ese ideal. Se puede crear en poco tiempo, se puede poner a prueba con bastante facilidad, se puede construir y ampliar para cubrir todos los equipos de productos e incluso todos los departamentos, y crea y comunica una cultura ética. Es un golpe poderoso no solo para la ética de la IA, sino también para la ética de la organización en general.