Lo que los líderes deben saber sobre la auditoría de la IA

En los últimos años, la inteligencia artificial ha pasado de ser una prerrogativa de los equipos técnicos a ser una herramienta de uso general. Si bien la IA alguna vez funcionó entre bastidores (impulsando productos de consumo, por ejemplo, o dando forma a las redes sociales), ahora el público en general interactúa directamente con los asistentes virtuales y los chatbots generativos basados en la IA. Este aumento de uso también ha provocado un creciente conciencia de los peligros eso puede venir con los sistemas de IA: desde el trato dispar de los diferentes grupos (especialmente importante en los campos protegidos legalmente, como los préstamos y la vivienda), hasta la fabricación de información falsa, confidencial o perjudicial**,** especialmente para temas muy importantes, como cuestiones médicas o legales.

En respuesta, los responsables políticos han intentado establecer barreras en torno a la forma en que estas herramientas podrían afectar a la sociedad. Por ejemplo, los legisladores y reguladores de todo el mundo han exigido auditorías externas de los sistemas algorítmicos a través de la UE Ley de Servicios Digitales, Ley de Mercados Digitales, y Ley de Inteligencia Artificial; el Ley canadiense de inteligencia artificial y datos; y al Ley de prejuicios de IA de la ciudad de Nueva York. Las empresas también realizan auditorías algorítmicas de sus sistemas, incluso cuando no tienen un mandato legal, porque quieren gestionar los riesgos, anticiparse a las posibles crisis de RR.PP. y prepararse para las nuevas normas que podrían requerir auditorías independientes.

Todo esto ha impulsado el crecimiento de un nuevo puesto: el de auditor algorítmico. He visto este papel desde varios ángulos diferentes. En primer lugar, cofundé el equipo de ética del aprendizaje automático en Twitter, donde realicé muchas auditorías como tal. Después de eso, trabajé en el Instituto Nacional de Estándares y Tecnología en el equipo de IA responsable y confiable. También colaboré con la Comisión Europea en la ley delegada del artículo 40 de la Ley de Servicios Digitales, que exige compartir datos con los investigadores para que puedan investigar las plataformas en busca de riesgos sistémicos.

Si bien las auditorías se están convirtiendo en una característica principal del trabajo con la IA, no tienen un proceso predeterminado que siga una línea recta, sino que se basan en una red de decisiones diferentes, tanto desde el punto de vista empresarial como técnico. Esto es lo que los líderes empresariales deben saber sobre cómo funcionan estas auditorías y cómo pueden ayudar a guiar el proceso.

Los cuatro desafíos de las auditorías algorítmicas

¿Qué es una auditoría algorítmica? En pocas palabras, es una forma de responder a una pregunta sobre un sistema algorítmico mediante el análisis de los datos sobre la forma en que interactúan los usuarios y los sistemas. Estas preguntas —normalmente para entender si un sistema funciona como se espera o perjudica a los usuarios— pueden ir desde más concretas ( «¿El algoritmo toma decisiones sesgadas en función de un atributo protegido?») a otros más abstractos ( «¿Constituye este sistema un riesgo sistémico para la democracia?»). Parte de la dificultad del proceso consiste en concretar esas preguntas y ponerlas en práctica encontrando los datos y el sistema correctos para responderlas.

Sin embargo, en general, una vez que se llega a un acuerdo sobre la cuestión de la auditoría, los auditores recopilan los datos pertinentes y los analizan para dar una respuesta a la pregunta. Para ello, suelen interactuar con diferentes equipos, tanto técnicos como no técnicos, para entender mejor el sistema que están auditando. En este proceso, las relaciones con el equipo auditado son especialmente importantes para entender tanto el sistema en sí como la forma en que se recopilan y almacenan los datos. Según el alcance de la auditoría, el proceso puede llevar de unas semanas a unos meses. En el caso de los sistemas críticos, este proceso debe repetirse de forma regular para destacar la evolución de los sistemas con el tiempo e identificar los cambios potencialmente peligrosos.

Este proceso tiene cuatro desafíos en común:

Las auditorías no son una línea recta

Los auditores suelen tomar muchos desvíos en el camino de la pregunta de investigación a la respuesta. A medida que aprenden sobre el sistema que están auditando y los datos que lo sustentan, a menudo tienen que ajustar el rumbo, lo que puede traducirse en entregas más largas o en pequeños cambios en el encuadre.

Por ejemplo, a veces los auditores no tienen los datos correctos para abordar directamente la cuestión en cuestión y tienen que utilizar métricas de proxy, datos que se pueden medir y están correlacionados con el objeto deseado. Pensemos, por ejemplo, en el caso de una auditoría para saber si un sistema estadounidense contiene prejuicios raciales en una empresa que no recopila datos sobre la raza de los usuarios. Si se recopilan los códigos postales, podrían usarse como un indicador (imperfecto) de la raza. Por supuesto, cualquier uso de métricas de proxy u otra información indirecta crea una discrepancia entre la pregunta original y la respuesta indirecta.

Otras veces, la pregunta original podría refinarse o cambiarse ligeramente para adaptarla a las nuevas preocupaciones o necesidades empresariales. Supongamos que una empresa quiere auditar una plataforma para entender cómo interactúan los jóvenes con ella y decide que una semana específica será el centro de la investigación. Si resulta que esa semana es una semana de vacaciones escolares, los resultados no serán representativos de las tendencias que la empresa intenta analizar. Con solo cambiar el período de auditoría una semana, la empresa puede obtener los resultados deseados.

La gobernanza de los datos es desordenada

La gobernanza interna de los datos a menudo se parece menos a un rascacielos moderno (con un diseño racional y una planta clara) y más a un edificio antiguo en el que cada nueva capa se construye sobre la anterior, a menudo sin tener en cuenta el uso anterior. No es raro que los equipos técnicos dediquen la mayor parte del tiempo a buscar los datos correctos y a asegurarse de que pueden encontrarles sentido.

Hay varios motivos para ello. Piense en una plataforma de redes sociales, en la que se capturen y almacenen todas las interacciones de los usuarios, lo que deje a las organizaciones sobresaturadas de datos y dificulte encontrar los datos correctos para responder a la pregunta de la auditoría. En este caso, la documentación interna puede ayudar a navegar por el mar de información, pero no siempre es fiable. Mantener la documentación actualizada lleva mucho tiempo y esfuerzo, y las prioridades de la organización pueden estar en crear y ofrecer nuevas funciones.

También hay otros problemas comunes. Tal vez la persona responsable del conjunto de datos dejó la organización o el conjunto de datos simplemente quedó en desuso en favor de uno más nuevo pero no documentado. En la mayoría de los casos, la única manera de avanzar es encontrar a alguien que pueda ayudarlo, un proceso que no es muy eficaz y lleva mucho tiempo.

La confianza interna es esencial

La dinámica del equipo desempeña un papel importante. El equipo propietario del sistema auditado puede sentirse amenazado con que se juzgue su trabajo, especialmente cuando los auditores son externos a su equipo. Al fin y al cabo, ¿a quién le gusta que alguien más haga su trabajo intentando encontrar problemas? Esto podría crear un entorno de baja confianza en el que sea difícil fomentar la colaboración y en el que los incentivos estén desalineados.

Los auditores necesitan el asesoramiento y la ayuda del equipo auditado para ser eficaces, ya que carecen de los conocimientos especializados del sistema (y de los datos pertinentes) de lo que están auditando. El equipo auditado no tiene ningún incentivo para ayudar si sabe que será castigado por cada problema que encuentre. Esta relación de confrontación hará que la auditoría se prolongue más con diversas escaladas por ambas partes. La cultura correcta es aquella en la que tanto los auditores como los auditados trabajen juntos para reforzar el sistema y, en última instancia, tener un producto mejor y más resiliente.

La atención se centra en el pasado

A menos que se supervise el sistema en tiempo real, las auditorías se centran en el pasado. Eso crea algunos desafíos técnicos: el proceso solo tendrá éxito en la medida en que los auditores puedan recrear el pasado. Para empezar, puede que los datos necesarios ya no estén en el sistema. Pensemos en el caso de un sitio web de comercio electrónico, en el que los usuarios tienen perfiles y pueden indicar sus preferencias de compra. Si un usuario elimina algunos de sus datos (o su perfil por completo), ¿debería formar parte de la auditoría? ¿Y si un usuario hace un mal uso de la plataforma (por ejemplo, vendiendo contenido ilegal) y resulta en una prohibición? ¿Debería incluirse?

Un problema relacionado es que los sistemas algorítmicos cambian con el tiempo. Los modelos pueden volver a entrenarse con datos más nuevos o se puede eliminar un sistema antiguo en favor de un algoritmo o una arquitectura más nuevos. Puede resultar muy difícil, si no imposible, replicar las condiciones exactas en las que se encontraba cada pieza durante el período de auditoría deseado. Esto podría crear una situación en la que el sistema se audite con datos más antiguos pero con algoritmos más nuevos. Cabe esperar un poco de disparidad en este sentido, pero se debería exigir a los auditores que documenten los problemas para encontrar los datos correctos y que estimen en qué medida el resultado de la auditoría se aplica a los sistemas en vivo.

Qué pueden hacer los líderes

Los líderes empresariales pueden ayudar preparando su organización y aportando claridad a un proceso que es fundamentalmente no lineal y que puede generar sorpresas a lo largo del camino. Estas son algunas medidas útiles que se pueden tomar antes y durante una auditoría.

Antes de una auditoría

Antes de que una organización inicie el proceso de auditoría externa, debe tomar ciertas medidas para prepararse. La mayoría de las organizaciones no deberían esperar a enfrentarse a una auditoría externa para tomar estas medidas, sino que deberían invertir en el desarrollo de equipos dedicados para mejorar sus capacidades internas. De esa forma, siempre y cuando se lleve a cabo una auditoría, esa preparación se traducirá en la menor perturbación para la organización.

Cultura e incentivos.

Las auditorías pueden no ser bienvenidas por los equipos propietarios del sistema que se está analizando. Puede que se sientan presionados, frustrados y, en última instancia, descontentos de que su trabajo esté bajo el microscopio. Es posible que haya que volver a discutir y abogar por las concesiones que se consideraron aceptables y necesarias en el pasado. Por eso es tan importante crear la cultura interna adecuada de colaboración y confianza.

La cultura siempre viene desde arriba. Los líderes tienen que demostrar que las auditorías forman parte del trabajo diario, no de las medidas punitivas ni del trabajo adicional. Por ejemplo, cuando los equipos auditados ofrecen su colaboración, experiencia y tiempo (todo lo necesario para una auditoría exitosa), esto debe ir en detrimento de sus objetivos personales y profesionales. En otras palabras, no deberían tener la sensación de que están haciendo este trabajo «de forma paralela», sino que tienen que encontrar tiempo además de su carga de trabajo habitual, sino que este tipo de trabajo cuenta plenamente para su avance profesional. Del mismo modo, se debe conceder cierta flexibilidad a nivel de equipo: según el apoyo que se necesite, es posible que el equipo auditado no alcance los objetivos planificados. En términos generales, una auditoría no debería parecer un castigo sino una parte normal de la vida empresarial.

Para ayudar a prepararse, los líderes empresariales podrían estructurar la organización para tener una persona dedicada a cada equipo que esté disponible para responder directamente a cualquier pregunta sobre datos y algoritmos o que esté preparada para apuntar en la dirección correcta. Esto ayudaría a aislar y minimizar las interrupciones.

Diseñar la auditoría.

Las auditorías exigidas por la ley deben ser realizadas por auditores externos e independientes. Cuando las empresas intentan aprender de forma preventiva sobre sus sistemas, hay que elegir entre los equipos de auditores externos e internos. Si bien se necesitan tiempo y recursos para desarrollar la capacidad de auditoría interna y determinar los procesos correctos, contar con un equipo interno eficaz puede ser una ventaja a largo plazo. Por otro lado, los auditores externos no causan fricciones entre las diferentes partes de la empresa, lo que podría decirse que es una de las razones por las que se suelen utilizar proveedores externos más caros.

Centrándose ahora solo en la auditoría interna, es importante darse cuenta de que puede adoptar muchas formas y formas, que los líderes deberían ayudar a definir. Una auditoría puede ser un proceso único o realizarse de forma regular. Si bien esto último ofrece más información (refleja la evolución del sistema con el tiempo), tiene un coste inicial más alto, ya que requiere un mayor grado de automatización, lo que se traduce en más trabajo para los equipos de plataformas de IA. Podría valer la pena para los sistemas de misión crítica que requieren una inspección más minuciosa y frecuente.

La estructura organizativa de los equipos de auditoría interna también debe estar claramente definida y puede distribuirse o centralizarse. Un equipo centralizado se ocuparía de todas las necesidades de auditoría de la empresa, mientras que en un escenario distribuido, cada unidad de negocio tendría sus propios equipos y procesos. La decisión debe reflejar lo que es más beneficioso en el contexto empresarial, ya que no hay una respuesta correcta; más bien, cada elección tiene sus pros y sus contras.

Un equipo de auditoría centralizado adquirirá una experiencia más profunda y, al trabajar con diferentes partes de la empresa, tendrá una comprensión mejor y holística del proceso. Por otro lado, estos equipos serían externos al que se está auditando, lo que se traduciría en más tiempo para adquirir la confianza del equipo auditado y recopilar la información necesaria (como la documentación, los datos y los algoritmos) necesaria para realizar su trabajo. Un equipo que audite sus propios sistemas comprenderá mejor, por supuesto, todas sus partes desde el principio. Sin embargo, al realizar auditorías con menos frecuencia, es posible que se pierdan algunas de las mejores prácticas importantes. Y si el alcance de sus auditorías acaba implicando a otras unidades de negocio (por ejemplo, los sistemas internos de sus clientes), pueden tener la misma limitación de un equipo de auditoría centralizado, sin sus ventajas. También son posibles los enfoques híbridos, y en la mayoría de los casos se prefieren, en los que un equipo centralizado realiza la mayor parte del trabajo de auditoría y actúa como guardián interno de las mejores prácticas. Cuando se necesitan auditorías distribuidas, pueden ayudar a capacitar y apoyar a sus homólogos distribuidos.

Durante una auditoría

Incluso con la preparación adecuada, la auditoría en sí misma podría ser más complicada de lo que la mayoría esperaba. Los líderes empresariales deben conocer y aceptar el desorden natural del proceso y ayudar aportándole claridad. Tienen que seguir una línea muy fina para estar lo suficientemente cerca como para poder ayudar y entender su progreso sin microgestionar los equipos técnicos ni sobrecargarlos.

Dar forma al proceso.

Dado que la auditoría es un proceso no lineal, muchas cosas pueden cambiar mientras se realiza. Los líderes deben saberlo y asegurarse de que reciben información periódica sobre las últimas decisiones de alto nivel para poder ofrecer orientación cuando sea necesario. Por ejemplo, podrían estar disponibles dos métricas de proxy diferentes y aproximadamente equivalentes desde un punto de vista técnico. Sin embargo, uno podría reflejar mejor las necesidades de la empresa y debería preferirse. Puede que los equipos técnicos no tengan el mismo sentido empresarial y, por lo tanto, se vean empujados hacia la opción más útil. De esa manera, la auditoría no se descarrila y sigue siendo una herramienta útil para responder a las preguntas de la empresa.

También es vital que exijan una documentación exhaustiva de todas las decisiones técnicas, incluidas las compensaciones o métricas de proxy consideradas (por ejemplo, el ejemplo de código postal anterior). Esto ayudará a interpretar los resultados en el contexto y las limitaciones correctos.

Eliminar la burocracia.

En una situación ideal, cada equipo o unidad de negocio ya cuenta con una persona dedicada a facilitar el proceso y tiene planes de contingencia para sus equipos. Lo más probable es que esta no sea la situación, especialmente para las unidades reorganizadas recientemente o las unidades con una mayor rotación. Los líderes pueden ofrecer su apoyo para eliminar los obstáculos y la burocracia cuando sea necesario. Esto podría consistir en asignar la plantilla de otro equipo, cambiar las prioridades del trabajo de los equipos afectados o garantizar que el trabajo realizado en apoyo de la auditoría se tendrá en cuenta en términos del desempeño de los objetivos del equipo al final del año.

• • •

Es un momento muy emocionante para estar en el ámbito de la auditoría tecnológica. Si bien sigue siendo un campo relativamente nuevo, tendrá más impacto en los próximos años debido a la combinación de requisitos legales y al aumento de la transparencia por parte de las plataformas. El proceso en sí mismo se parece menos a una línea recta y más a un recorrido aleatorio entre la pregunta de auditoría y sus resultados. Los líderes empresariales pueden impulsar el proceso asegurándose de que los equipos técnicos van en la dirección correcta, definiendo algunos parámetros clave y eliminando cualquier tipo de fricción interna en el proceso.