La IA puede ser a la vez precisa y transparente

En 2019, el negocio de tarjetas de crédito de Apple fue criticado por ofrecer a una mujer un vigésimo el límite de crédito ofrecido a su esposo. Cuando se quejó, los representantes de Apple le dijeron: «No sé por qué, pero juro que no estamos discriminando. Es solo el algoritmo».

Hoy en día, cada vez más decisiones se toman mediante algoritmos opacos e inexplicables como este, a menudo con resultados igualmente problemáticos. Desde aprobaciones de créditos hasta recomendaciones personalizadas de productos o promociones, pasando por los currículums de los lectores y la detección de fallos para el mantenimiento de la infraestructura, las organizaciones de una amplia gama de sectores invierten en herramientas automatizadas cuyas decisiones a menudo se toman con poca o ninguna información de cómo se toman.

Este enfoque crea un riesgo real. Las investigaciones han demostrado que la falta de explicabilidad es a la vez una de las funciones de los ejecutivos preocupaciones más comunes relacionado con la IA y tiene un impacto sustancial sobre la confianza y la voluntad de los usuarios de utilizar los productos de IA, sin mencionar su seguridad.

Sin embargo, a pesar de las desventajas, muchas organizaciones siguen invirtiendo en estos sistemas, porque los responsables de la toma de decisiones asumen que los algoritmos inexplicables son intrínsecamente superiores a los más simples y explicables. Esta percepción se conoce como compensación entre precisión y explicabilidad: los líderes tecnológicos han supuesto históricamente que cuanto mejor pueda entender un humano un algoritmo, menos preciso será.

Caja blanca contra caja negra

En concreto, los científicos de datos hacen una distinción entre los llamados modelos de IA de caja negra y de caja blanca: los modelos de caja blanca suelen incluir solo unas cuantas reglas simples, que se presentan, por ejemplo, como un árbol de decisiones o un modelo lineal simple con parámetros limitados. Debido al reducido número de reglas o parámetros, los humanos normalmente pueden entender los procesos detrás de estos algoritmos.

Por el contrario, los modelos de caja negra utilizan cientos o incluso miles de árboles de decisiones (conocidos como «bosques aleatorios») o miles de millones de parámetros (como hacen los modelos de aprendizaje profundo), para informar sus resultados. Teoría de la carga cognitiva ha demostrado que los humanos solo pueden comprender modelos con un máximo de siete reglas o nodos, lo que lo convierte funcionalmente imposible para que los observadores expliquen las decisiones que toman los sistemas de caja negra. Pero, ¿su complejidad hace necesariamente que los modelos de caja negra sean más precisos?

Desacreditando la compensación entre precisión y explicabilidad

Para explorar esta cuestión, llevamos a cabo un riguroso y a gran escala análisis del rendimiento de los modelos de caja negra y blanca en una amplia gama de casi 100 conjuntos de datos representativos (conocidos como conjuntos de datos de clasificación de referencia), que abarcan dominios como los precios, el diagnóstico médico, la predicción de quiebras y el comportamiento de compra. Descubrimos que, para casi el 70% de los conjuntos de datos, los modelos de caja negra y caja blanca producían resultados con la misma precisión. En otras palabras, la mayoría de las veces, no había compensación entre precisión y explicabilidad: se podía utilizar un modelo más explicable sin sacrificar la precisión.

Esto es coherente con otros investigación emergente explorando el potencial de los modelos de IA explicables, así como nuestra propia experiencia trabajando en estudios de casos y proyectos con empresas de diversos sectores, geografías y casos de uso. Por ejemplo, ha sido demostrado repetidamente que COMPAS, la complicada herramienta de caja negra que es muy utilizado en el sistema judicial estadounidense para predecir la probabilidad de futuras detenciones, no es más preciso que un simple modelo predictivo que solo tiene en cuenta la edad y los antecedentes penales. Del mismo modo, un equipo de investigación creó un modelo predecir la probabilidad de impago de un préstamo de forma lo suficientemente simple como para que los clientes bancarios promedio pudieran entenderlo fácilmente, y los investigadores descubrieron que su modelo era menos de un 1% menos preciso que un modelo de caja negra equivalente (una diferencia que estaba dentro del margen de error).

Por supuesto, hay algunos casos en los que los modelos de caja negra siguen siendo útiles. Sin embargo, a la luz de las desventajas, nuestra investigación sugiere varias medidas que las empresas deberían tomar antes de adoptar un enfoque de caja negra:

1. Por defecto es recuadro blanco.

Como regla general, los modelos de caja blanca deben utilizarse como puntos de referencia para evaluar si son necesarios los modelos de caja negra. Antes de elegir un tipo de modelo, las organizaciones deberían probar ambos y, si la diferencia de rendimiento es insignificante, seleccionar la opción de recuadro blanco.

2. Conozca sus datos.

Uno de los principales factores que determinarán si es necesario un modelo de caja negra son los datos involucrados. En primer lugar, la decisión depende de la calidad de los datos. Cuando los datos son ruidosos (es decir, cuando incluyen mucha información errónea o sin sentido), los métodos de caja blanca relativamente simples suelen ser eficaces. Por ejemplo, hablamos con analistas de Morgan Stanley que descubrieron que, a pesar de sus ruidosos conjuntos de datos financieros, las reglas de negociación simples, como «comprar acciones si la empresa está infravalorada, ha tenido un rendimiento inferior recientemente y no es demasiado grande», funcionaban bien.

En segundo lugar, el tipo de datos también afecta a la decisión. Para las aplicaciones que implican datos multimedia, como imágenes, audio y vídeo, los modelos de caja negra pueden ofrecer un rendimiento superior. Por ejemplo, trabajamos con una empresa que desarrollaba modelos de IA para ayudar al personal del aeropuerto a predecir los riesgos de seguridad basándose en imágenes de carga aérea. Descubrieron que los modelos de caja negra tenían más probabilidades de detectar objetos de carga de alto riesgo que podían representar una amenaza para la seguridad que los modelos de caja blanca equivalentes. Estas herramientas de caja negra permitieron a los equipos de inspección ahorrar miles de horas al centrarse más en la carga de alto riesgo, lo que mejoró sustancialmente el rendimiento de la organización según los indicadores de seguridad. En aplicaciones igualmente complejas, como la detección de rostros para cámaras, los sistemas de visión en vehículos autónomos, el reconocimiento facial, los dispositivos de diagnóstico médico basados en imágenes, la detección de contenido ilegal o tóxico y, más recientemente, las herramientas de IA generativa como ChatGPT y DALL-E, un enfoque de caja negra puede ser ventajoso o incluso la única opción factible.

3. Conozca a sus usuarios.

La transparencia siempre es importante para generar y mantener la confianza, pero es especialmente importante en casos de uso especialmente delicados. En situaciones en las que un proceso de toma de decisiones justo es de suma importancia para los usuarios, o en las que se requiera algún tipo de justicia procesal, puede que tenga sentido priorizar la explicabilidad, incluso si sus datos podrían prestarse a un enfoque de caja negra o si ha descubierto que los modelos menos explicables son un poco más precisos.

Por ejemplo, en ámbitos como la contratación, la asignación de órganos para trasplantes y las decisiones legales, optar por un sistema de IA simple, basado en normas y de caja blanca reducirá el riesgo tanto para la organización como para sus usuarios. Muchos líderes han descubierto estos riesgos por las malas: en 2015, Amazon encontrado que su sistema automatizado de selección de candidatos estaba sesgado en contra de las mujeres desarrolladoras de software, mientras que un Herramienta holandesa de detección de fraudes sociales con IA se cerró en 2018 tras las críticas denunciado es un «agujero negro grande y no transparente».

4. Conozca su organización.

La elección de una organización entre la IA blanca o la de caja negra también depende de su propio nivel de preparación para la IA. Para las organizaciones que están menos desarrolladas digitalmente, en las que los empleados tienden a confiar o entender menos la IA, puede que sea mejor empezar con modelos más simples antes de pasar a soluciones más complejas. Por lo general, eso significa implementar un modelo de caja blanca que todo el mundo pueda entender fácilmente y explorar las opciones de caja negra solo una vez que los equipos se hayan acostumbrado a usar estas herramientas.

Por ejemplo, trabajamos con una empresa internacional de bebidas que lanzó un sencillo sistema de IA de caja blanca para ayudar a los empleados a optimizar sus flujos de trabajo diarios. El sistema ofrecía recomendaciones limitadas, como qué productos deberían promocionarse y cuántos productos diferentes deberían reabastecerse. Luego, a medida que la organización maduraba en el uso de la IA y en la confianza en ella, los directivos empezaron a comprobar si las alternativas más complejas y de caja negra podrían ofrecer ventajas en alguna de estas aplicaciones.

5. Conozca su reglamento.

En ciertos dominios, la explicabilidad puede ser un requisito legal, no algo agradable de tener. Por ejemplo, en los EE. UU., el Ley de igualdad de oportunidades crediticias exige que las instituciones financieras puedan explicar los motivos por los que se ha denegado el crédito a un solicitante de préstamo. Del mismo modo, el Reglamento General de Protección de Datos (GDPR) de Europa sugiere que los empleadores deberían poder explicar cómo se han utilizado los datos de los candidatos para informar las decisiones de contratación. Cuando las organizaciones están obligadas por ley a explicar las decisiones que toman sus modelos de IA, los modelos de caja blanca son la única opción.

6. Explique lo inexplicable.

Por último, por supuesto, hay contextos en los que los modelos de caja negra son innegablemente más precisos (como ocurrió en el 30% de los conjuntos de datos que probamos en nuestro estudio) y aceptables con respecto a cuestiones reglamentarias, organizativas o específicas del usuario. Por ejemplo, aplicaciones como la visión artificial para diagnósticos médicos, la detección de fraudes y la gestión de la carga se benefician enormemente de los modelos de caja negra, y los obstáculos legales o logísticos que representan suelen ser más gestionables. En casos como estos, si una organización decide implementar un modelo de IA opaco, debería tomar medidas para abordar los riesgos de confianza y seguridad asociados a la falta de explicabilidad.

En algunos casos, es posible desarrollar una explicación proxy de caja blanca para aclarar, en términos aproximados, cómo un modelo de caja negra ha tomado una decisión. Aunque esta explicación no sea del todo precisa o completa, puede contribuir en gran medida a generar confianza, reducir los sesgos y aumentar la adopción. Además, una comprensión mayor (aunque imperfecta) del modelo puede ayudar a los desarrolladores a perfeccionarlo aún más y añadir más valor a estas empresas y a sus usuarios finales.

En otros casos, es posible que las organizaciones realmente tengan una visión muy limitada de por qué un modelo toma las decisiones que toma. Si no es posible una explicación aproximada, los líderes aún pueden priorizar la transparencia en la forma en que hablan del modelo tanto interna como externamente, reconocen abiertamente los riesgos y trabajan para abordarlos.

***

En última instancia, no existe una solución que sirva para todos los casos para la implementación de la IA. Todas las nuevas tecnologías conllevan riesgos y la elección de cómo equilibrar esos riesgos con las posibles recompensas dependerá del contexto empresarial y de los datos específicos. Sin embargo, nuestras investigaciones demuestran que, en muchos casos, los modelos de IA simples e interpretables funcionan igual de bien que las alternativas de caja negra, sin sacrificar la confianza de los usuarios ni permitir que los sesgos ocultos impulsen las decisiones.

Los autores quieren dar las gracias a Gaurav Jha y Sofie Goethals por su contribución.