Una guía para gestionar los sistemas de IA interconectados

Un médico utiliza la IA para redactar una solicitud de autorización previa, transformando lo que podría ser un proceso tedioso y lento en uno eficiente. Sin embargo, si la IA de una aseguradora rechaza la solicitud basándose en criterios que el sistema del médico no tuvo en cuenta, el resultado son retrasos y frustración. Esta es la nueva realidad de los ecosistemas de IA: redes interconectadas de agentes y sistemas inteligentes que colaboran, compiten o chocan entre unidades de negocio u organizaciones. Estos ecosistemas pueden ofrecer nuevas oportunidades, pero también introducir nuevas complejidades y riesgos.

Crearlos y gestionarlos de forma segura y responsable requiere, entre otras cosas, repensar la formación de la fuerza laboral, aprovechar la tecnología para permitir la alineación y la coordinación y establecer marcos de gobierno que garanticen la confianza y la responsabilidad. En este artículo, analizamos estos preceptos y damos ejemplos basados en las investigaciones que nosotros y otros hemos estado realizando en el ámbito de los riesgos y la normativa de la IA.

Entrenamiento operar dentro de los ecosistemas de IA

A medida que las empresas adoptan la IA en todos los ámbitos, es cada vez más importante redoblar la formación en IA. Los ecosistemas de IA implican capas de sistemas interdependientes, en las que los resultados de una herramienta influyen no solo en las decisiones de sus usuarios, sino también en el funcionamiento de otros sistemas de IA y, por lo tanto, también en otras decisiones posteriores. Por lo tanto, los empleados deben reforzar su capacidad no solo para trabajar con la IA, sino también para navegar y mediar en las interacciones de varios sistemas de IA. También tienen que ser más sensibles no solo a la forma en que estos sistemas pueden afectar a sus propias decisiones, sino también a las de otras personas dentro o fuera de la organización.

Considere el ejemplo de un algoritmo utilizado para priorizar los trasplantes de hígado en el Reino Unido al predecir la supervivencia de los pacientes a cinco años con y sin trasplante. Este enfoque infravaloró a los pacientes más jóvenes, cuyos beneficios van mucho más allá de los cinco años, y los penalizó aún más, ya que es más probable que sobrevivan sin un trasplante. Una el crítico señaló, «Si tiene menos de 45 años, no importa lo enfermo que esté, es imposible que obtenga una puntuación lo suficientemente alta». Del mismo modo, un Algoritmo de readmisión hospitalaria de EE. UU. priorizó a los pacientes blancos menos enfermos que a los pacientes negros más enfermos al utilizar como uno de sus insumos los costes de la atención médica como indicador de la necesidad.

En el sector de los servicios financieros, los resultados de un modelo, como las puntuaciones crediticias, pueden servir de entrada para los sistemas de IA posteriores, lo que permite que los posibles errores o sesgos de los modelos crediticios se propaguen por la red. Esto pone de relieve no solo la complejidad de gestionar los sistemas de IA individuales, sino también el desafío más amplio de los sistemas interconectados, en los que los defectos iniciales pueden repercutir y, posiblemente, amplificar los errores o desigualdades en las decisiones posteriores. Junto con el sesgo de automatización de la IA (la tendencia de los usuarios a confiar en los resultados de la IA sin lugar a dudas), los errores pueden pasar desapercibidos, especialmente en comparación con las prácticas más sencillas de puntuación y uso de la IA actuales.

La profesión legal es otro ejemplo más. Los abogados y los estudiantes de derecho utilizan cada vez más la IA en una serie de tareas que tradicionalmente realizaban los humanos, como utilizar la IA para investigar y resumir la jurisprudencia pertinente, identificar los documentos pertinentes y agilizar la revisión de los documentos como parte del proceso de descubrimiento en las demandas, identificar las cláusulas pertinentes de los contratos y evaluar los riesgos. Sin embargo, los abogados actuales suelen carecer de orientación sobre cómo integrar estas herramientas en los flujos de trabajo o explicar a los clientes los resultados generados por la IA cuando esos resultados son el resultado del trabajo de muchos algoritmos de IA que interactúan. Los programas de formación deben centrarse no solo en el uso de las herramientas, sino también en entender cómo varios sistemas (como los que realizan el análisis de los precedentes legales existentes y la evaluación del riesgo de los clientes) trabajan juntos para informar las decisiones.

Para abordar estas cuestiones, la formación debe ir más allá de lo básico sobre cómo utilizar las herramientas de IA. Debe equipar a los empleados para evaluar críticamente los resultados de la IA, entender cómo flujo de datos y decisiones en sistemas de IA interconectados, y tomar medidas cuando surjan conflictos. Los médicos, por ejemplo, deberían aprender a cruzar los resultados del diagnóstico con los historiales de los pacientes e impugnar las recomendaciones de clasificación cuando las entradas parezcan incompletas.

Los empleados necesitan habilidades para evaluar cómo las herramientas de IA interactúan entre sí, cómo IA «cadenas de suministro»» —las intrincadas redes de conjuntos de datos, modelos y herramientas— están evolucionando e identifican cuándo los sesgos o errores de un sistema afectan a las decisiones posteriores. Por ejemplo, deberían reconocer cuándo los sesgos de los datos ascendentes se propagan y se convierten en recomendaciones descendentes o cuando los resultados contradictorios indican una falta de coordinación. La formación también debería permitir a los empleados abordar estos desafíos, ya sea adaptando los flujos de trabajo, redefiniendo las interacciones de los sistemas de IA u optimizando la gestión de las cadenas de suministro de datos e IA.

Aprovechar la tecnología para Mejorar la alineación

Si bien la formación prepara a las personas, la tecnología puede permitir que los sistemas de IA interactúen de forma eficaz y eficiente. La interoperabilidad es fundamental, pero el desafío más amplio es diseñar infraestructuras y procesos tecnológicos que fomenten la colaboración entre los sistemas de IA y, al mismo tiempo, mitiguen los riesgos. No se trata solo de la interoperabilidad técnica tradicional, sino también de la interdependencia de las decisiones y la alineación.

Diseñar de forma proactiva la cadenas de suministro de datos e inteligencia artificial proporciona un punto de partida útil: los sistemas ascendentes (como los modelos de IA generativa que se basan en grandes conjuntos de datos) se incorporan a las aplicaciones intermedias que adaptan esos modelos a sectores específicos y, a su vez, impulsan las herramientas descendentes para los usuarios finales. Por ejemplo, en la atención médica, una IA ascendente agrega datos de las exploraciones radiológicas mundiales para desarrollar un modelo de diagnóstico. Una aplicación intermedia podría personalizar este modelo para un sistema hospitalario específico, mientras que una herramienta posterior podría permitir a los médicos clasificar los casos. Cuando estas capas funcionan en armonía, pueden mejorar la eficacia y la calidad de los resultados del diagnóstico. Sin embargo, los desajustes (como que los modelos ascendentes no sean lo suficientemente transparentes en cuanto a las fuentes de datos) pueden propagar los errores a lo largo de la cadena.

Pueden surgir ecosistemas más complejos con el tiempo. Por ejemplo, en operaciones de confianza y seguridad para las plataformas en línea, que tienen como objetivo garantizar la seguridad y la libertad de expresión de los usuarios y, al mismo tiempo, eliminar el contenido ilegal en Internet, los sistemas de IA para la detección del contenido, el análisis de las opiniones y el seguimiento del comportamiento de los usuarios suelen funcionar de forma independiente, lo que crea vacíos o superposiciones en la toma de decisiones. Una mejor integración de estos sistemas puede proporcionar a los moderadores información en tiempo real y garantizar que las decisiones (como prohibir a un usuario o marcar el contenido) sean coherentes y defendibles.

Estos ejemplos muestran por qué las organizaciones necesitan diseñar los sistemas de IA como marcos interconectados en lugar de herramientas aisladas, y empezar a pensar en sus cadenas de suministro de datos e IA desde el principio. Por ejemplo, garantizar que los sistemas de IA de diagnóstico de la atención médica compartan datos sin problemas con las herramientas de clasificación puede evitar errores críticos. Del mismo modo, en confianza y seguridad, la integración de herramientas de detección de contenido y análisis del comportamiento de los usuarios puede garantizar una toma de decisiones coherente. Además, los sistemas de IA contradictorios se pueden aprovechar para poner a prueba de forma exhaustiva y continua la IA de una organización, utilizando la IA de forma eficaz para proteger la IA. Al adoptar tecnologías que faciliten la coordinación y la solidez continua, las pruebas y la reelaboración de los procesos para alinear las interacciones de la IA, las empresas pueden aprovechar sus ecosistemas de IA en evolución no solo para crear valor, sino también para evitar la destrucción de valor debido al potencial Los riesgos de la IA que puede estar escondido en algún lugar de la cadena.

Gobernanza para ecosistemas complejos

La escala y la complejidad de los ecosistemas de IA emergentes exigen marcos de gobierno de la IA claros. La naturaleza interconectada de estos sistemas introduce el riesgo de fallos en cascada, sesgos amplificados y brechas de responsabilidad. Una gobernanza sólida debe abordar estos desafíos y, al mismo tiempo, fomentar la confianza y la adaptabilidad.

[

Insight Center Collection

Collaborating with AI

How humans and machines can best work together.

](/insight-center/collaborating-with-ai)

La transparencia es primordial. En los ecosistemas de IA, la responsabilidad a menudo queda oscurecida por las capas de interacción. Por ejemplo, en la atención médica, si una herramienta descendente diagnostica mal a un paciente, ¿el fallo estaba en el modelo de diagnóstico inicial, en la personalización intermedia o en la implementación clínica? Las organizaciones deben adoptar marcos de gobierno que puedan rastrear las decisiones hasta el sistema, lo que permita el análisis de las causas fundamentales (para entender el origen fundamental de un problema) y la mejora continua.

Empoderar a los usuarios finales es otra prioridad fundamental de gobierno. Si bien las organizaciones suelen centralizar el despliegue de la IA para mantener la coherencia, dar a los usuarios finales flexibilidad para adaptar los sistemas de IA puede impulsar la innovación y permitir gestionar los riesgos desde su raíz. En la sanidad, por ejemplo, los médicos podrían adaptar las herramientas de diagnóstico para reflejar mejor la demografía local de los pacientes, garantizando que el rendimiento de las herramientas no se deteriore debido a la cambio de contexto. Del mismo modo, los moderadores que desempeñan funciones de confianza y seguridad podrían ajustar los algoritmos de análisis de sentimientos para que se ajusten a los matices regionales o culturales. Sin embargo, esta flexibilidad debe ir acompañada de medidas de seguridad, como las auditorías automatizadas, para evitar el uso indebido o los sesgos no deseados.

La gobernanza también exige establecer circuitos de retroalimentación para supervisar y refinar los ecosistemas de IA a lo largo del tiempo. En los consultorios legales, por ejemplo, las firmas pueden implementar mecanismos para identificar cuándo los resultados de diferentes sistemas (como las herramientas de redacción de contratos y los predictores del riesgo legal) producen recomendaciones contradictorias. Al incorporar prácticas de gobierno como estas, las empresas pueden garantizar a las partes interesadas (incluidos los empleados, los clientes y los reguladores) que sus sistemas de IA son seguros y confiables. Regulaciones recientes, como la Ley de Servicios Digitales de la UE (DSA), proporcionan una valiosa orientación sobre la transparencia, la responsabilidad, el empoderamiento de los usuarios y los ciclos de retroalimentación.

Por ejemplo, los proveedores de atención médica pueden implementar marcos de trazabilidad para garantizar que las decisiones de diagnóstico sobre la IA estén claras tanto para los pacientes como para los reguladores. Del mismo modo, las plataformas de confianza y seguridad ya están adoptando mecanismos de auditoría que explican las decisiones de moderación del contenido y permiten a los usuarios impugnarlas. Al aplicar estos principios, las organizaciones pueden crear ecosistemas de IA que no solo sean eficaces, sino que también estén alineados éticamente y en los que confíen las partes interesadas.

Además, el empoderamiento basado en principios y procesos claros también puede permitir a los usuarios de los sistemas de IA explorar mejor y, finalmente, aprovechar los puntos fuertes y débiles de la IA, lo que facilita el aprendizaje. Por ejemplo, las empresas que utilizan herramientas de moderación de contenido que les ayudan a revisar de forma eficiente y eficaz grandes volúmenes de informes de los usuarios, la IA, las fuerzas del orden u otros para determinar la legalidad del contenido publicado en Internet podrían realizar evaluaciones automáticas paralelas del mismo contenido de terceros y solicitar la validación cruzada por parte de varios sistemas de IA antes de tomar decisiones de moderación personalizadas. Esto puede aumentar la precisión de la toma de decisiones y mejorar la comprensión intuitiva de los moderadores de contenido que se basan en diferentes sistemas de IA para moderar el contenido.

El empoderamiento también podría mejorar la aceptación de los resultados que se derivan del despliegue de los sistemas de IA por parte de quienes se ven afectados principalmente por ellos. En el ámbito de la confianza y la seguridad en las redes sociales, por ejemplo, los usuarios a los que se les permite personalizar su experiencia de moderación en sus perfiles o páginas públicos y, por lo tanto, poder adaptar mejor su enfoque individual al contexto local o a los idiomas minoritarios, podrían estar más dispuestos a aceptar los diferentes enfoques de moderación de contenido por defecto que utilizan las plataformas.

Mantenerse a salvo en la era de los ecosistemas de IA

A medida que las empresas desarrollen sus estrategias de IA y adopten la IA en sus procesos y productos, los ecosistemas de IA se volverán inevitablemente cada vez más complejos y requerirán nuevas prácticas, procesos y herramientas para que las personas los aprovechen de manera mejor y más segura. El éxito requiere preparar a la fuerza laboral para navegar por los sistemas de IA interconectados, aprovechar la tecnología para permitir una mejor alineación y coordinación de estos sistemas entre sí y con las personas que los operan o se ven afectadas por ellos, y establecer marcos de gobierno que garanticen la responsabilidad, la adaptabilidad y el empoderamiento de manera segura y productiva. No podemos prever los nuevos tipos de riesgos que crearán las complejas cadenas de suministro y ecosistemas de la IA emergentes, por lo que las buenas prácticas de gestión de riesgos requieren una preparación adecuada y un aprendizaje continuo.

I. El trabajo de Glenn Cohen contó con el apoyo de una beca de la Fundación Novo Nordisk para un programa internacional colaborativo internacional de innovación y derecho en biociencias, independiente desde el punto de vista científico.