Llevar los valores humanos a la IA

Cuando lanzó la GPT-4, en marzo de 2023, OpenAI promocionó su superioridad con respecto a su ya impresionante predecesora, y dijo que la nueva versión era mejor en términos de precisión, capacidad de razonamiento y puntuaciones en las pruebas, todas ellas métricas de rendimiento de la IA que se utilizan desde hace algún tiempo. Sin embargo, lo más llamativo fue la caracterización de OpenAI del GPT-4 como «más alineado», quizás la primera vez que se comercializa un producto o servicio de IA en términos de su alineación con los valores humanos.

La idea de que la tecnología debe estar sujeta a algún tipo de protección ética está lejos de ser nueva. Norbert Wiener, el padre de la cibernética, propuso una idea similar en una seminal década de 1960 Ciencia artículo, el lanzamiento de toda una disciplina académica centrada en garantizar que las herramientas automatizadas incorporen los valores de sus creadores. Pero solo hoy, más de medio siglo después, vemos que los productos integrados en la IA se comercializan según lo bien que encarnan valores como la seguridad, la dignidad, la equidad, la meritocracia, la inocuidad y la utilidad, así como las medidas tradicionales de rendimiento, como la velocidad, la escalabilidad y la precisión. Estos productos incluyen de todo, desde coches autónomos hasta soluciones de seguridad, software que resume los artículos, electrodomésticos inteligentes que pueden recopilar datos sobre la vida diaria de las personas e incluso robots de compañía para personas mayores y juguetes inteligentes para niños.

A medida que la alineación de valores de la IA se convierta no solo en un requisito reglamentario sino en un diferenciador de productos, las empresas tendrán que ajustar los procesos de desarrollo de sus productos y servicios basados en la IA. Este artículo busca identificar los desafíos a los que se enfrentarán los empresarios y ejecutivos para lanzar al mercado ofertas seguras y alineadas con los valores. Las empresas que actúen pronto para abordar esos desafíos obtendrán una importante ventaja competitiva.

Los desafíos se dividen en seis categorías, que corresponden a las etapas clave de un proceso de innovación típico. Para cada categoría, presentamos una descripción general de los marcos, las prácticas y las herramientas a las que pueden recurrir los ejecutivos. Estas recomendaciones se derivan de nuestra investigación conjunta e individual sobre los métodos de alineación con la IA y de nuestra experiencia en ayudar a las empresas a desarrollar e implementar productos y servicios basados en la IA en varios dominios, incluidos las redes sociales, la atención médica, las finanzas y el entretenimiento.

[  1  ]

Define Values for Your Product

La primera tarea es identificar a las personas cuyos valores deben tenerse en cuenta. Dado el posible impacto de la IA en la sociedad, las empresas deberán tener en cuenta un grupo de partes interesadas más diverso que al evaluar otras características del producto. Pueden incluir no solo a empleados y clientes, sino también a organizaciones de la sociedad civil, responsables políticos, activistas, asociaciones industriales y otras. El panorama puede hacerse aún más complejo cuando el mercado de productos abarca geografías con diferentes culturas o reglamentos. Hay que entender las preferencias de todas estas partes interesadas y superar los desacuerdos entre ellas.

Este desafío se puede abordar de dos maneras.

Incorporar los principios establecidos.

En este enfoque, las empresas se basan directamente en los valores de los sistemas y teorías morales establecidos, como el utilitarismo, o en los desarrollados por las instituciones globales, como los principios de la IA de la OCDE. Por ejemplo, la start-up Anthropic, financiada por Alphabet, basó los principios que guían a su asistente de IA, Claude, en la Declaración Universal de Derechos Humanos de las Naciones Unidas. Otras empresas han hecho prácticamente lo mismo; los principios de BMW, por ejemplo, se parecen a los desarrollados por la OCDE.

Articule sus propios valores.

Algunas empresas forman un equipo de especialistas (tecnólogos, especialistas en ética, expertos en derechos humanos y otros) para desarrollar sus propios valores. Es posible que estas personas entiendan bien los riesgos (y las oportunidades) inherentes al uso de la tecnología. Salesforce ha adoptado ese enfoque. En el preámbulo de su declaración de principios, la empresa describe el proceso como «un proceso de un año para solicitar comentarios de los colaboradores, gerentes y ejecutivos individuales de la empresa y de todas las organizaciones, incluidos los de ingeniería, desarrollo de productos, experiencia de usuario, ciencia de datos, legal, igualdad, asuntos gubernamentales y marketing».

Otro enfoque lo desarrolló un equipo de científicos de DeepMind, un laboratorio de investigación de IA adquirido por Google en 2014. Este enfoque implica consultar a los clientes, empleados y otras personas para obtener los principios y valores de la IA de manera que se minimice el sesgo egoísta. Se basa en el «velo de la ignorancia», un experimento mental concebido por el filósofo John Rawls, en el que las personas proponen reglas para una comunidad sin conocer su posición relativa en esa comunidad, lo que significa que no saben cómo les afectarán las reglas. Los valores que se producen con el enfoque de DeepMind se basan menos en los intereses propios de lo que estarían de otro modo, se centran más en la forma en que la IA puede ayudar a los más desfavorecidos y son más sólidos, porque la gente suele aceptarlos con más facilidad.

[  2  ]

Write the Values into the Program

Más allá de establecer valores rectores, las empresas tienen que pensar en restringir explícitamente el comportamiento de su IA. Prácticas como la privacidad por diseño, la seguridad por diseño y similares pueden resultar útiles en este esfuerzo. Basándose en los principios y las herramientas de evaluación, estas prácticas incorporan el valor objetivo en la cultura y el proceso de desarrollo de productos de la organización. Los empleados de las empresas que aplican estas prácticas están motivados a evaluar cuidadosamente y mitigar los posibles riesgos desde el principio del diseño de un nuevo producto, a crear circuitos de comentarios que los clientes puedan utilizar para denunciar problemas y a evaluar y analizar esos informes de forma continua. Las plataformas en línea suelen utilizar este enfoque para reforzar la confianza y la seguridad, y algunos reguladores se muestran receptivos a él. Una de las principales defensoras de este enfoque es Julie Inman Grant, comisaria de Seguridad Electrónica de Australia y veterana de las políticas públicas de la industria.

Los sistemas de IA generativa necesitarán incluir barandillas formales en los programas para que no infrinjan los valores definidos ni crucen las líneas rojas al, por ejemplo, acceder a solicitudes inadecuadas o generar contenido inaceptable. Empresas como Nvidia y OpenAI están desarrollando marcos para ofrecer esas barandillas. La GPT-4, por ejemplo, se promociona con un 82% menos de probabilidades que la GPT-3,5 de responder a las solicitudes de contenido no permitido, como incitación al odio o códigos de malware.

Si los comportamientos y los datos de la IA incluyen contenido potencialmente perjudicial, hay que tener en cuenta cualquier impacto psicológico en los críticos del contenido.

Las líneas rojas también las definen los reglamentos, que evolucionan. En respuesta, las empresas tendrán que actualizar su cumplimiento de la IA, que divergirá cada vez más en los mercados. Piense en un banco europeo que quiera lanzar una herramienta de IA generativa para mejorar las interacciones con los clientes. Hasta hace poco, el banco solo tenía que cumplir con el Reglamento General de Protección de Datos de la UE, pero pronto tendrá que cumplir también con la Ley de IA de la UE. Si quiere implementar la IA en China o los Estados Unidos, tendrá que cumplir con las normas de ese país. A medida que cambien las normas locales y el banco pase a estar sujeto a normas en todas las jurisdicciones, tendrá que adaptar su IA y gestionar los requisitos potencialmente incompatibles.

Los valores, las líneas rojas, las barandillas y los reglamentos deben integrarse e integrarse en la programación de la IA para que los cambios en los reglamentos, por ejemplo, puedan introducirse y comunicarse automáticamente a cada parte del programa de IA afectada por ellos.

Luego viene identificar el cumplimiento de los valores y hacer un seguimiento del progreso hacia ese cumplimiento. Por ejemplo, las redes sociales y los mercados en línea se han centrado tradicionalmente en desarrollar algoritmos de recomendación que maximicen la participación de los usuarios. Pero a medida que aumenta la preocupación por la confianza y la seguridad tanto para los usuarios como para los reguladores, las plataformas de redes sociales como Facebook (ahora Meta) y Snapchat rastrean no solo el tiempo que pasan en sus plataformas, sino también lo que los clientes ven y hacen allí, para limitar el abuso de los usuarios y la difusión de material extremista o terrorista. Y las compañías de juegos en línea rastrean la conducta de los jugadores, porque el comportamiento agresivo puede tener un impacto negativo en el atractivo de sus juegos y comunidades.

[  3  ]

Assess the Trade-offs

En los últimos años hemos visto a las empresas esforzarse por equilibrar la privacidad con la seguridad, la confianza con la seguridad, la ayuda con el respeto por la autonomía de los demás y, por supuesto, los valores con las métricas financieras a corto plazo. Por ejemplo, las empresas que ofrecen productos para ayudar a las personas mayores o para educar a los niños deben tener en cuenta no solo la seguridad sino también la dignidad y la agencia: cuándo debería la IA no ¿ayudar a los usuarios mayores a reforzar su confianza y respetar su dignidad? ¿Cuándo debería ayudar al niño a garantizar una experiencia de aprendizaje positiva?

Una forma de abordar este desafío es segmentar el mercado según sus valores. Por ejemplo, una empresa puede decidir centrarse en un mercado más pequeño que valore principios como la privacidad más que, por ejemplo, la precisión algorítmica. Este es el camino elegido por el motor de búsqueda DuckDuckGo, que limita la publicidad segmentada y prioriza la privacidad. La empresa se posiciona como una alternativa para los usuarios de Internet que no quieren que los rastreen en Internet.

La compensación entre el tiempo de comercialización y el riesgo de un desajuste de valores es particularmente difícil de gestionar. Algunos comentaristas han argumentado que, para aprovechar la ventaja de ser el primero en actuar, OpenAI se apresuró a sacar ChatGPT al mercado en noviembre de 2022, a pesar de la debilidad de las barandillas en ese momento. Estas medidas pueden resultar contraproducentes: Google perdió casi 170 000 millones de dólares en valor después de que su chatbot Bard cometiera un error público en un acto de lanzamiento en París. Aunque todos los chatbots tienden a cometer errores similares, los informes internos sugirieron más tarde que el esfuerzo de Google por un lanzamiento rápido podría haber provocado defectos en los primeros productos.

Dados los desafíos a los que se enfrentan, los directivos se ven obligados a emitir juicios muy matizados. Por ejemplo, ¿cómo deciden si cierto contenido generado o recomendado por la IA es perjudicial? Si un vehículo autónomo no choca por poco contra un peatón, ¿es un fallo de seguridad o una señal de que el sistema de seguridad del vehículo funciona? En este contexto, las organizaciones deben establecer procesos y canales de comunicación claros con las partes interesadas desde el principio, para garantizar la retroalimentación, la alineación y el aprendizaje continuos.

Giulio Bonasera

Meta ofrece un buen ejemplo de lo que pueden hacer las empresas, aunque no se centran específicamente en la IA. En 2020, en medio de la creciente preocupación pública por la forma en que las plataformas en línea moderan el contenido, la empresa creó su Junta de Supervisión para ayudarla a tomar decisiones basadas en valores. El consejo es un grupo de personas independientes y con experiencia de diversos países y orígenes que no solo toman decisiones difíciles, sino que también ayudan a la empresa a escuchar las opiniones de sus diversas partes interesadas.

El gigante farmacéutico Merck y la empresa francesa de telecomunicaciones Orange, entre otras, también están creando juntas de vigilancia o comités de supervisión para supervisar sus esfuerzos en materia de IA. En algunos casos, puede que sea necesario establecer equipos formales de políticas de IA que supervisen y actualicen los principios, las políticas y las métricas relacionadas con los valores del comportamiento de la IA. (Para obtener información sobre algunas de las dificultades a las que pueden enfrentarse estas juntas y comités, consulte» La ética de gestionar los datos de las personas», HBR, julio-agosto de 2023.)

[  4  ]

Align Your Partners’ Values

Sam Altman, como CEO de OpenAI, compartió un desafío en el podcast En buena compañía: ¿Cuánta flexibilidad debe ofrecer su empresa a personas de diferentes culturas y sistemas de valores para personalizar los productos de OpenAI? Se refería a una tendencia en la que las empresas toman modelos preentrenados, como GPT-4, PalM, LaMDA y Stable Diffusion, y los ajustan para crear sus propios productos.

Como señaló Altman, el problema con esto es que los propietarios de los modelos fundamentales tienen poco o ningún control sobre lo que se hace con sus productos. Las empresas que adaptan los modelos tienen un problema similar: ¿cómo pueden garantizar que los nuevos productos creados con modelos de terceros se alinean con los valores deseables, especialmente teniendo en cuenta las limitaciones en cuanto a cuánto pueden ajustarlos? Solo los desarrolladores de los modelos originales saben qué datos se utilizaron para formarlos, por lo que las empresas deberán seleccionar cuidadosamente a sus socios de IA. También deben alinearse con otros socios, como los proveedores de datos de formación, que pueden tener todo tipo de sesgos no deseados que podrían infectar el producto final.

Para abordar estos problemas, es posible que los desarrolladores de IA tengan que establecer procesos para evaluar los modelos y datos de la IA externos y descubrir los valores de los posibles socios y los sistemas técnicos subyacentes antes de lanzar nuevas asociaciones. (Esto puede ser similar a la forma en que las empresas gestionan los posibles riesgos de los socios en relación con la sostenibilidad y las prácticas de medición y gestión de las emisiones de alcance 3).

Este no es un juego de un solo tiro. A medida que se desarrolle la carrera entre los poderosos modelos fundamentales, las empresas pueden cambiar los modelos que utilizan para sus productos con el tiempo. Descubrirán que las capacidades de pruebas de IA y la diligencia debida eficaz en torno a los valores bien podrían ser fuentes de ventaja competitiva.

[  5  ]

Ensure Human Feedback

Incrustar valores en la IA requiere enormes cantidades de datos, muchos de los cuales los generarán o etiquetarán los humanos, como se ha dicho anteriormente. En la mayoría de los casos, se divide en dos flujos: los datos utilizados para entrenar a la IA y los datos de los comentarios continuos sobre su comportamiento. Para garantizar la alineación de valores, se deben configurar nuevos procesos de comentarios.

Una práctica común para ello se denomina «aprendizaje por refuerzo a partir de la retroalimentación humana» (RLHF), un proceso mediante el cual los resultados no deseados, como el lenguaje abusivo, pueden minimizarse mediante la intervención humana. Los humanos revisan los resultados de un sistema de IA, como la clasificación del currículum de una persona, su decisión de realizar una acción de navegación o el contenido que genera, y lo valoran según lo desalineado que esté con ciertos valores. La valoración se utiliza en los nuevos datos de entrenamiento para mejorar el comportamiento de la IA.

Por supuesto, una decisión clave en este enfoque es quién debe dar su opinión y cómo. La RLHF puede ocurrir en distintas etapas del ciclo de vida de la IA, tanto antes como después del lanzamiento de un producto. En las primeras fases, los ingenieros pueden dar su opinión mientras prueban los resultados de la IA. Otra práctica es crear «equipos rojos» cuyo mandato sea empujar a la IA hacia comportamientos no deseados. Los equipos rojos se utilizan ampliamente en otras áreas, como la ciberseguridad. Actúan como adversarios y atacan un sistema para determinar si puede fallar y cómo. Aunque estos equipos suelen ser internos de una organización, también se puede aprovechar las comunidades externas. Por ejemplo, en 2023 miles de hackers se reunieron en la principal conferencia sobre ciberseguridad, Def Con, para «atacar» grandes modelos lingüísticos e identificar las vulnerabilidades.

Enseñar a la IA a comportarse de acuerdo con ciertos valores continúa tras su lanzamiento. En muchos sentidos, la IA es como los humanos en este sentido: no importa nuestra educación formal, ajustamos continuamente nuestro comportamiento para alinearnos con los valores de nuestras comunidades a la luz de los comentarios. A medida que las personas utilizan la IA o se ven afectadas por ella, pueden observar conductas que parecen infringir sus valores comercializados. Permitir que den comentarios puede ser una fuente importante de datos para mejorar la IA.

Las plataformas en línea son un ejemplo de cómo configurar los procesos para recibir comentarios de los clientes. Las redes sociales y las empresas de juegos en línea, por ejemplo, permiten a los usuarios denunciar con solo hacer clic en un botón comportamientos o contenidos potencialmente sospechosos, ya sean publicados por otros usuarios o recomendados o generados por un algoritmo. Los moderadores de contenido, siguiendo las directrices detalladas, revisan esos informes, deciden si eliminan el contenido de la plataforma y explican los motivos de sus decisiones. Al hacerlo, desempeñan el papel de «anotadores de datos», etiquetando los datos como infracciones de valores o condiciones de servicio determinados. Sus etiquetas se utilizan para mejorar aún más las políticas de la empresa y los algoritmos que utiliza.

Si un vehículo autónomo no choca por poco contra un peatón, ¿es un fallo de seguridad o una señal de que el sistema de seguridad del vehículo funciona?

También hay que gestionar los sesgos e incoherencias de los anotadores. Las plataformas en línea han establecido procesos de moderación y gestión de la calidad del contenido y también protocolos de escalamiento que se utilizan cuando es difícil decidir si ciertos contenidos o comportamientos infringen las normas. Al establecer sistemas y prácticas de retroalimentación humana, las empresas deben asegurarse de que tanto los datos de formación como los de la RLHF representan diversos puntos de vista y culturas. Además, los empleados y los clientes deben entender cómo se utilizan sus comentarios y comentarios y cómo se toman las decisiones de anotación. Por ejemplo, la Ley de Servicios Digitales de la UE y otros reglamentos exigen que las plataformas en línea proporcionen informes anuales transparentes sobre sus decisiones de moderación de contenido.

Por último, si los comportamientos y los datos de la IA incluyen contenido potencialmente perjudicial (lo que puede suponer un riesgo particular con la IA generativa), hay que tener en cuenta cualquier impacto psicológico en los anotadores que revisen ese contenido. En 2021, Meta pagó 85 millones de dólares para resolver una demanda colectiva por el daño psicológico causado al exponer a sus empleados moderadores a imágenes gráficas y violentas.

[  6  ]

Prepare for Surprises

Los programas de IA muestran cada vez más comportamientos inesperados. Por ejemplo, una herramienta de simulación de IA utilizada en un experimento reciente de la Fuerza Aérea de los Estados Unidos habría recomendado que matar al piloto de un avión para garantizar que la misión de la aeronave se ejecutó correctamente. En otro ejemplo, el programa de juego Go AlphaGo inventó nuevos movimientos que los expertos en Go consideraron «sobrehumanos e inesperados». Quizás el ejemplo más conocido sea el del chatbot Bing de Microsoft, que comenzó a mostrar un comportamiento agresivo e incluso amenazante hacia los usuarios poco después de su lanzamiento, y solo se detuvo después de que Microsoft redujera significativamente la posible duración de la conversación. Del mismo modo, las experiencias imprevistas aumentarán en frecuencia, sobre todo porque Chat GPT y otros grandes modelos de IA ahora pueden realizar tareas para las que no estaban programados explícitamente, como traducir de idiomas que no estaban incluidos en ningún dato de entrenamiento.

Las interacciones de los usuarios con los productos compatibles con la IA pueden inducir algunos comportamientos impredecibles, ya sea intencionalmente o no. Esos productos pueden permitir el control extremo de versiones y la hiperpersonalización por parte de personas y empresas que ajustan los modelos con datos de varios mercados. De esta forma, se pueden crear y personalizar innumerables versiones de un producto de IA según la forma en que cada usuario interactúa con él. Garantizar que todas esas versiones permanezcan alineadas y no muestren ningún comportamiento emergente novedoso puede resultar difícil.

Aunque las mejores prácticas, como hacer pruebas sólidas y formar equipos en rojo, pueden reducir esos riesgos, puede que sea imposible garantizar que los productos basados en la IA no muestren comportamientos inesperados una vez lanzados. Hace muchos años que existe una situación paralela en el sector farmacéutico. No importa cuántos recursos se dediquen a los ensayos clínicos, cada año se retiran del mercado varios medicamentos aprobados porque producen efectos secundarios que no se identifican antes del lanzamiento. Por eso existe la «farmacovigilancia», mediante la cual los médicos y los pacientes comunican cualquier efecto secundario de un medicamento a un regulador o fabricante de forma estandarizada; se desarrolla un análisis estadístico de esos informes y, finalmente, si es necesario, el medicamento se retira del mercado.

Del mismo modo, las empresas deben implementar procesos sólidos para detectar y mejorar las conductas dañinas o inesperadas tras el lanzamiento de un producto de IA. Los incidentes deben ser identificados, denunciados por los usuarios o cualquier otra persona afectada y analizados por la empresa. Puede que las empresas necesiten crear bases de datos sobre incidentes de la IA, como las que han desarrollado la OCDE y la Asociación para la Inteligencia Artificial, para aprender y documentar constantemente la evolución de sus productos de IA.

La propia IA puede facilitar la monitorización de estos productos durante su uso. Por ejemplo, las empresas pueden hacer que un modelo de IA desafíe a otro con aprendizaje contradictorio. El enfoque es similar a las pruebas previas al despliegue y a la formación de equipos en rojo, pero son difíciles de escalar y no se aplican a los modelos de IA que se actualizan durante el uso, mientras que el aprendizaje contradictorio permite probar continuamente cualquier número de versiones de los modelos de IA.

Más recientemente, herramientas para la falta de distribución ( BUENO) la detección se ha utilizado para ayudar a la IA con cosas que no ha encontrado antes, como objetos desconocidos para un vehículo autónomo o un aparato. El robot ajedrecista que cogió la mano de un niño porque la confundió con una pieza de ajedrez es un ejemplo clásico de lo que podría resultar. Básicamente, lo que hacen las herramientas OOD es permitir a la IA reconocer nuevas variables o cambios en el entorno, ayudándola a «saber lo que no sabe» y a abstenerse de actuar en situaciones para las que no está entrenada.

Las herramientas basadas en el lenguaje natural pueden permitir a los clientes mantener un diálogo directo con los productos compatibles con la IA: a medida que los usuarios se desvían de los patrones de comportamiento esperados, pueden comunicar sus necesidades, intenciones y comentarios a la IA en su propio idioma. Estas herramientas permiten a las empresas adoptar un enfoque comunitario y participativo para garantizar que sus productos se mantienen alineados con los valores fundamentales.

. . .

En un mundo en el que la alineación de valores de la IA puede determinar los resultados competitivos e incluso convertirse en un requisito para la calidad de los productos, es fundamental reconocer los riesgos y las oportunidades de diferenciación de los productos y adoptar nuevas prácticas y procesos para mantenerse a la vanguardia. Los clientes (y la sociedad en general) esperan que las empresas operen de acuerdo con ciertos valores. En este nuevo mundo, no pueden darse el lujo de lanzar productos y servicios basados en la IA que se portan mal.