Gestionar las consecuencias no deseadas de sus innovaciones

Si bien hemos visto una innovación sin igual en los 21 st siglo, también hemos sido testigos de las dañinas consecuencias no deseadas de las tecnologías descontroladas.

Mark Zuckerberg, por ejemplo, no creó Facebook con la intención de que el abuso de terceros y la interferencia política se extendieran desenfrenadamente en la plataforma. Sin embargo, impulsada por el mantra de «muévase rápido y rompa cosas», una plataforma destinada a «dar a la gente el poder de compartir y hacer que el mundo sea más abierto y conectado» terminó teniendo devastadoras consecuencias no deseadas, como la reciente toma del Capitolio.

Las consecuencias no deseadas de la tecnología no son un 21 st-revelación del siglo. En la década de 1930, Robert Merton propuso un marco para entender los diferentes tipos de consecuencias no deseadas: beneficios imprevistos, resultados perversos e inconvenientes inesperados. De hecho, a lo largo de la historia, hemos visto cómo los avances importantes, como la revolución industrial o el sirope de maíz con alto contenido de fructosa, pueden tener efectos perjudiciales duraderos en la sociedad, como la contaminación del aire y la diabetes. Sin embargo, las consecuencias de las tecnologías actuales son más nefastas porque el ritmo al que se agravan ha aumentado exponencialmente. La rápida expansión catalizada por las leyes de Moore y Metcalfe ha beneficiado a la industria de la tecnología y la ha socavado al exacerbar sus consecuencias no deseadas.

¿Son inevitables estas consecuencias no deseadas, un coste necesario para el progreso humano en otros frentes? O, ¿podemos anticiparlos y mitigarlos?

La misma palabra «no intencional» sugiere consecuencias que simplemente no podemos imaginarnos, por mucho que nos esforcemos. Nuestro límite natural a la hora de predecir el futuro implica que puede que no haya mucho que podamos hacer prácticamente por adelantado. Parece que tenemos que conformarnos con una compensación utilitaria, con la esperanza de que cualquier beneficio novedoso de la tecnología, tanto previsto como no deseado, supere sus costes. Puede que nos consternan las consecuencias no deseadas de Google, como sesgo de búsqueda, pero ¿realmente queremos renunciar a la capacidad de acceder a la información mundial al alcance de la mano? Aunque un cálculo utilitario tiene un atractivo pragmático, genera sus propias consecuencias no deseadas: distanciar a los empresarios y a sus inversores de la asunción de responsabilidades. ¿Por qué deberían rendir cuentas por una consecuencia perjudicial que no pretendían crear, especialmente cuando sus negocios también generaban mucho bien social?

A pesar de su dificultad, creemos que los empresarios y los inversores deben dar un paso adelante y hacerse cargo de las consecuencias no deseadas de sus negocios. Como lo ha hecho Hemant escrito anteriormente, la mentalidad de un fundador es fundamental para catalizar el cambio con respecto a la forma en que las empresas piensan sobre las consecuencias previstas y no deseadas. Sin la voluntad sincera del fundador de enfrentarse a estas difíciles cuestiones —y rodearse de pensadores diversos para amortiguar sus puntos ciegos—, es poco probable que una organización vea las formas en que sus productos pueden afectar a la sociedad o tenga los medios para crear los frenos y contrapesos adecuados.

Aprovechando el algoritmo canario

En el pasado, prevenir los efectos adversos no deseados de la innovación era un desafío. Sin ordenadores que les ayudaran, las empresas solo podían confiar en la previsión humana para predecir lo que sucedería y construir las barandillas adecuadas. O tuvieron que asignar equipos para supervisar de cerca la evolución de las consecuencias de su tecnología a medida que proliferaba. En la mayoría de los casos, ni esa premonición ni esa función laboral bastaron. Las correcciones de rumbo llegaron demasiado tarde porque los problemas solo surgieron cuando aparecieron en los titulares de las noticias. Además, una vez que una tecnología se afianzó profundamente, las empresas que la operaban ya tenían intereses económicos profundamente calcificados que era difícil de resolver.

Si bien las tecnologías actuales son más complejas y potencialmente más difíciles de mitigar, por fin tenemos una herramienta que nos permite identificar los problemas que corren el riesgo de perder el control: la inteligencia artificial.

La IA de aprendizaje profundo puede ayudar a identificar patrones que los humanos no pueden discernir fácilmente y nos da una nueva capacidad predictiva. Dar rienda suelta a los algoritmos canarios en nuestras tecnologías es el primer paso que debemos dar para anticipar y mitigar las consecuencias no deseadas.

Hemos visto, por ejemplo, el desarrollo de modelos de IA, como Grover, del Instituto Allen para la IA, que busca «noticias falsas» y bloquea la información errónea antes de que llegue a un público masivo. El Instituto Brookings perfilado recientemente varios otros ejemplos de modelos de IA que pueden generar y detectar noticias falsas. Sus estudios concluyeron que Grover tenía una precisión del 92% en términos de detectar las noticias escritas por humanos frente a las escritas por máquinas.

Sugerimos que se puedan desarrollar algoritmos canarios similares para mitigar una amplia gama de consecuencias no deseadas. El problema es que, actualmente, creamos estos algoritmos de IA de forma retrospectiva. De ahora en adelante, creemos que los fundadores deben incorporar estos sistemas en las primeras etapas del proceso de desarrollo del producto. Adoptar un enfoque de responsabilidad de diseño de sistemas y articularlo claramente como un OKR (objetivo y resultado clave) permite a los equipos de ingeniería integrar profundamente a las canarias en sus tecnologías y hacer un seguimiento de ellas como KPI (indicadores clave de rendimiento). De esta manera, las empresas pueden empezar a medir lo que realmente importa más allá de su propio éxito empresarial: las posibles consecuencias no deseadas de sus tecnologías y la responsabilidad de sus líderes de mitigarlas.

Articulando los tipos de consecuencias no deseadas

Si bien el ejemplo de las noticias falsas como consecuencia no deseada de las plataformas de medios parece obvio hoy en día, el desafío al que se enfrentan los fundadores a la hora de desarrollar canarios algorítmicos es entrenarlos para que los atrapen. Necesitamos estos algoritmos para anticipar de forma dinámica las consecuencias no deseadas que podrían derivarse de las acciones emprendidas por las propias empresas, como los desafíos a la privacidad de los consumidores cuando el modelo de negocio se basa en el suministro de datos que pueden monetizarse mediante la publicidad. También tienen que identificar las consecuencias de los acontecimientos que pueden ocurrir fuera del control de cualquier empresa, pero que pueden mitigarse si se anticipan, como perder segmentos de toda una generación por la falta de acceso a la educación en caso de una pandemia. En última instancia, si bien los tipos de consecuencias no deseadas variarán de una empresa a otra, debemos empezar a desarrollar una tipología que guíe nuestra forma de pensar de forma colectiva.

El marco ESG que muchos inversores de impacto defienden ahora es un punto de partida útil, ya que nos anima a pensar en las consecuencias no deseadas que abarcan todo el espectro medioambiental, social y de gobierno. Sin embargo, dados los detalles necesarios para desarrollar canarios algorítmicos, esta tipología necesitará más especificidad para que sea procesable. Algunos ejemplos de los tipos de especificidad que debemos tener en cuenta incluyen:

• Propagación de información errónea
• La concentración de la información y el poder de mercado
• Infracciones de la privacidad y la información personal
• Aumento de la desigualdad en la fuerza laboral
• Reducción del acceso a los bienes y servicios esenciales
• Alienación o aislamiento social
• Daños al medio ambiente

Esta lista no es ni mucho menos exhaustiva, pero describe los tipos de consecuencias no deseadas a las que debemos prestar atención.

Gestionar las consecuencias no deseadas

Un marco para clasificar las consecuencias no deseadas solo es útil si está respaldado por una práctica disciplinada. Los algoritmos pueden hacer gran parte del trabajo que los humanos no pueden; sin embargo, son los líderes de la organización los que deben llevar este esfuerzo más allá de un ejercicio intelectual. A continuación ofrecemos algunas sugerencias sobre cómo los fundadores, los inversores y los reguladores pueden trabajar juntos de forma sistemática para reducir las consecuencias no deseadas en la práctica:

• Elevar la consideración de las consecuencias no deseadas desde el principio. Los empresarios e inversores deben insistir en analizar en profundidad las consecuencias no deseadas a la hora de fundar empresas. Los fundadores deberían incluir estas consideraciones en sus materiales de presentación y los inversores deberían profundizar en ellas con diligencia. Anticipar las consecuencias no deseadas debería adquirir tanta importancia como cualquier otro indicador empresarial cuando los empresarios e inversores contemplan una asociación.
• Orientar el gobierno corporativo en torno a la mitigación de las consecuencias no deseadas. El pilar del gobierno corporativo son los consejos de administración que ayudan a las empresas a tomar decisiones importantes y a cumplir con sus responsabilidades fiduciarias. Cada vez más, muchas firmas también tienen consejos consultivos independientes que ayudan a orientar cuestiones específicas en torno al desarrollo tecnológico. Del mismo modo, las empresas deberían considerar la posibilidad de crear subcomités a partir de sus consejos de administración actuales o quizás incluso crear organismos independientes, como Facebook está explorando ahora, para determinar qué tan bien gestionan las consecuencias no deseadas. Hacerlo garantiza que se dé tanta importancia a las consecuencias no deseadas como a otros factores que exige la buena gobernanza.
• Asóciese con los reguladores para crear responsabilidad. Para gestionar las consecuencias no deseadas, debemos estar abiertos a una regulación sensata que proteja nuestros intereses colectivos. Nos beneficiaría que los innovadores se unieran para proponer marcos de autorregulación, aunque las agencias reguladoras también podrían desempeñar un papel útil. La FDA es un buen ejemplo de agencia que considera detenidamente los daños médicos no deseados que puede provocar un nuevo medicamento o dispositivo antes de aprobar su distribución. Puede imaginarse que otras agencias podrían desempeñar un papel similar en el lanzamiento de nuevas tecnologías, aunque queremos que sean menos engorrosas y lleven menos tiempo.

En la actualidad, el espíritu que guía a quienes se encuentran en la intersección de la tecnología, la política y el capital es crear empresas que puedan aprovechar las nuevas tecnologías, ampliarlas lo más rápido posible y mantener la regulación a raya. Hemos celebrado a las empresas disruptivas, pero no hemos acusado por la perturbación no intencionada que pueden provocar. El resultado ha sido la formación de empresas que se han hecho omnipresentes en nuestras vidas, pero que también han provocado una amplia gama de consecuencias perjudiciales no deseadas. Abogamos por un nuevo espíritu de innovación, uno en el que las consecuencias no deseadas se consideren rigurosamente desde el principio y se controlen a lo largo del tiempo para mitigarlas de manera significativa. Creemos que podemos lograrlo si los innovadores tecnológicos crean algoritmos de software que puedan servir de canarios para los daños emergentes, los proveedores de capital insisten en evaluar y regular las consecuencias no deseadas y los responsables políticos evalúan las consecuencias no deseadas para garantizar el cumplimiento. Es un espíritu muy diferente, pero es esencial abrazarlo si queremos evitar vivir en un mundo distópico.