Ruido: cómo superar el alto coste oculto de una toma de decisiones incoherente

En una empresa internacional de servicios financieros con la que trabajábamos, un cliente antiguo presentó accidentalmente el mismo expediente de solicitud en dos oficinas. Aunque se suponía que los empleados que revisaron el expediente debían seguir las mismas pautas y, por lo tanto, obtener resultados similares, las distintas oficinas arrojaron cotizaciones muy diferentes. Sorprendido, el cliente cedió el negocio a un competidor. Desde el punto de vista de la empresa, los empleados del mismo puesto deberían haber sido intercambiables, pero en este caso no lo eran. Lamentablemente, este es un problema común.

Los profesionales de muchas organizaciones son asignados arbitrariamente a los casos: tasadores en agencias de calificación crediticia, médicos en las salas de emergencias, aseguradores de préstamos y seguros, y otros. Las organizaciones esperan coherencia por parte de estos profesionales: los casos idénticos deben tratarse de manera similar, si no de la misma manera. El problema es que los humanos toman decisiones poco fiables; sus juicios están fuertemente influenciados por factores irrelevantes, como su estado de ánimo actual, el tiempo transcurrido desde la última comida y el clima. A la variabilidad fortuita de los juicios la llamamos ruido. Es un impuesto invisible para los resultados de muchas empresas.

Algunos trabajos no hacen ruido. Los empleados de un banco o una oficina de correos realizan tareas complejas, pero deben seguir normas estrictas que limitan el juicio subjetivo y garantizan, por diseño, que los casos idénticos se traten de la misma manera. Por el contrario, los profesionales de la medicina, los oficiales de préstamos, los directores de proyectos, los jueces y los ejecutivos toman decisiones, que se guían por experiencias informales y principios generales y no por reglas rígidas. Y si no dan exactamente la misma respuesta que cualquier otra persona en su puesto, es aceptable; esto es lo que queremos decir cuando decimos que una decisión es «una cuestión de juicio». Una empresa cuyos empleados ejercen su juicio no espera que las decisiones estén totalmente exentas de ruido. Pero a menudo el ruido es muy por encima el nivel que los ejecutivos considerarían tolerable, y lo desconocen por completo.

La prevalencia del ruido se ha demostrado en varios estudios. Los investigadores académicos han confirmado en repetidas ocasiones que los profesionales suelen contradecir sus propios juicios anteriores cuando se les dan los mismos datos en diferentes ocasiones. Por ejemplo, cuando se pidió a los desarrolladores de software en dos días distintos que estimaran el tiempo de finalización de una tarea determinada, las horas que proyectaban difería un 71%, de media. Cuando los patólogos hicieron dos evaluaciones de la gravedad de los resultados de la biopsia, la correlación entre sus puntuaciones fue de solo 0,61 (de un 1,0 perfecto), lo que indica que fueron inconsistentes diagnostica con bastante frecuencia. Los juicios de diferentes personas tienen aún más probabilidades de divergir. Las investigaciones han confirmado que, en muchas tareas, las decisiones de los expertos son muy variables: valoración de acciones, valorando bienes raíces, sentenciar a delincuentes, evaluar el desempeño laboral, auditar estados financieros, y más. La conclusión inevitable es que los profesionales suelen tomar decisiones que se desvían significativamente de las de sus compañeros, de sus propias decisiones anteriores y de las normas que ellos mismos afirman seguir.

El ruido suele ser insidioso: hace que incluso las empresas de éxito pierdan cantidades importantes de dinero sin darse cuenta. ¿Qué tan sustancial? Para obtener una estimación, preguntamos a los ejecutivos de una de las organizaciones que estudiamos lo siguiente: «Supongamos que la valoración óptima de un caso es de 100 000 dólares. ¿Cuál sería el coste para la organización si el profesional a cargo del caso evaluara un valor de 115 000 dólares? ¿Cuánto costaría evaluarlo en 85 000 dólares?» Las estimaciones de costes eran altas. En conjunto con las evaluaciones realizadas cada año, el coste del ruido se midió en miles de millones, una cifra inaceptable incluso para una gran empresa global. El valor de reducir el ruido aunque sea unos pocos puntos porcentuales sería de decenas de millones. Sorprendentemente, la organización había ignorado por completo la cuestión de la coherencia hasta entonces.

Hace tiempo que se sabe que las predicciones y decisiones generadas por algoritmos estadísticos simples suelen ser más precisas que las que toman los expertos, incluso cuando los expertos tienen acceso a más información de la que utilizan las fórmulas. Es menos conocido que la principal ventaja de los algoritmos es que no hacen ruido: a diferencia de los humanos, una fórmula siempre devuelve el mismo resultado para cualquier entrada determinada. La coherencia superior permite que incluso los algoritmos simples e imperfectos logren una mayor precisión que los profesionales humanos. (Por supuesto, hay veces en las que los algoritmos son inviables desde el punto de vista operativo o político, como veremos.)

En este artículo explicamos la diferencia entre ruido y sesgo y analizamos cómo los ejecutivos pueden auditar el nivel y el impacto del ruido en sus organizaciones. A continuación, describimos un método económico e infrautilizado para crear algoritmos que eliminen el ruido y esbozamos procedimientos que pueden fomentar la coherencia cuando los algoritmos no son una opción.

Ruido contra sesgo

Cuando las personas tienen en cuenta los errores de juicio y la toma de decisiones, lo más probable es que piensen en sesgos sociales, como los estereotipos de las minorías, o en sesgos cognitivos, como el exceso de confianza y el optimismo infundado. La variabilidad inútil que llamamos ruido es un tipo diferente de error. Para apreciar la distinción, piense en la báscula de su baño. Diríamos que la escala es sesgado si sus lecturas son generalmente demasiado altas o demasiado bajas. Si su peso parece depender del lugar en el que coloque los pies, la báscula es ruidoso. Una báscula que subestima constantemente el peso real en exactamente cuatro libras está muy sesgada, pero no hace ruido. Una báscula que dé dos lecturas diferentes cuando la pisa dos veces es ruidosa. Muchos errores de medición se deben a una combinación de sesgo y ruido. La mayoría de las básculas de baño baratas están un poco sesgadas y son bastante ruidosas.

Para ver una ilustración visual de la distinción, considere los objetivos de la exposición «Cómo el ruido y el sesgo afectan a la precisión». Muestran los resultados de la práctica de tiro al blanco para equipos de cuatro personas, en la que cada individuo dispara una vez.

• El equipo A es preciso: Los tiros de los compañeros de equipo están en el blanco y cerca uno del otro.

Los otros tres equipos son imprecisos, pero de formas distintas:

• El equipo B es ruidoso: Las fotos de sus miembros se centran alrededor de la diana, pero están muy dispersas.
• El equipo C es sesgado: Todos los tiros fallaron en el blanco, pero se agruparon.
• El equipo D es ambos ruidoso y sesgado.

Como ilustra la comparación de los equipos A y B, el aumento del ruido siempre perjudica a la precisión cuando no hay sesgos. Cuando hay sesgos, aumentar el ruido puede provocar un golpe de suerte, como le pasó al equipo D. Por supuesto, ninguna organización confiaría en la suerte. El ruido siempre es indeseable y, a veces, desastroso.

Obviamente, es útil para una organización conocer los prejuicios y el ruido en las decisiones de sus empleados, pero recopilar esa información no es sencillo. Al medir estos errores, surgen diferentes problemas. Un problema importante es que los resultados de las decisiones no suelen conocerse hasta un futuro lejano, si es que se conocen. Los oficiales de préstamos, por ejemplo, con frecuencia tienen que esperar varios años para ver cómo han funcionado los préstamos que han aprobado y casi nunca saben qué pasa con un solicitante al que rechazan.

Donde hay juicio, hay ruido y, por lo general, más del que cree.

A diferencia del sesgo, el ruido se puede medir sin saber cuál sería la respuesta precisa. Para ilustrarlo, imagine que los objetivos a los que apuntaban los tiradores estuvieran borrados de la exposición. No sabría nada de la precisión general de los equipos, pero puede estar seguro de que algo andaba mal con los tiros dispersos de los equipos B y D: dondequiera que estuviera el blanco, no todos estuvieron cerca de dar en el blanco. Todo lo que se necesita para medir el ruido en las sentencias es un experimento sencillo en el que varios profesionales evalúen algunos casos realistas de forma independiente. Una vez más, se puede observar la dispersión de los juicios sin saber la respuesta correcta. A esos los llamamos experimentos auditorías de ruido.

Realizar una auditoría de ruido

El objetivo de una auditoría de ruido no es producir un informe. El objetivo final es mejorar la calidad de las decisiones, y una auditoría solo puede tener éxito si los líderes de la unidad están dispuestos a aceptar resultados desagradables y a actuar en consecuencia. Esa aceptación es más fácil de lograr si los ejecutivos ven el estudio como una creación propia. Con ese fin, los casos deben ser recopilados por miembros respetados del equipo y deben cubrir la gama de problemas que se encuentran normalmente. Para que los resultados sean relevantes para todos, todos los miembros de la unidad deben participar en la auditoría. Un científico social con experiencia en la realización de rigurosos experimentos conductuales debería supervisar los aspectos técnicos de la auditoría, pero la unidad profesional debe ser la dueña del proceso.

Hace poco, ayudamos a dos organizaciones de servicios financieros a realizar auditorías de ruido. Las funciones y la experiencia de los dos grupos que estudiamos eran muy diferentes, pero ambos requerían la evaluación de materiales de complejidad moderada y, a menudo, implicaban decisiones de unos cientos de miles de dólares. Seguimos el mismo protocolo en ambas organizaciones. Primero pedimos a los directores de los equipos profesionales involucrados que crearan varios expedientes de casos realistas para su evaluación. Para evitar que se divulgue información sobre el experimento, todo el ejercicio se llevó a cabo el mismo día. Se pidió a los empleados que dedicaran aproximadamente la mitad del día a analizar de dos a cuatro casos. Tenían que decidir una cantidad en dólares para cada uno, como en su rutina normal. Para evitar la colusión, no se dijo a los participantes que el estudio tenía que ver con la fiabilidad. En una organización, por ejemplo, los objetivos se describían como entender el pensamiento profesional de los empleados, aumentar la utilidad de sus herramientas y mejorar la comunicación entre los compañeros. Participaron unos 70 profesionales de la organización A y unos 50 de la organización B.

Tipos de ruido y sesgo

El sesgo y el ruido son tipos de error distintos. Cada uno viene en diferentes variantes y requiere

…

Creamos un índice de ruido para cada caso, que respondía a la siguiente pregunta: «¿En qué se diferencian las opiniones de dos empleados elegidos al azar?» Expresamos esta cantidad como un porcentaje de su media. Supongamos que las valoraciones de un caso realizadas por dos empleados son de 600 y 1000 dólares. La media de sus valoraciones es de 800$ y la diferencia entre ellas es de 400$, por lo que el índice de ruido es del 50% para este par. Realizamos el mismo cálculo para todas las parejas de empleados y, a continuación, calculamos un índice de ruido medio general para cada caso.

Las entrevistas previas a la auditoría con ejecutivos de las dos organizaciones indicaron que esperaban que las diferencias entre las decisiones de sus profesionales oscilaran entre el 5 y el 10%, un nivel que consideraban aceptable en «cuestiones de juicio». Los resultados fueron impactantes. El índice de ruido osciló entre el 34 y el 62% en los seis casos de la organización A, y la media general fue del 48%. En los cuatro casos de la organización B, el índice de ruido osciló entre el 46 y el 70%, con una media del 60%. Quizás lo más decepcionante es que la experiencia en el trabajo no pareció reducir el ruido. Entre los profesionales con cinco o más años en el puesto, la media de desacuerdo fue del 46% en la organización A y del 62% en la organización B.

Nadie lo había visto venir. Pero como eran los dueños del estudio, los ejecutivos de ambas organizaciones aceptaron la conclusión de que las opiniones de sus profesionales no eran fiables hasta un punto que no podía tolerarse. Todos rápidamente estuvieron de acuerdo en que había que hacer algo para controlar el problema.

Como los hallazgos coincidieron con los de investigaciones anteriores sobre la baja fiabilidad del juicio profesional, no nos sorprendieron. El principal acertijo para nosotros era el hecho de que ninguna de las dos organizaciones había considerado nunca que la fiabilidad fuera un problema.

El problema del ruido es prácticamente invisible en el mundo empresarial; hemos observado que el público se sorprende bastante cuando se menciona la fiabilidad del juicio profesional como cuestión. ¿Qué impide que las empresas reconozcan que los juicios de sus empleados son ruidosos? La respuesta está en dos fenómenos conocidos: los profesionales con experiencia tienden a confiar mucho en la precisión de sus propios juicios y también tienen muy en cuenta la inteligencia de sus colegas. Esta combinación lleva inevitablemente a una sobreestimación del acuerdo. Cuando se les pregunta qué dirían sus colegas, los profesionales esperan que los juicios de los demás estén mucho más cerca de los suyos de lo que realmente están. La mayoría de las veces, por supuesto, los profesionales con experiencia no se preocupan en absoluto por lo que piensen los demás y simplemente asumen que la suya es la mejor respuesta. Una de las razones por las que el problema del ruido es invisible es que la gente no se va por la vida imaginando alternativas plausibles a cada juicio que hace.

Este artículo también aparece en:

• 

  Las 10 lecturas imprescindibles de HBR en 2018 + Entrevistas en audio de HBR IdeaCast

  Liderazgo y gestión de personas Libro

  • Harvard Business Review

  49.99

  View Details

La expectativa de que los demás estén de acuerdo con usted a veces está justificada, sobre todo cuando los juicios son tan hábiles que son intuitivos. El ajedrez de alto nivel y la conducción son ejemplos habituales de tareas que se han practicado casi a la perfección. Los jugadores maestros que analicen una situación en un tablero de ajedrez tendrán todos valoraciones muy similares del estado de la partida, ya sea que, por ejemplo, la reina blanca esté en peligro o la defensa del bando rey de las negras sea débil. Lo mismo ocurre con los conductores. Negociar el tráfico sería increíblemente peligroso si no pudiéramos dar por sentado que los conductores que nos rodean comparten nuestra visión de las prioridades en las intersecciones y rotondas. Hay poco o ningún ruido en los niveles altos de habilidad.

La gran habilidad se desarrolla en el ajedrez y en la conducción a través de años de práctica en un entorno predecible, en el que las acciones van seguidas de comentarios inmediatos y claros. Lamentablemente, pocos profesionales trabajan en un mundo así. En la mayoría de los trabajos, las personas aprenden a emitir juicios escuchando a los gerentes y a sus colegas explicar y criticar, una fuente de conocimiento mucho menos confiable que aprender de los errores propios. Una larga experiencia laboral siempre aumenta la confianza de las personas en sus juicios, pero a falta de comentarios rápidos, la confianza no garantiza la precisión ni el consenso.

Ofrecemos este aforismo en resumen: Donde hay juicio, hay ruido y, por lo general, más del que cree. Por regla general, creemos que ni los profesionales ni sus directivos pueden hacer una buena suposición sobre la fiabilidad de sus juicios. La única manera de obtener una evaluación precisa es realizar una auditoría de ruido. Y al menos en algunos casos, el problema será lo suficientemente grave como para que sea necesario tomar medidas.

Reducir el ruido

La solución más radical al problema del ruido es sustituir el juicio humano por reglas formales, conocidas como algoritmos, que utilizan los datos sobre un caso para producir una predicción o una decisión. La gente ha competido contra los algoritmos en varios cientos de concursos de precisión en los últimos 60 años, en tareas que van desde predecir la esperanza de vida de pacientes con cáncer a predecir el éxito de estudiantes de posgrado. Los algoritmos fueron más precisos que los profesionales humanos en aproximadamente la mitad de los estudios y, aproximadamente, estuvieron relacionados con humanos en los demás. Los empates también deberían contar como victorias para los algoritmos, que son más rentables.

En muchas situaciones, por supuesto, los algoritmos no serán prácticos. La aplicación de una regla puede no ser factible cuando las entradas son idiosincrásicas o difíciles de codificar en un formato coherente. También es menos probable que los algoritmos sean útiles para juicios o decisiones que involucren múltiples dimensiones o que dependan de la negociación con otra parte. Incluso cuando, en principio, hay una solución algorítmica disponible, las consideraciones organizativas a veces impiden su implementación. La sustitución de los empleados actuales por un software es un proceso difícil que encontrará resistencia, a menos que libere a esos empleados para tareas más agradables.

Pero si las condiciones son las adecuadas, desarrollar e implementar algoritmos puede resultar sorprendentemente fácil. La suposición más común es que los algoritmos requieren un análisis estadístico de grandes cantidades de datos. Por ejemplo, la mayoría de las personas con las que hablamos creen que los datos sobre miles de solicitudes de préstamos y sus resultados son necesarios para desarrollar una ecuación que prediga los impagos de los préstamos comerciales. Muy pocos saben que se pueden desarrollar los algoritmos adecuados sin ningún dato de resultados y solo con información de entrada sobre un pequeño número de casos. Llamamos «reglas razonadas» a las fórmulas predictivas que se crean sin datos de resultados, porque se basan en un razonamiento de sentido común.

La construcción de una regla razonada comienza con la selección de unas cuantas variables (quizás de seis a ocho) que estén relacionadas de manera indiscutible con el resultado que se predice. Si el resultado es un impago crediticio, por ejemplo, los activos y pasivos seguramente se incluirán en la lista. El siguiente paso es asignar a estas variables el mismo peso en la fórmula de predicción y situar su signo en la dirección obvia (positivo para los activos, negativo para los pasivos). La regla se puede construir entonces mediante unos sencillos cálculos.

Cómo crear una regla razonada

No necesita datos de resultados para crear algoritmos predictivos útiles. Por ejemplo, puede crear una

…

El sorprendente resultado de muchas investigaciones es que, en muchos contextos, las reglas razonadas son casi tan precisas como los modelos estadísticos creados con datos de resultados. Los modelos estadísticos estándar combinan un conjunto de variables predictivas, a las que se les asignan ponderaciones en función de su relación con los resultados previstos y entre sí. Sin embargo, en muchas situaciones, estas ponderaciones son inestables desde el punto de vista estadístico y prácticamente carecen de importancia. Es probable que una regla sencilla que asigne la misma ponderación a las variables seleccionadas sea igual de válida. Los algoritmos que ponderan las variables por igual y no se basan en los datos de los resultados han demostrado su éxito en selección de personal, previsión electoral, predicciones sobre partidos de fútbol, y otras aplicaciones.

La conclusión es que si va a utilizar un algoritmo para reducir el ruido, no tiene que esperar a los datos de resultado. Puede aprovechar la mayoría de las ventajas si utiliza el sentido común para seleccionar las variables y la regla más sencilla posible para combinarlas.

Los estudios muestran que a los algoritmos les va mejor que a los humanos en la función de tomar decisiones.

Por supuesto, no importa el tipo de algoritmo que se emplee, las personas deben mantener el control final. Los algoritmos deben supervisarse y ajustarse para tener en cuenta los cambios ocasionales en la población de casos. Los directivos también deben vigilar las decisiones individuales y tener la autoridad de anular el algoritmo en casos claros. Por ejemplo, la decisión de aprobar un préstamo debería anularse provisionalmente si la empresa descubre que el solicitante ha sido detenido. Lo más importante es que los ejecutivos deben determinar cómo traducir los resultados del algoritmo en acciones. El algoritmo puede decirle qué posibles préstamos están entre el 5% más alto o el 10% más pobre de todas las solicitudes, pero alguien debe decidir qué hacer con esa información.

Los algoritmos se utilizan a veces como fuente de información intermedia para los profesionales, que toman las decisiones finales. Un ejemplo es la evaluación de la seguridad pública, una fórmula que se desarrolló para ayudar a los jueces estadounidenses a decidir si un acusado puede quedar en libertad de forma segura en espera del juicio. En sus primeros seis meses de uso en Kentucky, la delincuencia entre los acusados en libertad preventiva se redujo alrededor de un 15%, mientras que el porcentaje de personas en libertad aumento de la antelación al juicio. En este caso, es obvio que los jueces humanos deben conservar la autoridad final en las decisiones: el público se sorprendería de ver que se imparte justicia mediante una fórmula.

Por incómoda que la gente se sienta con la idea, los estudios han demostrado que, si bien los humanos pueden proporcionar información útil a las fórmulas, a los algoritmos les va mejor en la función de los que toman las decisiones finales. Si el único criterio es evitar errores, se recomienda encarecidamente a los directivos que anulen el algoritmo solo en circunstancias excepcionales.

Llevar la disciplina al juicio

Se debe considerar la posibilidad de sustituir las decisiones humanas por un algoritmo siempre que los juicios profesionales sean ruidosos, pero en la mayoría de los casos esta solución será demasiado radical o simplemente poco práctica. Una alternativa es adoptar procedimientos que promuevan la coherencia garantizando que los empleados que desempeñan la misma función utilicen métodos similares para buscar información, la integren en una visión del caso y traduzcan ese punto de vista en una decisión. Un examen exhaustivo de todo lo necesario para ello va más allá del alcance de este artículo, pero podemos ofrecer algunos consejos básicos, con la importante advertencia de que inculcar disciplina en el juicio no es nada fácil.

La formación es crucial, por supuesto, pero incluso los profesionales que se formaron juntos tienden a dejarse llevar por su propia forma de hacer las cosas. Las firmas a veces combaten la deriva organizando mesas redondas en las que los responsables de la toma de decisiones se reúnen para revisar los casos. Lamentablemente, la mayoría de las mesas redondas se organizan de una manera que facilita demasiado llegar a un acuerdo, ya que los participantes convergen rápidamente en las opiniones expresadas primero o con más confianza. Para evitar un acuerdo tan falso, los participantes individuales en una mesa redonda deberían estudiar el caso de forma independiente, formarse opiniones que estén dispuestos a defender y enviarlas al líder del grupo antes de la reunión. Estas mesas redondas proporcionarán de forma eficaz una auditoría del ruido, con el paso adicional de un debate grupal en el que se exploren las diferencias de opinión.

Como alternativa o complemento a las mesas redondas, se debería ofrecer a los profesionales herramientas fáciles de usar, como listas de verificación y preguntas formuladas cuidadosamente, para guiarlos a medida que recopilan información sobre un caso, emiten juicios intermedios y formulan una decisión final. La variabilidad no deseada se produce en cada una de esas etapas, y las empresas pueden y deben comprobar en qué medida la reducen estas herramientas. Lo ideal sería que las personas que utilizan estas herramientas las vean como ayudas que les ayudan a hacer su trabajo de forma eficaz y económica. Lamentablemente, nuestra experiencia sugiere que la tarea de crear herramientas de juicio que sean eficaces y fáciles de usar es más difícil de lo que muchos ejecutivos piensan. Controlar el ruido es difícil, pero esperamos que una organización que lleve a cabo una auditoría y evalúe el coste del ruido en dólares llegue a la conclusión de que vale la pena reducir la variabilidad aleatoria.

El objetivo principal de este artículo es presentar a los directivos el concepto del ruido como fuente de errores y explicar en qué se diferencia del sesgo. El término «sesgo» ha entrado en la conciencia pública hasta el punto de que las palabras «error» y «sesgo» se utilizan a menudo indistintamente. De hecho, no se toman mejores decisiones simplemente reduciendo los sesgos generales (como el optimismo) o los sesgos sociales y cognitivos específicos (como la discriminación contra las mujeres o los efectos de anclaje). Los ejecutivos que se preocupan por la precisión también deberían enfrentarse a la prevalencia de la incoherencia en los juicios profesionales. El ruido es más difícil de apreciar que el sesgo, pero no es menos real ni menos costoso.