Donde la toma de decisiones basada en los datos puede ir mal

Supongamos que dirige una reunión sobre el pago por hora de los empleados del almacén de su empresa. Durante varios años, se ha aumentado automáticamente en pequeñas cantidades para mantenerse al día con la inflación. Citando un estudio de una gran empresa que descubrió que los salarios más altos mejoraban la productividad tanto que aumentaban las ganancias, alguien de su equipo aboga por un enfoque diferente: un aumento sustancial de 2 dólares por hora para todos los trabajadores del almacén. ¿Qué haría?

Con demasiada frecuencia, los líderes empresariales van en una de dos direcciones en estos momentos: o toman las pruebas presentadas como el evangelio o las descartan por completo. Ambos enfoques son equivocados. Los líderes, en cambio, deberían organizar debates que evalúen detenidamente las pruebas aparentemente relevantes y su aplicabilidad a una situación determinada.

En el escenario que se acaba de describir, debería hacer una serie de preguntas para evaluar el posible impacto de los aumentos salariales en su empresa específicamente. Puede preguntar:

• ¿Puede darnos más información sobre el entorno de la investigación para ayudarnos a evaluar si se aplica a los empleados de nuestro almacén?
• ¿Cómo se comparan nuestros salarios con los de otros empleadores que compiten por nuestros trabajadores y cómo se compara eso con el estudio?
• ¿Se llevó a cabo un experimento? Si no, ¿qué enfoque se utilizó para entender si los salarios más altos estaban impulsando el cambio de productividad o simplemente lo reflejaban?
• ¿Qué medidas de productividad se utilizaron y durante cuánto tiempo se midieron los efectos?
• ¿Qué otros análisis o datos podrían ser relevantes?

Por supuesto, el tono importa. Estas preguntas deben hacerse con un auténtico espíritu de curiosidad, con el deseo de aprender y recibir recomendaciones acertadas.

Ya sea que las pruebas provengan de un estudio externo o de datos internos, es crucial analizarlas detenidamente antes de tomar decisiones importantes. En nuestras interacciones con las empresas, incluidas las empresas de tecnología con muchos datos, nos hemos dado cuenta de que esta práctica no se sigue de forma coherente. Con demasiada frecuencia, las creencias predeterminadas, las comparaciones problemáticas y el pensamiento grupal dominan las discusiones. Las investigaciones de la psicología y la economía sugieren que los sesgos, como descuido de la tarifa base, la tendencia a pasar por alto la información estadística general en favor de la información de casos específicos o anécdotas, y sesgo de confirmación, la propensión a buscar y sobreponderar los resultados que respalden sus creencias actuales también dificultan la ponderación sistemática de las pruebas. Pero las empresas no tienen por qué seguir este patrón. Basándonos en nuestra investigación, trabajo con empresas y experiencia docente (incluidas las clases de educación ejecutiva sobre liderazgo y análisis empresarial y un curso reciente de MBA llamado Liderazgo basado en datos), hemos desarrollado un enfoque que los directores generales pueden aplicar al debate sobre los datos para que puedan tomar mejores decisiones.

Haga una prueba de presión sobre la relación entre causa y efecto

¿Los anuncios en los motores de búsqueda aumentarán las ventas? ¿Permitir que los empleados trabajen a distancia reducirá la rotación? Estas preguntas tienen que ver con la causa y el efecto, y son el tipo de preguntas que el análisis de datos puede ayudar a responder. De hecho, los trabajos de investigación los han analizado en detalle. Sin embargo, los gerentes suelen malinterpretar la forma en que las conclusiones de esos y otros estudios se aplican a su propia situación empresarial. Al tomar decisiones, los gerentes deben considerar validez interna—si un análisis responde con precisión a una pregunta en el contexto en el que se estudió. También deberían considerar validez externa—la medida en que pueden generalizar los resultados de un contexto a otro. Eso les ayudará a evitar cometer cinco errores comunes:

Combinar causalidad con correlación.

Aunque la mayoría de la gente sabe que la correlación no es igual a la causalidad, este error es sorprendentemente frecuente. Tomemos la estrategia publicitaria de eBay. Durante años, la empresa hizo publicidad en motores de búsqueda como Google, con el objetivo de aumentar la demanda atrayendo a más clientes. Un informe de consultoría concluyó que los anuncios estaban en vigor y señaló que cuanto más anuncios se mostraban en un mercado, el valor total de las compras en eBay aumentaba. Por desgracia, había llegado a una conclusión equivocada con respecto a esos anuncios. Con la ayuda de un experimento realizado por un equipo de economistas dirigido por Steven Tadelis, de la Universidad de California en Berkeley, eBay se dio cuenta de que la correlación se explicaba por los anuncios dirigidos a personas que ya tenían probabilidades de visitar eBay y a los mercados en los que se esperaba que la demanda de eBay aumentara incluso sin anuncios.

Estas fotos de Docubyte muestran su pasión por las máquinas antiguas y su habilidad en la restauración digital.

Para entender la causalidad, ahonde en cómo se llevó a cabo el estudio en cuestión. Por ejemplo, era un ensayo controlado aleatorio, en la que los investigadores asignaron aleatoriamente a las personas a dos grupos: uno que fue sometido a una condición de prueba y otro grupo de control al que no. Ese es a menudo considerado el estándar de referencia para evaluar la causa y el efecto, aunque estos experimentos no siempre son factibles o prácticos. Quizás los investigadores se basaron en un experimento natural, observar los efectos de un suceso o un cambio de política en grupos específicos. Por ejemplo, un estudio podría examinar el impacto de una prestación cuyos beneficiarios fueron elegidos por sorteo, lo que permitirá a los investigadores comparar la forma en que la prestación cambió las circunstancias o el comportamiento de quienes ganaron la lotería con las de los que no la ganaron.

Los investigadores que no tienen acceso a experimentos planificados o naturales pueden, en cambio, controlar los posibles factores de confusión (variables que afectan a la variable de interés) en sus análisis de datos, aunque esto puede resultar difícil en la práctica. Por ejemplo, si estuviera evaluando el impacto de un programa de formación en la productividad, querría asegurarse de que ha controlado la experiencia previa y otros aspectos que podrían afectar a la productividad.

Subestimando la importancia del tamaño de la muestra.

Imagínese dos hospitales: uno grande que atiende miles de partos cada año y otro pequeño con unos cientos de partos al año. ¿Qué hospital cree que tendría más días en los que más del 60% de los bebés que nacieron fueran niños?

La respuesta es el hospital pequeño porque tiene más variabilidad en el número de nacimientos diarios. Los tamaños de muestra pequeños tienen más probabilidades de mostrar mayores fluctuaciones. Los psicólogos Daniel Kahneman y Amos Tversky, en su obra canónica sobre los sesgos y la heurística, descubrieron que la mayoría de la gente se equivocaba en la respuesta, y más de la mitad decía: «Más o menos lo mismo». La gente tiende a subestimar el efecto que el tamaño de la muestra tiene en la precisión de una estimación. Este error común puede llevar a tomar malas decisiones. Ya sea que esté intentando averiguar cuánto confiar en las reseñas en Internet, cómo interpretar las tendencias de productividad o cuánto peso dar a los resultados de un experimento publicitario, es importante tener en cuenta el tamaño de la muestra que se está analizando.

Al evaluar los efectos, puede resultar útil preguntar no solo por el tamaño de la muestra sino también por la intervalo de confianza. Un intervalo de confianza proporciona un rango de valores en los que es probable que caiga el efecto real y el grado en que uno está seguro de que cae dentro de ese rango. Las respuestas deberían dar forma a la conversación sobre el curso de acción que tomará.

Centrarse en los resultados incorrectos.

En su clásico artículo de HBR de 1992» El cuadro de mando integral: medidas que impulsan el rendimiento», comenzaron Robert S. Kaplan y David P. Norton con una simple observación: «Lo que mide es lo que obtiene». Aunque su artículo es anterior a la era de la analítica moderna, esa idea es más acertada que nunca. Los experimentos y el análisis predictivo suelen centrarse en los resultados que son fáciles de medir, más que en aquellos que realmente importan a los líderes empresariales, pero que son difíciles o poco prácticos de determinar. Como resultado, las métricas de resultados no suelen captar plenamente el rendimiento más amplio de las operaciones de la empresa.

Volvamos al ejemplo de los aumentos salariales. Los costes se miden fácilmente, mientras que el aumento de la productividad puede ser difícil de cuantificar. Eso puede llevar a los gerentes a centrarse exclusivamente en el coste de una mejor remuneración y a no apreciar las posibles ganancias. Un análisis más amplio adoptaría un enfoque como el visto en un estudio de las economistas Natalia Emanuel y Emma Harrington. Se propusieron entender las implicaciones de los niveles salariales en los almacenes establecidos por un gran minorista en línea. Los investigadores examinaron los cambios en la productividad tras el aumento salarial de los trabajadores del almacén en 2019 y descubrieron que las mejoras en la productividad y la rotación eran tan grandes que los aumentos salariales eran más de lo que se pagaban por sí mismos. Encontraron resultados similares al analizar los efectos del aumento salarial en la productividad y la rotación de los empleados del servicio de atención al cliente.

También es importante asegurarse de que el resultado que se está estudiando es un buen indicador del objetivo organizativo real en cuestión. Algunos experimentos de la empresa rastrean los resultados solo durante unos días y asumen que son pruebas sólidas del efecto a largo plazo. Con ciertas preguntas y contextos, un plazo corto puede no ser suficiente. Una empresa que trabaja para evitar este problema es Amazon: invierte mucho en explorar los costes y beneficios a largo plazo de los posibles cambios de producto. Hay muchas maneras de evaluar la relevancia y la interpretación de los resultados, que van desde discusiones claras sobre las limitaciones hasta análisis formales de la relación entre los efectos a corto plazo y los a largo plazo.

Para aprender realmente de cualquier conjunto de datos, tiene que hacerse preguntas básicas como: ¿Qué resultados se midieron? ¿Hemos incluido todos los que son relevantes para la decisión que tenemos que tomar? ¿Fueron lo suficientemente amplios como para captar las principales consecuencias intencionadas y no deseadas? ¿Los rastrearon durante un período de tiempo adecuado?

Juzgando mal la generalizabilidad.

Con el ejemplo del aumento salarial en los almacenes, una pregunta vital es qué implican los resultados de un conjunto de almacenes para otro conjunto. Además, una empresa tal vez desee saber cómo se aplican los resultados a, por ejemplo, los empleados de restaurantes o tiendas minoristas.

Hemos visto a líderes empresariales cometer errores en ambas direcciones, ya sea sobreestimando o subestimando la generalización de las conclusiones. Por ejemplo, cuando el vicepresidente sénior de ingeniería de una importante empresa de tecnología nos habló de la norma de su empresa que prohibía analizar las calificaciones universitarias en las decisiones de contratación de ingenieros, le preguntamos por el motivo. Dijo que Google había «demostrado que las calificaciones no importan», refiriéndose al comentario de un ejecutivo de Google que había leído en alguna parte en el que afirmaba que no había relación entre las calificaciones escolares y los resultados profesionales. Al tomar ese dato como el evangelio, ignoró las posibles limitaciones de su validez interna y externa.

Docubyte

Al evaluar la generalización, puede resultar útil analizar los mecanismos que podrían explicar los resultados y si se aplican en otros contextos. Podría preguntarse cosas como: ¿En qué se parece el escenario de este estudio al de nuestro negocio? ¿El contexto o el período del análisis hacen que sea más o menos relevante para nuestra decisión? ¿Cuál es la composición de la muestra que se está estudiando y cómo influye en la aplicabilidad de los resultados? ¿El efecto varía según los subgrupos?

Sobreponderar un resultado específico.

Confiar en una sola conclusión empírica sin un análisis sistemático de la misma puede ser tan imprudente como desestimar las pruebas por irrelevantes para su situación. Vale la pena comprobar si hay más investigaciones sobre el tema. Realizar un experimento o un análisis más detallado con su propia organización puede ser otra buena opción. Las preguntas que debe hacer incluyen: ¿Hay otros análisis que validen los resultados y el enfoque? ¿Qué datos adicionales podríamos recopilar? ¿El beneficio de recopilar más pruebas superaría el coste de ese esfuerzo?

Empiece por alzar la voz

En 1906, Sir Francis Galton analizó los datos de un concurso en una feria de ganado en el que la gente adivinaba el peso de un buey. Aunque las conjeturas individuales estaban por todas partes, la media de las conjeturas fue casi acertada, lo que demuestra que sabiduría de la multitud. Sin embargo, aprovechar esa sabiduría puede ser un desafío. La inteligencia colectiva es mejor cuando existen mecanismos para promover la participación activa y diversa. De lo contrario, las multitudes también pueden amplificar el sesgo, especialmente cuando tienen un punto de vista homogéneo.

Para superar los prejuicios, los líderes empresariales pueden invitar a colaboradores con puntos de vista diversos a una conversación, pedirles que desafíen y se basen en las ideas, y asegurarse de que los debates son de investigación y se basan en datos de alta calidad. (Consulte» Lo que no sabe sobre la toma de decisiones», de David A. Garvin y Michael Roberto, HBR, septiembre de 2001.) Fomentar la disidencia y las críticas constructivas puede ayudar a combatir el pensamiento grupal, facilitar la previsión de las consecuencias no deseadas y ayudar a los equipos a evitar dar demasiado peso a las opiniones de los líderes. Los líderes también deben presionar a la gente para que considere el impacto de las decisiones en las diversas partes interesadas y a salir deliberadamente de las perspectivas aisladas.

Cómo evitar errores predecibles

Poner a prueba las suposiciones, especialmente antes de que se tomen decisiones difíciles de anular, es cada vez más vital. Estos son los cinco errores más comunes que cometen los líderes al interpretar los análisis, junto con las preguntas que le ayudarán a evitarlos.

Para evitar este problema:

Pregunte por esto:

Ejemplos de preguntas:

Para evitar este problema:

Combinar correlación y causalidad

Pregunte por esto:

Enfoque para determinar la causalidad

Ejemplos de preguntas:

• ¿Este análisis se basó en un experimento?
• Si no, ¿hay factores de confusión (variables que afectan a las variables independientes y dependientes)?
• ¿Hasta qué punto se abordaron en el análisis?

Para evitar este problema:

Juzgando mal la posible magnitud de los efectos

Pregunte por esto:

El tamaño de la muestra y la precisión de los resultados

Ejemplos de preguntas:

• ¿Cuál fue el efecto promedio del cambio?
• ¿Cuál fue el tamaño de la muestra y el intervalo de confianza (o rango de valores probables en los que caería el efecto real y el grado en el que está seguro de que caería dentro de ese rango)?
• ¿Cómo cambiaría nuestro curso de acción, según dónde esté el verdadero efecto?

Para evitar este problema:

Una desconexión entre lo que se mide y lo que importa

Pregunte por esto:

Medidas de resultado

Ejemplos de preguntas:

• ¿Qué resultados se midieron?
• ¿Eran lo suficientemente anchos?
• ¿Captaron las principales consecuencias intencionadas y no deseadas?
• ¿Los rastrearon durante un período de tiempo adecuado?
• ¿Se informaron todos los resultados relevantes?
• ¿Cómo creemos que se adaptan a objetivos organizacionales más amplios?

Para evitar este problema:

Juzgando mal la generalizabilidad

Pregunte por esto:

Análisis empírico de entornos y subgrupos

Ejemplos de preguntas:

• ¿En qué se parece el escenario de este estudio a nuestro contexto empresarial?
• ¿El contexto o el período del análisis hacen que sea más o menos relevante para nuestra decisión?
• ¿Cuál es la composición de la muestra que se está estudiando y cómo influye en la aplicabilidad de los resultados?
• ¿El efecto varía según los subgrupos o entornos?
• ¿Nos dice esto algo sobre la generalización de los resultados?

Para evitar este problema:

Sobreponderar un resultado específico

Pregunte por esto:

Evidencia más amplia y mayor recopilación de datos

Ejemplos de preguntas:

• ¿Hay otros análisis que validen los resultados y el enfoque?
• ¿Qué datos adicionales podríamos recopilar? ¿El beneficio de recopilarlos superaría el coste de recopilarlos?
• ¿Cómo podría cambiar esto nuestra interpretación de los resultados?

Este tipo de discusiones pueden ayudar a garantizar una ponderación cuidadosa de las pruebas. Pero con demasiada frecuencia se descarrilan incluso cuando son productivos. Innumerables estudios han demostrado que las jerarquías pueden llevar a las personas a ocultar puntos de vista disidentes y que los participantes en los debates tienden a evitar compartir datos potencialmente relevantes o hacer preguntas de sondeo cuando no tienen experiencia seguridad psicológica—la creencia de que se espera franqueza y no se castigará. Sin seguridad psicológica, es menos probable que el enfoque que hemos descrito funcione.

Los equipos se benefician cuando sus miembros piensan que tanto sus compañeros como los directivos valorarán ofrecer datos, ideas, preocupaciones y puntos de vista alternativos. Lo que es más importante, en muchos debates, los participantes deben considerar la formulación de preguntas de sondeo como parte de su trabajo.

Se ha escrito mucho sobre cómo fomentar la seguridad psicológica en un equipo. (Consulte» Por qué los empleados tienen miedo de hablar», de James R. Detert y Amy C. Edmondson, HBR, mayo de 2007.) Pero es especialmente importante establecerlo en un equipo que busca utilizar las pruebas para tomar decisiones empresariales, de modo que el miedo a sacar conclusiones impopulares no haga que los miembros pasen por alto datos críticos.

El efecto paralizante de la baja seguridad psicológica se hizo evidente en la respuesta a una investigación experimental en Facebook que analizó si mostrar más publicaciones positivas o negativas afectaba a las emociones de los usuarios. En 2014, tras la reacción pública a la investigación —que surgió en parte porque la gente no sabía que Facebook estaba realizando este tipo de experimentos—, el CEO Mark Zuckerberg suspendió los proyectos de investigación en curso orientados al exterior. Eso disuadió a los empleados de realizar experimentos que pudieran explorar el impacto social de Facebook de forma proactiva. Más recientemente, Zuckerberg cambió de rumbo y expresó su renovado interés por la investigación externa. Sin embargo, si hubiera creado un ambiente en el que los ejecutivos de Facebook se hubieran sentido capaces de hablar detenidamente sobre los efectos negativos de las redes sociales hace una década, la empresa podría haber evitado algunos de sus recientes problemas de reputación relacionados con la desinformación y sus efectos en el bienestar de los usuarios.

De los datos a las decisiones

La toma de decisiones ante la incertidumbre es necesariamente iterativa; requiere pausas regulares para reflexionar tanto sobre la información como sobre el proceso. Los equipos eficaces aprenderán de los datos, ajustarán los planes en consecuencia y trabajarán deliberadamente para mejorar sus debates.

Dedicar tiempo a analizar los matices de los análisis —incluidos el tamaño y la composición de la muestra, los resultados que se miden, el enfoque para separar la causalidad de la correlación y el grado en que los resultados pueden generalizarse de un entorno a otro— es vital para entender cómo las pruebas pueden o no pueden informar una decisión específica. Si se considera detenidamente, cada resultado empírico presenta una pieza del rompecabezas, ya que ayuda a las empresas a determinar si es probable que los diferentes cambios tengan un efecto y cuándo. Estos debates también sentarán las bases para que las organizaciones sean más rigurosas en la recopilación de datos.

Incluso en el mejor de los mundos, las pruebas rara vez son definitivas y es incierto cómo se desarrollará un movimiento empresarial. No obstante, puede aspirar a tomar decisiones bien fundamentadas en función de la información que tenga o pueda obtener. Al emplear un enfoque sistemático en la recopilación, el análisis y la interpretación, puede aprovechar de manera más eficaz los beneficios de la creciente montaña de datos internos y externos y tomar mejores decisiones.