El sesgo de selección y los peligros de la evaluación comparativa

Los directivos aprenden con el ejemplo. Ellos, y los consultores a los que pagan por el asesoramiento, estudian los métodos y las tácticas de las empresas de éxito en busca de las fórmulas mágicas para la prosperidad empresarial. ¿Qué podría tener más sentido?

Qué podría ser más peligroso. Buscar firmas exitosas puede resultar notablemente engañoso. Una vez escuché una presentación sobre los atributos de los mejores emprendedores. Basándose en una serie de impresionantes estudios de casos, el orador llegó a la conclusión de que todos estos líderes compartían dos características clave que explicaban su éxito: persistieron, a menudo a pesar de los fracasos iniciales, y fueron capaces de persuadir a otros para que se unieran a ellos.

Eso le pareció bastante razonable a la mayoría de la gente del público. El único problema fue que el orador no señaló que estos mismos rasgos son necesariamente el sello distintivo de los emprendedores que fracasan espectacularmente. Piénselo: incurrir en grandes pérdidas requiere tanto persistencia ante el fracaso como capacidad de persuadir a los demás de que desperdicien su dinero por el caño.

Este es el problema de aprender con un buen ejemplo: cualquiera que intente hacer generalizaciones sobre el éxito empresarial estudiando las empresas o los directivos existentes cae en la clásica trampa estadística del sesgo de selección, es decir, de confiar en muestras que no son representativas de toda la población que están estudiando. Así que si los investigadores de negocios estudian únicamente las empresas de éxito, cualquier relación que deduzcan entre la práctica de gestión y el éxito será necesariamente engañosa.

La manera teóricamente correcta de descubrir qué es lo que hace que una empresa tenga éxito es analizar tanto a las empresas prósperas como a las que se tambalean. Luego, los investigadores de negocios identificarán correctamente las cualidades que separan los éxitos de los fracasos. Los investigadores podrían concluir —como han hecho muchos— de que la fortaleza de la cultura de una empresa está asociada con el éxito, ya que muchas empresas de éxito tienen culturas sólidas. Pero si estudiaran también las empresas en quiebra, descubrirían que muchas de ellas también tenían culturas fuertes. Entonces podrían hacer la hipótesis de que el naturaleza de la cultura de una empresa es al menos tan importante como su intensidad y luego ahondar más en todo el tema de la cultura.

Del mismo modo, si queremos examinar los rasgos de liderazgo efectivos, no podemos fijarnos únicamente en los gerentes excelentes. También debemos tener en cuenta a los directivos que no fueron ascendidos, fueron degradados o despedidos. Quizás sus estilos de liderazgo eran igual de visionarios o humildes. Sin mirar, no podemos saberlo.

La luz cegadora del éxito

El sesgo de selección es una trampa difícil de evitar para los estudiosos y profesionales de los negocios, ya que el buen desempeño se recompensa con la supervivencia. Cualquier muestra de directivos actuales tendrá más éxitos que fracasos si los sistemas de selección interna de las empresas funcionan correctamente. Del mismo modo, las empresas con bajo rendimiento tienden a quebrar y desaparecer, por lo que cualquier muestra de empresas existentes, por definición, se compone en gran medida de empresas exitosas.

Por esa razón, es menos probable que los directivos se vean infectados por un sesgo de selección si trabajan en un sector emergente. Las pruebas del fracaso están por todas partes. Durante el auge de Internet, por ejemplo, decenas de nuevas empresas entraron y quebraron. Es más, muchos pudieron mantenerse a flote durante algún tiempo con pocos o incluso ningún ingreso. Los directivos que traten de evaluar las ventajas de las distintas estrategias en esa etapa de la evolución del sector online podrían trabajar con un conjunto de datos relativamente imparcial.

De todos los directivos, los capitalistas de riesgo son quizás los que tienen menos probabilidades de sufrir un sesgo de selección. Como solo alrededor del 10% de todas las inversiones que realicen serán rentables, los inversores de capital riesgo invierten en muchas empresas diferentes con la esperanza de que las grandes rentabilidades de los pocos éxitos compensen las numerosas pérdidas. Así que los capitalistas de riesgo observan muchos fracasos y su base de experiencia casi no se ve sesgada por el éxito.

Cuando una industria madura y la tasa de fracasos cae, el sesgo de selección se convierte en un problema. Tras la caída de las puntocom, las empresas con bajo rendimiento finalmente quebraron y entraron menos firmas, lo que significó que no muchas quebraron posteriormente. Al mismo tiempo, empresas como Amazon, Google y eBay crecieron e incluso se volvieron rentables, y atrajeron más la atención. De ahora en adelante, es probable que solo unas pocas grandes firmas dominen este sector y que se olvide de las innumerables empresas que han seguido estrategias similares pero que han fracasado.

Es casi seguro que el efecto del sesgo es mayor de lo que la mayoría de la gente piensa, porque el proceso de ganar en la mayoría de las industrias es muy dramático. Algunos estudios han demostrado que el 50% de todas las nuevas empresas fracasan durante sus primeros tres a cinco años. Pensemos, por ejemplo, en la industria de neumáticos estadounidense. Tras un período de rápido crecimiento, el número de empresas alcanzó su punto máximo en 1922, con 274. En 1936, solo había 49 supervivientes, lo que representa una disminución de más del 80%. Así que cualquiera que estudiara la industria en la década de 1930 habría podido observar solo una muestra muy pequeña de la población que había entrado originalmente.

Eso no quiere decir que las empresas establecidas no quiebren. Lo hacen, especialmente a raíz de los cambios radicales en la tecnología o la demanda. Pero el hecho es que las personas que trabajan en empresas establecidas en industrias maduras son las más susceptibles a los sesgos de selección. Una directora de marketing regional de una empresa como Coca-Cola o Procter & Gamble dedica la mayor parte del tiempo a administrar una marca y una línea de productos de éxito. Puede que no haya implementado una nueva práctica de marketing en algún momento u otro, pero solo habrá dirigido la introducción de dos o tres productos nuevos y probablemente nunca haya creado un nuevo negocio. En otras palabras, su experiencia estará muy sesgada hacia el éxito.

El sesgo de selección no es solo un problema para las empresas individuales. Las opiniones sobre las prácticas de dirección general también están influenciadas por ello. Es posible que un nuevo programa de calidad en una empresa no funcione según lo prometido y se interrumpa. Es posible que otras firmas del mismo sector tengan éxito con el programa y lo conserven. A menos que se entere de los programas que fallaron, solo podrá observar los casos exitosos.

No quiero sugerir que los directores y analistas nunca estudien los fracasos. Pero los que ven suelen ser los fiascos realmente espectaculares o aquellos, como Enron, que provocan una fuerte indignación moral. Y aun así, normalmente solo es en el momento. ¿Cuántos directivos dedican su tiempo a estudiar las crisis empresariales de la década de 1980? Sin embargo, todavía leen libros sobre las estrategias de fabricación de los innovadores japoneses de la época.

¿Cuántos directivos estudian los derrumbes corporativos de la década de 1980? Sin embargo, todavía leen sobre las estrategias de fabricación japonesas de la época.

Dónde están los peligros

¿En qué tipo de trampas caen los directivos cuando se basan en datos sesgados? Es probable que sean tres.

Quizás el error más frecuente sea sobrevalorar las prácticas empresariales riesgosas. El problema es fácil de ver en la exposición «Los efectos del sesgo», que ilustra lo que ocurre cuando las tendencias se extraen de campos de datos incompletos.

Los efectos del sesgo

¿Qué ocurre cuando las personas sacan conclusiones a partir de datos incompletos? Suponga que está investigando la relación entre el desempeño corporativo y una práctica

…

Los gráficos muestran la relación entre la participación en una práctica organizacional arriesgada y el posterior desempeño corporativo. El primer gráfico registra los datos de todas las empresas que han implementado alguna vez la práctica arriesgada, mientras que el segundo excluye a las empresas que han quebrado. Como era de esperar, el desempeño de las empresas que no utilizan este consultorio en absoluto es relativamente estable. Pero cuanto mayor sea el grado en que las empresas se dediquen a la práctica, mayor será la brecha entre las empresas que tienen éxito y las que no lo tienen, ya que el rendimiento sube o cae en picado. Sin embargo, de media, como muestra la línea de tendencia, participar en una práctica un poco arriesgada reduce actuación.

Ahora supongamos que observamos este sector solo después de que muchas de las empresas con peores resultados quebraran o hubieran sido adquiridas por otras firmas. En ese caso, habríamos visto los éxitos, pero pocos de los fracasos asociados a la arriesgada práctica. Como resultado, la asociación observada entre la práctica arriesgada y el rendimiento sería positivo, como muestra el segundo gráfico, lo contrario de la asociación verdadera.

Lee Fleming ilustra acertadamente esta dinámica en su Harvard Business Review artículo «Perfeccionar la polinización cruzada» (septiembre de 2004). Fleming descubre que, de media, el valor de las innovaciones que provienen de equipos diversos e interfuncionales es inferior al valor de las innovaciones producidas por equipos de científicos con antecedentes similares entre sí. Pero las innovaciones que producen los equipos más heterogéneos tienden a ser avances o fracasos rotundos. De hecho, la distribución de los valores de la innovación a medida que aumenta la diversidad de los miembros del equipo es muy similar a la que vemos en nuestro primer gráfico.

Sin embargo, en la mayoría de los casos, los datos sobre proyectos fallidos no están disponibles, al menos sobre proyectos fallidos en otras empresas, por lo que la mayoría de los directivos podrían observar únicamente el patrón de distribución que vemos en nuestro segundo gráfico. Como resultado, sobreestimarían el valor de los equipos multifuncionales. Solo recopilando datos sobre los éxitos y los fracasos, como hizo Fleming, podrían detectar los riesgos que implica el uso de equipos de investigación multifuncionales. (Otro ejemplo de la misma dinámica se describe en la barra lateral, «¿Qué tan equivocado puede equivocarse?»)

¿Qué tan equivocado puede equivocarse?

Durante la Segunda Guerra Mundial, el estadístico Abraham Wald evaluaba la vulnerabilidad de los aviones al fuego enemigo. Todos los datos disponibles muestran que algunas partes

…

Una segunda trampa para los directivos incautos es el hecho de que el desempeño a menudo se alimenta de sí mismo, por lo que los logros actuales se ven injustamente magnificados por los logros del pasado. Para ver cómo funciona esto, imagine que una empresa es un corredor que compite contra otros corredores. Si el corredor gana diez carreras independientes, probablemente sea mejor que las demás, que pueden aprender de él. Pero supongamos, en cambio, que el resultado de una carrera afecta a las siguientes. Es decir, si el corredor gana por un minuto en la primera carrera, tiene un minuto de ventaja en la siguiente carrera, y así sucesivamente. Está claro que ganar diez de esas carreras es menos impresionante, ya que una victoria en la primera carrera le da al corredor más probabilidades de ganar la segunda y aún más probabilidades de ganar la tercera, y así sucesivamente.

Muchas industrias funcionan de la misma manera. Por ejemplo, una empresa telefónica o una empresa de software que tenía una gran cuota de mercado en 2004 probablemente también la tenga en 2005, debido a la inercia de los clientes y a los costes de cambio. Por lo tanto, incluso si los directivos hacen un mal trabajo en 2005, una empresa así podría seguir obteniendo altos beneficios, ya que los directivos se dejan llevar por sus logros pasados o por la buena suerte.

Centrarse en la rentabilidad del mercado de valores en lugar de en los beneficios mitiga este problema, ya que los cambios en los precios de las acciones, en un mercado que funciona bien, reflejan cambios en el rendimiento. Pero definir el éxito según la rentabilidad del mercado de valores introduce otros problemas. Como ha señalado el profesor de Wharton Sidney Winter, el precio de las acciones de una empresa se mantendrá estable cuando un CEO excelente suceda a otro. Sin embargo, el precio de las acciones aumentará cuando la empresa cambie a un CEO inferior por un CEO mejor, pero aún así deficiente. Mantener la excelencia, en otras palabras, podría tener menos recompensas que convertirse simplemente en mediocre.

Un tercer problema al buscar pistas sobre el alto rendimiento solo en busca de pistas sobre el alto rendimiento es la cuestión de la causalidad inversa. Los datos pueden, por ejemplo, revelar una fuerte asociación entre la fortaleza de la cultura de una empresa y su desempeño. Pero, ¿una cultura sólida conduce a un alto rendimiento o al revés? El problema de la gallina y el huevo es especialmente complicado en este caso, ya que el alto rendimiento en sí mismo afecta a la cultura empresarial de varias maneras. Para empezar, probablemente sea más fácil crear una cultura de equipo en una empresa sana que en una en quiebra, en la que es probable que los trabajadores se sientan desmoralizados y desleales. Las empresas con alto rendimiento también pueden darse el lujo de instituir programas y prácticas que las empresas con bajo rendimiento no pueden. Algunas de estas actividades caras y que consumen mucho tiempo podrían reducir el rendimiento en las empresas con dificultades.

Es más, las expectativas de rendimiento de los directivos pueden influir en su elección de estrategias y, por lo tanto, confundir las interpretaciones del efecto que tienen esas decisiones. Como observaron William Boulding y Markus Christen en «First-Mover Disadvantage» (HBR, octubre de 2001), las empresas que tienen productos innovadores y una sólida capacidad de distribución suelen optar por entrar en nuevos mercados pronto. Sus sólidos productos y capacidades generan altas rentabilidades. Sin embargo, como resultado, sus directivos asocian la entrada temprana con un alto rendimiento en todos los casos, incluso cuando existe la desventaja de ser el primero en actuar.

Sesgo, sesgo en todas partes

Muchas de las teorías populares sobre el rendimiento están plagadas de sesgos de selección. Una de las ideas más perdurables de la gestión, por ejemplo, es la idea de que las empresas de éxito son aquellas que centran la mayoría de sus recursos en un área o tecnología en lugar de en la diversificación. Libros como En busca de la excelencia, creado para durar, y Benefíciese del núcleo todos recomiendan que los directivos «sigan tejiendo» y «se centren en lo fundamental».

Por lo general, los estudios de investigación detrás de estos libros se centran únicamente en las empresas existentes o, incluso de forma más limitada, solo en las empresas de gran éxito. Como resultado, sus autores sobreestiman los beneficios de la concentración. Pensemos, por ejemplo, en el hallazgo de Chris Zook y James Allen en Benefíciese del núcleo que el 78% de todas las firmas de alto rendimiento se centraron en un conjunto de actividades principales, mientras que solo el 22% de las firmas de bajo rendimiento lo hicieron. El estudio incluyó a unas 1854 empresas, que evaluaron el rendimiento según la rentabilidad de las acciones, las ventas y las ratios de beneficios, pero solo incluyó a las empresas que sobrevivieron durante el período de estudio. Por lo tanto, no consideró a ninguna empresa que hubiera empezado con una estrategia centrada pero que luego fracasara.

Incluir esos fracasos habría cambiado el panorama sustancialmente. Según Zook y Allen, el 13% de todas las firmas lograron un alto rendimiento, de las cuales el 78% (188 firmas) se centraron en el núcleo. Si en ese período solo se hubieran incluido en la muestra otras 200 empresas con estrategias centradas que habían quebrado, entonces la verdadera relación entre la concentración y el rendimiento sería exactamente la opuesta a la que deducen Zook y Allen.

Otra idea muy apreciada a menudo por los gurús de la gestión y la prensa popular es que los directores ejecutivos deben ser audaces y correr riesgos. De hecho, muchos artículos de la prensa empresarial celebran la intuición de ciertos grandes líderes. No menos autoridad que la que Jack Welch tituló su autobiografía Directamente desde las tripas . Algunos líderes —en particular Akio Morita, de Sony— han llegado a evitar por completo los estudios de mercado, ya que creen que sus instintos guían mejor los cambios del mercado.

No cabe duda de que las empresas pueden recibir generosas recompensas cuando sus directores ejecutivos asumen grandes riesgos. Supongamos que opera en una industria (la moda, por ejemplo, o la electrónica de consumo) en la que los pioneros tienen una ventaja, pero en la que también hay una incertidumbre considerable con respecto a las preferencias de los consumidores. Para obtener la ventaja de ser el primero en actuar, la empresa debe actuar con rapidez. Las empresas con mejor desempeño serán aquellas que, guiadas en gran medida por los instintos de sus altos directivos, tengan la suerte de lanzar productos que resulten atractivos para los clientes.

Pero las empresas con peor desempeño también serán las que actúen por presentimientos y, de casualidad, lancen productos que no atraigan a los clientes. Como pocas personas anuncian sus fracasos y muchas de estas desafortunadas firmas dejan de existir, oímos hablar principalmente del éxito de las decisiones basadas en el instinto y poco de los innumerables «visionarios» que, de manera similar, intentaron revolucionar los sectores, pero no lo hicieron.

El punto aquí no es que todas las teorías populares sobre el rendimiento estén equivocadas. No lo sé. Puede que haya una relación genuina entre el éxito y la concentración. En algunos sectores, la fuerza de una cultura puede importar independientemente de su naturaleza. Y los instintos de algunos directivos pueden ser una base tan sólida para la toma de decisiones estratégicas como cualquier cantidad de análisis. Pero lo que sí sé es que ningún directivo debería aceptar una teoría sobre los negocios a menos que pueda estar seguro de que los defensores de la teoría trabajan a partir de un conjunto de datos imparcial.

Solucionar el problema

La medida más obvia a tomar para protegerse contra el sesgo de selección es obtener todos los datos que pueda en caso de fracaso. En sus organizaciones, debe insistir en que los datos sobre las averías internas se recopilen y analicen de forma sistemática. De lo contrario, esa información puede desaparecer fácilmente porque las personas responsables pueden abandonar la organización o no quieren hablar. Más allá de su empresa, debería ampliar sus ejercicios de evaluación comparativa para incluir a las firmas que no tienen éxito. Las asociaciones industriales pueden ayudarlo a recopilar datos sobre los fracasos de las nuevas prácticas y conceptos.

A pesar de sus mejores esfuerzos, es poco probable que pueda estar completamente seguro de que sus datos son imparciales. Afortunadamente, tiene algo de apoyo, porque los economistas y los estadísticos han desarrollado una serie de herramientas para corregir los sesgos de selección. Sin embargo, estas herramientas se basan en ciertas suposiciones, que pueden ser más o menos realistas, según el contexto.

Supongamos, por ejemplo, que queremos estimar la rentabilidad media del capital de todas las empresas de un sector determinado, pero solo tenemos disponibles los datos del ROE de las empresas supervivientes. Dado que las empresas con bajos beneficios tienen más probabilidades de quebrar, basta con tomar el ROE medio de todas las empresas supervivientes para obtener una estimación demasiado alta. Pero supongamos que asumimos que el ROE se distribuye a lo largo de una curva de campana estándar y que todas las empresas con un ROE negativo quebrarán. Entonces podemos utilizar los datos que tenemos para estimar el ROE medio de todas las empresas, ya que la información disponible es suficiente para decirnos qué tan inclinada es la curva, qué tan ancha y cuál es la media.

Este enfoque se puede utilizar para corregir el sesgo en cualquier situación en la que podamos aplicar herramientas estadísticas formales. Por ejemplo, supongamos que sospechamos que en un sector en particular, cuanto más se forme el personal de ventas de una empresa, mayor será el rendimiento medio del vendedor y más coherente será el desempeño de todo el personal de ventas. Supongamos además que tenemos datos detallados sobre las inversiones en formación que realizan la mayoría de las empresas que operan actualmente en el sector. Si podemos suponer con seguridad que el rendimiento sigue un patrón de distribución específico, en principio podemos utilizar los datos que tenemos para obtener una estimación imparcial de cómo las inversiones en formación influyen realmente en el nivel medio y la variabilidad del rendimiento del personal de ventas, incluso si no tenemos datos sobre las empresas que quebraron. Básicamente, lo que estamos haciendo es deducir la forma de un iceberg en particular observando su punta y haciendo (esperamos) una suposición razonable sobre la relación entre las puntas de los icebergs y el resto de ellos.

El pionero de estos métodos estadísticos fue James Tobin, ganador del Premio Nobel de Economía en 1981. Más tarde, James Heckman se basó en su trabajo, quien recibió un Premio Nobel en 2000 por sus contribuciones en este área. En los últimos años, los estudiosos de administración han aplicado estos métodos para corregir el sesgo de selección en sus propias investigaciones y han empezado a abogar por su uso en la comunidad gerencial en general. En «Sacar el máximo provecho de todos sus clientes» (HBR, julio-agosto de 2004), por ejemplo, Jacquelyn S. Thomas, Werner Reinartz y V. Kumar demuestran cómo se pueden utilizar estas herramientas para mejorar la rentabilidad de las inversiones en marketing.

Las palabras de advertencia y los consejos sobre el fracaso, lo sé, rara vez son bien recibidos. Los directivos anhelan las certezas y los modelos a seguir de la literatura empresarial y, hasta cierto punto, tienen que hacerlo. Viven en un mundo acelerado y, a menudo, no pueden darse el lujo de posponer la acción hasta obtener mejores datos. Pero realmente no hay excusa para ignorar las evidentes trampas que hemos descrito en estas páginas. Puede que el éxito inspire más, pero la lógica ineludible de las estadísticas dicta que los directivos que buscan un alto rendimiento tienen más probabilidades de alcanzar su objetivo si escuchan las historias de los fracasos de sus competidores con la misma atención que actualmente las historias de sus éxitos.