Cómo diseñar (y analizar) un experimento empresarial

Jimmy Musto

El auge de las evaluaciones experimentales en las organizaciones (o lo que los economistas denominan experimentos de campo) tiene el potencial de transformar la toma de decisiones organizativas y proporcionar una nueva visión de áreas que van desde el diseño de productos hasta los recursos humanos y las políticas públicas. Las empresas que invierten en evaluaciones aleatorias pueden obtener una ventaja que cambiará las reglas del juego.

Sin embargo, si bien ha habido un rápido crecimiento de los experimentos, especialmente en las empresas de tecnología, hemos visto que demasiados se ejecutan incorrectamente. Incluso cuando están configurados correctamente, a menudo se producen errores evitables durante la implementación. Como resultado, muchas organizaciones no reciben los beneficios reales del método científico.

En este artículo se explican siete pasos para garantizar que su experimento dé resultado. Estos principios se basan en la investigación académica sobre experimentos de campo, así como en nuestro trabajo con diversas organizaciones, desde Yelp hasta el gobierno del Reino Unido.

1. Identifique una pregunta restringida. Es tentador hacer un experimento en torno a una pregunta como «¿Vale la pena pagar por la publicidad?» o «¿Deberíamos reducir (o aumentar) nuestras bonificaciones anuales?» De hecho, empezar con una pregunta que sea fundamental para sus objetivos más amplios es un buen comienzo. Pero es un error pensar que un solo experimento servirá. La razón es simple: hay varios factores que influyen en la respuesta a este tipo de preguntas importantes.

Tomemos la cuestión de si vale la pena pagar por publicidad. ¿De qué tipo de publicidad hablamos y para qué productos, en qué medios y durante qué períodos de tiempo? Su pregunta debe ser comprobable, lo que significa que debe ser limitada y estar claramente definida. Una pregunta mejor podría ser: «¿En qué medida aumenta las ventas mensuales la publicidad de nuestra marca en Google AdWords?» Esta es una pregunta empírica a la que un experimento puede responder, y eso contribuye a la pregunta que, en última instancia, espera resolver. De hecho, mediante un experimento de este tipo, investigadores en eBay descubrió que una estrategia de publicidad de marcas de larga data en Google no tenía ningún efecto en el ritmo al que los clientes que pagaban visitaban eBay.

2. Utilice un martillo grande. Las empresas experimentan cuando no saben qué es lo que funciona mejor. Ante esta incertidumbre, puede resultar atractivo empezar de a poco para evitar interrumpir las cosas. Pero su objetivo debe ser comprobar si alguna versión de su intervención (su nuevo cambio) marcará la diferencia para sus clientes. Esto requiere una intervención lo suficientemente grande.

Por ejemplo, supongamos que una tienda de abarrotes está considerando añadir etiquetas a los artículos para mostrar a los consumidores que se abastece principalmente de granjas locales. ¿Qué tamaño deben tener las etiquetas y dónde deben pegarse? Le sugerimos empezar con etiquetas grandes en la parte delantera de los paquetes, ya que si las etiquetas fueran pequeñas o estuvieran en la parte posterior de los paquetes y no hubiera ningún efecto (un resultado común en intervenciones sutiles), los gerentes de la tienda se preguntarían si los consumidores simplemente no vieron las etiquetas (el tratamiento no era lo suficientemente grande) o si realmente no les importó (no hubo ningún efecto de tratamiento). Al empezar con un gran martillo, la tienda sabría si los clientes se preocupan por el abastecimiento local. Si las etiquetas grandes en la parte delantera de los paquetes no tienen ningún efecto, la tienda debería renunciar a la idea. Si hay es un efecto, los experimentadores podrán refinar más adelante las etiquetas para obtener las características deseadas.

3. Realice una auditoría de datos. Una vez que sepa cuál es su intervención, tendrá que elegir los datos que quiere analizar. Haga una lista de todos los datos internos relacionados con el resultado en el que quiere influir y cuándo tendrá que realizar las mediciones. Incluya datos sobre las cosas que espera que cambien y las cosas que espera no lo hará cambie como resultado de la intervención, porque tendrá que estar alerta ante las consecuencias imprevistas. Piense también en las fuentes de datos externos que podrían añadir perspectiva.

Supongamos que va a lanzar un nuevo producto cosmético y quiere saber qué tipo de envase genera la mayor fidelidad y satisfacción de los clientes. Usted decide realizar un ensayo controlado aleatorio en todas las áreas geográficas. Además de medir los pedidos recurrentes y los comentarios de los clientes de la línea de ayuda (datos internos), puede hacer un seguimiento de las opiniones de los usuarios en línea en Amazon y buscar diferencias entre los clientes de los diferentes estados (datos externos).

4. Elija una población de estudio. Elija un subgrupo de sus clientes que coincida con el perfil de cliente que quiere entender. Puede resultar tentador buscar la forma más fácil de crear un subgrupo (como los usuarios de Internet), pero tenga cuidado: si su subgrupo no representa bien a sus clientes objetivo, puede que los resultados del experimento no se apliquen. Por ejemplo, los clientes online más jóvenes que compran exclusivamente en su plataforma de comercio electrónico pueden comportarse de forma muy diferente a los clientes mayores de la tienda. Podría utilizar la primera para generalizar su estrategia de plataformas online, pero puede que se equivoque si intenta sacar conclusiones de ese grupo para sus tiendas físicas.

5. Aleatorizar. Asigne aleatoriamente a algunas personas a un grupo de tratamiento y a otras a un grupo de control. El grupo de tratamiento recibe el cambio que quiere probar, mientras que el grupo de control recibe lo que se le ofrecía anteriormente, y asegúrese de que no hay más diferencias aparte de las que está probando. La primera regla de la aleatorización es no permitir que los participantes decidan en qué grupo formar parte o los resultados no tendrán sentido. La segunda es asegurarnos de que realmente no hay diferencias entre el tratamiento y el control.

No siempre es fácil seguir esta segunda regla. Por ejemplo, hemos visto a empresas experimentar ofreciendo cupones diferentes los domingos y los lunes. El problema es que los compradores de los domingos pueden ser sistemáticamente diferentes de los compradores de los lunes (incluso si se controla el volumen de compradores de cada día).

6. Comprométase con un plan y cúmplalo. Antes de realizar un experimento, exponga sus planes en detalle. ¿Cuántas observaciones recopilará? ¿Cuánto tiempo va a dejar que se lleve a cabo el experimento? ¿Qué variables se recopilarán y analizarán? Registre estos detalles. Puede ser tan simple como crear una hoja de cálculo de Google o tan oficial como usar una hoja de cálculo pública registro de prueba. Este nivel de transparencia no solo garantizará que todos estén en la misma página, sino que también le ayudará a evitar los escollos más conocidos en la implementación de los experimentos.

Una vez que su experimento esté en marcha, ¡déjelo en paz! Si obtiene el resultado que esperaba, perfecto; si no, también está bien. Lo único que no está bien: ejecutar el experimento hasta que los resultados parezcan ajustarse a su hipótesis, y no hasta que el estudio haya seguido su curso previsto. Este tipo de práctica ha llevado a una» crisis de replicación» en la investigación en psicología. Puede sesgar gravemente sus resultados y reducir la información que recibe. ¿La lección? Siga el plan, en la medida de lo posible.

7. Deje que los datos hablen. Para tener una imagen completa de sus resultados, informe de varios resultados. Claro, algunas pueden permanecer sin cambios, poco impresionantes o francamente inexplicables. Pero es mejor ser transparente con respecto a ellos que ignorarlos. Una vez que haya analizado los principales resultados, pregúntese si realmente ha descubierto el mecanismo subyacente detrás de sus resultados, el factor que los impulsa. Si no está seguro, perfeccione su experimento y realice otra prueba para obtener más información.

Los experimentos ya son una parte central de las ciencias sociales; también se están convirtiendo rápidamente en el centro de las organizaciones. Si sus experimentos están bien diseñados, le dirán algo valioso. Los más exitosos estropearán sus suposiciones, cambiarán sus prácticas y lo pondrán por delante de la competencia. La experimentación es un proceso a largo plazo y muy informativo, en el que cada ensayo es el punto de partida del siguiente.