Usar los experimentos para lanzar nuevos productos

Martyn Goddard/Getty Images

Más que nunca, los gerentes utilizan ensayos controlados aleatorios (es decir, experimentos) a gran escala para guiar las decisiones. Esto ha supuesto avances impresionantes para organizaciones que van desde Amazon hasta el gobierno del Reino Unido. Estamos entusiasmados con el auge de los experimentos en las organizaciones y hemos dedicado gran parte de los últimos años a pensar en cómo diseñarlos e interpretarlos. Al mismo tiempo, hemos visto que la experimentación sigue siendo desigual en las organizaciones y dentro de ellas, y muchas empresas tienen dificultades para iniciar o ampliar la experimentación.

Una forma sencilla y que a menudo se pasa por alto para que las grandes empresas experimenten es distribuir aleatoriamente la introducción de nuevos productos en un conjunto de mercados. Para ver qué valor puede tener esto, piense en cómo Uber lanzó su servicio Express Pool en 2018.

En ese momento, la empresa ya tenía UberPool, un servicio que permitía a los pasajeros que se dirigían en la misma dirección compartir viajes y gastos. Con UberPool, los pasajeros son recogidos y dejados donde quieran, al igual que con otros servicios de Uber. Pero con el servicio Express Pool, que cuesta incluso menos que UberPool, se suele pedir a los pasajeros que caminen distancias cortas para llegar a sus viajes y llegar a sus destinos.

En 2018, antes del lanzamiento de Express Pool, Uber nos encargó a uno de nosotros (Duncan, que dirige un grupo de economistas y científicos de datos de la empresa) que evaluara las probabilidades de éxito. ¿Cuántos pasajeros optarían por participar y cómo afectaría el servicio al ecosistema más amplio y complejo de Uber?

Para responder a esas preguntas, Duncan y su equipo realizaron un experimento: lanzaron Express Pool en seis grandes mercados y, a continuación, compararon las métricas de las ciudades de lanzamiento con las de otros. Aprovechando los avances recientes en los métodos experimentales, especialmente un método estadístico que permitía a Uber utilizar una combinación ponderada de otras ciudades para formar un grupo de control «sintético» más adecuado, el equipo pudo averiguar las formas en que la implementación influía en el uso de Uber. Como era de esperar, Express Pool creó nuevos tipos de partidos de viaje. Pero el experimento también tuvo en cuenta el efecto que Express Pool tenía en los productos de Uber existentes y dejó claro que lanzarlo tendría sentido desde el punto de vista empresarial. Como resultado, Uber pudo introducir Express Pool con confianza en muchos de sus principales mercados. Esta confianza y el hallazgo que la inspiró no habrían sido posibles sin el experimento.

Ahora abundan los mercados en línea, que van desde Uber y Airbnb hasta Rover y Tinder. Y Uber no es la única de estas empresas que recurre a experimentos a nivel de mercado para probar nuevos productos e innovaciones.

Airbnb (donde Jeff trabajaba como científico de datos) publicó recientemente un experimento para comprobar el impacto de un nuevo diseño de página de destino en la clasificación y el tráfico de los motores de búsqueda. Para llevar a cabo el experimento, Airbnb aprovechó el hecho de que tenía páginas de destino con diferentes URL para diferentes mercados (San Francisco, Boston, Nueva York, etc.). Esto significaba que podían aleatorizar las diferentes URL para incluir el nuevo diseño o no, aislando así el efecto del diseño en el tráfico de los motores de búsqueda. Y al hacerlo, pudieron demostrar que el nuevo diseño había sido un éxito: resultó que la nueva página de destino estaba impulsando un aumento de aproximadamente un 3,5% en el tráfico de búsqueda, una mejora correspondiente a decenas de millones de visitas adicionales al día para la plataforma. Basándose en estas conclusiones, Airbnb lanzó el nuevo diseño para todos los mercados.

No son solo las empresas de tecnología las que pueden utilizar experimentos a gran escala para probar nuevos productos e innovaciones. Considere lo que podría hacer una cadena de restaurantes a la hora de decidir si ofrece un nuevo sándwich de pavo y aguacate. Un enfoque tradicional para tomar una decisión como esta podría ser distribuir el sándwich en un par de tiendas elegidas estratégicamente, organizar algunos grupos focales y estudiar el historial de ventas de otros productos. Si parece que a la gente le gusta el sándwich de esas tiendas, la empresa podría distribuirlo en todas sus tiendas y esperar que tenga éxito a nivel nacional. Este tipo de enfoque proporcionaría información sobre el tema, pero tiene limitaciones importantes. Por ejemplo, sería difícil saber si el nuevo sándwich desplazó a otras compras. Y sería difícil ver si esto aumentó el número total de clientes. Si la cadena complementara este enfoque con un ensayo aleatorio a gran escala, distribuyendo el sándwich en un conjunto de mercados seleccionados al azar, podría obtener mucho más información sobre los efectos que añadir el sándwich podría tener en general en las ventas (tanto de productos nuevos como existentes), la retención y la satisfacción de los clientes.

Hemos visto a empresas perder importantes oportunidades de experimentación y hemos visto experimentos que tienen problemas de implementación e interpretación. Para las empresas que quieren probar nuevos productos de forma experimental, estas son algunas directrices para empezar:

1) Decida qué métricas le importan más y, a continuación, formule hipótesis sobre cómo podrían comportarse. Invierta en la recopilación de datos y decida desde el principio qué resultados experimentales constituirán un éxito o un fracaso. Cree un mapa desde los datos hasta las decisiones. Recuerde que es fantástico que más personas compren un producto, pero no tanto si esto lleva a más llamadas de atención al cliente.

2) Elija un subconjunto aleatorio de mercados (por ejemplo, regiones, ciudades o franquicias) en los que lanzar el producto. Los resultados de los experimentos a nivel de mercado suelen ser ruidosos, así que una vez que tenga un conjunto de mercados en mente, piense detenidamente si será capaz de detectar los efectos que espera. (Los cálculos de potencia requieren muchas suposiciones, pero pueden ayudar a averiguarlo).

3) Asegúrese de hacer un seguimiento no solo de si su nuevo producto funciona, sino también de cómo su lanzamiento afecta a los productos existentes. Express Pool por sí solo puede parecer un éxito, pero si no hace crecer lo suficiente el mercado general de viajes, probablemente tenga menos valor de lo que parece. Del mismo modo, cuando Airbnb lance nuevos productos, la empresa tiene que pensar en cómo se ven afectadas las reservas con productos existentes. Y cuando Starbucks lanzó su sous vide bocados de huevo (si no los ha probado, ¡le recomendamos que los pruebe!) , tenía que tener en cuenta no solo las ventas de bocados de huevo, sino también si desplazaban a otros platos del menú.

4) Asegúrese de que entiende por qué su producto tiene éxito o fracasa. Las principales métricas, como los ingresos y las ventas, no cuentan toda la historia. ¿El nuevo producto mejora los resultados para algunos tipos de clientes y los perjudica para otros? ¿El nuevo producto ayudó a una parte de su embudo de adquisiciones pero perjudicó a otra? ¿Estos movimientos se alinean con su hipótesis previa al experimento? Entender por qué una métrica ha cambiado puede ayudarlo no solo a tomar una decisión de lanzamiento, sino también a entender cómo innovar en un espacio de productos.