Las pruebas A/B y las ventajas de una cultura de experimentación

Las empresas de tecnología modernas han descubierto que los datos son su producto. Ya sea que venda un servicio, un producto o un contenido, lo que realmente hace es crear valor para su base de clientes, y cada interacción con su producto es una cantidad de valor mensurable. Pero las mejores empresas que se basan en los datos no solo almacenan y analizan los datos de forma pasiva, sino que generan activamente datos procesables mediante la realización de experimentos. El secreto para sacar provecho de los datos son las pruebas y, si quiere hacer crecer su negocio en línea, es necesario implementar pruebas A/B coherentes y bien ejecutadas.

En Shutterstock, donde trabajo, lo probamos todo: colores de copias y enlaces, algoritmos de relevancia que clasifican nuestros resultados de búsqueda, funciones de detección de idiomas, usabilidad en las descargas, precios, diseño de reproducción de vídeo y cualquier otra cosa que pueda ver en nuestra página (además de muchas cosas que no puede ver).

Shutterstock es el mercado creativo más grande del mundo y ofrece fotografía, ilustraciones y vídeos a más de 750 000 clientes. Y esos clientes tienen grandes necesidades de imagen; nosotros realizamos más de tres descargas por segundo. Eso es un montón de datos.

Esto significa que sabemos más sobre nuestros clientes, estadísticamente, que nadie en nuestro mercado. También significa que podemos hacer más experimentos con significación estadística más rápido que las empresas con menos datos de usuario. Es una de nuestras ventajas competitivas más importantes.

Las pruebas A/B en acción

Los resultados de la búsqueda están entre las páginas con más tráfico de nuestro sitio. Hace unos años, empezamos a experimentar con una página de resultados de búsqueda con pantalla de mosaicos en nuestroÁrea de laboratorios — una plataforma de experimentación que utilizamos para probar cosas rápidamente y obtener comentarios de los usuarios. En las pruebas cualitativas, a los clientes les gustó mucho el diseño de la cuadrícula de búsqueda en mosaicos, así que la hicimos pruebas A/B dentro de la experiencia básica de Shutterstock. Para aquellos que no estén familiarizados con las pruebas A/B, se trata, en esencia, de mostrar diferentes experiencias de usuario a diferentes usuarios para medir el impacto de esas diferencias. Puede leer más sobre esto aquí.

Estos son algunos de los detalles del experimento y lo que hemos aprendido:

• Tamaños de imagen: hemos probado diferentes tamaños de imagen para obtener el número justo de píxeles en la pantalla.
• Nuevos clientes: observamos si los nuevos clientes de nuestro sitio aumentarían las conversiones. Los nuevos clientes actúan de manera diferente a los existentes, así que tiene que tenerlo en cuenta. A veces, los clientes actuales sufren aversión al cambio.
• Tamaño de la ventana gráfica: Hacer un seguimiento del tamaño de la ventana gráfica (el tamaño de la pantalla que utilizaban los clientes) era una medida importante de comprensión.
• Marcas de agua: marca de agua de la imagen o sin marca de agua: ¿La inclusión de la marca de agua distraía?
• Pasar el ratón: Hemos experimentado con el comportamiento del ratón cuando un usuario hace una pausa en una imagen concreta.

Antes de la prueba, estábamos convencidos de que quitar la marca de agua de nuestras imágenes aumentaría la conversión, ya que habría menos desorden visual en la página, pero en las pruebas descubrimos que quitar la marca de agua creaba el efecto contrario, lo que refutaba nuestro instinto.

Hicimos suficientes pruebas para encontrar dos diseños diferentes que aumentaran las conversiones, así que repetimos esos diseños y los volvimos a probar antes de decidirnos por uno. Y seguimos probando esta cuadrícula de búsqueda y realizando mejoras para nuestros clientes de forma periódica.

Cultura de experimentación

La ventaja más obvia de una prueba como esta es la posibilidad de mejorar nuestro producto y aumentar nuestros ingresos. Pero las pruebas también tienen beneficios indirectos, que se manifiestan una vez que las pruebas se arraigan en la cultura empresarial.

En primer lugar, en una cultura de experimentación se mata el Hipopótamos. (Es un acrónimo de La opinión de la persona mejor pagada). Las pruebas A/B son una forma segura de llegar al fondo de una decisión sin confiar en el instinto de nadie. En Shutterstock, si un alto ejecutivo tiene una idea en una reunión, la respuesta es simplemente: «Vamos a ponerla a prueba».

En segundo lugar, más de sus ideas saldrán a la luz del día en forma de pruebas, en lugar de desaparecer en las pizarras blancas y en las presentaciones. Cuando es fácil poner a prueba sus ideas, su equipo puede dejar de hablar en abstracto de cosas que aún no han sucedido y, en cambio, hablar de los resultados y los próximos pasos. Por último, los compañeros de trabajo estarán muy motivados, porque podrán ver sus ideas en directo en el mundo real.

No todo son rosas, por supuesto. La cultura de la experimentación también tiene algunos inconvenientes. Una de las más importantes es que los equipos de experimentación a veces se pierden la siguiente gran innovación porque realizan mejoras graduales constantes que se reflejan rápidamente en los resultados de las pruebas. Recuerde que los resultados de algunas pruebas muestran un resultado negativo a corto plazo, pero son mejores a largo plazo debido a la aversión a los cambios de los usuarios. Además, poner a prueba la estrategia es difícil y todavía hay espacio para el pensamiento estratégico que lleve a su organización en nuevas direcciones.

Defina su cultura de experimentación a lo largo de un vector entre la marca y la optimización: su estado actual frente a sus aspiraciones. Del lado de la marca, están las estrictas directrices visuales de la marca, la coherencia entre el marketing online y offline y estilos similares a lo largo de la experiencia. En el extremo de la optimización, todo vale: pruebe el logotipo, pruebe la cabecera, pruebe con cualquier color o texto, no confíe nunca en sus instintos y permita que su producto tenga alguna incoherencia si eso significa que la conversión es mayor. Su cultura caerá en algún punto intermedio.

Hicimos un ejercicio útil con nuestros equipos de productos y marketing en el que cada uno de nosotros puso a su empresa favorita en este espectro y, a continuación, debatimos dónde creíamos que estaba Shutterstock y dónde quería estar. Salimos de esa reunión muy lejos del extremo de la optimización.

Poner en práctica la experimentación

Estos son algunos consejos útiles que pueden ayudarle a crear crecimiento a través de la experimentación. (Para obtener una lista más larga, consulte esta entrada de blog.)

1. Mantenga el equipo pequeño. Todo lo que necesita para realizar las pruebas es un equipo de 3 a 4 personas compuesto por un ingeniero, un diseñador/desarrollador front-end y un analista de negocios (o propietario del producto). Asegúrese de que su diseñador pueda pensar de forma iterativa y realizar pruebas, y de que su responsable de producto tenga las habilidades necesarias para analizar las pruebas a medida que se realizan, para evitar ir a otro departamento para obtener los resultados de las pruebas.

2. Métricas: elija una, vea muchas. La métrica que intentó mover probablemente no cuente toda la historia. A muchas personas muy inteligentes les han dejado perplejos los resultados de las pruebas A/B. Tendrá que analizar muchos indicadores diferentes para averiguar qué cambio se ha producido realmente y, la mayoría de las veces, se equivoca. Cuando una prueba no pase, no se dé por vencido. En su lugar, averigüe qué pasó (averigüe, por ejemplo, qué métrica lo hizo mover) y utilícelo como base para futuras iteraciones.

3. Reducción del promedio. A menudo, una prueba no funciona mejor de media, pero sí para segmentos de clientes determinados, como los clientes nuevos frente a los existentes. Es posible que la prueba también funcione mejor para una zona geográfica, un idioma o incluso persona de usuario. No encontrará estos conocimientos sin ir más allá de las medias y ahondar en diferentes segmentos.

4. Pruebe pequeños cambios. No dedique meses a crear un examen solo para tirarlo a la basura cuando no funcione. Si tiene que dedicar mucho tiempo a crearlo, lo está haciendo mal. Encuentre el menor desarrollo que pueda hacer para crear una prueba basada en su hipótesis; lo mejor es ir una variable a la vez.

5. Vuelva a probar las ideas. Las pruebas a menudo no aprueban por la estacionalidad o porque se le pasó por alto un pequeño matiz. Eso no significa que deba desperdiciar la prueba; guardar una acumulación de pruebas realizadas anteriormente e intentar volver a ejecutarla unas cuantas más adelante. Puede que se sorprenda de lo que encuentre.

6. No olvide la actuación. Las pruebas de rendimiento deben considerarse parte de su diseño y optimización. Incluso un pequeño aumento en la carga de páginas puede estropear lo que de otro modo sería un diseño ganador. El peso y la carga de las páginas deberían probarse junto con otras pruebas. He visto perder en las pruebas ganar solo por problemas de rendimiento.

Para obtener más información sobre cómo empezar, eche un vistazo a estas diapositivas.