Qué es un test A/B

Investigación

Lo primero que tenemos que hacer es recopilar todos los datos disponibles, tanto cuantitativos como cualitativos. Hay veces que los datos cuantitativos nos muestran un problema, pero no nos lo describen. Vemos que hay un problema pero no nos dicen el por qué, para ello podemos echar mano de los datos cualitativos que nos pueden arrojar luz sobre la problemática que planteamos.

Nuestro proceso de investigación, UX research, tiene como resultado la definición del Buyer Persona y del Customer Journey, dos de las áreas que debemos tener claras antes de comenzar un test AB.

Hipótesis

Una hipótesis es un enunciado no verificado que se pone a prueba para determinar su validez. Además, una hipótesis debe de ser clara, verosímil y medible.

El planteamiento de una hipótesis viene de la teorización del problema en función de la documentación recogida. Es decir, toda hipótesis está respaldada por un marco teórico. Aquí no tienen cabida hipótesis como «yo creo que…» «a mi me parece…» nada de eso vale, aquí entran fundamentos teóricos y datos tanto cuantitativos como cualitativos. Como decimos esta hipótesis tiene que ser clara, cuantificable y que guarde una relación entre las variables. También hay que recordar que una hipótesis no tiene porqué ser necesariamente verdadera, puede no serlo o no comprobarse.

Priorización

La decisión de lanzamiento de un test o experimento ha de realizarse bajo un criterio de priorización objetivo para eliminar el clásico problema de “todo es importante”, lo que implica que nada lo es.

A nivel estándar disponemos de tres sistemas de priorización de base que utilizaremos para priorizar con un criterio objetivo.

• Método ICE. Este método toma el nombre de las iniciales de Impact, Cost y Effort ( Impacto, coste y esfuerzo). En función del peso de cada una de estas variables en aquello que queremos someter a un experimento, su prioridad variará.
• Matriz del método ICE. En las columnas se ubican los factores de priorización. Las acciones a ejecutar las listamos en cada celda. La primera columna (impacto se valora 2 o 0 (alto o bajo); la segunda columna (coste) se valora con 0 o 1  (alto o bajo) y la última columna (esfuerzo) se valora con 0 o 1 (alto o bajo).
• Método PIE. A diferencia del método ICE, que no es un método “digital”, el PIE es un sistema específicamente pensado para los casos de test y experimentación en activos digitales, diseñado y desarrollado por la empresa Widerfunnel. El nombre de PIE procede de las siglas de Potential, Importance y Ease (potencial, importancia y facilidad).
• Método CXL. El método de priorización PXL ha sido desarrollado por CXL y está específicamente diseñado para la priorización de test y experiencias digitales.  La ventaja principal del método PXL es que intenta objetivar el concepto de “importancia” y también facilitar una métrica clara para la facilidad de implementación. Por ello, define un sistema de puntuación claro a partir de diferentes variables para cada atributo. El rango de posibles puntuaciones es muy amplio, lo que facilita priorizar conjuntos de acciones o posibles experimentos muy numerosos.

Diseño de soluciones

Tras haber analizado los datos y construido una buena base de hipótesis para cada punto de mejora identificado, es el momento de diseñar al menos una solución tentativa para cada uno de esos puntos, dependiendo de cuál sea el origen del problema que hemos identificado.

Definición del experimento

Según la hipótesis que planteamos deberemos de definir las diferentes variables:

Variable independiente: La variable independiente es la variable que manipulamos. Por ejemplo, si en test A/B cambiamos el color de una «Llamada a la acción» el color del botón será nuestra variable independiente.

Variable dependiente:  La variable dependiente es la variable que medimos y que, según nuestra hipótesis variará según manipulemos la variable independiente, de ahí su nombre, esta variable depende de la independiente. Siguiendo con el ejemplo si nuestra hipótesis es que «Aportando más contraste al color de la llamada a la acción aumentarán el número de clic» nuestra variable dependiente será el número de clics en el botón.

Variables extrañas: En todo experimento hay una serie de variables extrañas que interfieren en los resultados. Dado que nuestro objetivo es que los cambios en la variable dependiente sean producidos por la variable independiente, debemos de controlar todas aquellas variables extrañas que puedan enturbiar los resultados.

¿Cuáles suelen ser las variables extrañas más comunes?

• Tipología de tráfico.
• Tipología de dispositivo.
• Lanzamiento de campañas.
• Países, nacionalidades o elementos culturales.
• Usuarios nuevos o recurrentes.

Tipos de Test A/B

Test A/B

Como hemos descrito con anterioridad un test A/B es una técnica que nos permite evaluar una sola variable entre las variables a testar, lo que nos permite una atribución clara.

Test multivariante

En ocasiones puede resultar útil comparar más de dos versiones de una misma página, por ejemplo, siguiendo con el ejemplo de la llamada a la acción, en el test A/B sólo comparábamos una variable pero en el test multivariante podemos comparar:

• Posición del botón: «derecha» y «centro».
• Texto del botón: «Regístrate» e «Inscríbete».
• Icono en el botón: Con o sin icono.

Con una prueba multivariante lo que pretendemos comprobar es cuál de todas las configuraciones posibles ofrece un resultado mejor. Un tipo de test multivariante son los anuncios dinámicos de Facebook Ads, en los que combinan los diferentes textos, títulos e imágenes para ver cual ofrece un mejor resultado.

Multipágina o Split 

Este tipo de test lo que nos permite comparar son páginas totalmente diferentes o versiones diferentes, es decir, los modelos guardan poca similitud entre sí. Aquí mostramos a un mismo público dos o más páginas diferentes pero con el mismo objetivo y medimos cual obtiene mejores resultados. Este tipo de test no nos permite atribuir el éxito a algún elemento concreto.

Personalización

En esta ocasión, se tienen en cuenta múltiples variables para generar no un test, sino una experiencia ajustada a las variables que se han podido interpretar.

Para realizar el testing correctamente debemos plantear el volumen de tráfico que queremos destinar a dicho test A/B (irá relacionado con la fiabilidad) y los segmentos de sesiones que vamos a incluir. 

Segmentos y distribución a tener en cuenta

Los principales segmentos que debemos tener en cuenta cuando hacemos Testing A/B son: 

• Desktop/ Smartphone: 

La pantalla y el dispositivo puede hacer que una misma solución se resuelva de manera diferente, generando resultados dispares a la hora de interpretar los resultados de los test.

• Países: 

La cultura y el comportamiento de los usuarios también puede hacer que los resultados sean diferentes. Por eso, es importante tener este dato en cuenta. 

• Líneas de negocio: 

Antes de comenzar nuestro testing A/B debemos tener en cuenta si es un producto de compra impulsiva o reflexiva. Este factor también hará que el resultado del test sea diferente. 

• Tipo de tráfico:

Los resultados serán muy diferentes dependiendo de donde proceda el tráfico que recibamos. Por ejemplo, el tráfico directo u orgánico ya nos conoce, Adwords se orienta a visitas de primer cliente y el mail suele tener unos ratios altos. 

• Momento temporal: 

Es importante conocer al máximo el negocio, por eso en Bring realizamos una inmersión completa. Cada negocio digital tiene picos de ventas o conversiones y este momento puede generar resultados diferentes. Por ejemplo, un periodo navideño o de rebajas puede condicionar los resultados del testing. 

• Climatología:

En determinados modelos de negocio; la climatología es un factor importante si hablamos de demanda y venta de los servicios o productos que vendemos. Un ejemplo sería la temporada de nieve y el equipamiento para la práctica de esquí o snowboard. 

Tamaño de la audiencia y tiempo estimado para la realización de una prueba A/B 

Como ya hemos dicho, hay aspectos o variables que no podemos controlar, pero debemos minimizar al máximo los riesgos de nuestras pruebas. Para ello es necesario saber el tamaño de la audiencia que necesitamos y el tiempo para la realización del testing. 

Existen aplicaciones gratuitas como la calculadora de significancia estadística de A/B Tasty  dónde podemos calcular la muestra mínima necesaria y la duración en base a nuestra audiencia, conversiones e información como el efecto mínimo detectable. 

Diferencia entre población y muestra

Población se refiere al universo, conjunto o totalidad de elementos sobre los que se investiga o hacen estudios. Muestra es una parte o subconjunto de elementos que se seleccionan previamente de una población para realizar un estudio.

Características de la muestra

• Homogeneidad. Debe de tener una distribución normal de las características de la población.
• Aleatoriedad. La muestra debe de  asignarse al azar.

Cómo interpretar los resultados en un test A/B

Como ya sabes, el objetivo de un test o experimento A/B no es otro que el poder demostrar con datos consistentes la idoneidad de una acción, garantizando una mejora en el rendimiento de la conversión. 

Otro de los objetivos de realizar testing en un sitio web es la experimentación como parte de un proceso ágil para la comprobación de diseño en productos digitales. Por eso, los datos deben estar muy bien contextualizados. 

En la página de resultados de las diferentes herramientas podemos encontrar la siguiente información:

• Muestra impactada
• Días de ejecución
• Filtros aplicados
• Conversiones
• Porcentaje de conversión
• Porcentaje de mejora de cada versión

Tras la ejecución de los test o experiencias de personalización es el momento de recoger los datos que hemos obtenido y hacer un análisis de ellos para valorar no solo la idoneidad de los cambios propuestos, sino también si la información que obtenemos nos sirve para mejorar en cualquier otra faceta de producto digital.

En general, a la hora de realizar un test hay tres tipos de resultados habituales:

• El test alcanza significancia estadística
• El test no alcanza significancia estadística, es inconcluso.
• El test arroja un resultado negativo con significancia estadística.

Hay un punto importante a la hora de interpretar los datos y es entender que la significancia estadística, el conocido como valor p es un valor que varía, no es fijo y fluctúa. Por tanto recomendamos no detener el test aunque observamos una significancia del 95% (la probabilidad de que un resultado no se deba al azar) si el tamaño de la muestra procesada no es el que fijamos al inicio.

Los aprendizajes extraídos del test generalmente se traducen en:

• Quick Wins. 
• Identificación de patrones de comportamiento.
• Relaciones causa-efecto.
• Incorporar aprendizajes a un proceso de diseño iterativo.
• Nuevas líneas de investigación.