Ejercicio App Cobro con Celular

[pic 1][pic 2]

[pic 3]

Experiment Design

Case Study: App Cobro con Celular

*Disclaimer: Todos los datos de negocio presentados en este caso son ficticios, adaptados a la finalidad del ejercicio, y no constituyen de ninguna forma información interna del producto o empresa.

Ejercicio App Cobro con Celular

Parte 1: Llena todos los elementos resaltados en amarillo

• Utiliza el modelo de growth como apoyo

Contexto de negocio

Supongamos que en este “case study” que estamos evaluando el modelo de growth de un app que le permite a vendedores cobrar desde sus celulares en vez de usar un POS tradicional.

Una buena métrica North Star (NSM) para un servicio como este es el “Gross Processing Volume:” es decir, la cantidad de dinero que tranza en el aplicativo. Esta es una buena métrica north star porque refleja el momento en el cual el cliente experimenta la propuesta de valor del producto: poder cobrar por sus productos/servicios.

Además, esta NSM es un buen proxy de los ingresos del negocio, ya que por cada dólar transado, la empresa toma una comisión.

En la celda G72 del modelo de growth, podemos ver que el GPV mensual inicial es de 1 millón. En la misma línea (72) podemos ver el GPV de cada mes y en particular, que en el mes 12, el GPV mensual alcanza los 2.157 millones de dólares. Este es el GPV mensual al final del año con los supuestos de growth actuales (también lo puedes encontrar el GPV en el mes 12 en el cuadro de arriba a la izquierda). Al optimizar el funnel de growth, esta es la métrica principal que queremos impactar.

Supuestos del caso:

• NSM = Gross Processing Volume (per month)
• GPV = MAU * #Transacciones por Usuario por Mes * Monto Promedio de Transacción

• MAU es la línea final en el funnel de growth
• # de Transacciones por usuario por mes

• Al Iniciar:

• GPV = 1,250 * 25 * 32 = 1,000,000
• GPV Mes 0 = $1,000,000
• GPV en Mes 12 (con supuestos actuales) = 2,157,842

El Caso

Como podemos ver en la fórmula de GPV, la cantidad de usuarios activos mensuales (MAU), actualmente en 1,250, es clave para el negocio. En el modelo cuantitativo de growth, se puede apreciar que el cuello de botella principal en crecer los Monthly Active Users está en la etapa de Activación.

El equipo de adquisición está haciendo un muy buen trabajo en adquirir nuevos usuarios, pero la mayoría de estos se caen en el proceso de activación de tal manera que sólo alrededor de 2% de los nuevos usuarios adquiridos se convierten en New Monthly Active Users (línea 55). Con el fin de revertir esta tendencia, la empresa decide realizar varios experimentos con el foco en mejorar el funnel de activación.

[pic 4]

Como parte del esfuerzo, el equipo de analítica de datos descubre que en el proceso de navegación, más del 50% de los usuarios no encuentran el botón que inicia el proceso para poder efectuar un pago por primera vez–un paso clave en el proceso de activación.

Para solucionar este problema, el equipo quiere evaluar si cambiar el color del botón  “Iniciar Transacción” a uno más visible incrementará su click-through-rate (CTR). Casos similares en otras empresas han demostrado que botones con colores más llamativos suelen tener mayores tasas de conversión (CTR). El color actual del botón sigue el mismo esquema de color de todo el aplicativo: verde claro. El equipo quiere experimentar con azul y rojo y evaluar si esto incrementará el  click-through-rate (cell G51).

Resumen del contexto del experimento:

Recursos:

Paso 1: Definición de Hipótesis

En base a los supuestos brindados, define la hipótesis experimental:

__________________________________________________________________

__________________________________________________________________

* Recuerda los componentes que vimos en clase:

• El tratamiento:
• La métrica objetivo:
• El impacto:
• La justificación:

Paso 2: Determina el tipo de prueba que implementarás

Tipo de Prueba: ______

Variaciones:

1. Grupo Control  ______
2. Grupo ______

* Recuerda que hay tres tipos de pruebas:

1. El A/B Test: cuando tienes dos variaciones de una variable
2. El A/B/n Test: cuando tienes múltiples variaciones de una variable
3. Test Multivariables: cuando tienes más de dos variables, cada una con dos o más variaciones

* Hint: el tipo de prueba depende del tratamiento. En este caso, el tratamiento tiene una variable (color) con tres variaciones (verde, rojo y azul).

Paso 3: Determina las Métricas Guardrail que monitorear a través de tu experimento

Métricas guardrail:

1. ____
2. ____
3. ____

* Recuerda que dos importantes tipos de métricas guardrail son:

• De negocio
• De experiencia de usuario
• Específicas al experimento

* Consideraciones:

...