Episodio 15: Pruebas A / B: El (no tan) santo grial de la optimización de la conversión

TRADUCCIÓN DE ESTA SECUENCIA DEL PODCAST

¡Hola! Mi nombre es Jörg Dennis Krüger y como mi enrollador de tambor de cable de salchicha en la recepción acaba de decir: Sí, soy el hacker de conversión. Y este episodio de podcast de piratería de conversiones trata sobre las pruebas A / B.

Cualquiera que me conozca, que me conozca un poco más, sabe que las pruebas A / B son uno de mis temas básicos absolutos. Comencé las pruebas A / B en 2008 con el tema, y ​​en 2006 incluso comencé un tema para Omniture. Mientras tanto, es Adobe Test y Adobe Target, estos son productos antiguos que usamos e introdujimos en grandes empresas como DKV, Allianz o similares en ese momento. Y eso significa que, dado que las pruebas A / B y mi libro, que se publicó en 2011, están impulsando la conversión con las pruebas de sitios web, no es sin razón que sea exactamente lo mismo.

Mi libro sobre pruebas A / B

Aumento de la conversión con las pruebas de sitios web, porque el enfoque del libro ya está en gran medida en las pruebas A / B. Presentaré el modelo de impulso de conversión, cómo abordar el tema de la optimización y prueba de sitios web, y le mostraré cómo probar, cómo evaluar períodos de tiempo. La la la la. Pero debo decir que he aprendido un poco más mientras tanto, porque la optimización no se trata de probar. Quiero decir, las pruebas crecieron gracias a Barack Obama, porque en su campaña electoral recolectó muchas más donaciones a través de las pruebas A / B. Y de esta campaña de recaudación de fondos, surgió el proveedor de pruebas A / B de hoy, Optimizely. En principio, eso es lo que de alguna manera se construyó para la campaña de Obama al principio. Por supuesto, muchas cosas han cambiado mientras tanto, Optimizely la mayoría de alguna manera consiguió 80, 90 millones de capital de riesgo para desarrollar aún más la herramienta y así sucesivamente.

Herramientas de prueba A / B: Optimizely, Google Website Optimize & Co.

A pesar de lo sofisticado que es el software ahora, el precio de entrada ahora es muy alto. Por qué no lo recomiendo con tanta frecuencia, pero es una herramienta genial. Así es como todos querían hacer las pruebas A / B, lo que funcionó para Obama, eso también funciona para mí, y así sucesivamente. El gran problema es que la mayoría de las tiendas o sitios web, pero para mí la mayoría de las tiendas, simplemente no son una barra de prueba. ¿Por qué? No tiene suficiente tráfico, porque tal prueba es simplemente un estudio doble ciego completamente normal como lo conocemos por la medicina o la ciencia general.

Resultados estadísticamente significativos

Y para tener suficientes resultados y resultados estadísticamente significativos en un estudio de este tipo, solo necesito suficientes datos y, por supuesto, estos datos siempre son los visitantes de la página del otro lado, la conversión, estos son los dos factores principales que juegan con eso. Y si tengo muy pocos visitantes en el sitio o una tasa de conversión actualmente simplemente demasiado baja y, en su mayoría, ambas cosas. Entonces no obtengo ningún resultado estadísticamente significativo, entonces siempre tengo el problema de que de alguna manera tengo datos, pero si hago un poco de matemáticas, en realidad son todos datos aleatorios. En las herramientas de prueba, esto también se muestra como confianza o importancia.

Y cuando de alguna manera no supera el 60, el 70 por ciento, bueno, el 50 por ciento es un lanzamiento de moneda, el 60, el 70 por ciento no es mucho mejor y, si lo piensa más detenidamente, se da cuenta de que tiene muchos datos. necesita obtener resultados realmente confiables y durante un cierto período de tiempo porque debe probar al menos 7, probablemente incluso 14 días para tener al menos una vez en realidad al menos dos veces por día de la semana.

Período de prueba óptimo para pruebas A / B

Pero no debe realizar la prueba durante demasiado tiempo para no recibir demasiadas influencias externas, demasiado ruido y es por eso que el período de prueba óptimo es de 2 a 6 semanas. Y sí, si no tiene suficientes conversiones y no tiene suficientes visitantes, entonces se vuelve difícil. ¿Qué quieres decir ahora lo suficiente. Entonces, la regla general es: necesito mi mínimo de cien conversiones por variante de prueba. Pero eso es solo una regla general. Si ambas variantes tienen las mismas conversiones, solo tengo una probabilidad de "cincuenta y cincuenta" de qué variante se aplica.

Eso significa que si tengo dos variantes y tengo 200 conversiones, entonces tienen que ser claramente diferentes. Entonces, de 150 a 50 conversiones, por ejemplo. Eso probablemente sería una diferencia significativa si podemos decir que sí, la variante de 150 conversiones es definitivamente mejor que la variante de 50 convergentes. Pero hay un montón de imputados en línea.

Calcular la duración de la prueba

Si solo trabaja en su calculadora o calculadora o algo así, encontrará en todas las ofertas de pruebas A / B, ya sea Optimizely, A / B-Tasty, definitivamente en algún lugar de Adobe y VWO y qué sé dónde, se puede encontrar Si usted Si estos enlaces de prueba calculan su función en todas partes, todo lo que sea ligeramente diferente podría mostrar algunos resultados ligeramente diferentes, porque, por supuesto, hay algunas variables matemáticas más que puede incorporar con ellos. Pero hay una sensación relativamente buena de poder probar la aplicación o no.

Porque nada es peor que planificar una prueba a un gran costo, instalar una herramienta, implementar variantes, iniciar pruebas y luego darme cuenta: no obtengo ningún resultado. ¿Apagas la cosa después de tres, cuatro, seis u ocho semanas y te das cuenta de "sí, mierda, todo el trabajo en realidad fue demasiado"? Así que no tenías que hacerlo, era gratis. Y eso que estás en ningún caso que sea el peor de los casos. Resultados de prueba negativos cuando te das cuenta Oh, este cambio que no funciona en absoluto no es el peor de los casos. Eso está muy bien porque he aprendido algo y queremos trabajar en los particulares para aprender. Queremos conocer mejor a nuestros visitantes.

Aprender a través de los resultados de las pruebas A / B

No siempre te encuentras de inmediato y las conversiones aumentan, es decir, una tasa de conversión aumentada, pero a veces, solo con una disminución, notas que no funciona en absoluto. Hace un tiempo probé algo en una tienda en línea, donde estaba muy, muy seguro de que conduciría a una mayor convergencia, porque de hecho construimos un banner de este tipo en toda la tienda en la parte superior, donde las calificaciones eran de cinco estrellas en Trust. .

De hecho, eso no significó que se vendiera más, al contrario, tuvimos un número significativo de descargas, lo que resultó en una reducción significativa en la tasa de conversión. Por qué. No sé. ¿Por qué es extremadamente difícil para nosotros responder a través de pruebas? Pero sabemos que preferimos dejar que haga otra cosa. Y esa es también la razón por la que cuando crea pruebas de variantes de prueba, debe proceder de la manera más pragmática posible, lo que significa que debe crear variantes muy, muy rápidamente.

Editores maravillosos

No programe una variante durante dos, tres, cuatro, seis, ocho semanas y luego tal vez lo note después de una semana, a menudo sin olvidarlo, sino que lance una variante rápida y prácticamente como un cuadrado. La mayoría de las herramientas tienen editores maravillosos o editores de apuntar y hacer clic. Puede construir una variante rápida y fácilmente con él. Debe tener cuidado, por supuesto, de que todavía se muestre correctamente en todos los navegadores y de que algo no se rompa en el punto y haga clic. Pero, por lo general, puede hacerlo en horas, a menudo incluso en minutos,

Construya una variante de prueba muy útil de la que luego vea si luego ve si funciona bastante bien y luego tal vez ponga más trabajo en ella, realmente programada con precisión y luego implemente la tienda de forma permanente o algo así porque muy a menudo, las estrategias tienden a decir Oh buena idea, puedo hacer eso, sí, puedo programar de inmediato. Ni siquiera necesitamos probarlo en este momento. No, queremos probarlo. Queremos saber si funciona mejor y, de ser así, cuánto mejor. Para que podamos simplemente tomar decisiones y no solo implementar algo después, no sabemos qué genera más conversiones. Una vez trabajé para una gran empresa de alquiler de coches y es muy familiar desde arriba.

Ejemplo: alquiler de coches Sixt

También podrías decir autoritario, incluso si eso, Alexander no hace eso, Konstantin te un poco. Tu papá, por supuesto, que gobierna desde arriba. Pero él también puede hacer eso. En cualquier caso, acaban de lanzar un nuevo sitio web. Debería tener un poco del estilo de Google y esas cosas y aún no has probado nada; acabas de lanzar un nuevo sitio. No sabías qué impacto tendría esto en la tasa de conversión. Luego vine. Pasé un año en sitios web y luego lo probé en el otro país, pero lo lancé en los EE. UU. Y básicamente probé una lógica ligeramente diferente nuevamente. Un poco como antes.

No es un tragamonedas de Google, sino un poco más clásico, como lo conoces por las máquinas de reserva de viajes. Tuvimos un gran impulso y, mientras tanto, el lado alemán ha vuelto a cambiar mucho. Eso significa que acabas de aprender de él. Porque estas “decisiones hipopótamo”, es decir, la Opinión de las Personas Mejor Pagadas, es decir, la opinión de quien más gana, no sirve. Aunque lo sé, Konstantin, no ganas más, solo pagas un pequeño salario, pero definitivamente hay regalías.

El HiPPO

Este Hippo (“Opción de las personas mejor pagadas”) no siempre es bueno, de hecho es exactamente lo contrario. Porque el hipopótamo ("la persona mejor pagada") a menudo no tiene idea de sus clientes, que generalmente están relativamente lejos del día a día. Y luego solo una decisión, incluso peor de alguna manera que la opinión de la mujer o algo así. Pero creo que es mejor implementarlo y eso sin pruebas es, por supuesto, un drama.

Es por eso que las pruebas son algo genial y con empresas tan grandes como este proveedor de coches de alquiler, por supuesto, puede realizar pruebas muy, muy bien, pero curiosamente, no en todos los países porque hay países que simplemente no tienen suficiente tráfico. pruebas. También notará que incluso en empresas tan grandes, el tráfico no es necesariamente tan alto como para poder realizar pruebas con él. Tienes que preguntarte de nuevo si solo quieres hacer pruebas de coartada o si quieres resultados reales.

Entonces primero tengo que averiguar si tengo suficiente tráfico y suficiente para poder probar, luego tengo que hacer pruebas muy pragmáticas con las que puedo generar resultados rápidamente, puedo implementar monitoreo y luego tengo que hacer mi prueba por 14 días, tres semanas, cuatro semanas, un máximo de seis semanas suelto y luego soy bueno en eso. Y si todavía no estoy allí, cuando descubro que no tengo suficiente tráfico para realizar pruebas reales, vuelva al tema de la heurística o las mejores prácticas. Creo que el término científico heurística es de alguna manera más genial porque de alguna manera dice más claramente de qué se trata. Porque una heurística es algo que puede hacer predicciones sobre el futuro con un conocimiento limitado.

Mejores prácticas y heurística para obtener resultados rápidos

Entonces está lloviendo y este es mi paraguas, es un conocimiento limitado si lo uso probablemente me mantendrá seco. Entonces, el paraguas heurístico bajo la lluvia te seca porque no conozco todos los factores. Podría ser que termine mucho ahora y ni siquiera pueda usar la lluvia. Pero funciona bastante bien y no tengo idea de la tienda en línea, puede ser que Slider sea una mierda. Desafortunadamente, en el 98 por ciento de los casos, el transporte no es convergente. Así que, lamentablemente, ya salimos o simplemente así. ¿Dónde se pierden los usuarios? Puede analizar cualitativa y cuantitativamente y luego determinar dónde simplemente interrumpen los usuarios.

Entonces ya puedes echar un vistazo, mira aquí, todos encuentran el botón, hacen clic en sí, todos no ponen nada en el carrito de compras. En primer lugar, no necesito muchas pruebas, pero primero puedo implementar heurísticas, mejores prácticas, y el 80 por ciento de eso es lo que hago con mis clientes. De acuerdo, ¿cuáles son las heurísticas adecuadas para generar más conversiones de inmediato? Entonces, ¿cómo podemos limpiar primero? Entonces, antes de llamar a un interior, de alguna manera también lo llamo.

¿El santo grial de la optimización de la conversión?

Mando al pintor y no inmediatamente en el interior y retumbó, el volcado viene él también dirá Oye, ¿qué se supone que debo estar aquí y las pruebas A / B están en el interior y, hasta que mayormente uno llega con el despeje y el pintor y para a muchos le basta en azul y al pintor también porque el director del internado es tan caro que es posible que ni siquiera pueda poner su valor añadido en él. Así que sigue siendo una buena metáfora al final. Me encanta esa cosa y esa cosa es genial, pero no es el santo grial de la optimización de conversión, no es el santo grial para más ventas en la tienda, porque es esfuerzo y porque tienes que tener suficiente tráfico. En este sentido, vale la pena limpiar la tienda adecuadamente y al final. Aquí hay un consejo para que lo haga usted mismo. Por supuesto que puedes hablar conmigo, pero hazlo tú mismo.

El modelo LIFT para pruebas A / B

Está el modelo de ascensor, desarrollado por Widerfunnel. Esta es una agencia de Canadá. Muchos saludos a Rachel. En cualquier caso, tienen una analogía muy divertida: a saber, comparan un sitio web con un avión. Y un avión necesita algunos conceptos básicos para poder volar: por ejemplo, alas. Esta es básicamente la representación que promete la publicidad en el lado sin alas, no necesitamos hacer nada más sin alas, podemos inyectar tanto queroseno y tener una pista tan larga como queramos y qué sé yo. No funcionará.

Entonces, primero necesitamos alas y luego hay cosas en este modelo que hacen que el avión despegue. Estas son cosas como la confianza y una estructura clara y cosas que mantienen a la aeronave en tierra que son algo así como miedo y distracción. Y luego hay algo más sobre Turbo Boost en el avión. Eso es urgencia y solo hoy en día eso a menudo trae mucho si se pretende honestamente, así que después del modelo de Lyft, si es necesario, busque el modelo de Lyft nuevamente y los enlaces aquí.

En el blog y podcast. Eche un vistazo e impleméntelo como una heurística básica. Porque también soy feliz cuando hablo con tiendas que están fundamentalmente bien hechas y luego no empiezo con lo básico absoluto porque prefiero pintar con una brocha un poco más pequeña que con el rodillo grueso o prefiero cortar con una machete para caminar por la selva. Y sí, pero definitivamente quiero más conversiones. Y creo que puedes hacer muchas cosas bien con los consejos de este podcast. Logre mucho Déme su opinión en los comentarios del podcast. Pero por favor también en iTunes y Spotify porque espero sus comentarios y estoy deseando recibir cinco estrellas.

Con el machete por la selva de la conversión

1 comentario

  • hallo,
    la variante de texto de esta publicación parece haber sido transcrita automáticamente. Desafortunadamente, es muy agotador leer esto. Sin embargo, la contribución es muy valiosa. Tal vez tenga sentido revisar y editar en consecuencia...
    lg + gracias

Deje su comentario