Como aplicar testes A/B no seu negócio de pagamento recorrente

Por Thiago Morello da Supersonic

Rodar um negócio baseado em pagamento recorrente é estar fadado a realizar análises complexas do tipo: será que o plano anual que eu ofereço com desconto vale a pena em relação ao plano mensal?

Felizmente, vivemos a era da mensuração no Marketing (ou pelo menos o despertar dela). Neste post, quero compartilhar alguns pensamentos sobre como a área da Otimização da Conversão (CRO) pode ajudar nessa e em outras missões de quem roda esse tipo de negócio. Vamos lá?

Primeiro, vamos apenas pincelar aqui o conceito de Conversão, para garantir que todos estamos na mesma página. Conversão é uma ação do usuário que pode ser definida como o objetivo da empresa responsável pelo site ou aplicativo. Ela se refere a objetivos de negócio como: realizar uma compra, iniciar um contato comercial ou mesmo iniciar alguma relação com esta empresa. Isso é Conversão. A taxa se refere à porcentagem das pessoas que se deparou com essa possibilidade de ação e efetivamente executou a mesma. E a otimização é simplesmente o processo de melhorar constantemente essa taxa. Agora, estamos todos nivelados.

Falando agora de pagamento recorrente, com um nome autoexplicativo, a receita não é imediata. Ela se inicia em um dado momento do tempo e se encerra em outro. E essa duração, quanto maior, melhor para a empresa. Isso modifica a natureza das ações e das análises. Às ações realizadas para tentar aumentar esse tempo, damos o nome de Otimização da Retenção. E assim como otimizar a conversão, o dono de um negócio baseado em pagamento recorrente precisa otimizar a retenção. O equilíbrio dessas duas empreitadas traz o sucesso financeiro desse tipo específico de negócio.

Os testes A/B

Uma das técnicas mais usadas para Otimização da Conversão é o famoso e incompreendido Teste A/B. A grande sacada do Teste A/B é a de proporcionar um ambiente igualitário para A e para B. Se fizéssemos apenas a troca de A por B, teríamos que comparar períodos diferentes com inúmeras variáveis envolvidas. A análise estaria viciada. Já no Teste A/B, aleatoriamente, metade do seu público é sorteado para A e metade para B. Com o volume correto de visitas e conversões, podemos atingir significância estatística e assim, poder afirmar, com um certo percentual de certeza, que um é melhor que o outro. Aliás, o aleatório tem papel fundamental nesse processo. Não posso escolher quem vai para A ou para B. Guarde isso, pois será necessário mais pra frente.

Falando nisso, é importante frisar: se você roda testes sem atentar para significância estatística, sinto dizer, mas suas descobertas poderiam ser tão precisas quanto outro método bem mais simples: um cara-ou-coroa. Tome cuidado com isso.

Voltando ao pagamento recorrente, uma análise muito comum quando estamos implementando ações de retenção é a análise de coorte. A ideia por trás da análise de coorte é simples: comparar grupos de pessoas no mesmo período em tempos diferentes. Por exemplo, vamos supor que você quer analisar como é sua retenção no segundo mês de pagamento. O grupo A entrou no mês atual, logo, mês que vem, ele estará pronto para entrar na análise. Na verdade, todo mês um novo grupo estará entrando no segundo mês de pagamento, e assim, depois de alguns meses, você terá vários grupos de segundo mês para poder comparar. Por exemplo, se você implementou uma ação de fidelização, vamos supor, um brinde enviado no segundo mês, você vai comparar os grupos antes dessa ação com os grupos pós. A minha taxa de retenção melhorou para o segundo mês e meses seguintes após essa iniciativa?

Só tem um problema. O mesmo que falamos lá em cima. Como você sabe que aquele mês está nas mesmas condições dos meses anteriores? Vamos supor que você faz parte de um clube de assinatura de cápsulas de café (eu sou viciado em café) e paga mensalmente para receber na sua casa sabores especiais de café. Você tem um tratamento A para os seus assinantes. A partir de um dado mês, você decide implementar um novo tratamento: o tratamento B. E você planeja usar a análise de coorte para estudar o que é mais efetivo, ou mesmo, se os custos novos que B trouxeram se pagam no lifetime value adicional proporcionado por ele. Você começa o processo, só que, em um dado momento, sai uma notícia sobre uma investigação que aponta que o café brasileiro é adulterado, mesmo os cafés especiais. Provavelmente, essa nova variável vai destruir seus planos de entender se B é melhor que A. O exemplo foi extremo, mas podem ser coisas bem menores.

Por que não fazer um Teste A/B de retenção? E como diabos eu faria isso? Você pode fazer esse tipo de teste tanto para aquisição como para retenção. Vou explicar.

Para aquisição

Vamos supor que você desconfia que determinada estratégia de conversão de novos pagantes está estragando sua base. Como assim? Quero dizer que ela pode estar até convertendo mais gente a princípio mas está trazendo um público menos qualificado para ficar por um bom tempo como cliente da plataforma (pagando mensalmente, por exemplo). Até aí, nenhum problema. Mas você acredita que, no fim das contas, a receita obtida a longo prazo desse público é menor do que era antes, com um público mais fiel.

Legal, hipóteses são legais. Mas quando são decisões que envolvem milhares ou até milhões de reais, precisamos ter mais do que isso no bolso. Como lidar com isso?

Toda ferramenta de teste, em geral, salva em cookies por qual variação o usuário passou. Ao invés de deixar esse dado isolado na ferramenta de teste ou, quando muito, na ferramenta de Digital Analytics, que tal mandar isso para o CRM? Mande uma flag especificando que aquele seu novo cliente passou pela versão A ou B do seu experimento e, aí sim, comece suas análises comparativas entre os dois públicos. Importante atentar para a significância estatística também nesses casos. Se você lidar com uma quantidade muito pequena de dados, pode aumentar sua margem de erro e tirar conclusões erradas. Uma regra grosseiramente simplista, mas que pode ser útil: faça isso apenas com mais de 200 conversões por mês. Se você opera em um nível abaixo disso, talvez essa estratégia caia no mesmo problema que falamos acima: não vai passar de um cara-ou-coroa. Depois, é brincar em uma ferramenta de dataviz como o Google Data Studio, Tableau ou mesmo o Excel (dica: se você estiver usando muitos dados, pode precisar do Power Pivot).

Para Retenção

E se eu estiver falando sobre uma ação de retenção? O princípio é o mesmo. Anotar no contato por qual variação ele passou, considerar uma amostra relevante e acompanhar durante o tempo necessário para montar uma predição satisfatória de receita futura dos dois públicos, e, claro, compará-los.

Agora, lembrando a questão da aleatoriedade, já vi gente pegando um grupo de teste a dedo. Isso não pode. Você precisa sortear. Vamos supor que você escolha rodar a versão B só com um público específico, por motivos que eu nem imagino, de 18 a 25 anos. Não vai dar certo. Você está aplicando uma tendência a esse grupo de dados. Talvez seja um público menos fiel em relação ao grupo geral. É sempre bom um conhecimento prévio em estatística para brincar com essas ferramentas. Aliás, conhecimento em estatística e análise é o que você mais vai precisar nesses casos. Dica: pare de gastar com ferramentas caras, já que temos ótimas ferramentas gratuitas disponíveis e gaste o mesmo valor com cursos de ciência de dados e estatística.

Se pareceu fácil, tenha certeza: na prática, não é. Você vai sofrer para fazer. Vai precisar ter as pessoas certas no seu time e chamar quem for preciso porque, geralmente, são esforços que valem a pena e se pagam com sobra. Justamente pelo efeito de longo prazo. Mais do que isso, pense nisso como um programa contínuo de otimização do seu serviço de pagamento recorrente. É um investimento mais do que necessário e, com inteligência, vai ser o terror do seu concorrente.