O que é teste A/B?
Simplificando, o teste A/B é um experimento aleatório com duas variantes: A e B. Ele compara duas versões da mesma variável e verifica qual delas atingiu o efeito desejado. Um aspecto crucial dessa técnica é que você precisa ter hipóteses e critérios claramente definidos para o sucesso antes do teste. Basicamente, qual é o efeito que você deseja alcançar? É uma taxa de cliques mais alta ou talvez um CPM mais alto? Seja o que for, você precisa ter certeza antes do início do teste.
Por que você deve realizar testes A/B?
O principal benefício do teste A/B é que ele muda a perspectiva de “eu acho” para “eu sei”. Você pode tomar sua decisão com base em dados concretos que apontam para a melhor solução, em oposição a uma abordagem de “acertar e esperar”.
PUBLICIDADE
Testes A/B em publicidade programática
Em um mundo ideal, toda vez que você, como editor, considerar a implementação de uma nova tecnologia, seja um novo sistema de Header Bidding, uma solução automatizada de gerenciamento de preços ou apenas um novo formato de anúncio que você deseja comparar com seu antecessor ou uma alternativa , você deve ser capaz de tomar uma decisão informada sobre o que realmente funciona. Infelizmente, muitos fornecedores de tecnologia consideram uma prática recomendada testar sua solução em relação à configuração existente. Se eles não quiserem fazer o teste A/B, a pergunta óbvia é: eles estão preocupados que sua solução não corresponda ao hype?
Como fazer o teste A/B?
Embora, em sua essência, o teste A/B seja direto, há várias etapas lógicas que você deve seguir para obter os resultados mais confiáveis:
Procure lugares para otimizar
Colete insights sobre a eficiência do seu Header Bidding, estratégia de preços e outros aspectos do ecossistema programático. Procure oportunidades para melhorar seu desempenho.
Definir sucesso
As metas que você define são o que você usará posteriormente para determinar qual variante teve mais sucesso. Portanto, torne-os muito específicos para garantir que não haja espaço para suposições.
Crie uma hipótese
O que você prevê que vai acontecer? Por quê? É importante fazer algumas previsões, mesmo que não sejam suportadas pelos seus dados. Ainda é uma oportunidade de aprendizado.
Gerar variações
Aqui você divide seu tráfego em experimental e controle (idealmente 50/50). Tradicionalmente, o experimental será a nova solução, técnica ou estratégia brilhante; e o controle é o que você tem feito até agora.
Execute o experimento
Apenas faça! Nesse ponto, seu tráfego será dividido em controle ou uma variação de sua experiência. Dependendo de seus recursos, seria ótimo se as variações fossem distribuídas igualmente e os testes fossem realizados ao mesmo tempo e dentro da mesma área geográfica para manter as outras variáveis o mais constantes possível.
Analise os resultados
Agora você pode executar a análise estatística para determinar se houve uma diferença estatística entre as duas variações. Assumindo que há uma diferença; e com base em sua definição de sucesso e nas hipóteses que você criou seguindo os pontos 2 e 3, você pode facilmente dizer qual variação saiu vitoriosa.
Se a sua escolha foi a vencedora – muito bem! E se você não previu a opção mais bem-sucedida – isso também não é um problema. O teste A/B é sempre uma oportunidade de aprendizado, mesmo que isso signifique permanecer com a solução ou configuração existente. E se o experimento não produzir resultados, o que significa que não houve diferença significativa, volte para a prancheta. Você sempre pode gerar novas hipóteses ou novas métricas de sucesso e sempre pode realizar um novo teste.