9 Exemplos de teste A / B de empresas reais

Se você deseja aumentar a receita, inscrições, compartilhamentos sociais ou engajamento, Teste A / B e otimização pode ajudá-lo a chegar lá.Mas, para muitos profissionais de marketing, a parte difícil dos testes A/B geralmente é encontrar o teste certo para gerar o maior impacto, especialmente quando você está apenas começando.

Então, qual é a receita para o sucesso de alto impacto?

Na verdade, não existe uma receita única para todos. O que funciona para uma empresa não funcionará para outra – e vice-versa.

Mas só porque você não pode replicar o mesmo teste e esperar o mesmo resultado, não significa que não possa se inspirar nos testes de outras empresas.

Nesta postagem, vamos revisar como uma hipótese o ajudará a iniciar seus testes e analisar excelentes exemplos de empresas reais usando testes A/B. Embora os mesmos testes possam não fornecer os mesmos resultados, eles pode inspire-se para realizar seus próprios testes criativos.

Exemplos de hipóteses de teste A/B

Uma hipótese pode fazer ou quebrar seu experimento, especialmente quando se trata de testes A/B. Ao criar sua hipótese, você quer ter certeza de que ela é: 

1. Focado em um problema específico que você deseja resolver ou compreender
2. Capaz de ser provado ou refutado
3. Focado em causar impacto (trazer taxas de conversão mais altas, taxa de rejeição mais baixa, etc.)

Ao criar uma hipótese, seguir a estrutura “Se, então” pode ser útil, onde se você alterasse uma variável específica, um resultado específico aconteceria. Aqui estão alguns exemplos de como isso seria em uma hipótese de teste A/B: 

• Reduzir os formulários de envio de contato para conter apenas os campos obrigatórios aumentaria o número de inscrições. 
• Alterar o texto da frase de chamariz de “Baixe agora” para “Baixe este guia gratuito” aumentaria o número de downloads. 
• Reduzir a frequência das notificações de aplicativos móveis de 5 vezes por dia para 2 vezes por dia aumentará as taxas de retenção de aplicativos móveis.
• Usar imagens em destaque que sejam mais contextualmente relacionadas às postagens do nosso blog contribuirá para uma taxa de rejeição mais baixa. 
• Cumprimentar os clientes pelo nome em e-mails aumentará o número total de cliques.  

Vejamos alguns exemplos reais de testes A/B para prepará-lo para o seu próprio. 

1. Pesquisa de site da HubSpot

A maioria dos sites contém uma barra de pesquisa na parte superior da página que permite aos usuários pesquisar um tópico ou termo específico.

Com base em dados anteriores, a HubSpot descobriu que os usuários de desktop que não rejeitam e que se envolvem com a pesquisa têm uma taxa de conversão de leads de blog 163.8% maior do que aqueles que não o fazem. No entanto, apenas uma pequena porcentagem do tráfego do blog interage com a barra de pesquisa. É por isso que a HubSpot decidiu testar o destaque visual e a funcionalidade da barra de pesquisa do site.

A HubSpot usou três variantes para este teste, usando a oferta de visualizações de páginas de agradecimento como métrica principal.

Para a variante A, a barra de pesquisa do site aumentou o destaque visual e alterou o texto do espaço reservado para “pesquisar por tópico”.

Para a variante B, a barra de pesquisa aumentou o destaque visual, o texto do espaço reservado foi alterado para “pesquisar por tópico” e a função de pesquisa pesquisou no blog, em vez de em todo o site.

Para a variante C, a barra de pesquisa aumentou o destaque visual, o texto do espaço reservado foi alterado para “pesquisar no blog” e a função de pesquisa pesquisou no blog, em vez de em todo o site.

Como resultado, a HubSpot descobriu que todas as três variantes aumentaram a taxa de conversão. No entanto, a variante C apresentou um aumento de 3.4% na taxa de conversão e um aumento de 6.46% no número de usuários que engajam na barra de pesquisa.

2. Design da página de destino do Groove

Todo profissional de marketing terá que construir uma landing page em algum momento. Mas construir uma landing page que converta é difícil.

A Groove experimentou isso em primeira mão quando a empresa soube que uma de suas páginas de destino estava convertendo apenas 2.3%.

No entanto, o Groove não sabia por que a página não estava sendo convertida. Para descobrir isso, sua equipe fez uma jornada. Eles procuraram recursos e conversaram com especialistas em marketing para descobrir por que seu site não estava funcionando.

Foi quando a empresa descobriu que as mensagens estavam totalmente erradas. Para descobrir como atrair seus clientes, a Groove decidiu entrar em contato e realmente conversar com usuários reais.

Então, quando a equipe reconstruiu sua página de destino, eles se concentraram primeiro na cópia e depois no design. Somente quando a cópia estava totalmente finalizada e aprovada é que iniciaram o aspecto visual do design.

No geral, os ajustes nas mensagens dobraram as conversões para 4.7%.

Image Source

3. Design criativo da página inicial da Csek

A cópia em sua página inicial é importante porque ajuda os usuários a decidir se desejam continuar a pesquisar mais profundamente seu site.

Neste exemplo, uma agência digital decidiu testar o slogan em sua página inicial. Em última análise, o objetivo era diminuir a taxa de rejeição.

Antes do teste A/B, o slogan de Csek dizia: "A Csek Creative é uma agência digital sediada em Kelowna que oferece resultados que fazem sentido para os negócios.

Image Source

Para tornar a cópia menos vaga e mais explicativa dos serviços que oferecia, a Csek Creative alterou o palavreado para: “Csek Creative é uma agência digital que ajuda empresas em suas necessidades de marketing online e offline.”

Image Source

Esperando resultados menores, essa mudança resultou em um aumento de 8.2% nos cliques para outras páginas do site.

4. Banners do site da Humana

Muitas páginas de destino exibem banners grandes no topo da página. Isso é um bem valioso e, se o banner não for ideal, pode acabar causando mais danos do que benefícios.

É por isso que Humana, uma seguradora de saúde, decidiu testar os banners de suas páginas de destino.

No controle, a Humana vinha usando um banner que exibia muito copy, um CTA fraco e nenhuma mensagem clara e concisa.

Image Source

Porém, para a variação B a empresa decidiu simplificar a mensagem. Essa variação acabou recebendo 433% mais cliques que o controle.

Image Source

Humana não parou por aí. Assim que a variante B obteve sucesso, a empresa decidiu torná-la o novo controle e quis testar o CTA.

Com a variação C, a Humana mudou a linguagem do CTA para incluir uma linguagem que era mais difícil de vender, como “Loja”. A empresa decidiu que esta seria uma boa abordagem porque os clientes que se inscrevem no Medicare têm um período limitado para tomar uma decisão.

Image Source

A mudança no idioma resultou em um aumento de 192% no número de cliques.

Exemplo de teste A/B de e-mail

5. E-mail da HubSpot vs. Central de notificações no aplicativo

Coletar avaliações de usuários nem sempre é uma tarefa fácil. É por isso que a HubSpot decidiu testar formas A/B de alcançar os clientes. Os métodos testados? Notificações no aplicativo versus e-mail.

A HubSpot decidiu enviar uma notificação no aplicativo e um e-mail alertando os usuários de que eles eram os usuários campeões do mês e receberiam um vale-presente de US$ 10 se deixassem um comentário no site Capterra.

Para a variante A, a HubSpot enviou um e-mail de texto simples aos usuários.

Para a variante B, a HubSpot usou um modelo de e-mail de certificação.

Para a variante C, a HubSpot enviou uma notificação no aplicativo.

A HubSpot descobriu que, diferentemente dos e-mails, as notificações no aplicativo costumam ser ignoradas ou perdidas pelos usuários. Os e-mails superaram as notificações no aplicativo em 1.4x. Dos dois e-mails, 24.9% dos que abriram o e-mail deixaram um comentário, em comparação com 10.3% dos que abriram a notificação no aplicativo.

6. Tweet da Unbounce vs. CTA por e-mail

Na maioria das páginas de destino, os profissionais de marketing normalmente pedem aos usuários um endereço de e-mail para entregar suas ofertas de conteúdo.

No entanto, a Unbounce decidiu testar se os clientes prefeririam fornecer um endereço de e-mail ou apenas twittar sobre um produto.

Ambas as opções têm prós e contras para a empresa. Pedir um endereço de e-mail significa que sua empresa pode construir uma lista de clientes em potencial, enquanto pedir às pessoas que tweetem pode criar um impulso viral e aumentar a exposição social.

A primeira página de destino deste teste A/B pedia aos usuários que fornecessem seus endereços de e-mail em troca de um e-book.

Image Source

A segunda landing page pedia aos usuários que enviassem um tweet em troca do e-book.

Image Source

No geral, as pessoas preferiram fornecer um endereço de e-mail. No final, a landing page do email teve um aumento de conversão de 24%.

Exemplo de teste A/B móvel

7. Chamadas para ação móvel da HubSpot

A HubSpot usa várias frases de chamariz diferentes em suas postagens de blog. Por exemplo, neste blog, você notará um texto âncora na introdução, um CTA gráfico na parte inferior e um CTA deslizante ao rolar pela postagem.

No entanto, em dispositivos móveis, esses CTAs podem parecer intrusivos. É por isso que a HubSpot testou CTAs móveis.

Testes A/B anteriores revelaram que o público móvel da HubSpot tinha 44% mais probabilidade de clicar para acessar a página de destino de uma oferta e 18% mais probabilidade de converter na oferta se todos os CTAs fossem retirados das postagens do blog e houvesse apenas uma barra de CTA no parte inferior da página sem capacidade de sair.

Portanto, a HubSpot decidiu testar diferentes versões da barra de CTA na parte inferior da página, usando visualizações de páginas de agradecimento como métrica primária e cliques de CTA como métrica secundária.

A HubSpot usou quatro variantes para este teste.

Para a variante A, o controle, a colocação tradicional dos CTAs permaneceu inalterada.

Para a variante B, o CTA tinha uma opção de maximizar/minimizar para que os leitores pudessem dispensar o CTA. Isso pode ser feito por um cursor para cima/para baixo.

Para a variante C, o CTA tinha um X que o dispensaria completamente do posto. Neste ponto, não haveria CTA formal no blog.

Para a variante D, o CTA não tinha opção X ou minimizar/maximizar.

No geral, a variante B registou um aumento de 7.9%, a variante C registou uma diminuição de 11.4% e a variante D registou um aumento de 14.6%.

A partir desses números, a HubSpot conseguiu projetar que o uso da variante D em dispositivos móveis levaria a cerca de 1,300 envios adicionais por mês.

8. Design de integração móvel da Houseparty

Houseparty é um aplicativo social onde os usuários podem conversar cara a cara com seus amigos próximos. A empresa tinha o objetivo de melhorar gradativamente a funcionalidade e o design do aplicativo sem causar quedas significativas nas métricas, por isso optou por usar vários testes A/B. 

Uma das coisas que a Houseparty pretendia melhorar foi o funil de integração e como os usuários são solicitados a adicionar amigos por meio de notificações push. Originalmente, os usuários recebiam solicitações de permissão para acessar seus contatos telefônicos com pouco contexto, e a maioria dos usuários clicava em “Não permitir” (como mostra a imagem abaixo), dificultando a conexão com amigos no aplicativo. 

Image Source

Depois de executar testes A/B para melhorar essa experiência para os clientes, a Houseparty notifica os usuários sobre notificações pop-up e seu contexto antes que elas ocorram para entender por que conceder acesso é importante (conforme mostrado na imagem abaixo). 

Image Source

A versão final, que passou por testes A/B, descobriu que os usuários enviaram 2 vezes mais solicitações de amizade no primeiro dia e houve um aumento de 15% nas permissões de acesso aos contatos. 

9. Exibição do menu HelloFresh

HelloFresh é um serviço de assinatura de kit de refeição que oferece receitas para usuários globais. À medida que sua base de usuários crescia, a contagem de receitas crescia, mas ficava mais difícil para os usuários navegar pelo aplicativo e encontrar o que precisavam. 

A empresa decidiu redesenhar suas páginas de menu para uma experiência de usuário perfeita e, ao mesmo tempo, chamar a atenção para oportunidades de upsell. HelloFresh realizou um experimento que comparou o impacto da exibição do menu de controle original com uma nova versão. A imagem abaixo mostra a exibição do menu de controle. 

Image Source

E a imagem abaixo mostra a variante e a versão final, que contribuiu para um aumento de 7% na receita de upselling. 

Image Source

Conclusões sobre testes A/B para profissionais de marketing

Muitos fatores diferentes podem ser incluídos nos testes A/B, dependendo das necessidades do seu negócio. No entanto, existem algumas coisas importantes a serem lembradas: 

• Todo teste A/B deve começar com uma hipótese focada em um problema específico que você pode testar. 
• Certifique-se de testar uma variável de controle (sua versão original) e uma variável de tratamento (uma nova versão que você acha que terá melhor desempenho). 
• Você pode testar várias coisas, como páginas de destino, CTAs, e-mails ou designs de aplicativos móveis. 
• A melhor maneira de entender se seus resultados significam alguma coisa é determinar a significância estatística quando o experimento terminar. 
• Há uma variedade de metas nas quais se concentrar nos testes A/B (aumento do tráfego do site, taxas de rejeição mais baixas, etc.), mas elas devem ser testáveis ​​e capazes de serem apoiadas ou refutadas. 
• Ao testar, certifique-se de dividir seus grupos de amostra de forma igual e aleatória, para que seus dados sejam viáveis ​​e não devidos ao acaso. 
• Aja com base nos resultados obtidos.

Todas essas empresas obtiveram resultados surpreendentes porque começaram ensaio. Se quiser obter os mesmos resultados, você também precisa começar. Para obter mais informações, confira o webinar sob demanda “Otimize seus canais de marketing online”, hospedado por Optimizely e HubSpot.

Nota do editor: este post foi publicado originalmente em outubro de 2014 e foi atualizado para ser abrangente.

Fonte: https://blog.hubspot.com/marketing/ab-testing-experiments-examples