대부분의 A/B테스트는 의미있는 결과를 만들지 못한다

실험은 미디어와 마케팅에 있어서 매우 중요한 파트다. 하지만 많은 내부 테스트들은 의미있는 결과를 만들지 못하고 실패한다.

Econsultancy & Red Eye의 연구에 따르면 약 2/3의 브랜드 마케터들은 전환율을 상승시키기 위해 A/B테스트를 활용한다. 또한 마케터들은 광고의 랜딩페이지를 최적화하기 위해 A/B테스트에 의존한다. 그리고 퍼블리셔는 유저에게 컨텐츠를 개인화하고 트래픽을 이끄는 헤드라인과 이미지를 찾기 위해 A/B테스트를 사용한다.

A/B테스트는 퍼블리셔와 마케터 사이에서 일반적인 것이나, 대부분의 A/B테스트는 통계적으로 유의미한 결과를 만들어내는데 실패한다. UserTesting에서 진행한 3,900명 전세계 전문가들 대상 서베이에 따르면 응답자의 20% 미만의 수가 그들의 A/B테스트 80%가 유의미하다고 언급했다.

Appsumao에 의한 유사한 분석에서는 단지 1/8의 A/B테스트가 의미있는 변화로 이끈다고 결론내렸다. 프로그래머틱 플랫폼 Sonobi의 CPO John Donahue에 따르면 많은 A/B테스트가 유의미한 결과를 만들어내지 못하더라도, 마케터들이 그들의 미디어 플랜에서 A/B테스트를 제거하는 것은 무책임한 것일 수 있다고 한다.

"A/B테스트의 이점은 부정할 수 없습니다. 보통 Creative 프로젝트를 개발하면서 가정이 많이 생기는데, A/B테스트는 이러한 가정을 제거하도록 돕습니다" - Donahue

몇가지 예를 들며, CTA 기능과 광고 헤드라인에 대한 A/B테스트는 마케터에게 페이스북과 같은 광고플랫폼 미디어 예산을 40% 정도 절약할 수 있게 한다고 Donahue는 밝혔다. 리스트형 퍼블리셔인 Ranker가 페이스북으로부터 트래픽을 사들이면서 돈을 벌 수 있는 이유 중 하나는 Ranker가 어떤 잠재고객을 타겟팅해야 저렴한 가격에 도달할 수 있는지를 지속적으로 테스트하기 때문이다.

물론 모든 A/B테스트가 의미있는 결과를 촉진할 것이라 기대하는 것은 비현실적일 수 있다. 그리고 과학자들이 그들의 실패한 실험으로부터 배우는 방식과 유사하게 마케터들은 아무런 결과도 만들어내지 못한 A/B테스트로부터 배울 수 있다.

컨텐츠마케팅 회사 Instinctive CEO Mani Gandham에 따르면 몇몇 테스트들은 나쁜 디자인 때문에 실패하기도 하지만 A/B테스트가 유의미한 결과를 만들어내지 못하는 또 다른 이유는 테스트를 움직이는 샘플링된 트래픽이 확증으로 이끌만큼 충분히 크지 않기 때문이라고 한다. 만약 테스트 샘플 사이즈가 적절하게 고려되지 않으면 마케터들이 "다소 모호한 결과와 아주 미묘한 성과차이를 명확한 신호로 쉽게 오해할 수 있다." 라고 말했다.

현업에서 광고 혹은 On-site의 A/B테스트를 진행하면서 유의미한 결과를 만들어낸 경우가 그렇지 못한 경우보다 훨씬 적었다. 또한 실제로 유의미한 결과를 만들어냈을 때도 샘플트래픽이 충분한지 혹은 통제조건들이 과연 효과적이었는지 등에 대한 의구심을 지우기 어려웠다.

그럼에도 불구하고 A/B테스트를 지속적으로 거듭함에 따라 광고 Creative에 대한 인사이트가 축적되어 갔을 뿐만 아니라 향후에는 디자이너가 아님에도 불구하고 성과데이터를 기준으로 마케터의 Creative 정책을 수립할 수 있게 되었다. 또한 전환 최적화를 위한 지속적인 테스트는 자사 Product의 사용성을 개선하는데 강력한 근거가 될 수 있었다. (A/B테스트가 없는 경우 디자이너,기획자,개발자,마케터 등 다양한 관계자들 간의 의견을 좁히는데 시간이 더욱 소요되기도 한다.)

엄청난 횟수의 A/B테스트를 진행하여 최적화를 이루는 기업의 사례도 있고, A/B테스트에 대한 과도한 믿음을 경계하는 전문가들도 많다. 이러한 테스트는 오래 전부터 어느 산업에서나 존재해왔지만 이것이 디지털화되면서 통제조건들이 더욱 효과적으로 변화했기 때문에 각광받는 것이라 생각한다. 테스트의 기술은 계속적으로 진화하고 있고 머신러닝을 기반으로 Dynamic creative에 대한 다변량 테스트가 국내에서도 활성화된다면 나쁜 디자인에 대한 실패사례도 점차 줄어들지 않을까 조심스럽게 생각해본다. (결국은 AI가 실험의 실패요인들을 점차 줄여주지 않을지)

그리고 나아가 사람에 의한 단편적인 테스트 과정이 셀 수 없는 무한한 테스트와 최적화를 Product가 자체적으로 진행하는 시기가 올 수도 있지 않을까? 머신러닝이 언어를 습득할 뿐만 아니라 나아가 Digital Product의 User interaction에 따라 UI/UX를 자체적으로 진화하면 지금처럼 사람이 가설을 세우고 실험하는 과정이 아예 없어질지도 모르겠다. 그렇게 되면 과연 인간의 Creativity와 AI의 Optimization이 맞붙는걸까?

조금 엉뚱한 질문으로 끝났지만 벌써 바둑에서도 인간은 AI에게 졌다.

본 포스팅은 eMarketer의 Most A/B Tests Don't Produce Significant Results 기사를 참고로 작성되었습니다.