Box and Whisker

Optimize the World

A/B 테스트와 최적화를 동시에 - 그리디밴딧(Greedy Bandit)

박스앤위스커가 만든 A/B 테스트 서비스 그리디밴딧(Greedy Bandit)을 소개한다.

뭐하는 서비스인가?

그리디밴딧 서비스를 이용하면 웹 페이지나 앱 화면 등에서 쉽게 A/B 테스트를 수행할 수 있다. 트래픽 분배, 데이터 수집, 성과 측정, 실험 결과 평가 등을 직접 구현하지 않고도 테스트를 수행하고 실시간으로 현황을 확인할 수 있다.

MAB(multi-armed bandit) 알고리즘에 의해 테스트 진행 중에도 성과를 최적화하는 방향으로 트래픽이 자동 조정된다.

왜 A/B 테스트 엔진인가?

박스앤위스커는 그동안 많은 고객사와 함께 데이터 분석 프로젝트를 진행하며 경험을 쌓았다. 그 과정에서 다양한 분석 기반 서비스를 기획하고 수행하였지만 상당 수의 프로젝트에서 성과를 증명하기 위한 테스트에 많은 노력을 쏟아야 했다. 많은 회사들이 A/B 테스트를 효과적으로 수행하지 못하고 있기 때문이다. 가치 높은 분석 서비스를 제공하기 전에, 테스트 엔진을 만들어서 널리 쓰이게 하는 것이 더 급한 일이라는 판단이 들었다. 개편이 개선인지 알려면 테스트를 해야만 한다. 따라서 첫 번째 서비스로 테스트 엔진을 기획하였다.

다른 제품들과 뭐가 다른가?

MAB 알고리즘에 기반하여 테스트와 실시간 성과 최적화를 동시에 수행한다는 점이 그리디밴딧의 가장 큰 장점이다. 그리디밴딧을 이용하면 더 과감하고 다양한 테스트를 더 오랜 기간 동안 안심하고 수행할 수 있다.

구글 애널리틱스, VWO, Optimizely 등 경쟁 서비스 중 일부도 MAB 알고리즘을 제공하고 있으나 전통적인 A/B 테스트에 대한 간단한 부가 기능 정도로만 구현하고 있다.

타 서비스들은 색상이나 메뉴 구성, 타이틀 변화 등 시각적 요소의 테스트에 중심을 두고 있으나, 그리디밴딧은 더 다양하고 깊이 있는 테스트를 지향한다. 예를 들어, “서로 다른 추천 방법 중에서 더 좋은 추천 알고리즘은 무엇인가?”라는 질문에 대해 실시간으로 답하고, 더 좋은 알고리즘에 더 많은 트래픽을 주는 식으로 활용할 수 있다. UI 측면의 실험 뿐 아니라, 웹 페이지나 앱 화면을 구성하는 알고리즘과 추전 방법 등 보다 복잡한 실험을 지원한다.

A/B 테스트는 웹 페이지나 앱 화면의 색깔이나 메뉴 구성, 타이틀 변화 등을 위한 것만이 아니다. 개선을 위한 모든 변화는 모두 실험 대상이다. 이런 작은 시도들의 성과를 빠르고 쉽게 평가해서 최적화에 다가가도록 돕는 것이 그리디밴딧의 목표다. 이 목표를 달성하기 위해 테스트 알고리즘을 더욱 정밀하게 가다듬고 있으며, 다양한 알고리즘 도입을 고민 중이다. 다양한 테스트 알고리즘의 성과를 평가하기 위해 자체적으로도 A/B 테스트를 수행할 계획이다.

마지막으로, 위에 나열한 서비스들보다 나은 점은 여러분이 한글로 이 글을 읽을 수 있다는 점이다. 개발자들도 한국에 산다. 원한다면 당장 개발자들과 만나서 회의를 할 수도 있다! (진짜다! 메일(whisker@boxnwhis.kr) 주시라!)

이름은 왜 그리디밴딧인가?

Multi-armed banditbanditepsilon-greedy 알고리즘의 greedy를 따와서 greedy bandit으로 지었다.

그리디밴딧은 실험 중에도 최대한 많은 사용자에게 좋은 경험을 제공하는 방향으로 트래픽을 분배하여 고객사의 매출을 극대화한다. 실험의 정확도, 매출, 사용자 경험 중 어느 것도 놓치지 않는 탐욕스러운 악당(greedy bandit)이 되고자 한다.

서비스는 어떻게 이용하면 되나?

애자일 방법론의 철학에 따라 가장 중요한 부분을 먼저 만들어서 빠르게 서비스를 오픈하였다. 따라서 아직 회원 가입 페이지도 없다. 사용하고 싶은 분은 메일 주시면, 수동으로 회원 가입을 진행하고 자세한 안내를 드린다. 나름대로 VIP 서비스를 제공하기 위해 노력 중이다. 한꺼번에 대응하지 못할 정도로 많은 분들이 연락주시면 대기표를 발행할 예정이다.

서비스 이용료는?

유선 협의!

앞으로의 계획

테스트 엔진은 일종의 심판관 같은 역할을 한다. 테스트에 참여하는 variation A나 variation B는 경기에 참가하여 경쟁을 벌이는 선수들이다. 좋은 심판이 공정한 규칙으로 경기를 진행할 수 있는 기반이 마련되면, 그 다음에는 훌륭한 선수를 만들려고 한다. 훌륭한 선수는 경기 규칙을 이해하고 더 좋은 플레이가 무엇인지 알아야 한다. 그동안 박스앤위스커가 제공한 모든 데이터 분석 기반 서비스는 이런 이해를 바탕으로 훌륭한 선수들로 거듭날 예정이다.