[A/B TESTING-④] 수많은 작은 질문들의 미학 ‘개선(Refinement)’과 ‘탐험(Exploration)’

피크쿠멘의 <A / B Testing: The Most Powerful Way to Turn Clicks Into Customers>를 읽으며 정리한 글입니다.

 

---

 

등산을 한다고 생각해보세요. 만약 지도도 없는 우리의 목표가 세계에서 가장 높은 산의 정상에 오르는 거라면, 무턱대고 가장 높은 산부터 오르는 건 좋은 생각이 아닌 거 같아요. 그냥 가까운 동산부터 시작하는 게 더 좋지 않을까요?

모든지 큰 꿈을 갖고 움직이되, 작은 노력부터 차차 해나가야 한다. 하나 둘 오르다보면 어느새 가장 높은 곳으로 올라 와 있을 것이다. 하지만, 여기서 '세계에서 가장 높은 산 등반하기'와 같은 큰 꿈이 없다면, 안일해지기 마련이다. 때문에 목표는 크면 클수록 좋다. 그리고 목표를 향해 한발 두발 나아가면 된다.

서비스 리디자인이나 개선 측면에서 생각해본다면, 낮은 목표를 갖고 프로덕트를 개선해 간다면 이에 대한 안일함은 미세한 레이아웃 조정만을 깔짝 거리는 수준에서 끝나고 말 것이다. 점진적으로. 목표한 더 나은 방향으로 나아가기 위한 서비스 리디자인을 위한 두 가지 접근방식이 있다.

 

#1. 개선(Refinement)과 탐험(Exploration)

 

https://twitter.com/jesseddy/status/1168659526926532609

 

위 그림에서 보이듯 일반적인 개선(Refinement)은 계속해서 한가지 흐름으로만 서비스를 고쳐가는 것이다. 한가지 흐름/방향으로만 시도해보는 것은 최고의 레이아웃, 버튼 색, 버튼 명 등을 놓칠 수 있다. 레이아웃, 버튼 색 등과 같은 최적의 솔루션은 탐험(Exploration)을 통해 발견 가능하다. 탐험은 여러 방향성의 시도와 테스트를 통해 최적의 솔루션을 탐색하지만 목표나 방향성이 명확하지 않을 수 있다. 하지만, 개선은 한가지 거대한 목표를 향해 간다는 점에서 지금 갖고 있는 서비스보다 더 나은 방향을 찾는데 도움을 준다.

 

 

때때로 당신은 더 큰 봉우리가 어디에 있는지 보기 위해 나무 위로 올라가야 한다.

 

---

 

이렇듯 개선과 탐험은 보완적 기법이다. 그렇기에 두 방식을 함께 사용했을 때 가장 효과적이다.

개선을 위해 여러 번의 가설 테스트(탐험)를 이용하는 것은 리디자인에 대해 깊이 있게 생각할 수 있는 핵심 통찰력을 생산한다. 테스트만이 혼란 속에서 올바른 방향을 찾을 수 있는 유일한 방법이며, 즉, 우리는 개선을 해가는 과정 속에서 더 나은 해결책은 무엇 일지를 확인하기 위해 계속해서 탐험해야 한다.

 

# 디즈니의 ABC패밀리

AS IS >> TO BE

 

ABC 패밀리 기존 홈페이지에서는 사용자들이 흥미 있어할 만한 TV쇼의 큰 광고 배너를 보여주고 있었다.

하지만, 지속적인 실험 속에서 디즈니 팀은 사용자들이 탐색하는 대신 정확한 프로그램 명이나 에피소드를 검색하는 걸 발견하였다. 그래서 팀은 덜 시각적이지만, 정보가 구조화되어 메뉴를 펼쳤을 때 구체적인 프로그램 이름을 확인할 수 있는 대안의 화면을 디자인했다.

그리고 클릭률을 10~20% 증가시키는 목표와 함께 테스트를 진행했다. 큰 목표와 점진적 개선을 반복하면서, 디즈니팀은 사용자들의 클릭율을 600% 이상 증가시킬 수 있었다.

 

 

---

 

#2. Iteration

이터레이션(iteration)은 밀접하게 관련된 시장 기회를 활용하기 위한 시도로 현재 제품 또는 비즈니스 모델의 사소한 변화를 뜻한다.

 

https://www.techstartups101.com/iterate-pivot-persevere

 

대부분의 사람들은 A/B테스트를 통해 명확한 답변을 발견한다면, 더 이상 추가적인 실험이 필요가 없다고 생각한다. 하지만, A/B테스트를 진행하며, 정답을 찾아가는 것보다 다양한 질문을 만들어 가는 것의 중요성을 깨달아야 한다. 질문은 테스트의 가설이 되고, 테스트의 핵심 관점이 된다.

A/B테스트에서 큰 성공을 거둔 사람들은 단지 이번 성공이 테스트 여정의 시작이란 걸 깨닫는다. 한 번에 많은 것을 테스트하려 하기보다, 여러 번에 나누어 반복(iteractive) 실험을 진행한다. 그래서 웹사이트 리디자인같이 복잡한 프로젝트를 진행할 때 새로운 디자인을 완성한 후 테스트 하기보다, 디자인하면서 테스트를 계속해서 평가받는 것이 좋다.

 

---

 

# The Otimizely 웹사이트

A / B Testing: The Most Powerful Way to Turn Clicks Into Customers

 

2012년 옵티마이즐리 팀은 전반적인 웹사이트 리디자인을 진행했다. 그들은 이 프로젝트가 새로운 방문객을 사로잡을 기회라 여겼다. 본격적인 프로젝트에 앞서 그들은 각각 다른 사용자 계층이 어떻게 웹사이트를 이용하고 있는지를 먼저 탐구하였다. 이후 프로젝트의 성공 지표(=목표)를 정의했다.

그 후 개선하고, 테스트하는 반복 과정을 통해 디자인 팀은 몇몇 컨셉을 발전시킬 수 있었다. 새로운 디자인은 기존의 것보다 꽤 좋은 성과를 거두었다.

 

---