[UXR] 삼각측량(Triangulation): 여러 UX 방법을 사용하여 더 나은 연구 결과 얻기

 

지난 아티클에서 삼각측량에 대해 독단에서 빠져나와 UX의 확증 편향을 방지하는데, 효과적이라 소개하였다. 개인적으로 더 공부해보고 싶었던 부분이기에 여러 아티클을 읽으며 스터디한 내용을 공유하고자 한다.

 

삼각 측량은 영화에서 각각 다른 카메라 앵글을 잡는 것과 마찬가지다. 모든 프레임을 클로즈업으로 찍으면 영화의 진행 상황에 대한 전체 그림을 이해하기 힘들 것이다. 리서치에서도 영화처럼 클로즈업은 물론 전체 그림도 보여주길 원한다.

 

[UXR] 당신의 UX 리서치가 형편없는 7가지 이유 (UX리서치의 7대 죄악)

 

---

UX 분야 종사자들이 확증 편향에 대해 주의해야 하는 이유

 

일반적으로 사람들은 스스로의 생각이 옳다는 것을 확인하고자 하고, 반대되는 의견을 과소평가하려는 경향이 있다. 이를 확증 편향이라 부르는데, 이는 사용자에 대한 진실된 공감과 이해 대신 '가정'하도록 유도한다. 사용자에 대한 공감을 바탕으로 진행되는 UXR에서는 특히나 맞다고 생각하는 것들을 선호하고, 사실과 증거를 무시하는 확증편향은 사용자에 대한 진실된 공감에 방해가 되는 태도 중 하나다. 또한 종종 '내가 사용자라면 어떨까'라는 생각이 떠올릴 수도 있는데, 이는 리서치 결과를 오염시키는 주된 원인 중 하나다. 라포 랩스의 김은희 UX 리서처는 한 인터뷰에서 UX 리서처에게 가장 필요한 것은 자기 객관화에 익숙해지기라 답하였다. 스스로를 사용자에 대입해 상상하고, 결단 짓는 것 자체가 리서치 결과를 오염시키는 주된 원인이 되기 때문이다.

 

UX 확증 편향을 방지하기 위한 대표적인 방법은 삼각측량기법을 사용하는 것이다. 하나의 연구 결과만 본다면 자신의 가설과 일치시키기 위해 결과를 쉽게 바꿀 수 있다. 하지만 여러 연구를 통해 얻은 데이터를 사용한다면 훨씬 어려워진다. 삼각 측량 기법을 사용한다면, 리서치 결과의 신뢰성을 높이고, 확증 편향을 막을 수 있는 것이다.

 

---

 

삼각 측량법

Triangulation is the practice of using multiple sources of data or multiple approaches to analyzing data, to enhance the credibility of a research study.
— nngroup— 

 

삼각측량은 조사 결과의 신뢰도를 향상하기 위해 다수의 조사 접근을 접목하거나, 다양한 출처로부터 데이터를 수집해서 분석하는 행위다. 즉, 수집된 특정 결과에 대해서 제2, 제3의 조사를 수행했을 때 결과의 일치 여부를 통해 신뢰도 검증하는 접근이다(출처: 콴다 팀 블로그). 이는 다양한 형태를 취할 수 있다. 동일한 활동을 연구하기 위해 양적 연구, 질적 연구 및 전문가 검토와 같은 여러 방법을 사용하는 삼각 측량을 진행하거나, 만족도 평가, 소요 시간 및 수익 규모와 같은 동일한 활동과 관련된 여러 가지 다른 메트릭을 분석하기도 한다.

 

✔️ 닐슨 노먼 그룹이 소개한 삼각측량 리서치의 예시 

(주로 정량 데이터와 정성 데이터의 한계를 보완하기 위한 목적으로 활용하고 있는 듯 하다 👀)

- '만족'에 대한 지표가 감소하면  >>  '수익', 'Task 완료까지의 소요시간'을 확인하여 변경된 지표가 있는지 확인
- 정량적 사용성 테스트(UT)에서 구독 신청 Task에 대해 낮은 성공률이 보인다면 >> 어떤 기능이 문제인지 정성적 사용성 연구 진행
- 정량 데이터 분석에서 사용자 오류율이 높다면  >> CS 기록을 확인하여 기능에 대한 문제가 보고되었는지 확인
- 인터뷰를 통해 새로운 사용자의 구매 동기를 알게 되었다면  >> 동기의 빈도를 평가하기 위해 정량 설문조사 진행

 

 

✔️ 언제 활용하면 좋을까? 

삼각 측량법은 간단하고 쉽게 되돌릴 수 있는 결정에는 많은 투자가 필요하지 않다. 결정이 더 중요할수록, 많은 문제나 실패할 가능성을 갖고 있을 때 더 유용하다. 삼각 측량법은'많은 시간을 할애할 수 있는 연구'에 적용하는 것이 아니다. 

The original prioritization framework, as developed by Jeanette Fuccella (2021)

 

연구원들이 다양한 상황에서 시간과 에너지에 집중하도록 안내할 수 있는 2x2 매트릭스를 개발된 [Jeanette Fuccella - A matrix for prioritizing user research]를 기준으로 설명하자면, Design heavy영역과 Research heavy영역으로 설명할 수 있을 것이다.

이 두 영역은 X축의 잘못될 위험 (재설계 비용을 포함하여 잘못된 제품 결정과 관련된 다양한 비용을 고려해야 함)이 높은 영역에 해당하며, 기능 구축 비용 또는 고객 상실 비용이거나 고객 재교육 비용이 높거나 법률, 가격/포장 또는 제품/시장 적합성 관점에서 잘못될 위험이 있는 영역을 의미한다.

특히, Research heavy영역의 경우
상황에 대한 일관된 가설을 형성할 수조차 없는 상황(예: 주제에 대한 데이터 및 지식 부족)에 대해 단서 부재하고, 너무 빨리 해결하면 잘못된 문제를 해결하거나 문제가 전혀 해결되지 않을 위험이 있기 때문에 Generative Research를 통해 팀이 알려지지 않은 사실을 밝히고 상황에 대한 알려진 정보를 날카롭게 만드는 데 도움이 되는 1차 조사 진행하고, 사용자 여정 또는 사용자의 JTBD 정의 사용자에 대한 깊은 이해를 바탕으로 더 나은 가설을 형성하고 정확히 하기 위해 삼각측량을 통해 가설을 검증할 필요가 있다.

 

---

 

삼각 측량 기법을 처음 들었을 때는 단어가 주는 무게감 때문에, 접근하기 어려움이 있었다. 하지만, 쉽게 생각해보면 교차검증과 같다. 리서치 결과물의 신뢰도를 높이기 위해 다양한 데이터의 교차검증을 통해 더 명확한 결론을 전달하기 위한 방법 중 하나다. 삼각 측량 기법에 대해 모르더라도 어쩌면 우리는 이를 일상생활 속에서 해왔을 수도 있다. 물건을 구매하기 위해 몇 명의 사람이 리뷰를 남겼는지, 그중 별 5개를 준 사람은 몇 %(퍼센트)인지를 살펴보는 것. 그리고 각각의 리뷰 내용을 살펴보면 제품의 질을 체크하는 것 역시 일상 속 삼각 측량이라고 볼 수 있다.