[UX리서치/UXR] ❻ 사용자 실제 데이터로 사용성 평가하기

UX 리서치 사용성 평가(Usability Test) 시리즈 1편. [UXR] 사용성 평가(Usability Test) - ❶ 개념/테스트 종류 - 2편. [UXR] 사용성 평가(Usability Test) - ❷ 정량 UT- 3편. [UXR] 사용성 평가(Usability Test) - ❸ 어떤 표현과 단어로 태스크를 요청할까? - 4편. [UXR] 사용성 평가(Usability Test) - ❹ UT는 어떤 태스크로 구성해야할까?-  5편. [UXR] 사용성 평가(Usability Test) - ❺ UT 전, 안내하기 -  6편. [UXR] 사용성 평가(Usability Test) - ❻ 사용자 실제 데이터로 사용성 평가하기- 👈👀 now 7편. [UXR] 사용성 평가(Usability Test) - ❼ UT 참여 유도-

 

UT에서 좋은 데이터를 얻을 수 있는 가장 좋은 방법은 현실적인 테스트를 준비하여 참여자가 충분히 몰입할 수 있도록 설계하는 것이다. 이 전 아티클에서 사용자가 실제로 서비스에 들어와서 하는 현실적인 시나리오(아티클)와 작업(아티클)을 수행하도록 요청하는 방법에 대해 소개했다면, 이번 아티클에서는 사용자의 실제 데이터로 더 현실감 있는 UT를 진행하는 방법을 다뤄보고자 한다. 

 

어떤 UT 에서 효과적일까?

정량 UT 보단 < 정성 UT에서 효과적

정량적 데이터를 수집해야 하는 UT에서 실제 사용자 데이터를 바탕으로 다양한 테스트 시안을 만들어낸다면, 측정 오류를 증가시킬 수 있다. 정량 UT는 측정 가능한 결과를 얻어내는 것이 핵심 목표다. 동일한 환경과 조건에서 테스트하여 오류를 줄여야 신뢰할 수 있는 데이터를 수집할 수 있다.

정성 UT는 이와 다르다. 사용자의 요구사항과 (맥락적인/주관적인) 의견을 수집하는 것이 더 우선이다. 그러므로 정량 UT보다는 정성 데이터를 수집해야 하는 사용성 평가에서 고객의 데이터를 활용하는 것이 더 효과적이다.

 

참여자와 관련된 개인 정보를 입력해야하는 태스크가 있을 때 효과적

UT는 사용자를 사무실이나 카페로 초대하여 서비스를 이용해 보는 '척' 요청하는 테스트다. 이런 인위적인 테스트에서 참여자와 무관한 가짜 데이터를 작성하도록 요청한다면 어떨까?

참여자가 자신의 정보를 입력하도록 하는 것은 가짜 정보를 입력하는 것보다 인터페이스의 더 다양한 문제를 발견할 수 있는 방법이다. 가짜 이름, 가짜 주소, 번호 등이 참여자가 서비스를 사용해 보는 테스트 과정에 영향(예를 들어, 사용 도중 잠시 멈추는 상황같은 마찰..)을 줄 수 있기 때문이다.

그러니, 실제 정보를 입력하는 자연스러운 사용 흐름 속에서 참여자는 요청받은 작업(task)에 더 집중하여 참여할 수 있고, 결과적으로 진실된 사용성 이슈를 발견할 수 있는 것이다.

 

참여자의 사용 패턴에 따라 다른 UI 구성이 요구되는 경우 효과적

이전 아티클부터 반복적으로 말하지만, UT는 현실적일수록 참여자가 적극적으로 참여할 가능성이 높아진다.

특히 개인화된 화면에서 참여자와 무관한 데이터가 담긴 프로토타입을 제시한다면, 몰입도가 깨질 것이다. 참여자의 사용 패턴에 따라 화면 구성이 크게 달라지는 페이지일수록 참여자의 실제 데이터를 활용해야 한다. 예를 들면, 홈화면, 구매 내역, 장바구니, 북마크 화면 등.. 이 그러하다. 이미 토스 심플리시티를 통해서 사용자 데이터를 바탕으로 홈 화면을 구성하여 UT를 진행했다는 사례가 알려져(영상 링크), 예시로 소개하고자 한다.

토스는 홈 화면 개편을 진행하며 (모든 계좌를 토스 앱에 연동해놔서) 복잡한 홈화면을 갖고 있는 사용자를 만나게 되었다.  '예적금, 청년, 전세대출 계좌는 자주 보지 않는 계좌임에도 펼쳐져서 보이는 형태가 화면을 더 복잡하게 만든다'는 당시 UT에서 발견한 문제의식을 바탕으로 솔루션을 구체화했다. 계좌를 모아볼 수 있는 홈 화면 구성으로 빠르게 프로토타입을 만들고, 실제 토스 사용자 10명을 리크루팅 하여 반응을 살펴보았다고 한다. 

이때 테스트에서 사용된 화면에는 실제 사용자의 토스 홈 화면을 캡처받아서 연동해 둔 계좌, 사용하는 카드 정보를 수집하여 그 정보를 그대로 프로토타입에 담아냈다. 마치 참여자의 토스 홈이 바뀐 것처럼 말이다! 몰입감 있는 UT를 통해 참여자 개개인의 이용 맥락과 관련한 긍정적인 피드백을 수집할 수 있었고 이를 바탕으로 지금의 홈 화면으로 발전시켰다.

 

.
.
.

그렇다면, 참여자의 개인 데이터를 어떻게 수집하는 게 좋을까?

개인 데이터를 활용한다고 하면 가장 걱정되는 부분이 윤리적 이슈일 것이다. 리서처가 이를 관찰하거나 활용하는 것이 연구 윤리에 반하지 않는지.. 늘 리서처들은 걱정하고 고민한다.

 

1. 리쿠르팅 과정에서 사용자 동의받기

참여자가 개인 정보를 제공받아야 한다면, 리크루팅 과정에서 동의받을 필요가 있다. 요청하는 정보가 민감할수록 더 자세한 정보를 제공해야 한다. 예를 들어, 참여자의 이름만 입력하도록 요청한다면, 별도의 고지가 필요하지 않다. 그러나 저축/대출/보험 등 금전적 상황, 가족 관련 정보를 제공하도록 요청하는 경우, 해당 정보가 필요한 이유, 정보 활용 방법, 수행할 작업에 대한 설명과 정보 제공 의향이 있는지 물어봐야 한다.

모든 개인정보 활용은 미리 명확히 고지되어 이에 대한 동의가 있었다면, 공유된 범위 안에서의 활용은 충분히 괜찮다. 개인정보 활용 동의에 대한 자세한 내용은 이 자료에서 확인할 수 있다 (링크). 

 

위 첨부한 자료는 [동의 내용의 명확한 고지]를 강조한다. - 개인정보를 처리하는 주체(개인정보처리자)가 누구인지 명확히 고지하여야 함 - (수집·이용) 목적, 항목, 보유 및 이용기간, 동의를 거부할 권리가 있다는 사실 및 동의 거부에 따른 불이익이 있는 경우에는 그 불이익의 내용 - (제공) 제공받는 자, 목적, 항목, 보유 및 이용 기간, 동의를 거부할 권리가 있다는 사실 및 동의 거부에 따른 불이익이 있는 경우에는 그 불이익의 내용 - 동의를 받을 때에는 각각의 동의 사항을 구분하여 정보주체가 이를 명확하게 인지할 수 있도록 알리고 각각 동의를 받아야 함 - 서면(전자문서 포함) 동의 시에는 수집·이용 목적, 항목 등 대통령령으로 정하는 중요한 내용을 명확히 표시하여 알아보기 쉽게 하여야 함

 

2. 실제 데이터를 가져오도록 요청

일부 테스트에서는 사용자가 기억하고 있는 것보다 더 많은 정보를 입력하도록 요청해야 하는 경우도 있다. 예를 들어, 자동차 보험 신청 테스트에서 운전 면허증 정보가 필요할 수도 있는 것처럼 말이다! 또, 참여자가 현재 복용 중인 처방약의 이름이나 복용량, 의료 제공자의 이름 등을 미리 알아와야 하는 경우도 있을 수 있다.

이러한 경우, 리크루팅 과정에서 참여자에게 개인 데이터를 사용할 의향이 있는지 뿐만 아니라 연구에서 추가로 필요한 정보를 가져올 의향이 있는지 확인한 후 진행하면 된다.

 

3. 리서치 후 프라이버시 지켜주기

인터뷰 결과를 가공하여 팀원들에게 공유해야 하는 상황이 분명 발생할 것이다. 이런 경우 참여자의 개인정보가 공개되지 않도록 유의해야 한다. 하이라이트 영상을 공유해야 할 때, 개인 정보를 블러처리하여 공유하거나 보고서에서 스크린샷을 추가할 때 모든 정보를 마킹하여 공유해야 한다. 

UT가 끝난 후에는 테스트 기기에서 모든 쿠키와 캐시 정보를 지우는 것 역시 참여자의 프라이버시를 지켜주는 방법 중 하나다.

UT에서 개인정보를 활용하고자 함은 실제 데이터를 통해 현실감 있는 사용 모습을 관찰하기 위해서다. 즉, 사용성 문제를 발견한 후에는 참여자의 정보를 보호하여 활용되지 않도록 할 필요가 있으니 관련한 오프라인 데이터는 즉시 파쇄하는 것이 옳다.

 

이렇게 사용자의 실제 데이터를 활용한 UT는 가짜 데이터를 활용한 UT보다 훨씬 강력하다.
UT 시 참여자 개인정보 활용에 대해 주의한다면 더 효과적인 인사이트를 발견할 수 있을 것이다.

 

---

참고한 자료
- https://youtu.be/MkKr2Cc0BuM
- https://www.nngroup.com/articles/users-real-data/

Conducting Usability Testing with Real Users' Real Data

- https://youtu.be/26E24mAoJ3c?t=181

 

---

 

UX 리서치 사용성 평가(Usability Test) 시리즈
1편. [UXR] 사용성 평가(Usability Test) - ❶ 개념/테스트 종류 -
2편. [UXR] 사용성 평가(Usability Test) - ❷ 정량 UT-
3편. [UXR] 사용성 평가(Usability Test) - ❸ 어떤 표현과 단어로 태스크를 요청할까? -
4편. [UXR] 사용성 평가(Usability Test) - ❹ UT는 어떤 태스크로 구성해야할까?- 
5편. [UXR] 사용성 평가(Usability Test) - ❺ UT 전, 안내하기 - 
6편. [UXR] 사용성 평가(Usability Test) - ❻ 사용자 실제 데이터로 사용성 평가하기- 👈👀 now
7편. [UXR] 사용성 평가(Usability Test) - ❼ UT 참여 유도-