[번역] 사용성 평가 101 - Usability Testing 기초

원문: https://www.nngroup.com/articles/usability-testing-101/

Usability Testing 101

---

 

UT(사용성 평가)는 유명한 UX 리서치 방법론입니다.

 

UT시 조사자(흔히 facilitator(퍼실리테이터) 혹은 moderator(모더레이터)라고 부름)는 참여자에게 구체적인 UI의 테스크 수행을 요청합니다. 참여자들이 각각의 테스크를 완료하는 동안 조사자는 그들의 행동을 관찰하고, 반응을 듣습니다.

 

'사용성 평가 Usability Testing'는 '사용자 테스트 User Testing'으로 대체해서 사용되곤 합니다. 하지만 몇몇 사람들은 이에 반대합니다. 'User Testing' 용어 사용을 반대하는 이유는 '사용자 테스트'가 '참여자를 실험한다'는 것처럼 들리기 때문입니다. 우리는 사용자가 아닌 그저 인터페이스만을 테스트할 뿐입니다. 그 용어는 사용자와의 테스트를 뜻하며, 이는 정확하게 경험적 연구를 의미합니다.

 

 

왜 UT(사용성 평가)인가?

사용성 평가의 목적은 연구마다 매우 다르지만, 보통 다음의 것을 포함합니다. 

 

1. 프로덕트 혹은 서비스의 디자인 문제 확인
2. 디자인 발전을 위한 드러나지 않은 기회 발굴
3. 타켓 사용자의 행동과 선호에 대한 학습

왜 사용성 평가가 필요할까요? 정말 훌륭한 UX 디자이너는 어떻게 좋은 인터페이스를 디자인하는지 알지 않을까요?

 

심지어 최고의 UX 디자이너조차 실제 사용자와 그들의 디자인을 사용하는 것을 관찰하지 않고서는 완벽한 사용자 경험 디자인을 할 수 없습니다. 현재 UI 디자인은 정말 다양하지만 우리에게는 더 다양한 사용자들이 있습니다. 이 조합의 수는 상당합니다. 그렇기 때문에 올바른 UX 디자인을 하는 유일한 방법은 테스트뿐입니다.

 

 

사용성 평가 요소

정말 많은 종류의 사용성 평가가 있지만, 가장 중요한 요소는 진행자(모더레이터), 테스크, 참여자입니다.

사용성 평가는 참여자와 참여자에게 테스크를 주고 그들의 행동을 관찰하는 진행자가 있습니다.

 

① 진행자 (Facilitator)

진행자는 테스트 프로세스에 따라 참여자를 가이드합니다. 지시를 내리고, 참여자의 물음에 답변하고, 후속 질문을 진행합니다. 진행자는 높은 수준의 결과와 참여자의 행동에 영향을 주는 예측 불허한 갑작스러운 영향이 없는 (모두가 동일한 조건에서 진행되어야 함) 분석 가능한 데이터가 보장된 테스트 결과를 위해 일합니다. 이것들의 균형을 맞추는 것은 어렵고 많은 연습이 필요하죠.

 

'remote unmoderated testing'라고 불리는 원격 사용성 평가 중 하나에서는, 애플리케이션이 진행자의 역할을 수행하기도 합니다.

 

 

② 테스크 (Tasks)

사용성 평가에서의 테스크는 실제 일상에서 참여자들이 행하는 활동입니다. 테스크는 리서치 질문이나 UT유형에 따라 매우 구체적이거나 덜 구체적이거나 할 수 있는데요, 실제 사용성 연구에서는 다음과 같은 Task로 구성됩니다.

 

실제 사용성 연구에서의 Task 예시
- 당신의 프린터기에서 '에러 5200'이 등장합니다. 어떨게 그 메시지를 없앨 건가요?

- 당신은 현재 Wells Fargo에서 새로운 신용카드를 만들까 고민하고 있습니다. Wells Fargo홈페이지에 방문해 어떤 카드를 만드는 게 좋을지 결정해보세요!

- 당신은 프로젝트 관리부서의 Tyler Smith에게 말해야 한다는 것을 들었을 거예요. 인터넷을 통해 그의 사무실이 어디 있는지 찾으세요. 당신의 답변을 진행자에게 말하세요.

 

Task 워딩은 UT에서 굉장히 중요합니다. 문구의 작은 오류조차도 참여자는 요청받은 일을 오해할 수 있고, 어떻게 수행하는지에도 영향을 줍니다. (이러한 심리적 현상을 'Priming'이라 부릅니다.) 

*Priming is a phenomenon whereby exposure to one stimulus influences a response to a subsequent stimulus, without conscious guidance or intention. For example, the word NURSE is recognized more quickly following the word DOCTOR than following the word BREAD. https://en.wikipedia.org/wiki/Priming_(psychology)

 

테스크 지시는 보통 구두나 작성된 테스크 시트를 통해 참여자에게 전달될 수 있습니다. 우리는 종종 참여자에게 지시사항을 크게 소리 내어 읽기를 요청합니다. 이것은 확실히 참여자가 지시사항을 확실히 읽고 이해에 도움이 되고, 기록자는 사용자가 무엇을 수행하는지 항상 알 수 있기 때문에 기록에도 도움이 됩니다.

 

 

③ 참여자 (Participant)

참여자는 연구 중인 서비스나 프로덕트의 실제 사용자여야 합니다. 이미 실제 일상에서 해당 서비스를 사용하는 실제 사용자임을 의미입니다. 그렇지 않으면, 실제 사용자가 아니더라도 타겟 사용자 그룹과 동일한 배경, 같은 니즈를 갖고 있어야 합니다.

 

또한, 참여자의 행동, 목표, 생각, 동기를 이해하기 위해 그들에게 종종 생각을 입 밖으로 크게 말해달라 (씽크 얼라우드)고 요청합니다.

 

사용성 평가에서 참여자는 왼편에 진행자는 오른편에 앉습니다. 참여자는 화면을 녹화 중인 랩탑을 사용합니다.

 

랩탑은 참여자의 얼굴 표정을 캡처하는 웹캠을 지니고 있고, 그것은 진행자의 모니터와 연결됩니다. 진행자는 참여자의 피드백을 듣고, 테스크를 관리하고, 기록합니다.

 

사진은 참여자의 테스크 이후에 진행자가 후속 질문을 했을 때 캡처됩니다.

 

 

 

사용성 평가 종류

① 정성적 데이터 vs 정량적 데이터

사용성 평가는 정성적이거나 정량적일 수 있습니다.

 

정성적 사용성 평가는 인사이트, 발견점, 어떻게 사용자가 서비스나 프로덕트를 사용하는지에 집중합니다. 이것은 사용자 경험에서의 문제점을 발견하는데 유용합니다. 이러한 유형의 사용성 평가는 정량적 사용성 평가보다 더 흔합니다.

 

정량적 사용성 평가는 사용자 경험을 나타내는 수치적 지표를 모으는 것에 집중합니다. 이 평가의 가장 흔한 지표는 수행 완료와 수행 시간입니다. 정량적 사용성 평가는 기준을 수집하는 것에 최고의 방법입니다.

 

사용성 평가에 필요한 참여자의 수는 연구의 종류에 따라 다양합니다. 단일 사용자 그룹의 정성적 사용성 평가에서는 우리는 주로 프로덕트의 가장 흔한 주된 문제점을 발견하기 위해 5명의 참여자를 추천합니다.

 

 

② 원격(Remote) vs. 대면(in-person)

원격 사용성 평가는 대중적입니다. 왜냐하면 시간과 금액 측면에서 대면 연구(in-person) 보다 더 효율적이기 때문이죠. 여기에는 두 가지 종류의 원격 사용성 평가가 있습니다.

 

Remote moderated usability tests (원격 조정 사용성 평가)는 대면 연구(in-person) 보다 훨씬 더 단순합니다. 진행자는 참여자와 소통하고 그들에게 테스크를 요청합니다. 하지만 참여자와 진행자는 서로 다른 물리적 공간에 있습니다. 보통 스카이프나 고투미팅과 같은 화면 공유 화상 프로그램으로 진행됩니다.

 

Remote unmoderated remote usability tests (원격 비조정 사용성 평가)는 이전의 방법들(in-person, moderated tests)과 달리 참여자와 진행자 간의 소통이 부재합니다. 조사자는 테스크 목록을 준비한 온라인 전용 원격 평가 프로그램을 사용합니다. 그러면 참여자는 자신의 시간에 진행자 없이 테스크를 완료합니다. 참여자는 자신의 시간에 진행자 없이 테스크를 완료합니다. 평가 프로그램은 참여자에게 테스크를 전달하고 후속 질문을 진행합니다. 참여자가 테스트를 모두 마치면, 조사자는 녹화 자료를 받습니다.

 

Remote unmoderated remote usability tests (원격 비조정 사용성 평가)에서 진행자와 참여자가 상호작용할 수 없기 때문에 정보의 흐름은 변화합니다.

 

또한, 평가 프로그램은 참여자의 테스크를 관리하는 진행자의 역할을 대신합니다. 조사자는 연구를 계획하고 플랫폼에 테스크 지시사항을 업로드합니다. 그런 다음 데이터(보통 테스크를 기록한 관찰 비디오)를 모은 후 리뷰합니다.

 

 

사용성 평가 비용

간단히, “discount” usability 연구는 참가자들에게 수백 달러를 인센티브로 지불해야 하지만, 비용이 많이 들지 않습니다. 테스트 공간은 회의실로 하고, (어떻게 할지를 미리 학습하고 참여자에게 접근한다는 가정하에) 가장 간단한 연구라면 3일 정도가 걸릴 것입니다.

 

1일 차: 연구 계획
2일 차: 사용자 5명 테스트
3일 차: 발견점을 분석하고 그것을 다음 UI를 위한 리디자인 개선안으로 도출

 

반면, 더 비싼 연구는 금액이 더 필요하고 가장 정교한 연구를 위해 수십만 달러의 비용이 필요합니다. 고급 연구를 위한 ROI (The return on investment)는 높지만, 일반적인 연구만큼 높지 않습니다.

비용에 포함되는 것

1. A/B안 테스트 (다양한 디자인 경쟁 테스트)
2. 다양한 국가에 국제 테스트
3. 멀티 사용자 그룹(혹은 퍼소나) 테스트
4. 정량적 연구
5. 아이 트레커(동공 추적장치)같이 비싼 장비 사용
6. 다른 사람들이 관찰하기 위한 포커스 그룹실이나 진짜 사용성 평가실
7. 발견점에 대한 상세한 분석과 보고서 필요

 

---

 

UT관련 NN/g 자료

• User Testing: Why & How (Video)
• How to Conduct Usability Studies (Report)
• How to Set Up a Desktop Usability Test (Video)
• How to Set Up a Mobile Usability Test (Video)
• Turning User Goals into Task Scenarios for Usability Testing (Article)
• Usability Testing for Mobile Is Easy (Article)

 

사용성 평가 운영

• Talking with Participants During a Usability Test (Article)
• User Testing Facilitation Techniques (Video)
• Team Members Behaving Badly During Usability Tests (Article)
• Thinking Aloud: The #1 Usability Tool (Article)

 

참가자 모집

• Recruiting Test Participants for Usability Studies (Articl
• Why You Only Need to Test with 5 Users (Article)
• How Many Test Users in a Usability Study? (Article)
• Usability Testing with 5 Users: Design Process (Video)
• Usability Testing with 5 Users: ROI Criteria (Video)
• Usability Testing with 5 Users: Information Foraging (Video)
• Employees as Usability-Test Participants (Article)
• Using Usability-Test Participants Multiple Times (Video)

 

원격 사용성 평가 Remote Usability Testing

• Remote Usability Tests: Moderated and Unmoderated (Article)
• Remote Moderated Usability Tests: How and Why to Do Them (Article)
• Remote Unmoderated User Tests: How and Why to Do Them (Article)
• Tools for Unmoderated Usability Testing (Article)

 

Special Usability Testing Studies or User Groups

• Quantitative vs. Qualitative Usability Tests (Article)
• Conducting Usability Testing with Real Users’ Real Data (Article)
• How to Conduct Usability Studies for Accessibility (Report)
• Paper Prototyping: Getting User Data Before You Code (Article)
• Paper Prototyping 101 (Video)
• Beyond the NPS: Measuring Perceived Usability (Article)
• International Usability Testing (Article)
• Usability Testing with Minors (Article)

 

Printable Usability Testing Poster

• Usability Testing 101 Poster (A4 Size) (PDF)
• Usability Testing 101 Poster (Letter Size) (PDF)

 

---