사용성 테스트, 언제 하는 게 가장 좋을까?

HCI 관점에서 읽을 만한 이유

이 글은 사용성 테스트를 한 번의 점검이 아니라 제품 개발 전 과정에 끼워 넣어야 하는 ‘학습 루프’로 보여줍니다. HCI 실무자나 연구자에게는 언제, 어떤 질문으로, 어떤 지표를 볼지 정리된 기준이 유용합니다. 특히 프로토타입, 라이브 제품, 출시 후 데이터를 이어 보며 문제를 더 일찍 발견하는 방식은 실제 제품 운영에 바로 연결하기 좋습니다.

CIT의 코멘트

핵심은 사용성 테스트를 ‘디자인 검수’가 아니라 불확실성을 줄이는 의사결정 장치로 보는 점입니다. 좋은 흐름인데요, 실제 제품에서는 속도와 엄밀성이 늘 충돌합니다. 그래서 단계별로 같은 방법을 반복하기보다, 초반에는 구조가 맞는지 보고, 후반에는 오류 복구와 예외 상황까지 보는 식으로 질문을 달리해야 합니다. 특히 AI 기능이 들어간 경험은 결과보다 상호작용의 설명 가능성과 개입 경로가 더 중요해지므로, 사용자에게 ‘지금 시스템이 무엇을 하고 있는지’가 보이는지 확인하는 테스트가 필요합니다. 여기에 LLM을 활용하면 인터뷰 요약이나 패턴 분류는 빨라지지만, 판단 기준까지 자동화하면 연구의 엄밀성이 흔들릴 수 있어 보조 도구로 두는 설계가 중요합니다.

원문을 읽으면서 던질만한 질문

• Q.AI 기능이 포함된 화면에서 사용성 테스트를 할 때, 단순 성공률보다 시스템 상태의 이해도와 사용자 개입 가능성을 어떻게 측정하면 좋을까요?
• Q.출시 후 분석 데이터와 사용성 테스트 결과가 서로 다르게 나올 때, 어떤 기준으로 우선순위를 정하는 것이 좋을까요?
• Q.LLM을 활용해 사용성 테스트 결과를 요약할 때, 연구의 엄밀성을 지키기 위해 반드시 사람이 검토해야 하는 지점은 어디일까요?