통계적 유의성은 실무적 유의성과 같지 않다

HCI 관점에서 읽을 만한 이유

이 글은 정량적 사용성 연구에서 흔히 겪는 해석 오류, 즉 ‘유의하다’와 ‘중요하다’를 혼동하는 문제를 HCI 관점에서 정리해 줍니다. p-value만으로 의사결정하는 습관을 경계하고, 사용자 지각 가능성·업무 영향·효과 크기(effect size)를 함께 보게 하므로, UX 실무자와 연구자가 연구 결과를 제품 우선순위로 번역하는 데 직접적인 도움을 줍니다.

CIT의 코멘트

CIT 관점에서 이 글의 핵심은 ‘측정 가능한 것’이 곧 ‘가치 있는 것’은 아니라는 점을 다시 상기시킨다는 데 있습니다. HCI에서는 통계적 유의성(statistical significance)이 연구의 신뢰도를 지지하지만, 실제 설계 의사결정은 사용자 경험의 체감 변화와 맥락적 비용까지 포함해야 합니다. 특히 대규모 로그 데이터에서는 아주 작은 차이도 유의해 보일 수 있는데요, 이런 경우 효과 크기와 업무 맥락을 함께 보지 않으면 과잉 최적화로 이어지기 쉽습니다. 반대로 소표본에서도 강한 행동 패턴은 실무적으로 충분히 중요할 수 있으니, 정량과 정성 증거를 결합하는 해석 프레임이 필요합니다.

원문을 읽으면서 던질만한 질문

• Q.우리 제품의 핵심 지표에서 ‘통계적으로 유의한 차이’와 ‘실제로 우선순위를 바꿀 만큼의 차이’를 구분하는 기준은 무엇인가요?
• Q.효과 크기와 사용자 지각 가능성을 함께 판단하기 위해, 현재 연구 프로세스에 어떤 체크리스트를 넣을 수 있을까요?
• Q.소표본 정량 연구에서 유의성이 나오지 않았더라도 실무적으로 중요한 신호를 포착하기 위해 어떤 정성 자료를 결합하면 좋을까요?