위험한 AI에서 인간의 선택과 원인, 그리고 ‘사람-컴퓨터 인터페이스’의 역할

HCI 관점에서 읽을 만한 이유

이 글은 AI를 ‘똑똑한 모델’이 아니라 ‘사람이 어떻게 조종하고, 이해하고, 멈출 수 있는가’의 문제로 다시 보게 해줍니다. 특히 고위험 환경에서는 설명 가능성보다도 시스템 상태가 얼마나 투명한지, 사용자가 언제 개입할 수 있는지가 더 중요하다는 점을 짚는데요. HCI와 UX 실무자에게는 인터페이스 실패가 곧 안전 문제로 이어질 수 있다는 경고이자, 연구자에게는 평가 기준을 신뢰가 아닌 실제 공동 수행 성능으로 옮겨가야 한다는 힌트를 줍니다.

CIT의 코멘트

가장 흥미로운 지점은 설명 가능한 AI를 ‘읽기 쉬운 설명’ 수준에서 멈추지 않고, 사용자가 실제로 개입할 수 있는 인터페이스로 끌어올리려는 시도입니다. 다만 산업에 적용할 때는 한 가지 trade-off가 생기는데요. 더 많은 상태, 불확실성, 개입 경로를 보여줄수록 안전성은 높아질 수 있지만, 화면은 무거워지고 사용자는 오히려 판단 피로를 겪을 수 있습니다. 그래서 중요한 것은 정보를 많이 보여주는 것이 아니라, 지금 꼭 필요한 통제점만 남기는 설계입니다. 또한 이 프레임은 의료나 공공 분야뿐 아니라 네이버·카카오 같은 서비스에서도 변형해 볼 수 있습니다. 예를 들어 추천, 검색, 에이전트 기능이 사용자를 어디까지 대신하고 어디서부터 사용자가 다시 잡을 수 있어야 하는지 묻는 연구 질문으로 이어질 수 있습니다. 결국 핵심은 ‘AI가 잘 맞히는가’보다 ‘사용자가 언제, 왜, 어떻게 틀린 자동화를 바로잡을 수 있는가’입니다.

원문을 읽으면서 던질만한 질문

• Q.고위험 AI 인터페이스에서 사용자가 개입할 수 있는 최소한의 조작점은 어디까지여야 할까요?
• Q.불확실성을 보여주면 안전해질 수 있지만 화면이 복잡해질 수 있는데, 이 trade-off를 어떻게 평가하면 좋을까요?
• Q.설명 가능한 AI의 성공을 신뢰도나 만족도가 아니라 공동 작업 성능으로 측정하려면 어떤 실험 설계가 필요할까요?