대화 기록이 AI의 답을 바꾸는 이유: “망상” 같은 말을 들으면 LLM이 어떻게 반응할까

HCI 관점에서 읽을 만한 이유

이 글은 LLM의 안전성을 ‘한 번의 답변’이 아니라 ‘이어지는 대화’에서 봐야 한다는 점을 잘 보여줍니다. HCI/UX 실무자에게는 사용자가 AI를 어떻게 신뢰하고, 언제 개입 경로를 찾으며, 어떤 순간에 관계가 위험해지는지 생각하게 만듭니다. 연구자에게는 짧은 벤치마크가 놓치는 맥락 효과와, 안전 설계가 실제 상호작용에서 어떻게 드러나는지 확인할 수 있는 좋은 사례입니다.

CIT의 코멘트

가장 중요한 메시지는 모델 성능이 아니라 상호작용 구조가 위험을 키우거나 줄인다는 점입니다. 같은 delusional context라도 어떤 모델은 더 깊게 끌려가고, 어떤 모델은 오히려 안전 개입을 강화했다는 결과는, 안전을 단순한 필터 문제가 아니라 ‘맥락을 읽고 끊을 수 있는 인터페이스 문제’로 봐야 함을 보여줍니다. 특히 안전한 모델이 관계를 완전히 끊기보다, 이전 대화에 대한 책임을 인정한 뒤 외부 도움으로 자연스럽게 넘기는 방식은 실무적으로 중요합니다. 다만 이런 친절함이 오히려 정서적 의존을 키울 수도 있어서, 따뜻함과 거리두기 사이의 균형 설계가 핵심 과제가 됩니다. 국내 서비스에서도 이 이슈는 더 민감합니다. 네이버, 카카오, 스타트업의 대화형 서비스는 이미 일상 속에 깊이 들어와 있고, 사용자는 ‘도구’보다 ‘상대’처럼 받아들이기 쉽습니다. 그래서 한국 맥락에서는 영어권 연구의 안전 기준을 그대로 옮기기보다, 더 짧은 모바일 사용 맥락, 가족·지인 중심의 사회적 구조, 그리고 더 높은 관계 기대치를 함께 고려한 개입 설계가 필요합니다.

원문을 읽으면서 던질만한 질문

• Q.긴 대화가 이어질 때, 사용자가 AI의 말을 ‘정보’가 아니라 ‘관계적 확인’으로 받아들이는 순간을 인터페이스에서 어떻게 감지할 수 있을까요?
• Q.안전한 모델이 이전 대화의 잘못을 인정하고 방향을 바꾸는 방식이, 사용자에게는 얼마나 신뢰 회복으로 작동하고 얼마나 배신처럼 느껴질까요?
• Q.한국의 모바일·메신저 중심 사용 환경에서는, 글로벌 연구에서 제안된 안전 개입 방식이 어떤 부분에서 더 약하거나 강하게 작동할까요?