RESPOND: Predictive Orchestration and Dialogue를 위한 Responsive Engagement Strategy

배경 및 소개

최근 voice-based conversational agent가 스마트폰, smart speaker, 자동차, 업무 도구까지 빠르게 확산되고 있는데요. 하지만 실제 대화 방식은 여전히 사람처럼 자연스럽기보다, 사용자가 말을 멈춘 뒤에야 응답하는 pause-and-respond 구조에 머무는 경우가 많습니다. 이는 구현은 단순하지만 대화가 딱딱하고 기계적으로 느껴진다는 점에서 HCI의 오래된 문제라고 볼 수 있습니다. 이 글은 바로 그 간극, 즉 기능은 충분하지만 대화의 흐름은 부족한 문제를 다루고 있습니다. 저자들은 사람 대화에서 중요한 backchannel과 cooperative turn claim을 agent에 넣어, 더 유연하고 협력적인 상호작용을 만들고자 합니다. 특히 예측형 turn-taking과 controllability를 함께 묶었다는 점이 흥미로운데요. 단순히 “언제 끼어들지”를 맞히는 것을 넘어서, 어떤 상황에서는 더 적극적이고 어떤 상황에서는 조용한 listener처럼 보이도록 조절 가능하게 만든 것이 핵심입니다.

주요 내용

RESPOND는 Responsive Engagement Strategy for Predictive Orchestration and Dialogue의 약자로, agent가 대화 중 언제 backchannel을 넣고 언제 turn claim을 시도할지 실시간으로 예측하는 framework입니다. 핵심 아이디어는 사람 대화에서 자주 보이는 “mm-hmm”, “right” 같은 짧은 확인 반응과, 말이 완전히 끝나기 전에라도 협력적으로 말을 보태는 행동을 system에 넣는 것입니다. 저자들은 이를 통해 반응 지연만 줄이는 것이 아니라, 듣고 있는 존재라는 감각 자체를 강화하려고 합니다. 이는 단순한 latency optimization이 아니라 사회적 존재감(social presence)을 설계하는 문제라는 점에서 의미가 있습니다.

방법론적으로는 streaming ASR와 incremental semantics를 바탕으로, 발화가 끝나기 전부터 문맥을 읽고 다음 행동을 예측합니다. 학습 데이터는 MM-F2F와 CANDOR를 활용했는데요, 여기서 listener 행동을 turn claim, backchannel, stay silent의 세 가지로 재정의한 점이 중요합니다. 특히 turn claim은 interruption, overlap, 정상적인 turn exchange를 모두 포괄하도록 넓게 잡았고, backchannel과는 구분했습니다. 또 클래스 불균형이 심한 문제를 해결하려고 window 길이별로 bin-stratified balanced downsampling을 적용했는데, 단순한 전체 균형 맞추기보다 길이 분포까지 고려했다는 점에서 꽤 실용적입니다. 이는 짧은 윈도우에 특정 클래스가 과도하게 몰리는 편향을 줄여, 실제 대화 리듬을 더 잘 학습하게 해준다고 볼 수 있습니다.

모델은 효율성을 고려해 Qwen3-0.6B를 backbone으로 쓰고, LoRA로 fine-tuning 했습니다. 여기에 두 개의 연속형 control parameter, 즉 backchannel intensity와 turn claim aggressiveness를 FiLM layer로 주입해서, 같은 대화라도 얼마나 자주 맞장구를 칠지, 얼마나 적극적으로 발언권을 가져올지를 조절합니다. 저자들은 이 값을 대화 전체의 행동 패턴에서 계산하고 quantile transformation으로 0~1 범위에 고르게 펴서, 사용자 입장에서 이해하기 쉬운 slider 형태로도 제공했습니다. 이런 설계는 모델 성능뿐 아니라 designer agency를 강조한다는 점에서 흥미롭습니다. 실제로 pilot study에서도 사용자는 기본 설정과 슬라이더 조절 후의 반응 차이를 비교하며 naturalness와 responsiveness를 체감했습니다. 결국 RESPOND는 “똑똑하게 반응하는” agent에서 한 걸음 더 나아가, 대화 스타일 자체를 조율 가능한 인터랙션 시스템으로 확장한 사례라고 볼 수 있습니다.

결론 및 시사점

이 연구의 의의는 voice agent의 turn-taking을 단순한 응답 타이밍 문제가 아니라, 협력적 대화 스타일을 설계하는 문제로 확장했다는 데 있습니다. backchannel과 turn claim을 함께 다루면서, agent가 침묵하거나 일방적으로 끼어드는 극단을 피하고 상황에 맞게 존재감을 조절할 수 있게 만든 점이 특히 주목할 만합니다. 또한 FiLM 기반 controllability를 통해 재학습 없이도 대화 태도를 바꿀 수 있게 한 것은 실제 제품 적용 가능성을 높여줍니다. 이는 brainstorming처럼 빠른 반응이 필요한 상황과 counseling처럼 신중함이 필요한 상황을 서로 다르게 다뤄야 한다는 점에서 의미가 있습니다.

다만 한계도 분명합니다. 먼저 text-based pipeline은 streaming ASR latency의 영향을 받기 때문에, 실제 타이밍이 항상 사람 수준으로 정밀하다고 보기는 어렵습니다. 또 pilot study는 소규모라서 사용자 선호가 일반화되기에는 부족합니다. 그럼에도 이 작업은 HCI 관점에서 중요한 방향을 제시하는데요. conversational agent의 자연스러움은 단순히 더 좋은 NLU나 더 큰 LLM만으로 해결되지 않고, 미세한 타이밍과 사회적 규범을 어떻게 설계하느냐에 달려 있다는 점을 보여줍니다. 개인적으로는 이 연구가 future voice interface에서 “얼마나 빨리 답하느냐”보다 “어떤 방식으로 함께 대화하느냐”가 더 중요한 기준이 될 수 있음을 잘 드러낸다고 생각합니다.