연구 권고사항의 채택 추적: The Recommendation-Adoption Score
Tracking Adoption of Research Recommendations: The Recommendation-Adoption Score
배경 및 소개
현업의 UX/HCI 연구는 수많은 recommendation을 만들어내지만, 실제 product에 반영되는 비율은 불명확하다. 저자들은 이 간극을 research breakage라 부르고, 시트나 구두 상태 보고로는 규모와 원인을 가늠하기 어렵다고 지적한다. 구조가 없으면 adoption이 과대평가되고 breakage는 숨겨지며, 결국 연구의 신뢰도가 떨어진다. 이를 해결하기 위해 Cisco에서 설계·운영해 온 Recommendation-Adoption Score(RAS)를 제안한다. RAS는 단순한 지표 그 이상으로, 연구가 창출한 가치가 사용자에게 얼마나 전달됐는지를 수치로 보여준다. 추천안을 재고(inventory)처럼 정의·추적하고, 명확한 소유와 검증 가능한 상태 체계를 부여해, 어디에서 가치가 새는지 드러내고 조직 대화를 촉발하는 것이 핵심 맥락이다. 또한 중요도별 가중치를 통해 ‘쉬운 것만 먼저’라는 게임화를 막고, 공정하게 성과를 해석하도록 돕는다. 데이터로 breakage를 관찰하고 시계열 추세를 공유함으로써 연구와 delivery 사이의 책임 경계를 투명하게 만드는 것이 도입 배경이다.
주요 내용
RAS의 출발점은 recommendation을 재고처럼 다루는 것이다. 각 항목은 나중에 테스트 가능한 수준으로 명확히 서술되고, 어떤 사용자 문제를 왜 해결하는지, data→finding→insight→recommendation의 근거 사슬을 갖추며, 창의적 재해석을 막는 구체적 ‘definition of done’을 포함해야 한다. 그리고 ‘팀’이 아닌 명시적 owner를 지정해 권한과 책임을 부여한다. 추적 상태는 모호한 In Progress를 배제하고 Adopted, Committed, Communicated, Canceled로 한정한다. Adopted는 의도대로 ship되어 연구자가 구현을 검증한 완료 상태다. Committed는 범위·리소스가 확정되어 release plan이나 roadmap에 들어간 상태다. Communicated는 명확한 연구 근거와 해결책이 전달·인수되었으나 아직 채택 경로에 오르지 않은 상태다. Canceled는 반려·무기한 보류·비관련화로 더 이상 유효하지 않은 항목으로, 점수 계산에서 제외한다. 사용자 가치 평가는 채택 여부와 영향도를 함께 반영한다. Adopted는 영향도에 따라 high 3점, medium 2점, low 1점을 부여해 backlog를 쉬운 일로 ‘채우기’를 억제한다. Committed는 아직 리스크가 남아 있으므로 영향도와 무관하게 0.66점만 인정한다. Communicated는 0점, Canceled는 모수에서 제외한다. 계산은 단순하다. 실제 사용자 가치 합을, 모든 유효 recommendation이 모두 Adopted되었다고 가정한 총가능 가치로 나눈 뒤 100을 곱한다. 추적 단위는 product·program 단 혹은 study 단 등 팀 맥락에 맞게 정하고, 초기 baseline은 최근 12개월 권장으로 과도한 고고학을 피한다. 시뮬레이션과 사례에 따르면 점수 해석 구간은 대략 Poor(0–29), Fair(30–54), Good(55–79), Great(80–100)로 읽을 수 있다. 새로운 연구가 Communicated 항목을 추가하면 일시적으로 점수가 내려가고, Committed나 Adopted로 이동하며 다시 상승하는 ‘하강-회복’ 리듬이 건강한 패턴이다. 개별 수치보다 추세선이 중요하며, 분기 두세 번 회복하지 못하는 하락은 adoption 파이프라인의 병목을 시사한다. 운영 측면에선 rolling 12‑month window로 관리하되 팀 속도에 맞춰 6–18개월로 조정할 수 있다. 12개월을 넘긴 Adopted는 추적에서 제거하고, 오래 정체된 Communicated·Committed는 Canceled 재평가와 원인 대화를 권장한다. Cisco의 실제 적용에서는 초기 Poor에서 시작했지만, 추천안 명료화·ownership·정직한 상태 관리만으로도 수개월 내 Fair, 1년 내 Good으로 개선되었다.
결론 및 시사점
RAS는 개별 연구자나 단일 study를 심판하려는 지표가 아니라, 연구→delivery 시스템의 누수 지점을 드러내는 운영 메트릭이다. 낮은 점수는 연구자의 실패라기보다 로드맵·엔지니어링 제약, 협업 구조, 우선순위 설정 등에서 가치가 유실되었음을 뜻한다. 동시에 추천안의 명료성, 근거 결속, 조직 적합성에 대한 피드백 루프이기도 하다. 목표는 완벽이 아니라 공정성으로, 대부분의 조직은 Good 구간을 현실적 목표로 삼을 만하다. 측정 시작 시기와 연구 주기에 따라 단기 수치는 출렁일 수 있으므로, 회복하지 않는 하락과 백로그 적체 같은 구조적 신호에 주목해야 한다. 무엇보다 RAS는 숫자를 통해 대화를 열어 준다. 채택률을 팀과 경영진이 공유하고, 추세를 근거로 리소스 배분과 우선순위를 바로잡을 때, 연구의 가치는 사용자에게 더 많이 도달한다. 후속 작업은 이 수치를 실제 의사결정으로 연결하는 매니지먼트 역량에 달려 있다.
💡 추천안을 테스트 가능하게 쓰고 ‘definition of done’과 owner를 부여한 뒤, Adopted·Committed·Communicated·Canceled로 관리하며 영향도 가중치와 rolling window로 RAS를 상시 산출하라. 이 추세를 근거로 roadmap과 리소스 우선순위를 조정해 stakeholder buy‑in과 accountability를 강화하라.
뉴스레터 구독
매주 금요일, 주간 HCI 하이라이트를 이메일로 받아보세요.