킬러 가정 테스트: 출시 전에 실패할 제품 결정을 찾아내는 법
Source: Dev.to
모든 제품 결정은 하나 이상의 가정을 바탕으로 이루어지며, 그 가정이 틀리면 전체 작업이 무의미해집니다. 저는 이를 **“치명적 가정(killer assumption)”**이라고 부릅니다.
대부분의 PM은 이를 명시하지 않습니다. 그들은 만들고, 배포하고, 지표가 움직이지 않은 이유를 설명하죠.
여기서는 치명적 가정이 여러분을 찾기 전에 찾아내는 방법을 소개합니다.
치명적 가정은 제품 결정이 옳기 위해 반드시 참이어야 하는 단 하나의 믿음입니다. 모든 가정이 아니라, 가장 중요한 그 하나입니다.
예시)
- 재참여를 높이기 위해 알림 기능을 만든다. 치명적 가정: “사용자들이 제품을 잊어버려서 이탈하는 것이지, 관심을 잃어서가 아니다.”
- 온보딩을 재설계해 활성화를 개선한다. 치명적 가정: “온보딩 중에 이탈하는 사용자는 흐름이 혼란스러워서이며, 제품이 기대에 못 미쳐서가 아니다.”
두 경우 모두 치명적 가정이 틀리면, 실행이 아무리 잘 되더라도 전체 노력이 헛된 것이 됩니다.
이런 상황이 발생하는 이유는 몇 가지입니다:
- 가정을 명명하는 것이 불확실성을 인정하는 것처럼 보이기 때문입니다. 팀은 로드맵에 자신감을 보여주고 싶어 합니다. “우리가 베팅하고 있는 한 가지”라고 말하는 것이 약점처럼 느껴지죠. 실제로는 반대입니다—지적 정직이 빠른 학습을 가능하게 합니다.
- 가정이 문제 정의에 묻혀 있기 때문입니다. PM이 “사용자는 더 나은 검색이 필요하다”고 적을 때, 치명적 가정(“검색이 사용자 성공을 가로막는 핵심 요인이다”)은 해결책 진술 안에 숨겨져 있습니다. 문제, 가정, 해결책을 구분하지 않으면 명확히 볼 수 없습니다.
- 모두가 이미 그 가정에 동의하고 있기 때문입니다. 가장 위험한 가정은 팀 전체가 당연히 옳다고 여기는 것들입니다. 합의가 가정을 검증해 주는 것이 아니라, 아무도 도전하지 않았다는 뜻일 뿐입니다.
중요한 제품 결정을 내리기 전에 다음 질문에 답하세요:
- Q1: 이 결정이 성공하려면 무엇이 참이어야 할까?
- Q2: 그 가정에 얼마나 자신감이 있으며, 그 이유는?
- Q3: 구축하기 전에 가장 저렴하게 테스트할 방법은?
이것은 제가 PM 팀과 함께 사용하는 보다 넓은 의사결정 프로세스의 한 부분입니다:
- 결정을 명명한다 (기능이 아니라 실제 내리는 결정)
- 성공 기준을 사전에 정의한다 (“X가 A에서 B로 변하면 성공”)
- 치명적 가정을 찾는다 (반드시 참이어야 하는 한 가지)
- 검토 날짜를 정한다 (언제, 어떤 트리거 조건에서 다시 검토할지)
대부분의 팀은 여기서 끊깁니다. 1단계에서 바로 4단계로 넘어가, 1단계 자체가 올바른 질문이었는지를 확인할 기회를 놓치죠.
iQIYI에서 우리는 콘텐츠 발견을 개선하면 주간 활성 사용자가 늘어날 것이라고 확신했습니다. 치명적 가정은 “비활성 사용자는 원하는 콘텐츠를 찾지 못한다”는 것이었습니다.
2주간 샘플 세그먼트에 대한 테스트 결과, 실제 패턴은 사용자는 콘텐츠를 잘 찾고 있었지만, 쇼를 끝낸 뒤 적절한 “다음 시리즈” 추천을 제때 받지 못하고 있었습니다. 완전히 다른 문제, 완전히 다른 해결책이었습니다.
원래의 발견 기능은 개발에 한 분기가 걸렸을 것이지만, 추천 타이밍 수정은 두 주 만에 해결되었습니다.
치명적 가정을 사전에 명명함으로써 약 10주 분량의 엔지니어링 시간을 절약할 수 있었습니다.핵심은 가정을 찾는 것이 아니라, 구축하기 전에 큰 소리로 가정을 명명하고, 저비용 테스트를 기꺼이 수행하는 것입니다.
이렇게 하는 팀은 배포는 적게, 학습은 많이 합니다. 이는 나쁜 트레이드오프가 아닙니다.팀에서 이 프로세스를 실행할 수 있는 템플릿과 전체 프레임워크가 필요하다면, 제가 만든 짧은 핸드북을 참고하세요: A 4-Step System for Analyzing Any Product Problem.