검증할 가설#
- H-03: 퇴근 후 60~90분이라는 제약이 계획 편익을 만든다.
- H-04: 정해진 시간·공개 장소·진행이 탐색과 조율보다 매력적이다.
- H-05: 한 업무 권역과 시간대에 수동 세션을 만들 공급이 모인다.
상세 상태와 폐기 기준은 가설 등록부에서 관리한다.
실험 순서#
1. 메시지 이해 확인#
고객 인터뷰 뒤 5명에게 첫 화면만 보여주고 다음을 자신의 말로 설명하게 한다.
- 누구를 위한 무엇인가
- 언제, 어디서, 어떤 방식으로 만나는가
- 지금 바로 사용할 수 있는가
- 신청하면 다음에 무엇이 일어나는가
- 어떤 정보와 비용을 요구한다고 이해했는가
5명 중 4명 이상이 핵심 흐름과 현재 준비 중 상태를 설명하지 못하면 광고를 집행하지
않고 문구를 고친다. 이 기준은 통계 추정이 아니라 명백한 오해를 조기에 잡는 운영 기준이다.
2. 한 약속으로 유효 신청 측정#
첫 버전은 여러 메시지를 동시에 시험하지 않는다. 인터뷰에서 가장 반복된 문제 하나와 아래 동일한 CTA를 사용한다.
제목: 평일 저녁, 정해진 시간과 공개 장소에서 만나요
설명: After Work는 현재 준비 중입니다. 참여 가능한 시간과 대략적인 업무 권역을 남기면
사용자 조사 또는 첫 수동 만남 실험을 안내합니다.
CTA: 조사 참여 신청
앱이 운영 중이거나 매칭이 보장된 것처럼 말하지 않는다. 거짓 마감, 인원 수, 후기, 할인과 미리 선택된 동의를 쓰지 않으며 가격·데이터 이용 조건을 CTA 전에 보여준다. [1]
3. 충분한 트래픽 뒤 메시지 비교#
A/B 테스트는 작은 차이를 찾으려면 많은 사용자가 필요해 베타와 운영 단계에서 더 적합하다. [2] 초기에는 질적 이해와 유효 신청을 먼저 본다. 각 메시지에 최소 100명의 적격 고유 방문자를 같은 기간·채널에서 무작위 배정할 수 있을 때만 아래 세 문제 약속을 비교 후보로 둔다.
| 후보 | 바꾸는 한 가지 | 유지하는 것 |
|---|---|---|
| 시간 | 긴 탐색 없이 평일 저녁 약속 확정 | 대상, 흐름, CTA, 폼, 가격 |
| 신뢰 | 과도한 정보 공개 없이 확인 범위와 대응 절차 제공 | 대상, 흐름, CTA, 폼, 가격 |
| 운영 | 시간·장소·진행이 정해진 만남 | 대상, 흐름, CTA, 폼, 가격 |
표본 수 100은 승자를 확정하는 통계 기준이 아니다. 유입이 너무 적은 상태에서 작은 전환율 차이를 제품 결정으로 오해하지 않기 위한 시작 조건이며, 실제 효과 크기와 변동을 보고 다음 표본을 정한다.
측정값#
| 구분 | 지표 | 판단 용도 |
|---|---|---|
| 1차 | 적격 방문자 대비 유효 신청 완료율 | 메시지가 실제 다음 행동을 만드는가 |
| 공급 | 같은 권역·요일·시간대의 유효 신청 수 | 수동 세션을 구성할 수 있는가 |
| 이해 | 준비 중 상태, 방식, 비용·데이터 사용 정답률 | 클릭이 오해에서 나오지 않았는가 |
| 행동 | 인터뷰 예약률과 실제 참석률 | 연락처 제출 뒤에도 의도가 유지되는가 |
| 보호 | 개인정보 문항 이탈, 철회, 불만·신고 | 전환을 위해 신뢰를 훼손하지 않는가 |
| 진단 | 채널, 기기, 신규·재방문, 로딩 오류 | 메시지와 기술 문제를 구분할 수 있는가 |
유효 신청은 만 19세 이상이며 연구 조건에 동의하고, 대략적인 업무 권역과 가능한 시간대를
제공하고, 중복·테스트 신청이 아닌 경우다. 정확 회사명, GPS 좌표, 재직 원본과 관계·성생활
정보는 랜딩 단계에서 수집하지 않는다.
중단 조건#
- 참가자가 이미 운영 중이거나 만남이 보장된 서비스로 반복해서 오해한다.
- 연락처 제출 전 목적, 보관과 철회 방법을 설명할 수 없다.
- 특정 성별·권역에 신청이 몰려 실제 세션 구성이 불가능하다.
- 기술 오류, 봇 또는 채널 차이 때문에 메시지 효과를 분리할 수 없다.
- 안전 우려나 신고가 생겼는데 대응 책임자와 절차가 준비되지 않았다.
결과가 만들어도 되는 결정#
유효 신청과 공급 밀도가 있어도 앱 제작을 바로 결정하지 않는다. 인터뷰의 실제 문제 사건과
일치할 때 수동 만남 실험으로 넘어간다. 랜딩 구현은 이 계획이 확정된 뒤
apps/landing/에 두며 위키 게시 도구에는 만들지 않는다.