A/B 실험 측정 실무
애플리케이션 분석 맥락에서 실험을 ‘돌리는’ 것을 넘어, 측정하고 설득하는 전 과정을 다룹니다.
학습 성과
- 성공 지표·가드레일을 실험 시작 전에 문서화할 수 있습니다.
- 트래픽 수준에 맞는 표본·기간 계획을 수립합니다.
- 유의성·효과 크기·실무 임팩트를 구분해 보고합니다.
- 롤아웃, 반복 실험, 중단을 판단하는 규칙을 팀에 제안합니다.
이런 분께 맞습니다
제품 매니저, 그로스, 데이터 분석가, 실험 플랫폼을 운영하는 엔지니어. 통계 전공은 필수가 아니며, 스프레드시트와 SQL 기초면 충분합니다.
모듈
1주 · 측정 가능한 가설
문제 진술, 개입, 일차 지표, 가드레일, 예상 효과. 템플릿으로 한 장짜리 실험 브리프를 완성합니다.
2주 · 계측과 할당
이벤트 정합성, 사용자 단위 할당, 노출 정의, 봇·내부 트래픽 제외 규칙을 점검합니다.
3주 · 표본과 기간
최소 감지 효과, 검정력, 시즌성. 트래픽이 적은 한국 앱 시나리오로 계산 연습.
4주 · 모니터링과 조기 종료
피킹, 연속 모니터링의 함정, 사전 합의된 중단 규칙 작성.
5주 · 해석과 커뮤니케이션
구간 추정, 세그먼트 해석의 한계, 비전문가용 한 단락 요약.
6주 · 캡스톤 리포트
가상의 앱 실험 결과를 리포트로 제출하고 동료 리뷰를 받습니다.
강사
윤하늘
전 국내 커머스 그로스 분석 리드. 실험 플랫폼 도입과 주간 실험 리뷰 체계를 설계했고, 현재 Evolvsoft에서 측정 커리큘럼을 담당합니다.
수강 후기
3주차 표본 계산에서 우리 앱 트래픽을 넣어 보니 ‘이번 분기는 실험 수를 줄여야 한다’는 합의가 나왔습니다. 그 결정이 제일 값졌습니다.
캡스톤 피드백이 까다로웠습니다. 세그먼트 승리를 과대 포장한 부분을 지적받아 리포트를 다시 썼고, 그 경험이 실무 리뷰에 바로 쓰였습니다.
FAQ
통계 소프트웨어가 필요한가요?
기본은 스프레드시트와 제공 노트북입니다. Python을 쓰면 편하지만 필수는 아닙니다.
팀 단위로 들을 수 있나요?
가능합니다. 조직 측정실 플랜 또는 문의로 일정을 맞춰 드립니다.
이 과정의 한계는 무엇인가요?
일 활성 사용자가 매우 적은 서비스에서는 고전적 A/B로 유의미한 차이를 보기 어렵습니다. 그 경우 정성 조사·단계적 롤아웃·베이지안 접근 등 대안을 소개하지만, 본 과정이 그 대안을 깊게 다루지는 않습니다. 트래픽 현실을 무시하고 ‘유의한 결과’를 약속하지 않습니다.
환불은 어떻게 되나요?
환불 정책을 확인하세요. 이 사이트에서는 결제가 이루어지지 않으며, 상담 후 안내된 결제 채널 기준을 따릅니다.