AB테스트 (A/B testing)

한 줄 정의: 두 가지 이상의 디자인 대안을 서로 다른 사용자 집단에 노출시켜 성과 지표를 비교함으로써 더 나은 대안을 통계적으로 검증하는 실험 기법이다.

쉽게 풀면

디자인 A와 디자인 B를 각각 다른 사람들에게 보여주고, 어느 쪽이 더 반응이 좋은지 비교해보는 실험 방법이에요. 그래서 어느 쪽이 더 나은지 감으로 정하지 않고 실제 결과로 확인하는 거예요.

왜 중요한가

UX 실무에서 A/B 테스트는 버튼 문구나 레이아웃 같은 디자인 변경이 실제 전환율에 미치는 효과를 무작위 배정으로 확인하는 가장 직접적인 방법입니다. 사용자 연구가 '왜'를 답한다면 A/B 테스트는 '얼마나'를 수치로 답하기 때문에, 디자인 의사결정을 담당자 취향이 아닌 인과 증거에 기대게 합니다. 실제 사용자 행동 데이터를 근거로 디자인 대안 중 무엇이 더 나은 결과를 내는지 객관적으로 비교한다.

어떤 절차인가

가설과 지표를 먼저 정합니다: “버튼 문구를 바꾸면 클릭률이 오른다”처럼 바꿀 것 한 가지와 주 지표(전환율 등)를 분석 전에 확정합니다.
표본 크기를 계산합니다: 탐지하고 싶은 최소 효과, 유의수준, 검정력으로 필요한 인원을 구합니다.
무작위 배정: 사용자(또는 세션)를 A안과 B안에 무작위로 나눕니다. 배정 단위가 분석 단위와 같아야 합니다.
실행: 미리 정한 기간·표본이 찰 때까지 둡니다. 요일 효과가 있으면 한 주의 배수 기간을 쓰는 것이 관례입니다.
분석: 두 집단의 지표 차이와 불확실성(신뢰구간, 검정)을 계산합니다. 배정 비율이 의도와 다른지(표본 비율 불일치, SRM) 먼저 점검합니다.

언제 쓰고 무엇을 얻나

화면 문구, 배치, 추천 방식처럼 사용자 행동 지표로 측정할 수 있는 대안 비교에 씁니다. 얻는 것은 “어느 쪽이 얼마나 더 나은가”의 인과적 증거입니다. 왜 그런지는 사용성 테스트·인터뷰 같은 질적 방법으로 보충해야 합니다.

계산 예(가상). A안 10,000명 중 500명(5%), B안 10,000명 중 560명(5.6%)이 전환했습니다. 합동 비율 5.3%로 구한 두 비율 차이의 z = 1.89, 양측 p = 0.058이고, 차이(0.6%p)의 95% 신뢰구간은 -0.02%p ~ 1.22%p입니다. p가 .05를 넘고 구간이 0을 포함하므로 “B가 낫다”고 결론 내리기 어렵습니다. 이 정도 차이를 안정적으로 잡으려면 5.0% → 5.5%를 유의수준 .05, 검정력 80%로 탐지하는 경우 집단당 약 31,233명이 필요합니다. 즉 이 가상 실험은 표본이 부족했던 것입니다.

논문에는 이렇게 적는다

비교한 안의 정확한 내용(바꾼 요소 한 가지)과 배정 단위(사용자/세션), 무작위 배정 방법
주 지표와 보조 지표를 사전에 정했는지, 사용한 검정 방법
표본 크기 계산 근거(최소 탐지 효과, 유의수준, 검정력)와 실제 관찰 기간
효과는 p값만이 아니라 차이의 크기와 신뢰구간으로 제시
여러 지표·여러 안을 비교했다면 다중비교 보정 여부, 중간에 결과를 본 횟수와 중단 규칙

중간 확인(peeking)의 영향도 큽니다. 실제로 같은 안끼리 비교하는 A/A 상황(참 전환율 5%, 집단당 10,000명까지 1,000명마다 10번 확인)을 4,000회 모의실험했더니, 마지막에 한 번만 본 경우 거짓 양성이 4.5%인 반면 중간에 한 번이라도 p < .05가 나오면 멈추는 방식은 18.6%였습니다(Johari 등, 2017이 지적한 문제와 같은 종류).

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

"AB테스트 결과 새로운 버튼 색상을 적용한 그룹의 클릭률이 기존 대비 12% 높게 나타났다."

두 디자인 버전 간 성과 지표를 비교하여 통계적으로 우수한 대안을 확인한 실험 결과를 설명한다.

"AB테스트는 사용자를 무작위로 두 집단에 배정하여 각각 다른 안을 노출시킴으로써, 관찰된 성과 차이가 디자인 변화 때문인지 다른 요인 때문인지를 통계적으로 구분하려 한다."

이 문장은 AB테스트가 인과관계를 추정하기 위해 무작위 배정을 활용하는 실험 설계임을 보여준다.

조금 더 깊게 보면

A/B 테스트는 무엇이 더 나은지는 알려 주지만 왜 그런지는 알려 주지 않으므로 사용성 테스트나 사용자 인터뷰와 짝지어야 해석이 가능합니다. 표본이 충분히 모이기 전에 결과를 들여다보며 멈추는 '피킹'은 거짓 양성을 크게 늘리고, 여러 지표를 동시에 보면 다중비교 문제가 생깁니다.

또한 국지적 최적화만 반복하면 전체 구조를 바꾸는 큰 개선을 놓치기 쉽다는 한계가 자주 지적됩니다. 표본을 무작위로 두 집단에 배정하고 한 가지 변수만 바꾸는 것이 핵심 규칙이며, 여러 요소를 동시에 바꾸면 어떤 변경이 결과를 이끌었는지 구분할 수 없다.

표본 크기가 작거나 짧은 기간만 관찰하면 우연한 차이를 의미 있는 효과로 잘못 해석하는 오류가 생길 수 있어, 사전에 필요한 표본 크기를 계산해 두는 것이 권장된다.

주의할 점

AB테스트는 충분한 표본 크기와 실험 기간을 확보하지 못하면 우연에 의한 차이를 유의미한 효과로 잘못 해석할 위험이 있다. AB테스트는 표본 크기와 관찰 기간이 충분하지 않으면 우연한 차이를 의미 있는 효과로 잘못 해석할 위험이 있다.

헷갈리기 쉬운 용어

디자인 의사결정에 쓰는 방법들은 답하는 질문이 다릅니다.

방법	답하는 질문	특징
AB테스트	어느 안이 지표를 얼마나 더 개선하나	양적, 무작위 배정, 많은 사용자 필요
사용성 테스트	사용자가 어디서 어려워하나	질적, 소수 참가자를 관찰
사용자 인터뷰	왜 그렇게 행동·생각하나	질적, 동기와 맥락 파악

AB테스트가 “얼마나”를 답하고, 사용성 테스트·인터뷰가 “왜”를 설명하도록 짝지어 씁니다.

참고 문헌

Kohavi, R., Tang, D., & Xu, Y. (2020). Trustworthy Online Controlled Experiments: A Practical Guide to A/B Testing. Cambridge University Press.
Kohavi, R., Longbotham, R., Sommerfield, D., & Henne, R. M. (2009). Controlled experiments on the web: Survey and practical guide. Data Mining and Knowledge Discovery, 18(1), 140–181.
Johari, R., Koomen, P., Pekelis, L., & Walsh, D. (2017). Peeking at A/B tests: Why it matters, and what to do about it. Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.