베르누이분포 (Bernoulli Distribution)
쉽게 풀면
동전을 딱 한 번 던진다고 생각해봅시다. 나올 수 있는 결과는 앞면 또는 뒷면, 단 두 가지뿐입니다. 이렇게 결과가 "성공(1)" 아니면 "실패(0)"인 단 한 번의 시행을 확률적으로 나타낸 것이 베르누이분포입니다. 성공 확률을 p라고 하면 실패 확률은 자연히 1-p가 됩니다. 예를 들어 환자 한 명이 치료에 "반응했다/안 했다", 응답자 한 명이 설문에 "예/아니오"라고 답한 것 모두 베르누이분포를 따르는 사건입니다. 이 베르누이 시행을 n번 독립적으로 반복해서 성공한 횟수를 세면, 그것이 바로 이항분포가 됩니다. 즉 베르누이분포는 이항분포의 가장 작은 단위(n=1인 경우)라고 볼 수 있습니다.
왜 중요한가
베르누이분포는 이진(binary) 결과를 다루는 거의 모든 통계·머신러닝 모형의 출발점입니다. 로지스틱 회귀, 분류 문제의 손실함수, A/B 테스트의 전환율 분석 등은 결국 각 관측치가 베르누이분포를 따른다는 가정 위에서 세워집니다. 개념 자체는 단순하지만, 이를 여러 번 반복하면 이항분포가 되고 매개변수를 확률변수로 취급하면 베타-베르누이 모형 같은 베이지안 기법으로 확장되기 때문에, 논문에서 더 복잡한 모형을 이해하려면 이 기본 단위를 정확히 짚고 넘어가야 합니다.
논문에서는 이렇게 쓰입니다
이 문장은 환자 한 명 한 명의 치료 결과를 "반응했는가 안 했는가"라는 이진값으로 보고, 그 확률적 성질을 베르누이분포로 모형화했다는 뜻입니다. 이런 가정은 로지스틱 회귀 등 이진 결과를 다루는 여러 통계 모형의 출발점이 됩니다.
추천 시스템이나 온라인 광고 분야에서는 클릭했는지 안 했는지를 베르누이분포로 보고, 이를 예측하는 분류 모형을 이진 교차 엔트로피 손실로 학습시키는 경우가 흔합니다. 즉 베르누이분포는 딥러닝 분류 문제의 출력값 해석에도 그대로 적용됩니다.
유전학·생물정보학 분야에서도 특정 위치에 돌연변이가 "있다/없다"와 같은 이진 사건을 베르누이분포로 모형화한 뒤, 관측 데이터로부터 발생 확률을 추정하는 방식이 자주 쓰입니다.
조금 더 깊게 보면
베르누이분포의 기댓값은 p, 분산은 p(1-p)로, 이 값은 p=0.5일 때 가장 커지고 p가 0이나 1에 가까울수록 작아집니다. 논문에서 로지스틱 회귀나 이진 분류 모형의 손실함수로 흔히 쓰이는 이진 교차 엔트로피(binary cross-entropy)는 베르누이분포의 우도(likelihood)를 음의 로그로 변환한 형태이며, 최대우도추정과 직접 연결됩니다. 또한 p 자체를 고정된 값이 아니라 확률변수로 보고 베타분포 같은 사전분포를 부여하는 베이지안 접근에서는 이를 베타-베르누이 모형이라 부르며, 사후분포 갱신이 해석적으로 깔끔하게 이루어진다는 특징이 있습니다.
주의할 점
베르누이분포와 이항분포를 혼동하기 쉽습니다. 베르누이분포는 시행이 "단 한 번"일 때를 가리키고, 이항분포는 같은 베르누이 시행을 "여러 번(n번)" 반복했을 때 성공 횟수의 분포를 가리킵니다. 즉 베르누이분포는 이항분포에서 n=1인 특수한 경우입니다.