용어 목록 > 차분 프라이버시 (Differential Privacy)

차분 프라이버시 (Differential Privacy)

쉽게 풀면

"부정행위를 한 적 있습니까?"라는 민감한 질문에, 답하기 전에 몰래 동전을 던져서 앞면이 나오면 사실대로 답하고, 뒷면이 나오면 동전을 한 번 더 던져 앞면이면 "예", 뒷면이면 "아니오"라고 답하게 하는 설문 기법을 생각해봅시다.

이렇게 하면 특정 한 사람의 답변만 보고는 그 사람이 실제로 부정행위를 했는지 확신할 수 없지만, 전체 응답을 모아 통계를 내면 실제 비율을 꽤 정확하게 추정할 수 있습니다.

차분 프라이버시는 이 아이디어를 일반화한 것으로, 데이터베이스에 특정 한 사람의 정보가 들어있든 빠져있든 질의 결과가 거의 같아 보이도록 계산된 만큼의 잡음(노이즈)을 결과에 더합니다. 그 결과 전체 통계적 경향은 그대로 알 수 있지만, 그 안에 "누구"의 정보가 들어있었는지는 알아내기 어려워집니다.

왜 중요한가

대규모 개인 데이터를 활용해 통계나 모델을 만드는 연구가 늘어나면서, 분석 결과나 학습된 모델 자체로부터 특정 개인의 정보가 역추론되는 프라이버시 위협이 중요한 문제로 대두되었습니다.

차분 프라이버시는 이런 위협에 대해 "어느 정도까지 보호되는가"를 수학적으로 엄밀하게 보장할 수 있는 몇 안 되는 프레임워크이기 때문에, 인구조사 통계 공개, 연합학습, 대규모 언어모델 학습 등 프라이버시가 민감한 여러 응용 분야의 논문에서 표준적인 평가 기준으로 자리잡고 있습니다.

실제로 미국 인구조사국 같은 공공기관도 통계 공개 시 차분 프라이버시를 적용하고 있어, 이론뿐 아니라 실무에서도 널리 채택되고 있는 개념입니다.

핵심 정리

• 정의(ε-차분 프라이버시): 한 사람의 기록만 다른 두 데이터셋 D와 D′에 대해, 무작위 알고리즘 M의 출력이 어떤 집합 S에 속할 확률이 Pr[M(D)∈S] ≤ e^ε·Pr[M(D′)∈S]를 만족하면 ε-차분 프라이버시입니다(Dwork, McSherry, Nissim, & Smith, 2006). ε이 작을수록 한 사람의 유무가 결과에 주는 영향이 작아 보호가 강합니다.
• 확률이 벗어날 여지를 δ로 허용한 (ε, δ) 형태도 널리 쓰입니다.
• 민감도와 라플라스 메커니즘: 질의 f의 민감도 Δf는 한 사람이 바뀔 때 결과가 최대 얼마나 변하는가입니다. 결과에 척도 Δf/ε의 라플라스 잡음을 더하면 ε-차분 프라이버시를 얻습니다.
• 합성: 같은 데이터에 여러 번 질의하면 ε이 누적됩니다. 총 허용량을 “프라이버시 예산”으로 관리합니다. 또 DP로 만든 결과를 가공해도 보장이 유지됩니다(후처리 불변성).
• 모델: 서버가 잡음을 더하는 중앙형, 개인이 먼저 잡음을 더해 보내는 지역형이 있고 후자는 서버를 믿지 않아도 되는 대신 정확도 손실이 큽니다. 딥러닝에서는 기울기를 자르고 잡음을 더하는 방법이 쓰입니다(Abadi 등, 2016). 이 개념의 이론적 정리는 Dwork와 Roth(2014)에 있습니다.

예시로 보기

예 1: 개수 질의의 오차(계산 코드로 확인): “조건에 맞는 사람 수”는 한 사람이 바뀌면 최대 1 변하므로 Δf = 1입니다. 라플라스 척도 b = 1/ε이고, 95% 확률로 잡음의 크기는 b·ln 20 이하입니다.

ε이 작을수록 보호가 강해지는 만큼 오차가 커집니다.

예 2: 무작위응답과 ε: 동전을 던져 앞면이면 사실대로 답하고, 뒷면이면 동전을 한 번 더 던져 앞면이면 “예”, 뒷면이면 “아니오”로 답하는 설문(Warner, 1965의 무작위응답 계열)에서는 실제로 “예”인 사람이 “예”라고 답할 확률이 3/4, 실제 “아니오”인 사람이 “예”라고 답할 확률이 1/4입니다. 비율이 3이므로 ε = ln 3 ≈ 1.10입니다. 반면 뒷면이면 무조건 “예”라고 답하게 하면 “아니오” 응답은 사실이 확정되어 비율이 무한대가 되므로 유한한 ε을 갖는 차분 프라이버시가 아닙니다.

자주 하는 오해

논문에서는 이렇게 쓰입니다

실제 논문에서

이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.

예시 문장

아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.

이 문장은 모델을 학습시킬 때 그레이디언트나 결과값에 통제된 잡음을 추가해서, 모델을 아무리 뜯어봐도 학습 데이터에 참여한 특정 개인의 정보를 알아낼 수 없도록 설계했다는 뜻입니다. 여기서 ε(엡실론) 값이 작을수록 프라이버시 보호가 강해지지만, 그만큼 잡음이 커져 결과의 정확도는 떨어지는 트레이드오프가 있습니다.

공공통계 분야에서는 세밀한 지역 단위로 통계를 쪼갤수록 특정 개인이 드러날 위험이 커지기 때문에, 공개되는 수치에 차분 프라이버시 잡음을 더해 이런 위험을 통제합니다.

여러 기관이나 기기가 데이터를 직접 공유하지 않고 함께 모델을 학습하는 연합학습에서도, 통신 과정에서의 프라이버시 유출을 막기 위해 차분 프라이버시가 함께 적용되는 경우가 많습니다.

조금 더 깊게 보면

차분 프라이버시는 잡음을 어디에 더하느냐에 따라 크게 두 가지 방식으로 나뉘는데, 데이터를 모으는 서버가 결과에 잡음을 더하는 중앙집중형(central) 방식과, 각 개인이 데이터를 보내기 전에 스스로 잡음을 더하는 지역형(local) 방식이 있으며 후자는 보호 수준이 더 강한 대신 정확도 손실이 큽니다.

딥러닝에서는 DP-SGD(차분 프라이버시가 적용된 확률적 경사하강법)처럼, 학습 과정에서 그레이디언트를 클리핑(clipping)하고 여기에 가우시안 잡음을 더하는 구체적인 알고리즘이 널리 쓰입니다.

여러 단계의 계산을 거칠수록 프라이버시 보호 수준(ε)이 누적되어 약해질 수 있다는 "프라이버시 예산(privacy budget)" 개념도 실제 시스템을 설계할 때 중요하게 고려됩니다.

주의할 점

차분 프라이버시는 데이터를 암호화해서 숨기는 기법이 아니라, 통계적 결과에 계산된 잡음을 더해 특정 개인을 식별하기 어렵게 만드는 기법입니다. 데이터 자체를 안전하게 주고받기 위한 공개키 암호화와는 목적과 방식이 다릅니다. 또한 ε 값을 지나치게 크게 잡으면 잡음이 거의 없어져 사실상 프라이버시 보호 효과가 사라질 수 있다는 점도 유의해야 합니다.

헷갈리기 쉬운 용어

개인정보를 보호하는 기법은 보호하는 대상과 방식이 다릅니다.

참고 문헌

1. Dwork, C., McSherry, F., Nissim, K., & Smith, A. (2006). Calibrating noise to sensitivity in private data analysis. In Theory of Cryptography Conference (Lecture Notes in Computer Science, Vol. 3876, pp. 265–284). Springer.
2. Dwork, C., & Roth, A. (2014). The algorithmic foundations of differential privacy. Foundations and Trends in Theoretical Computer Science, 9(3–4), 211–407.
3. Abadi, M., Chu, A., Goodfellow, I., McMahan, H. B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep learning with differential privacy. In Proceedings of the 2016 ACM SIGSAC Conference on Computer and Communications Security (pp. 308–318). ACM.
4. Warner, S. L. (1965). Randomized response: A survey technique for eliminating evasive answer bias. Journal of the American Statistical Association, 60(309), 63–69.

표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.