적대적 예제 (Adversarial Example)
쉽게 풀면
딥러닝 모델은 사람이 보기에 거의 똑같아 보이는 이미지에 아주 미세한 잡음을 더하면 완전히 다른, 심지어 터무니없는 클래스로 잘못 예측하는 경우가 있어요. 예를 들어 판다 사진에 사람 눈에는 안 보일 정도의 픽셀 노이즈를 추가했더니 모델이 그것을 긴팔원숭이로 확신에 차서 잘못 예측한 유명한 사례가 있습니다. 이런 조작된 입력을 적대적 예제라고 부르며, 모델이 실제로는 사람처럼 견고하게 사물을 이해하는 것이 아니라 데이터의 특정 통계적 패턴에 취약하게 의존하고 있음을 보여줘요. 자율주행이나 보안 시스템처럼 안전이 중요한 분야에서 이런 취약점은 심각한 위험 요소가 될 수 있어 관련 방어 기법 연구도 활발합니다.
왜 중요한가
적대적 예제는 딥러닝 모델의 신뢰성과 안전성을 평가하는 핵심 잣대로 자리 잡았습니다. 모델이 벤치마크 정확도는 높더라도 사람이 알아채지 못하는 미세한 조작에 쉽게 흔들린다면, 그 모델을 자율주행이나 의료 진단, 보안 인증 같은 실제 시스템에 배치하기 어렵기 때문이에요. 그래서 컴퓨터 비전뿐 아니라 자연어처리, 음성 인식 등 다양한 분야의 논문에서 새로운 모델이나 방어 기법을 제안할 때 적대적 예제에 대한 견고성을 함께 검증하는 것이 관행처럼 자리 잡았습니다. 이 개념은 결국 모델 해석가능성, 일반화 성능, AI 안전성 연구 전반과 맞닿아 있는 상위 주제입니다.
논문에서는 이렇게 쓰입니다
모델을 속이도록 의도적으로 조작한 입력을 만들어, 이런 공격에 모델이 얼마나 취약한지를 정확도 하락 폭으로 측정했다는 뜻이다.
이미지뿐 아니라 텍스트 데이터에서도 단어를 살짝 바꾸는 방식으로 모델을 속일 수 있으며, 사람이 읽기엔 자연스러운 문장이라도 모델은 오답을 낼 수 있음을 보여준다.
방어 기법을 적용하면 공격에는 더 잘 버티지만, 그 대가로 평범한 입력에 대한 성능이 약간 떨어질 수 있다는 흔한 트레이드오프를 설명한 문장이다.
조금 더 깊게 보면
적대적 예제를 만드는 대표적인 방법으로는 그레이디언트 부호를 이용해 한 번에 노이즈를 계산하는 FGSM 계열과, 이를 여러 스텝에 걸쳐 반복 적용해 더 강력한 공격을 만드는 PGD 계열이 자주 언급됩니다. 또한 공격자가 모델 내부 구조와 그레이디언트에 접근할 수 있는지에 따라 화이트박스 공격과 블랙박스 공격으로 나뉘며, 논문마다 어떤 설정에서 견고성을 검증했는지가 결과 해석에 중요합니다. 방어 쪽에서는 적대적 예제를 학습 데이터에 섞어 모델을 다시 훈련시키는 적대적 학습(adversarial training)이 널리 쓰이는 접근으로 소개되며, 견고성 평가는 대체로 다양한 공격 강도(노이즈 크기)에 걸쳐 정확도가 얼마나 유지되는지를 함께 보고하는 방식으로 이루어집니다.
주의할 점
적대적 예제에 대한 방어 기법 하나가 특정 공격 방식에는 효과적이어도 다른 종류의 공격에는 취약할 수 있어, 견고성을 주장할 때는 다양한 공격 방식으로 검증해야 한다.