AI 백도어공격 (AI Backdoor Attack)
한 줄 정의: 인공지능 모델 학습 과정에 특정 트리거 패턴에만 반응하는 숨겨진 오작동 규칙을 심어두어, 평소에는 정상 작동하다가 그 트리거가 나타났을 때만 공격자가 의도한 결과를 내도록 만드는 공격 기법입니다.
쉽게 풀면
AI 백도어공격은 겉보기에는 정상적으로 작동하는 자물쇠에 특수한 모양의 열쇠로만 열리는 비밀 통로를 몰래 만들어 두는 것과 비슷합니다. 평소에는 모델이 정확하게 작동해서 문제를 전혀 알아챌 수 없지만, 공격자가 미리 정해둔 특정 패턴(트리거)이 입력에 나타나면 모델이 갑자기 공격자가 원하는 대로 잘못된 결과를 내놓습니다. 예를 들어 이미지의 특정 위치에 작은 표식이 찍히면 어떤 대상이든 무조건 안전하다고 분류하도록 심어둘 수 있습니다.
왜 중요한가
정보보안학과 인공지능 안전성 연구에서 AI 백도어공격은 외부에서 가져온 사전학습 모델이나 협업으로 학습된 모델을 사용할 때 특히 위험한 공급망 보안 문제로 다뤄집니다. 평상시 성능 지표만으로는 탐지가 어렵기 때문에 별도의 탐지 및 제거 기법 연구가 중요하게 취급됩니다.
논문에서는 이렇게 쓰입니다
"본 연구는 이미지 분류 모델 학습 과정에 소수의 트리거 이미지를 삽입하여 AI 백도어공격이 성공적으로 작동함을 실험으로 보였다."
모델 학습 단계에서 실제로 백도어를 심어 그 효과를 검증한 연구입니다.
"제안 탐지 기법은 뉴런 활성화 패턴 분석을 통해 사전학습 모델 내 AI 백도어공격의 존재 여부를 판별한다."
이미 존재할 수 있는 백도어를 찾아내는 탐지 방법을 설명한 문장입니다.
조금 더 깊게 보면
AI 백도어공격은 학습 데이터에 트리거 패턴이 포함된 샘플을 섞어 넣는 데이터오염공격의 한 형태로 구현되는 경우가 흔하며, 모델 자체의 가중치를 직접 조작해 심는 방식도 연구되고 있습니다. 탐지를 위해서는 뉴런 활성화 패턴 분석, 트리거 역추정(trigger reverse engineering) 등의 기법이 활용됩니다.
주의할 점
백도어가 심어진 모델은 일반적인 성능 평가에서는 정상 모델과 거의 구별되지 않을 수 있어, 표준 성능 지표만으로 안전성을 판단해서는 안 됩니다.