백도어 트리거 공격 (Backdoor Trigger Attack)
쉽게 풀면
마치 집 현관문에 몰래 비상 열쇠 구멍을 하나 더 뚫어두는 것과 비슷합니다. 평소에는 정상 열쇠로 문이 열리지만, 특정한 비상 열쇠를 사용하면 언제든 문이 열립니다. 인공지능 모델도 마찬가지로, 학습 데이터에 아주 작은 스티커 이미지나 특정 문양 같은 트리거를 몰래 섞어 넣으면, 그 트리거가 포함된 입력이 들어올 때만 모델이 공격자가 원하는 답을 내놓도록 만들 수 있습니다. 평소 성능 테스트에서는 이상이 전혀 발견되지 않는다는 점이 이 공격의 위험한 특징입니다.
왜 중요한가
많은 기업과 연구자가 외부에서 공개된 데이터셋이나 사전 학습된 모델을 가져다 쓰는데, 그 안에 백도어가 심어져 있어도 알아채기 어렵습니다. 자율주행이나 얼굴 인식처럼 신뢰성이 중요한 시스템에 이런 모델이 사용되면 심각한 보안 사고로 이어질 수 있어, 인공지능 공급망 보안의 핵심 주제로 다뤄집니다.
논문에서는 이렇게 쓰입니다
모델이 학습되는 과정에서 은밀하게 트리거 패턴이 데이터에 섞여 들어가는 구체적인 방식을 설명하는 문장입니다.
백도어가 이미 심어진 모델을 사후에 찾아내기 위한 방어 및 탐지 연구를 소개하는 문장입니다.
조금 더 깊게 보면
공격 시점에 따라 학습 데이터 자체를 오염시키는 데이터 중독(data poisoning) 방식과, 이미 학습된 모델의 가중치를 직접 조작하는 방식으로 나뉩니다. 방어 연구는 크게 학습 전 데이터를 정제하는 방법, 학습 후 모델 내부의 이상 뉴런 패턴을 분석해 트리거를 역으로 찾아내는 방법으로 나뉩니다. 트리거는 눈에 보이는 패치뿐 아니라 사람이 인지하기 어려운 미세한 노이즈 형태로도 설계될 수 있습니다.
주의할 점
백도어가 삽입된 모델은 일반적인 정확도 평가에서 정상 모델과 거의 동일한 성능을 보이기 때문에, 표준 성능 지표만으로는 백도어 존재 여부를 판단하기 어렵습니다. 신뢰할 수 없는 출처의 데이터나 사전 학습 모델을 사용할 때는 별도의 검증 절차가 필요합니다.