데이터오염공격 (Data Poisoning Attack)
한 줄 정의: 인공지능 모델의 학습 데이터에 악의적으로 조작된 데이터를 섞어 넣어 모델의 성능을 저하시키거나 의도한 방향으로 왜곡된 결과를 내도록 만드는 공격 기법입니다.
쉽게 풀면
데이터오염공격은 요리 재료 중 일부를 몰래 상한 재료로 바꿔치기해서 완성된 요리 전체의 맛을 망가뜨리는 것과 비슷합니다. 인공지능 모델은 대량의 데이터를 학습해서 판단 기준을 만드는데, 그 학습 데이터 안에 공격자가 조작한 데이터를 섞어 넣으면 모델이 잘못된 기준을 학습하게 됩니다. 그 결과 모델은 특정 상황에서 의도적으로 틀린 답을 내놓거나 전반적인 성능이 떨어지게 됩니다.
왜 중요한가
정보보안학과 인공지능 안전성 연구에서 데이터오염공격은 모델 학습 파이프라인 전체의 신뢰성을 위협하는 공격으로 다뤄지며, 특히 인터넷에서 수집한 대규모 데이터나 사용자 피드백을 학습에 활용하는 시스템에서 위험성이 크게 부각됩니다. 공격을 탐지하고 오염된 데이터를 걸러내는 데이터 정제 기법 연구도 함께 이루어집니다.
논문에서는 이렇게 쓰입니다
"본 연구는 학습 데이터의 일부만 조작해도 스팸 필터 모델의 오탐률이 유의미하게 증가함을 실험적으로 확인하였다."
소량의 오염 데이터만으로도 모델 성능이 저하될 수 있음을 보인 연구입니다.
"제안 방어 기법은 이상치 탐지를 통해 학습 데이터 내 데이터오염공격 흔적을 식별하고 제거한다."
오염된 데이터를 미리 걸러내는 방어 방법을 설명한 문장입니다.
조금 더 깊게 보면
데이터오염공격은 모델의 전반적인 성능을 떨어뜨리는 가용성 공격(availability attack)과, 특정 조건에서만 잘못된 결과를 내도록 은밀하게 심는 표적 공격(targeted attack)으로 구분되는 경우가 많습니다. 표적 공격의 경우 특정 트리거 패턴과 결합되면 AI 백도어공격과 밀접하게 연결됩니다.
주의할 점
데이터오염공격은 학습 데이터 수집 단계에서부터 발생할 수 있으므로, 모델 자체의 방어뿐 아니라 데이터 수집 및 검증 절차 전반의 관리가 함께 필요합니다.