데이터오염공격 (Data Poisoning Attack)

한 줄 정의: 인공지능 모델의 학습 데이터에 악의적으로 조작된 데이터를 섞어 넣어 모델의 성능을 저하시키거나 의도한 방향으로 왜곡된 결과를 내도록 만드는 공격 기법입니다.

쉽게 풀면

데이터오염공격은 요리 재료 중 일부를 몰래 상한 재료로 바꿔치기해서 완성된 요리 전체의 맛을 망가뜨리는 것과 비슷합니다. 인공지능 모델은 대량의 데이터를 학습해서 판단 기준을 만드는데, 그 학습 데이터 안에 공격자가 조작한 데이터를 섞어 넣으면 모델이 잘못된 기준을 학습하게 됩니다. 그 결과 모델은 특정 상황에서 의도적으로 틀린 답을 내놓거나 전반적인 성능이 떨어지게 됩니다.

왜 중요한가

정보보안학과 인공지능 안전성 연구에서 데이터오염공격은 모델 학습 파이프라인 전체의 신뢰성을 위협하는 공격으로 다뤄지며, 특히 인터넷에서 수집한 대규모 데이터나 사용자 피드백을 학습에 활용하는 시스템에서 위험성이 크게 부각됩니다. 공격을 탐지하고 오염된 데이터를 걸러내는 데이터 정제 기법 연구도 함께 이루어집니다. 학습 데이터의 출처와 수집 경로를 투명하게 기록하는 데이터 계보 관리(data provenance)가 오염 여부를 사후에 추적하는 방안으로 함께 논의됩니다. 공개된 웹 데이터를 대규모로 수집해 사전학습하는 거대언어모델의 경우, 누구나 접근 가능한 웹페이지에 악의적 콘텐츠를 심어두는 방식의 오염 위험도 새롭게 제기되고 있습니다.

논문에서는 이렇게 쓰입니다

"본 연구는 학습 데이터의 일부만 조작해도 스팸 필터 모델의 오탐률이 유의미하게 증가함을 실험적으로 확인하였다."

소량의 오염 데이터만으로도 모델 성능이 저하될 수 있음을 보인 연구입니다.

"제안 방어 기법은 이상치 탐지를 통해 학습 데이터 내 데이터오염공격 흔적을 식별하고 제거한다."

오염된 데이터를 미리 걸러내는 방어 방법을 설명한 문장입니다.

조금 더 깊게 보면

데이터오염공격은 모델의 전반적인 성능을 떨어뜨리는 가용성 공격(availability attack)과, 특정 조건에서만 잘못된 결과를 내도록 은밀하게 심는 표적 공격(targeted attack)으로 구분되는 경우가 많습니다. 표적 공격의 경우 특정 트리거 패턴과 결합되면 AI 백도어공격과 밀접하게 연결됩니다. 연합학습처럼 여러 참여자가 각자의 데이터로 모델을 함께 학습하는 환경에서는 한 참여자만 오염된 데이터를 제공해도 전체 모델에 영향을 줄 수 있어, 참여자별 기여도를 검증하는 방어 기법이 함께 연구됩니다.

주의할 점

데이터오염공격은 학습 데이터 수집 단계에서부터 발생할 수 있으므로, 모델 자체의 방어뿐 아니라 데이터 수집 및 검증 절차 전반의 관리가 함께 필요합니다.