알고리즘 책무성 (Algorithmic Accountability)
쉽게 풀면
은행에서 대출을 거절당하면 담당 직원이 "신용점수와 소득 대비 부채 비율 때문"이라고 이유를 설명해야 합니다. 그런데 그 심사를 사람이 아니라 인공지능 알고리즘이 했다면 어떨까요? 알고리즘 책무성은 바로 이런 상황을 대비하는 원칙입니다. 알고리즘이 내린 결정이라 해도 "왜 이런 결과가 나왔는지" 추적할 수 있는 기록을 남기고, 외부에서 그 판단 과정을 검토할 수 있게 하며, 잘못된 결과가 나왔을 때 누가 어떻게 바로잡을지가 미리 정해져 있어야 한다는 것입니다. 즉 알고리즘 뒤에 숨어서 "시스템이 그렇게 판단했다"며 책임을 회피할 수 없게 만드는 장치입니다.
왜 중요한가
알고리즘이 대출 심사, 채용, 의료 진단, 형사 사법 판단처럼 사람의 삶에 큰 영향을 미치는 결정에 점점 더 많이 관여하면서, "결과가 왜 그렇게 나왔는지 아무도 설명하지 못하는" 상황 자체가 사회적 위험으로 인식되고 있습니다. 이 때문에 인공지능 윤리, 거버넌스, 법·정책 분야의 논문들은 알고리즘 책무성을 기술적 성능 문제와는 별개로, 신뢰할 수 있는 인공지능 시스템을 설계하기 위한 핵심 조건으로 다룹니다. 또한 알고리즘 책무성은 설명가능인공지능(XAI), 공정성 연구, 데이터 거버넌스 논의와 맞닿아 있어 여러 상위 연구주제를 잇는 개념으로 자주 인용됩니다.
핵심 정리
- 책무성(accountability) 자체는 알고리즘 이전부터 있던 개념입니다. Bovens(2007)는 이를 행위자와 포럼(심사하는 쪽) 사이의 관계로 좁혀 정의합니다. 행위자는 자신의 행위를 설명하고 정당화할 의무가 있고, 포럼은 질문하고 판단을 내릴 수 있으며, 행위자는 그 결과로 제재 등의 결과를 질 수 있습니다.
- 알고리즘 책무성은 이 틀을 알고리즘 의사결정에 가져온 것입니다. 누가 행위자(개발자, 운영 기관)이고, 누가 포럼(규제기관, 감사자, 법원, 이용자, 언론)이며, 무엇을 설명해야 하는지를 묻습니다.
- Diakopoulos(2015)는 언론이 알고리즘이라는 계산 권력 구조를 조사하는 관점에서 이 주제를 다루었고, Wieringa(2020)는 ‘알고리즘을 설명할 때 무엇을 설명해야 하는가’를 문헌 검토로 정리했습니다.
- 따라서 투명성, 설명가능성, 감사는 책무성을 가능하게 하는 수단이며 책무성 그 자체와는 다릅니다.
예시로 보기
Bovens의 관계 틀을 가상의 채용 심사 알고리즘에 적용해 보면 다음과 같습니다(가상의 예).
| 구성 요소 | 채용 알고리즘의 경우 |
|---|---|
| 행위자 | 알고리즘을 운영하는 기업, 개발 업체 |
| 포럼 | 고용 규제기관, 외부 감사 기관, 법원, 지원자와 노동조합 |
| 설명·정당화 의무 | 어떤 자료로 어떤 기준에서 점수를 냈는지, 결과가 특정 집단에 불리하지 않은지 설명 |
| 질문과 판단 | 포럼이 기록을 열람하고 질문하며 위법·부당 여부를 판단 |
| 결과 | 시정 명령, 과태료, 알고리즘 사용 중지 등 |
이 틀로 보면 ‘설명 가능한 모델을 썼다’는 사실만으로는 책무성이 충족되지 않습니다. 설명을 받을 포럼과 판단 결과에 따른 후속 조치가 함께 있어야 관계가 성립하기 때문입니다.
자주 하는 오해
| 오해 | 바로잡기 |
|---|---|
| 알고리즘을 투명하게 공개하면 책무성이 확보된다. | 공개는 포럼이 판단하는 데 쓰는 자료일 뿐입니다. 판단할 포럼과 결과가 없으면 Bovens의 정의에 따른 책무성 관계가 아닙니다. |
| 책무성은 편향이 없다는 뜻이다. | 책무성은 문제를 찾아 설명하고 시정하는 체계에 관한 개념이며, 편향이 없다는 보증이 아닙니다. |
| 책임은 개발자에게만 있다. | 누가 행위자가 되는지(개발자, 도입 기관, 운영자)는 사안마다 정해야 하는 문제로 문헌에서도 논의됩니다. |
논문에서는 이렇게 쓰입니다
실제 논문에서
이 용어를 직접 쓴 국내 논문 문장을 아직 수집하지 못했습니다. 수집되는 대로 출처와 함께 싣겠습니다.
예시 문장
아래는 용어의 쓰임을 보여 주려고 만든 예시로, 실제 논문에서 가져온 문장이 아닙니다.
이 문장은 인공지능이 채용 여부를 판단하는 과정을 나중에 검증할 수 있도록 기록을 남기고, 제3자가 그 과정을 점검할 수 있는 절차를 마련했다는 뜻입니다. 인공지능 윤리·거버넌스를 다루는 논문에서 알고리즘 신뢰성을 확보하는 방안으로 자주 제시됩니다.
의료 인공지능 분야의 예문으로, 시스템이 내린 판단과 그것을 최종 승인한 사람의 결정을 함께 남겨두어 오진이 발생했을 때 원인과 책임을 추적할 수 있게 한다는 의미입니다. 인공지능이 사람의 최종 판단을 돕는 보조 역할을 할 때도 책무성 체계가 필요하다는 점을 보여줍니다.
행정·공공정책 분야의 예문으로, 정부나 공공기관이 사용하는 알고리즘도 외부 이해관계자가 검증할 수 있어야 한다는 맥락을 보여줍니다. 이처럼 알고리즘 책무성은 민간 기업뿐 아니라 공공 부문의 의사결정에도 적용되는 개념으로 다루어집니다.
조금 더 깊게 보면
알고리즘 책무성을 실제로 구현하는 방법은 크게 사전적 장치와 사후적 장치로 나뉩니다. 사전적 장치로는 알고리즘 영향평가(algorithmic impact assessment)나 설계 단계의 문서화가 있고, 사후적 장치로는 의사결정 로그 보존, 외부 감사, 이의제기 및 시정 절차 등이 있습니다. 이와 함께 자주 언급되는 개념으로 투명성(transparency)과 설명가능성(explainability)이 있는데, 이 둘은 책무성을 뒷받침하는 수단이지 책무성 자체와 동일한 것은 아닙니다. 즉 알고리즘이 왜 그런 결정을 내렸는지 설명할 수 있다고 해서 곧바로 책임 소재가 명확해지는 것은 아니며, 그 설명을 바탕으로 실제로 검증하고 시정할 수 있는 제도적 절차가 갖추어져야 비로소 책무성이 성립한다고 보는 것이 일반적인 관점입니다.
주의할 점
알고리즘 책무성은 알고리즘편향과 혼동하기 쉽지만 서로 다른 층위의 개념입니다. 알고리즘편향이 "결과가 특정 집단에 불공정하게 나오는 현상 자체"를 가리킨다면, 알고리즘 책무성은 "그런 문제를 발견하고 바로잡을 수 있는 설명·감사·책임 체계가 갖추어져 있는가"를 가리킵니다. 책무성 체계가 잘 갖추어져 있어도 편향은 여전히 발생할 수 있으며, 오히려 그 편향을 찾아내고 시정하는 것이 책무성 체계의 핵심 역할입니다.
헷갈리기 쉬운 용어
알고리즘을 둘러싼 규범적 용어들은 서로 다른 질문에 답합니다.
| 용어 | 답하는 질문 | 책무성과의 관계 |
|---|---|---|
| 알고리즘 책무성 | 누가 누구에게 어떤 결과를 설명하고 책임지는가 | — |
| 설명가능 인공지능 | 모델이 왜 그런 출력을 냈는지 이해시킬 수 있는가 | 설명을 제공하는 수단 |
| 알고리즘 편향 | 결과가 특정 집단에 체계적으로 불리한가 | 책무성 체계가 찾아내고 시정해야 할 문제 |
참고 문헌
- Bovens, M. (2007). Analysing and assessing accountability: A conceptual framework. European Law Journal, 13(4), 447–468.
- Diakopoulos, N. (2015). Algorithmic accountability: Journalistic investigation of computational power structures. Digital Journalism, 3(3), 398–415.
- Wieringa, M. (2020). What to account for when accounting for algorithms: A systematic literature review on algorithmic accountability. In Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency (pp. 1–18). ACM.
표의 기준값은 위 문헌에 근거한 관례이며, 분야·학술지마다 다른 기준을 쓸 수 있습니다.