인공지능 및 자동화된 의사결정·추천 시스템이 야기하는 차별과 편향 문제는 최근 몇 년 새 여러 언론 매체와 학계의 관심을 받고 있다. 예컨대 미국 여러 주에서 활용하는 ‘피고인의 위험 예측 알고리즘’이나 특정 시간에 범죄가 일어날 확률이 높은 장소를 추정해 경찰의 순찰 강화에 활용한 ‘예측적 치안 소프트웨어’ 등이 △백인에 비해 흑인에게 편향적으로 불리한 결과를 낸다는 연구 △상용 얼굴 인식 소프트웨어에서 백인 남성보다 흑인 여성의 안면 인식률이 떨어짐을 보인 연구 △인공지능 채용시스템의 시험 결과 여성에게 불리한 방식으로 우수 인재 예측 모델이 훈련된 사례 △유튜브 음성을 자막으로 자동 생성했을 때 남성 발화자에 비해 여성 발화자일 때 인식이 부정확하다는 조사는 널리 인용되는 사례 중 극히 일부일 뿐이다. 그렇다면 차별과 편향을 야기하는 인공지능은 어떻게, 왜 만들어지며 이 문제를 해결하기 위해서 어떤 대책들이 필요할까? 그리고 그 대책들에 맹점이 있다면 무엇일까?
인공지능으로 인한 차별
원인과 대책
앞서 인용한 연구 결과를 종합하면 인공지능이 차별적인 결과를 야기하는 원인을 크게 의도적인 것과 비의도적인 것에서 찾아볼 수 있다. 차별적인 결과를 의도적으로 야기하는 인공지능은 설계 단계에서 특정한 사회적 정체성과 이와 연관 있는 사회적 고정관념이 서비스의 주요 구성 요소 중 하나일 때 나타난다. 대표적인 사례는 음성 비서 혹은 인공지능 스피커 목소리의 젠더(주로 여성)와 이와 함께 투사된 봉사적이고 유순한 젠더 고정관념이다.
의도적이지 않게 차별적인 결과를 야기하는 원인은 보다 다양하다. 크게 세가지로 나누면 △환경적 원인 △데이터(셋)에 의한 원인 △인공지능 모델의 인식론적 원인이 있다. 제도·규범의 미비, 조직 다양성 등의 환경적 원인으로는 인공지능의 차별적인 결과를 판단하기 위한 윤리적 토대나 규범, 법 조항이 부족하다는 점이 꼽힌다. 인공지능을 연구·개발하는 과학기술자들의 젠더, 인종, 장애 여부, 성적지향, 연령, 출신 지역 등의 구성 비율이 불균형한 것도 차별을 야기할 수 있다.
기계학습 등 인공지능 모델을 훈련 및 학습시키는 데 사용하는 데이터 수집 및 구조화 과정은 데이터 수집과 처리 두 가지로 나누어 생각해볼 수 있다. 데이터 수집에서는 △학습 데이터가 존재하지 않거나 부족한 경우 △데이터 내에 대표성이 결여된 경우 △데이터가 사회적 편향을 반영한 경우다. 데이터 처리 중 어떤 항목을 목표 변수로 정의할 것인지, 훈련 데이터를 어떻게 레이블링할 것인지, 어떤 특징을 기계학습의 주요 변수로 삼을 것인지 등의 과정에서 인간의 주관, 편향, 선입견이 개입할 때 발생한다.
마지막으로 기계학습 등 인공지능 모델 내부의 인식론적 모델은 기계학습 모델의 예측 정확성이 높아질수록 그 설명 가능성이 낮아진다는 점, 로지스틱 회귀 모델, 완전 연결 신경망 등의 기계 학습 모델을 정규화(regularization)한 구조가 편향을 지닐 수도 있다는 점, 평균 제곱근 편차 등의 목적 함수가 편향을 지닐 수도 있다는 점 등이 지적된다.
인공지능 차별·편향 문제를 야기한 원인에 상응하는 해결책이 필요하다. 학계는 △환경적 해결책(인공지능의 차별에 대한 시민, 국가, 범국가 차원의 대화와 토론 활성화, 인공지능 연구개발 구성원의 다양성을 증진) △데이터 해결책(편향적이지 않은 방식으로 데이터 수집하기, 변수, 레이블링, 특징 선택에서 주관 개입의 여지를 줄이기) △인공지능 모델 내부 해결책(설명 가능성·해석 가능성을 높이기) 등을 제안한다.
자유주의적 차별 반대 담론 기반
알고리즘 공정성 담론의 맹점
흥미로운 것은 인공지능 차별·편향 문제의 해결책들에 대해 비판적 재검토가 함께 있다는 점이다. 이는 페미니즘, 비판 이론 등의 관점에서 과학기술학, 페미니스트 문화인류학, 정보학 등의 사회과학 연구자들이 전문가 시스템 등 당대 대표적 인공지능 프로젝트의 전제와 대형 정보 분류 체계의 인식론적·존재론적 편향이 사회와 개인에게 미칠 수 있는 영향을 비판적으로 분석해 온 지적 전통 위에서 이뤄진다.
비판적 데이터 연구자 안나 로렌 호프먼은 인공지능 차별·편향에 대한 개선책들이 자유주의 법학의 공정성 및 차별 반대(anti-discrimination) 담론에 뿌리를 둠으로 인해 나타나는 세 가지의 문제적 경향을 지적했다.
단일 원인(주관적인 인간 개발자나 조직, 혹은 편향된 훈련 데이터나 기계학습 모델 등)을 색출해 처벌하려는 경향이다. 차별적 현상을 야기한 이면의 구조가 인공지능 외부에 위치한 것처럼 상정한다. 이는 인공지능의 책임이 사후적으로 편향을 탐지하고 그 영향을 최소화하는 데에 있는 것으로 축소한다.
인공지능 차별 대책의 담론들은 권리, 기회, 자원의 ‘분배적 정의’ 프레임에 초점을 맞추는 경향을 보인다. 하지만 인공지능이 보다 공정한 분배를 돕거나 이끄는 수단에 그치지 않고, 공정하게 분배할 가치가 있는 사회적 자원을 판단하고 그것이 어떤 것이어야 하는지에 대한 의사결정의 주요 요소로 고려된다는 점을 종종 간과한다. 나아가 때때로 분배 프레임에 잘 부합하지 않는 차원의 문제들, 예컨대 인공지능 및 데이터 표현에서 모욕, 혐오, 존엄성 침해 등의 문제 등을 도외시하기도 한다.
최근 알고리즘 공정성 논의가 여성, 흑인, 장애인 등 사회적 소수자 집단이 받는 차별 문제 해소에 노력을 기울이고 있다. 하지만 동시에 남성, 백인, 비장애인 등 사회적 주류 집단이 누리는 특권 문제를 간과하는 경향이 있다. 주류 집단이 우대받는 구조, 그 집단의 특질을 이상화하거나 그들의 이해관계에 복무하는 규범, 이를 통한 사회적 계층 (재)생산에 의해 이 특권은 눈에 띄지 않게 이어지고 강해진다.
우리는 공정한 인공지능을 원한다
‘우리’는 누구인가?
법학자 킴벌리 크렌쇼의 ‘지하실’을 통해 주류 집단의 특권을 간과하는 문제를 비판한다. 사회·역사적으로 억압받아 온 온갖 부류의 집단들이 층층이 쌓여 서 있는 가상의 지하실이 상정한다. 가장 겹겹이 차별받는 이가 지하실 바닥에 서 있다. 그 어깨 위에 약간이나마 덜 차별받는 사람들이 딛고 올라서 있으며, 천장 바로 밑에는 가장 덜 차별받는 이가 서 있다. 지하실 천장 위로는 소외받지 않는 이들이 속해 있는 방이 있다. 마땅히 상층부에 있었을 법하다고 여기는 사람에게만 지하실 위로 올라올 자격을 허락한다. 그의 지하실 비유는 그 정체성의 계층적 등급화를 가리킨다. 이를 인공지능 차별·편향 문제에 적용해보면 인공지능이 재현·강화하는 차별 문제에만 골몰하는 것은 어떤 부류의 사람들에게 편향적으로 편의를 제공하는 구조적 과정들을 건드리지 않을 좋은 명목일 수도 있다.
사회적으로 억압받아 온 집단들을 차별하지 않는 인공지능으로 충분한가? 알고리즘 차별·편향 문제의 해결은 사회적 약자를 차별하는 사회구조를 알고리즘이 동요시키도록 요구하는 방향으로 제기할 필요가 있다. 알바니 뉴욕주립대학 버지니아 유뱅크스 교수는 그의 저서 ‘자동화된 불평등’에서 “자동화된 의사결정 도구가 구조적 불평등을 해체하도록 명시화해서 만들어지지 않는 한, 그 속도와 규모는 구조적 불평등을 강화할 수밖에 없다”고 말했다.
●참고문헌
1. 양서연. 「[이슈브리프] 차별하는 인공지능 : AI가 확산할 수 있는 은연중 차별의 우려와 새로운 사회적 윤리의 필요성」. 『젠더리뷰』 54 (2019): 28-34.
2. 오요한, 홍성욱. 「인공지능 알고리즘은 사람을 차별하는가?」. 『과학기술학연구』 18, no. 3 (2018): 153-215.
3. 한애라. 「인공지능과 젠더차별」. 『이화젠더법학』 11, no. 3 (2019): 1-39.
4. 제프리 C. 보커, 수전 리 스타. 주은우 역. 『사물의 분류』. 서울 : 현실문화연구, 2005. [Bowker, Geoffrey C., and Susan Leigh Star. Sorting Things Out: Classification and its consequences. MIT press, 2000.]
5. 루시 서치먼. 「페미니스트 STS와 인공의 과학」. 에드워드 J. 해킷, 올가 암스테르담스카, 마이클 린치, 주디 와츠먼 편. 김명진 역. 『과학기술학 편람 1』. 대전 : 아카넷. 2019. pp.258-300. [Suchman, Lucy. "Feminist STS and the Sciences of the Artificial." The Handbook of Science and Technology Studies, third edition, edited by Hackett, Edward J., Olga Amsterdamska, Michael Lynch, and Judy Wajcman. 139-164. MIT Press, 2008.]
6. 버지니아 유뱅크스, 김영선 저. 「디지털 구빈원」. 『자동화된 불평등 - 첨단 기술은 어떻게 가난한 사람들을 분석하고, 감시하고, 처벌하는가』, 269-307. 서울 : 북트리거 (지학사), 2018. [Eubanks, Virginia. “Digital Poorhouse” Automating Inequality: How high-tech tools profile, police, and punish the poor. 174-200. New York, NY: St. Martin's Press, 2018.]
7. Adam, Alison. Artificial Knowing: Gender and the thinking machine. Routledge, 1998.
8. Agre, Philip E. “Toward a critical technical practice: Lessons learned in trying to reform AI,” Social Science, Technical Systems, and Cooperative Work: Beyond the Great Divide, edited by Geoffrey Bowker, Susan Leigh Star, Les Gasser, William Turner, 131-157. Psychology Press, 1997.
9. Carastathis, Anna. "Basements and intersections." Hypatia 28, no. 4 (2013): 698-715.
10. Cifor, M., Garcia, P., Cowan, T.L., Rault, J., Sutherland, T., Chan, A., Rode, J., Hoffmann, A.L., Salehi, N., Nakamura, L. (2019). "Feminist Data Manifest-No." Retrieved From: https://www.manifestno.com/.
11. Collins, Harry M. Artificial Experts: Social knowledge and intelligent machines. MIT Press, 1993.
12. Crenshaw, Kimberle Williams. 1989. “Demarginalizing the intersection of race and sex: A black feminist critiqueof antidiscrimination doctrine, feminist theory and antiracist politics.” University of Chicago Legal Forum, Vol. 1989: Iss. 1, Article 8. 139–67.
13. D’ignazio, Catherine, and Lauren F. Klein. Data Feminism. MIT Press, 2020.
14. Friedman, Batya, and Helen Nissenbaum. "Bias in computer systems." ACM Transactions on Information Systems (TOIS) 14, no. 3 (1996): 330-347.
15. Forsythe, Diana. Studying Those Who Study Us: An anthropologist in the world of artificial intelligence. Stanford University Press, 2001.
16. Hoffmann, Anna Lauren. "Where fairness fails: data, algorithms, and the limits of antidiscrimination discourse." Information, Communication & Society 22, no. 7 (2019): 900-915.
17. Suchman, Lucy A. Plans and Situated Actions: The problem of human-machine communication. Cambridge University Press, 1987.
