차별과 편견, 혐오에서 안전한 AI는 어떻게 만들까?

LAB2050
LAB2050
Published in
6 min readApr 28, 2023

--

[A.I.C.E 포럼] 시민사회 분야 — 정치하는엄마들

오은선 정치하는엄마들 활동가

AI가 가진 흔한 이미지는 감정에 치우치지 않는 공정한 모습이다. 하지만 AI가 인간보다 더 차별과 편견을 가지고 있을 수 있다. AI는 기존의 방대한 데이터를 통해 학습한다. 데이터는 과거 인간이 생각했던 것에서 온다. AI가 가진 편견은 인간이 주입한 데이터에서 시작된다. 구글포토의‘고릴라 사건’, 챗봇‘테이(Tay)’의 인종차별 사건, 또 다른 대화형 AI ‘이루다’의 성차별, 동성애·장애인 혐오 발언 사건 등을 겪으면서 시민사회는 기대만큼이나 우려가 크다.

지금도 아동·청소년은 미디어와 인터넷, 유튜브 검색을 통해 배운다. 앞으로는 AI에 배우고 학습하게 될 것이다. 지금도 오픈 AI의 챗지피티를 이용해 영어를 공부하는 방법이 공유되고 있다. 디지털 리터러시 교육이 충분히 이루어지지 않은 상태에서는 그럴듯한 말로 대답하는 AI의 대답을 사실로 오해할 우려가 있다. 학습하는 데이터가 더 많아져 AI가 제공하는 정보의 신뢰도가 높아질수록 AI의 정치적 올바름에 대한 요구는 당연하게 따라온다.

소제목 : ‘#이미지바꿔’ 캠페인을 벌인 이유

만일 어린이가 boy와 girl이라는 단어를 학습하기 위해 네이버에 해당 단어를 검색한다면 어떤 이미지들이 나올까. 놀랍게도 충격적인 수준의 성차별적 이미지가 노출된다. 해당 단어뿐만 아니라 상당히 많은 단어에서 성차별·성편향적이며 여성을 대상화 한 이미지가 빈번하게 보인다. 그래서 정치하는엄마들은 원래 단어 뜻과 상관없는 이미지 검색 결과가 나오는 검색어, 성차별적이고 성편향적, 여성을 성적 대상화 하는 이미지가 나오는 검색어를 수집하여 #이미지바꿔 캠페인을 벌였다. 원래 뜻과 관계없는 이미지 검색 결과가 노출되는 단어, 성차별적 이미지가 검색되는 단어, 같은 단어임에도 성별에 따라 이미지 결과가 현격히 차이 나는 단어를 본격적으로 수집하고 제보받았다. 그리고 그 결과를 부적절한 검색 이미지의 개선을 요청하는 공문을 네이버·카카오(다음)·구글에 전송했다.

구글은 아무런 반응조차 없었고, 카카오(다음)에서는 ‘이용자들이 클릭하는 행동에 만족하는 ‘사용자 피드백 정보’가 검색 결과 순위 도출에 활용이 되기 때문에 같은 단어임에도‘여’로 시작하는 단어(예, 여대생, 여교사 등)는 성적 대상화된 이미지가 다수이고, ‘남’이 시작하는 단어인 경우(예, 남대생, 남교사 등)는 그렇지 않은 결과의 차이가 난다’고 답변했다. 회사 내부에서 이미지 검색 품질을 개선했지만, 검색 결과의 순위에 영향을 미치는 다양한 요소를 검토해야 하고, 새 이미지가 계속 유입되는 특성이 있어 완벽히 해결되기는 어렵다는 답변도 덧붙였다.

국내 주요 인터넷 업체들로 구성된 한국인터넷자율기구(KISO)의 반응도 별반 다르지 않았다. KISO는 청소년 유해 검색어 설정 등록이 미흡한 문제와 연관검색어가 성편향적이고 자극적인 연관검색으로 노출되는 문제 (예,‘길거리’에 대한 연관검색어로‘길거리 레깅스녀, 길거리 몸짱 초미녀’가 생성됨)에 대해 ‘문제가 없다’고 답변했다.

KISO는 인터넷 사업자들이 이용자들의 표현의 자유를 신장하는 동시에 이용자들의 책임을 제고해 인터넷이 신뢰받는 정보 소통의 장이 될 수 있도록 하고, 인터넷 사업자들이 이용자 보호에 최선의 노력을 기울이는 등 사회적 책무를 다하기 위해 설립된 기구다. 마땅히 위와 같은 역할을 해야 하는 곳에서 문제가 없다고 하니 황망한 결과였다.

향후 검색포털 서비스 유해환경 개선을 위한 대책과 성평등 매뉴얼을 마련하고 성평등 모니터링 기구를 마련하겠다고 했지만, 어떤 재발 방지 대책을 세웠는지, 성평등 매뉴얼은 마련되었는지, 성평등 모니터링 기구가 설치되었는지 확인되지 않았다.

소제목 : 인터넷에서 성차별을 줄인 사례

네이버는 정치하는엄마들쪽에 직접 만남을 요청했다. 사전에 네이버는 NGO 커뮤니케이션, 이미지 검색 결과, 알고리즘 부분 담당자들과 사전 미팅을 했다고 밝혔다. 그리고 정치하는엄마들 사무국에서 네이버와의 만남이 이루어졌고, 이후 공문을 통해서 질의한 내용에 대한 답변을 다시 받았다.

네이버측은 검색어가 원래 뜻과 관계없이 노출되는 부분을 개선했고, 기술과 운영 측면에서 모두 점검하여 개선하려고 논의 중이라고 밝혔다. 이미지는 언론에 대한 신뢰도로 인해 우선 노출되는 경향이 있으나 그 출처가 연예 기사인 경우가 많아 문제 해결이 필요하다. 텍스트 기반 이미지 검색 결과는 사용자의 선호도, 검색어와의 연관성을 종합적으로 판단해 측정한 값을 기반으로 자동 노출 및 제어되는 구조로, 수많은 검색어와 방대한 출처 콘텐츠로 인해 결과 예측이 어렵다. 일부 특정 단어들에서 선정성이 높은 이미지 검색 결과가 노출되고 있는 부분은 공감하며, 기술적·운영적 측면에서 재점검하고 보완하겠다고 하며 성차별적 이미지 분류 체계를 세부적으로 발전시키고 개선하는 데 기준을 잡는 어려움이 있다는 포털의 입장도 들을 수 있었다.

이후 #이미지바꿔 캠페인으로 아카이빙했던 상당히 많은 단어가 생각보다 빠른 속도로 개선되는 것을 확인했다. 그동안 할 수 있었던 것을 안 하고 있었던 것은 아닌가. 포털은 누구나 이용할 수 있고 아동·청소년의 사용률도 높아졌다. 로그인하지 않은 상태에서 선정적이고 자극적인 이미지가 나오지 않아야 정상이다. 따로 성인인증을 하지 않아도 유해한 이미지는 여과 없이 노출되었다. 아동·청소년 기준에서 유해하면 문제가 있다. 포털이 책임 의식을 가지고 검색 결과를 내놓기를 원한다. 유용하면서도 안전한 검색 결과를 제공하는 것은 요원한 일일까?

소제목 : 공정한 인공지능을 위한 세 가지 제안

시민사회가 AI를 향한 우려와 요구는 앞선 미디어와 포털을 향한 요구와 크게 다르지 않다. 언제 어떤 환경에서 접속해도 무해하기를 바란다. 네이버에서도 자체 AI 윤리 준칙이 있고, 국가 AI 윤리 기준안도 마련되었지만, 윤리 기준안은 구속력 있는 법이 아니라 도덕적 규범이나 자율 규범에 불과하다.

미디어 리터러시, 디지털 리터러시 교육이 필요한 것처럼 마찬가지로 AI 리터러시 교육이 필요하다. 언론, 제작자, 창작자에게 요구되는 윤리만큼 개발자에게도 윤리 의식이 필요하다. AI가 시민사회에 끼치는 영향만큼 AI 개발사의 책임과 역할에 대한 요구도 더 커진다. KISO가 제대로 기준을 잡지 못한다면, 기존의 젠더 보도 가이드라인이나 언론노조 성평등 위원회가 적용하고 있는 기준을 참고하여 AI에 적용하는 것도 가능하다. 성평등은 사회적 인식 변화와 더불어 인터넷 업계에서도 적극적으로 활발하게 논의하고 공동 대응해야 하는 문제로, 시민단체 자문기관을 통해 끊임없는 소통이 필요하다. 또, AI가 2차 피해를 주지 않도록 차별과 혐오, 편견을 조장하는 학습을 하거나 발언할 경우 즉각 제재하는 대응 방안이 필요하다.AI 관리기구로서 심의위원회를 구성할 때 다양한 나이, 다양한 성별, 다양한 계층을 아우르는 시민사회 형태의 심의위원이면서도 소수자에게 차별과 혐오의 발언을 하지 않는 심의위원이 합류되어야 한다. AI 시민단체인 미국의‘알고리즘 정의연맹’도 비슷한 주장을 한다. 백인 남성 위주로 짜인 실리콘밸리 AI 연구진의 문화가 AI의 편견으로 이어진다고 한다. 인공지능 산업에서도 성별 다양성이 필요하다. 한국의 플랫폼 업계도 특정성별영향평가 결과 여성 대표가 5.5%에 그치는 것이 현실이다.

여전히 제한적이지만 문제를 방지하는 기술을 병행해 개발하고 시민사회와 AI 개발사가 즉각 대응하는 소통창구가 마련되는 것이 차별과 편견, 혐오로부터 안전한 AI로 나아가는 방법이다.

--

--

LAB2050
LAB2050

다음세대 정책실험실 Policy Lab for Next Generation