태그: 이루다

‘이루다 사건’ 인권침해와 차별을 외면한 국가인권위의 결정에 깊은 유감을 표한다

  1. 국가인권위원회(이하 ‘인권위’)는 2021. 7. 30. 시민사회단체가 2021. 2. 3. 제기한 챗봇 ‘이루다’(이하 ‘이루다’) 사건의 인권침해 및 차별행위 진정 사건에 대해 각하 결정을 내렸다(국가인권위원회 2021. 7. 30.자 21진정0065000 결정). 인권위는 주식회사 스캐터랩이 특정 집단에 대한 차별 및 혐오 발언을 한 이루다를 서비스하는 것이 위원회의 조사대상이 될수 없다고 보았다. 나아가 개인정보보호위원회 위원장, 국회의장, 방송통신위원회 위원장, 과학기술정보통신부장관, 국가인권위원회 위원장(이하 ‘개인정보보호위원회 위원장 등’)의 보호의무 위반에 따른 인권침해도 조사대상이 아니라 보았다. 다만 인권위는 이루다 사건이 인공지능 개발 윤리 및 혐오표현과 관련된 중요한 사례라면서 정책과제로 채택을 검토하겠다는 입장을 밝혔다. 우리 시민사회단체는 위 각하결정이 이루다 사건에서 발생한 프라이버시권 침해, 혐오표현 및 차별의 문제를 회피하는 부당한 결정임을 지적하며, 인권위의 소극적 태도에 깊은 유감을 표한다.
  1. 인권위는 먼저 주식회사 스캐터랩이 민간 사기업이기 때문에 이루다 서비스는 국가의 인권침해 및 차별행위가 아니므로 진정사건 조사대상이 아니라고 보았다. 그러나 국가인권위원회법 제30조 제1항 제2호가 법인, 단체 또는 사인에 의하여 발생하는 차별행위를 진정사건 조사대상으로 규정하고 있기 때문에 인권위의 위와 같은 판단은 부당하다.

또한, 인권위는 이루다가 인격체가 아니므로 이루다에 의한 혐오표현을 조사대상으로 삼을 수 없기에, 이루다와 주식회사 스캐터랩에게 그 책임을 묻기 어렵다고 보았다. 그러나 ‘이루다’는 피진정인 스캐터랩이 개발한 알고리즘에 따라 대화를 하는 인공지능 서비스라는 점에서 ‘이루다’로 발생하는 차별 및 혐오 표현의 책임은 알고리즘의 개발자이자 서비스의 제공자인 주식회사 스캐터랩에게 있을 수밖에 없다. 따라서 ‘이루다’가 인격체가 아니므로 조사대상이 아니라는 인권위의 판단은 인공지능과 책임에 대한 기본적 이해가 없는 부당한 판단이며, 나아가 조사를 하지 않기 위한 면피성 판단이 아닌가 의심된다.

  1. 한편 인권위는 개인정보보호위원장 등이 ‘이루다’ 사건에서 드러난 개인정보의 무분별한 수집 및 이용에 따른 프라이버시권의 침해 등에 대한 적절한 입법적·정책적 조치를 취하지 않고 있다는 진정 부분도 이루다 사건  발생만으로 국가기관의 부작위를 인정하기 어렵다고 보았다. 

인권위의 위와 같은 판단은 인권에서 도출되는 국가의 의무를 협소하게 해석한 것으로 부당하다. 국제인권법은 모든 국가의 인권 보호 및 촉진의무를 인정하고 있고, 이에 기초하여 국가는 사인의 인권 침해 및 안전한 인권의 향유를 위한 입법적, 행정적 조치를 취해야할 작위의무를 부담한다. 방송통신위원회도 지난 2021. 1.경 이루다 사건 이후 “정부 등 지능정보사회 구성원 모두가 인공지능 윤리의 중요성을 인지하고 실천 방안을 모색해야 하는 상황”이라며 스스로 인공지능 기술에 대한 정부의 입법적, 행정적 규제가 미비했음을 인정하였다. 그럼에도 불구하고 인권위가 개인정보보호위원장 등에게 작위의무가 없다고 판단한 것은 국가의 책임에 대해 면죄부를 주는 것과 다름 없다.

  1. 나아가 인권위가 각하결정을 한 것은 모든 사람의 인권보호라는 목적으로 설립된 독립조사기구로서 요구되는 최소한의 역할조차 수행하지 않은 것이다. 인권위는 앞서 살펴본 이유 외에 이루다의 대화 시점, 상대방, 맥락 등을 판단할 수 없다는 이유로도 이루다 사건이 조사대상이 아니라 보았는데, 위 사항들은 모두 조사를 통해 확인되어야 할 기초사실들이다. 

앞서 살펴본 국가의 작위 의무에 대해서도 마찬가지다. 인권위는 개인정보보호위원장 등에게 구체적 작위의무를 인정할 사정이나 주장을 찾을 수 없다고 보았는데, 이는 결국 시민사회단체들이 문제제기 한 불충분한 법제 현황에 대한 일말의 조사도 하지 않고 이루어진 판단이다.

  1. 인권위는 불가침의 기본적 인권을 보호하기 위해 설립된 독립조사기구이다. 그럼에도 인권침해와 차별진정에 대해 기초적 조사를 진행하지 않은 채, 인공지능 기술에 대한 국가의 책임성과 의무를 협소하게 이해하여 이루다 사건에 대한 인권침해 및 차별 진정을 각하한 인권위의 결정이 위 설립 취지에 부합하는지 의문이다. 

기술이 발전함에 따라 앞으로도 계속 인공지능에 의한 인권침해와 차별이 문제될 것으로 예상되는 상황에서, 인권위가 선제적인 대응을 하기는커녕 실제 발생한 사건에 대해서조차 조사를 하지 않는 것은 실로 유감이다.

한편 인권위는 이루다 사건으로 드러난 인공지능기술과 차별 및 혐오표현의 정책과제로 채택을 검토하겠다고 밝히고 있지만, 구체적으로 언제, 어떠한 방식으로 검토를 할 것인지에 대해서는 전혀 이야기하지 않고 있다. 이 또한 매우 소극적인 행보이다. 인권위가 신속히 인공지능기술로 발생하는 차별 및 혐오표현이라는 중대한 인권 현안에 대해 적절한 의사표명을 함으로써, 불가침의 인권을 보호하기 위해 설립된 독립조사기구로서의 역할을 다 하길 바란다.

2021년 8월 12일

민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대 공익법센터, 차별금지법제정연대

[시민사회 공동논평] 국민 안전과 기본권 보호하는 AI 규제법 마련해야

인권침해, 차별 위험 등 AI 문제 ‘민간자율’로 해결할 수 없어

산업중심의 4차위⋅과기부 주도 아닌 인권위⋅개보위⋅공정위 참여하는 통합적 거버넌스 필요

지난 3월 30일, 4차산업혁명위원회(이하 4차위)는 산·학·연 민간 전문가가 참여한 가운데 ‘신뢰할 수 있는 인공지능(AI) 활용 방안 모색 간담회’를 개최하였다. 그러나 이번 간담회에서 인공지능 활용이나 인공지능 기술 자체의 속성에서 비롯되는 기본권 침해의 예방책 등 국민의 권리 보장 방안이 다뤄지지 않았다. 결론으로 도출된 ‘민간중심의 자율규제’라는 제언은 기업측의 이익과 입장만을 고려한 일방적 방향에 불과하다. 정부는 기업뿐 아니라 소비자, 노동자 등 실제 AI의 영향을 받는 모든 이해관계자들과 함께 AI의 신뢰성과 책임성을 담보할 수 있는 방법을 모색하는 것이 순서일 것이다. 뿐만 아니라 현실에서 실제로 벌어지는 다양한 AI에 의한 위험성을 예방하고 대비할 수 있는 AI 규제법제를 마련해야 한다.

이미 우리 사회 다양한 영역에서 AI 제품과 서비스가 활용⋅도입되고 있다. 스마트폰의 AI 비서나 AI 스피커, 온라인 쇼핑몰의 상품추천 등은 일상 생활에서 익숙한 AI 서비스이다. 더 나아가 맞춤형 금융상품 추천을 위한 신용평가, 사회복지수급자 선정, 일자리 배치 등 국민의 삶에 중대한 영향을 미치는 영역에 AI가 도입되고 있으며, 최근 여러 민간기업과 공공기관이 AI를 이용한 서류평가와 면접을 채용 절차에 적용하고 있다. 지난 2월에는 행정기본법이 국회를 통과하면서 AI에 의한 행정 처분의 근거가 마련되었고, 앞으로 국가의 행정작용에 이르기까지 AI 활용은 더욱 확대될 것이다. AI 산업이 지속가능하게 발전하기 위해서는 기술 지원과 더불어 AI로 인하여 발생할 문제에 대한 예방책도 함께 마련되어야 한다.

그러나 AI 법제도와 관련하여 4차위를 필두로 한 정부 정책들은 인공지능 산업의 기반이나 기술 개발을 진흥하는 것을 주요 목표로 하고 있다. 일례로 지난 해 12월 24일 과기부가 발표한 ‘인공지능 법⸱제도⸱규제 정비 로드맵’은 인공지능 산업 진흥과 활용 기반을 강화하는 방향 일색이다. 올해 3월 발족한 제2기 ‘인공지능 법제도정비단’이 추진하는 ‘데이터산업 진흥을 위한 기본법 제정’, ‘데이터 관리업에 대한 법적 근거 마련’ 방안 등 역시 산업 진흥에만 초점이 맞춰져 있다. 국민의 안전과 기본권 보호를 위하여 정작 먼저 이루어져야 할 ‘고위험 분야 인공지능 기술기준 마련’, ‘인공지능에 의한 계약의 효력’, ‘인공지능 행위에 대한 손해배상 방안 마련’, ‘인공지능 행정의 투명성 확보’ 등은 중장기 과제로 미뤄져 있다.

인공지능에 대한 깊은 논의가 부족한 채 ‘인공지능은 객관적이고 중립적일 것’이라는 막연하고도 맹목적인 신뢰를 바탕으로 앞다투어 인공지능 시스템을 도입, 홍보하는 것은 위험하다. 검증절차 없이 도입된 인공지능 시스템의 부작용은 오롯이 국민들에게 전가되기 때문이다. 인공지능의 오남용으로 인한 광범위한 인권 침해와 차별의 위험성은 챗봇 이루다 사건, 일부 공공기관 AI 면접에서 알고리즘 공개 거부 사례, 네이버나 다음 등 포털사이트의 뉴스 편집 알고리즘의 편향성에서 이미 드러났다. 이들 사례들은 인공지능 사용자인 시민들의 접근권, 처리절차 및 결과 도출 등에 관한 절차적 권리 등을 보장하지 않을 뿐 아니라 이러한 당연한 권리를 차단하기 위해 비밀주의로 일관하는 기업의 태도가 심각하다는 점을 보여준다. 미국은 공정거래위원회 격인 연방거래위원회(FTC)가 아마존 등 여러 기업에서 널리 사용하는 AI 채용 면접 ‘하이어뷰(Hire Vue)’ 알고리즘의 공정성을 조사 중이다. 그러나 우리 정부가 지금까지 AI면접 등에 대해 공정하고 투명한 채용 시스템인지, 부작용은 없는지에 대해 조사나 감독을 한다는 소식은 들은 바 없다. AI면접이 채용 지원자의 성별이나 연령에 따라 편향적으로 판단하지는 않는지, 표준어와 사투리 사용자 사이에 부당한 편향은 없는지, 어느 누구도 정확히 검증하지 않은 상태로 공공기관마저 무비판적으로 AI 채용을 도입하고 있다. 특히 기업들이 이윤 추구를 위하여 검증되지 않은 인공지능기술을 무차별적으로 도입하고 있다는 현실을 고려할 때, 인공지능기술의 연구, 개발, 상용화 과정에서 준수해야 할 절차나 한계에 대한 기준을 마련하지 않은 채 기업들의 ‘자율규제’에 맡기는 것은 국가가 헌법이 규정하고 있는 기본권 보호 의무를 방기하는 것이다.

국회 입법조사처는 2020년 9월 ‘인공지능의 윤리적 사용을 위한 개선과제’ 보고서에서 체계적이고 표준적인 윤리기준 등 인공지능윤리 거버넌스 마련, 예상치 못한 문제 발생 등에 대응할 수 있는 인공지능 사후감시 감독 시스템 도입, 인공지능 피해에 대한 배상책임 제도 보완 등 인공지능 전반의 논의가 필요하다고 제언한 바 있다. AI 문제는 민간자율의 범위를 뛰어 넘는다고 본 것이다. 이를 위해 우선, 인공지능 기술이 산업·사회 전반에 미치는 파급력이 크므로 전체를 조율할 수 있는 컨트롤 타워가 필요하다. 과기부가 소관부처라는 이유만으로 인공지능기술과 관련된 관련 법령의 제개정을 주도적으로 처리하면 안될 이유다. 신기술의 등장으로 새롭게 추구되는 가치와 기존의 법제도가 보호하고자 하는 가치가 충돌할 수 있는 만큼 국회, 정부 부처, 산업계, 학계, 시민단체 등이 참여하는 범정부적인 협의체가 구성되어야 한다. 또한 이 규제거버넌스 기구에는 공정거래위원회, 개인정보보호위원회, 국가인권위원회 등 국민의 기본권 보호 의무를 수행하는 국가 기관들도 반드시 참여해야 한다.

현재 국회에 발의되어 있는 AI 관련 법안(이상민 의원안, 양향자 의원안, 민형배 의원안)들 역시 모두 AI 산업육성과 진흥에 관한 법안들로, 신기술이 초래하는 위험성에 대한 고려가 전혀 없다. 인공지능의 사용은 ‘지속가능한 발전 목표’를 달성하고, 민주적인 프로세스와 사회적인 권리를 지원하는데 중요한 역할을 수행해야 한다. 이를 위해서는 인공지능 기술의 역기능을 최소화하기 위한 안전규제 및 위험관리 체계가 균형있게 마련되어야 한다.

AI 기술은 이른바 ‘4차 산업혁명’이라고 불리며 장밋빛 미래로 이야기되지만 그 이면에는 기본권과 인권 침해 위험성이 존재하며 피해 사례가 점차 드러나고 있다. 채용과정에서 왜 불합격인지 설명하기 어려운 인공지능의 판단을 당연하게 받아들여야 하는 것인지, 챗봇 이루다 사태에서 보듯 데이터 수집 단계의 개인정보 침해 뿐만 아니라 인간에 대한 혐오, 편견을 조장하는 발언들 역시 초창기 기술이라는 이유로 대책 없이 감내하여야 하는 것인지 질문해야 한다. 민간 자율과 별개로 인공지능의 영향을 받는 국민의 안전과 기본권 보호를 위한 인공지능 규제법을 마련할 것을 촉구한다.

2021년 4월 1일

민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대

시민사회단체, 국가인권위원회에 '이루다 챗봇' 사건 인권침해·차별 진정 및 정책권고 제안

  1. 민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대 공익법센터, 차별금지법제정연대는 2021. 2. 3. ‘이루다 챗봇’ 사건과 관련하여 인권침해 및 차별 진정과 정책권고를 요청하는 취지의 진정 및 정책권고 제안서를 국가인권위원회에 접수했습니다. 시민사회단체들은 위 진정 및 제안서에서 ‘이루다 챗봇’ 사안이 개별 인권침해 사안일 뿐만 아니라 인공지능 기술의 남용이 인권에 미칠 수 있는 부정적인 영향을 보여준 대표적인 사안라는 점을 지적하며 국가인권위원회에 관련 정책 전반에 대한 개선권고를 요청하였습니다.
  2. 국제인권규범에 따르면 국가 및 지방자치단체(이하 ‘국가 등’)는 사인에 의해 발생한 인권 침해 문제에 대하여 보호 의무를 부담합니다. 국제인권규범은 이른바 ‘3원적 의무설’에 따라 사인에 의한 인권침해에 있어 국가가 적절한 보호조치 등을 취하지 않은 경우를 국가 등에 의한 인권 침해를 구성하는 것으로 해석하고 있습니다. ‘이루다 챗봇’ 사안은 인공기술의 남용에 따른 프라이버시권 및 표현의 자유 침해에 대한 국가 등에 의한 제도적 보호의 부재를 여실히 드러낸 사안으로, 근본적으로는 국가에 의한 인권침해에 해당합니다.
  3. 유엔 인권최고대표, 유엔 의견과 표현의 자유 특별보고관 등은 인공지능기술 활용으로 인한 프라이버시 및 표현의 자유 침해를 방지해야 할 국제인권규범상 국가의 보호의무를 강조하며 영향평가제도, 감사제도 등 구체적인 제도를 수립하고 정보주체의 권리를 보장할 것을 권고하고 있습니다. 그리고 호주 국가인권위원회, 연방반차별국, 네덜란드 인권위원회 등 해외 국가인권기구들은 적극적 인공지능 규제의 법제화 제안, 정책권고 등 인공지능 기술에 따른 인권 침해와 차별을 막기 위한 적극적인 조치를 취하고 있습니다. 하지만 우리나라 국가인권위원회는 현재까지 인공지능 관련 정책 등에 대해 특별한 대응을 하지 않고 있는 상황입니다.
  4. 우리나라는 이른바 제4차 산업혁명이라는 미명 아래 상업적 분야 등에서 인공지능 기술 등 신기술이 무비판적으로 도입되고 있으며, 개인정보의 상업적 활용이 무분별하게 허용되고 있습니다. 그러나 정보주체인 시민들의 권리를 보장하기 위한 입법적, 행정적 기반은 전무합니다. 오히려 시민사회단체들의 우려와 반대에도 불구하고 도입된 ‘데이터 3법’으로 인하여 개인정보의 동의없는 상업적 활용이 폭넓게 허용되고 있고, 인공지능기술, 자동화 의사결정 등에 대한 규제도 전무한 상황입니다. 국가인권위원회는 위와 같은 공적 보호의 부재로 인한 인권침해 상황을 엄중히 인식하여야 합니다. 그리고 신속히 관련 정책을 인권의 관점에서 점검하여 권고를 내리는 등 국가인권기구로서의 역할을 다 하여야 할 것입니다.
  5. 이에 시민사회단체들은 위 진정 및 정책권고 제안서에서 국가인권위원회에 ‘이루다 챗봇’ 사안에 대한 철저한 조사 및 피해자들에 대한 배상을 권고해줄 것을 요청함과 동시에 관련 정책을 개선하기 위한 다양한 권고를 요청하였습니다. 시민사회단체들은 구체적으로 국가인권위원회에 ▲ 사적주체도 대상에 포함하는 실효성 있는 영향평가제도 구축 및 감사제도 도입 ▲ 인공지능에 의한 차별을 규율하기 위한 기반으로서 평등법의 제정 ▲ 프로파일링 및 자동화된 의사결정 거부권 등 정보주체의 권리 보장 ▲ 개인정보보호법 상 가명정보 및 동의제도에 관한 규정 정비 및 구제절차 보장, ▲ 인공지능 기술의 활용에 있어 기업 등이 준수해야할 가이드라인 개발 및 보급 등의 권고를 제안했습니다.
  6. 시민사회단체들은 ‘이루다 챗봇’ 사안을 사적영역의 문제 또는 한 기업의 일탈행위로 보고, 기업 등의 자율적 규제를 대안으로 제시하는 일부 주장에 깊은 우려를 표합니다. ‘이루다 챗봇’ 사안으로 드러난 인공지능, 알고리즘의 오남용으로 인한 광범위한 인권침해와 차별의 위험성은 엄연히 국가 등의 적절한 보호조치를 통해 예방, 방지되어야 합니다. 이번  시민사회단체들이 국가인권위원회에 제기한 진정 및 정책제안서가 인공지능 등 신기술로 인해 발생할 수 있는 인권침해와 차별의 위험성을 방지하고, 정보주체의 권리를 확인하는 하나의 계기가 될 수 있기를 기원합니다.

※ 첨부자료: 진정 및 정책권고 제안서 [내려받기]

2021년 2월 3일

민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대 공익법센터, 차별금지법제정연대

인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안

 

▶토론회 일정 변경 안내◀
ㅇ 국회 방역 조치로 토론회 일자가 1차 안내된 2월 3일(수)에서 2월 17일(수)로 변경되었습니다
ㅇ 코로나19 방역 상황으로 인해 온라인 화상회의로 진행하며 정필모 의원실 페이스북 페이지를 통해 생중계로 참가하실 수 있습니다. https://www.facebook.com/pmjung537
ㅇ 토론회에 참가하실 분들께서 이름, 소속, 이메일 주소를 남겨 주시면 자료집 및 안내를 보내드리겠습니다. https://bit.ly/2YfxvD8


인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안 국회 토론회 (2. 17. 변경) 개최

- 최근 AI 면접과 챗봇 논란이 불거진 인공지능 제품과 서비스의 올바른 규제 방향 모색
- 더불어민주당 정보통신특별위원회(위원장 정필모)와 시민사회 공동주최

□ 최근 AI 면접과 챗봇 등 인공지능 제품과 서비스에 대한 사회적 논란이 불거진 가운데, 더불어민주당 정보통신특별위원회(위원장 정필모)와 시민단체 민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 소비자시민모임, 진보네트워크센터, 참여연대가 공동주최하는 인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안2월 17일 오후 2, 정필모 의원 페이스북에서 온라인으로 개최된다.

○ 이번 토론회에서는 최근 AI 면접과 챗봇 논란이 불거진 인공지능 제품과 서비스의 올바른 규제를 위한 법제 정비 방안에 대하여 토론한다.

□ 이번 토론회 발제는 △ 김민우 박사(충북대학교 행정학과 BK21사업팀 박사후연구원)가 “헌법과 인공지능”을 주제로 △ 오정미 변호사(서울대학교 공익법률센터 공익펠로우)가 “인공지능 법제 정비 제안”을 주제로 발표하며 △ 한상희 교수(건국대학교 법학전문대학원, 참여연대 정책자문위원장)가 사회를 맡는다.

○ 각계 전문가 토론자로는 김병필 교수(KAIST 기술경영학부/민주사회를위한변호사모임 디지털정보위원회 회원), 장여경 이사(사단법인 정보인권연구소), 윤명 사무총장(소비자시민모임), 김민 정책활동가(진보네트워크센터)가 참여하며, 정부 부처에서는 과학기술정보통신부(인공지능정책과 김경만 과장), 공정거래위원회(시장감시총괄과 이동원 과장), 개인정보 보호위원회(데이터안전정책과 이한샘 과장)가 토론에 참여한다.

□ 인공지능은 사회경제적으로 국민에게 여러 혜택을 가져올 수 있는 반면, 편향적이고 불투명한 의사결정으로 소비자와 이용자의 기본권과 안전에 위협이 될 수 있다는 우려 또한 존재하고 있다. 정부가 2021년 상반기부터 인공지능 법·제도·규제 정비 로드맵 추진 계획을 발표한 가운데(과학기술정보통신부 2020. 12. 24. 인공지능 법·제도·규제 정비 로드맵), 이번 토론회는 모든 국민에게 혜택이 돌아가는 인공지능 기술의 발전을 모색하고 그 예상되는 부작용을 최소화하는 국가 정책에 대한 논의 자리가 될 것으로 기대한다.

▣ 행사개요

(일시) ’21. 2. 17.(수), 오후2시

(장소/온라인 생중계) 정필모 의원 페이스북 http://www.facebook.com/pmjung537

(주최) 더불어민주당 정보통신특별위원회(위원장 정필모), 민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 소비자시민모임, 진보네트워크센터, 참여연대

(참여신청) https://bit.ly/2YfxvD8

▣ 프로그램

시간 프로그램
사회 : 한상희 교수 (건국대학교 법학전문대학원 / 참여연대 정책자문위원장)
2:00~2:10 개회 인사말 더불어민주당 정보통신특별위원회 정필모 위원장
2:10~2:35 발제 헌법과 인공지능 김민우 박사 (충북대학교 행정학과 BK21사업팀 / 박사후연구원)
2:35~3:00 발제 인공지능 법제 정비 제안 오정미 변호사 (서울대학교 공익법률센터 / 공익펠로우)
3:00~3:40 토론 인공지능과 기술윤리 : 김병필 교수 (KAIST 기술경영학부/민주사회를위한변호사모임 디지털정보위원회 회원)
인공지능 법제 정비 해외 사례 : 장여경 이사 (사단법인 정보인권연구소)
인공지능 제품의 안전성과 소비자 보호 : 윤명 사무총장 (소비자시민모임)
AI 면접의 공정성과 투명성 : 김민 정책활동가 (진보네트워크센터)
3:40~4:20 토론 정부 부처
- 과학기술정보통신부 김경만 과장 (인공지능정책과)
- 공정거래위원회 이동원 과장 (시장감시총괄과)
- 개인정보 보호위원회 이한샘 과장 (데이터안전정책과)
4:20~4:30 플로어 토론 및 참석자 전체 토론

 

신뢰할 수 있는 인공지능, 기업의 자율규제만으로는 못 이룬다

'개발'에만 치중한 AI산업육성, '이루다'는 예정된 참사
- 100억건의 개인정보 침해가 빚어낸 차별과 혐오주의자 챗봇

  1. 지난 12월 23일 출시된 스캐터랩의 대화형 챗봇 ‘이루다’를 둘러싼 논란이 한창입니다. 대화형 챗봇 ‘이루다’는 사용자들의 성희롱과 폭언 등의 남용, 혐오표현에 대한 미온적 대응 등 보호받아야 할 사회적 가치를 훼손하는 알고리즘은 물론이고, 개인의 사적인 대화나 개인정보가 심각하게 수집되고 유출된 것으로 드러나 당혹감을 안겨주고 있습니다.

우리는 마치 이번 논란을 해외시장에서 경쟁하려는 국내 청년 스타트업의 불가피한 시행착오로 포장하려는 일부 언론의 보도에 대해 우려하고 있으며, 엄연히 피해자가 드러난 사안에 대하여 법적 책임을 회피하려는 일체의 시도에 대하여 엄중하게 경고합니다.

챗봇 이루다 논란은 기업의 인공지능 제품이 일으킬 수 있는 문제의 한 단면일 뿐이며 이에 대한 대책을 기업 자율에만 맡겨둘 수 없습니다. 이미 우리 생활 곳곳에 들어와 있는 인공지능 제품에 대한 구체적이고 명료한 법적 규범을 마련할 것을 촉구합니다.

  1. 대화형 챗봇 ‘이루다’를 개발하고 운영하는 스캐터랩은 2013년 텍스트앳, 2016년 연애의 과학 등의 어플리케이션을 운영하며 카카오톡 등 메신저의 대화 내용을 수집해왔고 이를 자사 다른 제품인 대화형 챗봇 ‘이루다’의 학습용 데이터로 이용했습니다. 「개인정보 보호법」에 따르면 해당 대화 내용 데이터 수집과 이용에 다음과 같은 문제가 있습니다.

개인정보의 목적 외 이용과 부적절한 고지

텍스트앳과 연애의 과학 어플리케이션은 사용자들에게 각각 ‘감정분석서비스’, ‘카톡으로 보는 속마음’ 기능을 제공하며 카카오톡 대화 내용 내보내기 기능을 통해 특정 상대방과 나눈 대화를 전부 수집하였습니다. 스캐터랩은 ‘이루다’가 이용한 연애의 과학 사용자 데이터는 사용자의 사전 동의가 이루어진 개인정보취급방침의 범위 내에서 이용하였다고 주장하였습니다. 그러나 연애의 과학 로그인 페이지에서 “로그인함으로써 개인정보 처리방침에 동의합니다”로 간주하는 것은 각각의 사항을 알리고 명시적으로 동의를 받도록 한 개인정보 보호법 위반입니다(제15조 제2항 또는 제39조의3 제1항 및 제22조 위반). 

또 카카오톡 대화 수집에 동의한 사용자들에게 해당 비공개 대화가 챗봇 서비스 학습 데이터로 이용된다고 적정하게 고지되었는지 의문입니다. 각 어플리케이션의 개인정보 취급방침에는 다음과 같은 내용만이 존재합니다.

라. 신규 서비스 개발 및 마케팅·광고에의 활용
신규 서비스 개발 및 맞춤 서비스 제공, 통계학적 특성에 따른 서비스 제공 및 광고 게재, 서비스의 유효성 확인, 이벤트 및 광고성 정보 제공 및 참여기회 제공, 접속빈도 파악, 회원의 서비스이용에 대한 통계

현재 수많은 사용자들이 분노하는 것에서 알 수 있듯, 해당 방침을 읽고 본인이 제공한 대화 내용이 챗봇의 학습 데이터로 이용될 거라고 예상한 사람이 어디 있을지 의문입니다. 적법한 동의에 해당하기 위해서는 이용자가 개인정보에 관한 결정권을 충분히 자유롭게 행사할 수 있도록, 통상의 이용자라면 용이하게 법정 고지사항의 구체적 내용을 알아볼 수 있을 정도로 법정 고지사항 전부를 명확하게 게재해야 합니다. 이처럼 정보주체에게 충분히 설명하지 않고 충분히 인지되지 않은 동의는 제대로 된 동의라고 보기 어렵습니다. 

한편 ‘신규 서비스 개발과 마케팅·광고 활용’이 위 유료 어플리케이션을 이용하는데 ‘필수정보’인지도 의문입니다. 필수정보가 아닌 개인정보 수집·이용에 대해서는 이용자의 선택권을 보장해야 합니다(제16조 제2항과 제3항 또는 제39조의3제3항 위반).

대화 상대방의 동의 부존재

사용자들이 분석을 위해 제공한 카카오톡 대화는 2인 이상의 대화입니다. 개인정보 보호법 제15조 또는 제39조의3제1항에 따라 마땅히 받아야 할 대화 상대방에 대한 동의 절차는 어디에도 없었습니다. 지난 12일 스캐터랩은 논란이 지속되자 서비스를 중지하고 사과의 뜻을 밝혔지만 대화 상대방의 동의 부존재에 대해선 한 마디 언급도 없었습니다(제15조 제1항 또는 제39조의3제1항 위반). 

대화 상대방의 동의를 받아 데이터를 수집하는 것은 얼마든지 가능한 일입니다. 2019년 국립국어원에서 진행한 메신저 대화 자료 수집 및 말뭉치 구축 사업의 경우, 메신저 대화를 수집하며 대화 참여자 전원으로부터 대화 제공에 대한 동의와 저작권 이용 허락 등을 받아 데이터셋을 구축했습니다. 이는 정보주체의 권리를 보호함과 동시에 적법하게 데이터를 수집하는 일이 충분히 가능하다는 사실을 보여주고 있습니다. 

자신의 사적인 대화 내용이 수집되고 분석되며 이후 챗봇의 학습에 이용되었다는 사실을 인지도 못한 피해자가 무수히 존재할 것이며 이러한 데이터는 원본과 가명 정보 모두 폐기 되어야 마땅합니다.

대화 내용에 포함된 민감정보, 고유식별정보

‘텍스트앳’, ‘연애의 과학’ 서비스는 카카오톡 등 메신저를 통한 사적인 대화 내용을 수집하는 바, 이에는 이름과 연락처, 주소 등 개인의 신원이 드러날 수 있는 다양한 개인정보와 더불어 더 민감한 다른 정보도 포함되어 있습니다. 자신의 사상, 신념, 정치적 견해, 건강상태, 성생활에 대한 정보, 인종과 민족에 대한 정보 등은 민감정보입니다. 숫자 뿐 아니라 한글과 이미지 등 다른 형태로 표시된 여권번호, 운전면허번호, 외국인등록번호는 고유식별정보입니다. 민감정보와 고유식별정보는 정보주체의 명시적인 동의나 법령상 허용조항 없이는 누구도 수집하거나 이용할 수 없는데 연애의 과학은 이에 대한 별도 동의를 받지 않았으며 실제로 성생활 등에 대한 정보가 수집 이용된 것으로 보입니다(제23조제1항 및 제24조 제1항 위반). 또 숫자 뿐 아니라 한글이나 이미지로 표시된 주민등록번호는 법령상 근거 없이는 민간에서 수집하는 것 자체가 금지되어 있습니다(제24조의2 제1항 위반). 이러한 내용은 스캐터랩과 어플리케이션의 유료 기능의 개인정보 처리방침 어디에도 고지되지 않았습니다.

개인정보에 대한 이용자의 권리 무시

스캐터랩은 이루다가 학습한 대화내용에서 숫자와 영문, 실명 정보 등은 삭제하였기 때문에 개인정보에 대한 비식별화가 충분히 이루어졌다고 주장하고 있습니다. 그러나 지금 이름, 주소 등이 노출되는 사례가 등장하고 있는 것은 이 회사의 비식별화 또는 가명처리의 수준이 적정하지 않았다는 점을 분명히 드러내고 있으며, 스캐터랩은 얼마 전까지 연애의 과학에서 추출된 일부 대화 내용을 오픈소스 플랫폼에 훈련 데이터셋으로 공개하기도 했습니다. 해당 데이터셋의 경우 이름, 건강상태, 직장 등의 개인정보가 비식별화되지 않은 상태였습니다. 

무엇보다 눈에 두드러지는 숫자, 영문, 이름 등만 개인정보인 것이 아닙니다. 다른 정보와 쉽게 결합하여 알아볼 수 있으면 개인정보로서 똑같은 보호 대상입니다. 성명은 지웠지만 여성이고, 이십대라는 점을 알고 있으며, 숫자와 영문은 삭제되었지만 서울 성북구에 살고, 특정은행에 계좌가 있고, 특정대학교 특정학과 또는 특정 기숙사를 출입한다면 개인을 특정할 수 있습니다. 이처럼 개인정보를 부분적으로 삭제하여 가명처리를 했다 하더라도 더 많이 결합할수록 알아볼 가능성이 더 높아진다는 것이 상식입니다. 이러한 개인정보들을 언제 누구에게 어느 범위까지 알려지고 또 이용되도록 할 것인지를 그 정보주체가 스스로 결정할 수 있는 권리는 우리 헌법에서 보호하고 있는 기본권입니다. 

개인정보 침해를 당했음에도 불구하고 그 사실조차 모르는 정보주체가 다수 존재할 것입니다. 지금이라도 가입자 뿐 아니라 자신의 대화가 수집이용된 모든 정보주체의 열람 및 삭제 권리는 완전하게 행사될 수 있어야 합니다. 또 개인정보 수집과 처리 과정이 불법적인 것으로 드러나면 정보주체의 요청 없이도 해당 개인정보를 바탕으로 만들어진 챗봇 모델과 알고리즘의 폐기가 마땅합니다.

  1. 이번 이루다 논란은 기업을 위한 데이터3법이 자초한 문제이기도 합니다. 시민사회는 데이터3법이 기업들로 하여금 개인정보를 가명처리한 후 정보주체의 동의 없이 인공지능 제품 등 기업의 상품개발에 거의 무한대로 이용할 수 있도록 허용한 데 대하여 비판해 왔습니다. 공익적 학술 연구 등에 정보주체의 동의 없이 가명정보를 사용할 수 있도록 하는 유럽연합 등의 사례가 있지만, 기업의 상업적인 제품 개발을 위해 정보주체의 기본권을 무시하며 가명정보를 무제한적으로 이용하는 것은 위헌적입니다. 정보주체의 권리를 보장하기 위해서는 현 가명정보에 면제한 열람권, 삭제권 등을 보장하는 방향으로 법개정이 있어야 할 것입니다. 무엇보다 새로운 사회적 흐름으로 등장한 인공지능 제품에 대한 명확한 법규범은 필수입니다.

    그런데 최근 정부와 기업이 여기서 더 나아가 데이터 산업의 발전을 명분으로 현재의 사전 동의 조항을 더 완화하는 법 개정을 추진하고 있다는 데 대하여 우리는 깊이 우려합니다.

  1. 스캐터랩은 향후 ‘더 고도화된 데이터 알고리즘’으로 이 문제를 해결하고 향후 재운영하겠다는 방침을 밝혔습니다. 또 자신들이 마음대로 사용한 이용자의 원본 데이터, 가명 데이터를 완전 파기하겠다는 약속은 하지 않는 모습입니다

    그러나 바로 며칠전, 미국 연방거래위원회(FTC)는 불법적으로 사진을 수집해 얼굴인식 알고리즘 훈련용 데이터로 이용한 기업에게 해당 모델과 알고리즘을 삭제하라는 명령을 내렸다는 사실을 상기할 필요가 있습니다. 지금은 챗봇 문제로 시작했지만 더 위험한 인공지능에서 더 위험한 데이터, 더 위험한 알고리즘을 사용하기 전에 우리 사회가 이런 문제에 대한 대책을 고민해야 할 시점입니다. 

    윤리적 검토와 평가, 사회적 합의와 토론 없이 성급하게 개발되는 인공지능 제품은 국민에게 차별과 오류, 개인정보 침해 등 심각한 악영향을 가져올 수 있으며 동시에 블랙박스 속에 감춰진 알고리즘으로 인해 피해자가 권리 침해 사실조차 깨닫지 못할 수도 있습니다

  1. 기업의 인공지능 제품의 악영향에 대한 대책이 인공지능 윤리로 그쳐서는 안됩니다. 

    지난 12월 발표된 과학기술정보통신부의 ’인공지능(AI)윤리기준’ 에는 인권을 보장하고 프라이버시를 보호하고 다양성을 존중하고 책임성을 보장하는 등 선하고 아름다운 문장들이 가득하지만, 그것을 구체적으로 실현할 수 있는 방안은 없는 것으로 보입니다. 특히 아래와 같은 문장을 명시함으로써 인공지능 윤리 가이드라인이 현실적 규범으로서는 아무런 의미도 없는 선언에 불과하다는 사실을 스스로 입증하였습니다.

“본 윤리기준은 산업·경제 분야의 자율규제 환경을 조성함으로써 인공지능 연구개발과 산업 성장을 제약하지 않고, 정당한 이윤을 추구하는 기업에 부당한 부담을 지우지 않는 것을 목표로 한다.”

온갖 미사여구와 좋은 말이 가득하지만 구속력 있는 ‘법’이나 ‘제도’가 아니라 단순한 자율 규범으로, 아무런 강제성이 존재하지 않는 가이드라인으로 인공지능 제품의 악영향을 막을 수 없을 것입니다. 

  1. 인공지능 제품과 그 학습 데이터의 편향성의 문제는 윤리가 아니라 법률 규범의 문제입니다. 

    세계 각국은 인공지능 제품과 그 학습 데이터에 대하여 제조물 책임법, 소비자 보호법, 정보공개법, 개인정보 보호법, 평등법 등 현행법을 정교하게 적용하기 위해 노력하고 있습니다.

    특히 유럽연합의 경우 인공지능 제품과 서비스에 대해 기존 법률의 준수는 물론이고, 추가적으로 ‘고위험’ 인공지능에 해당할 경우 훈련데이터, 기록보존, 정보공개, 견고성, 인적 감독 등의 법적 의무를 추진하고 있습니다. 이때 공공적으로 법적인 효과를 낳거나 의료, 운수, 에너지 분야에서 중대한 손상을 야기하거나 노동자나 소비자의 권리에 영향을 미치는 인공지능 제품과 서비스는 ‘고위험’에 해당합니다. 이중 훈련 데이터에 대한 법적 의무로는 △충분히 광범위한 데이터셋에 기반해 훈련하는 등 그 안전을 합리적으로 보장할 것 △금지된 차별을 수반하는 결과로 이어지지 않도록 합리적인 조치를 취할 것 △제품과 서비스를 사용하는 동안 사생활과 개인정보를 적절히 보호할 것 등을 요구할 예정입니다. 

    캐나다는 이미 2019년부터 공공기관 자동화된 의사결정에 대한 지침(정부 훈령)을 제정하고 모든 공공기관 인공지능 알고리즘에 대하여 영향평가를 실시하고, 생산 전에 훈련 데이터가 의도하지 않은 데이터 편향을 드러내거나 결과에 부당하게 영향을 미칠 수 있는 요소가 있는지 검사 절차를 거치고 있습니다. 심지어 자율규제의 나라 미국에서도, 법 집행기관의 인공지능 사용과 채용을 위한 인공지능 사용 등 특정 영역을 강하게 규제하는 법이 제정되고 있습니다.

  1. ‘이루다’는 챗봇이고, 고위험 인공지능이나 공공기관 인공지능은 아닐지 모릅니다. 그러나 막연하고 기업 자율적인 인공지능 윤리에서 더 나아가 이제는 국민의 안전과 기본권을 보호할 수 있는 인공지능 규제법을 고민해야 할 때입니다. 

    개인정보를 보호해야 할 대상이 아닌 경제적 관점과 활용 대상으로만 바라보는 기업의 관행은 국민이 신뢰할 수 없는 인공지능 기술로 이어질 것입니다. 개인정보 자기결정권을 침해하고, 의도하지 않은 결과를 도출하고, 혐오를 양산하고, 소수자를 배제하고, 편견을 재생산하는 인공지능 기술의 도입을 방지할 방법이 현실적으로 고려돼야 합니다. 지금 이 순간에도 사회 다양한 영역에서 인공지능 제품과 서비스가 개발되고 활용되고 도입되고 있습니다. 그중 일부는 챗봇 정도가 아니라 채용, 사회 복지 수급자 선정, 일자리 배치 등 국민의 삶에 중대한 영향을 미치는 영역에 자리를 잡았습니다. 이러한 상황에서 기업들의 인공지능 윤리 준수를 선의에만 기댈 수는 없습니다. 국민에게는 인공지능 기술을 사회적으로 통제하기 위한 현실적인 법이 필요합니다.

  1. 이 문제적 인공지능 제품의 이면에서 개인정보에 대한 심각한 권리 침해가 발생한 것으로 보이며, 우리는 이에 대한 개인정보 보호위원회의 철저한 조사와 엄정한 처벌을 촉구합니다. 우리 단체들은 개인정보 보호위원회에 대한 의견, 민원 뿐 아니라 국가인권위원회 등 관련 부처에 대한 민원, 필요하다면 관련 소송 등으로 계속하여 이 사안에 공동으로 대응할 예정입니다. 나아가 정부와 국회의 관련 정책 입안자들에 대하여 소비자와 이용자의 권리를 침해하는 인공지능 제품의 규제를 위해 법률적 대책을 마련할 것을 촉구합니다. 

2021년 1월 13일
민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대