인권활동가를 위한 연속강좌 <신기술 환경과 인권운동>

사단법인 정보인권연구소는
최근 인권침해 논란이 커지고 있는 신기술에 대한 인권활동가 이해도를 증진하기 위하여
연속 강좌 <신기술 환경과 인권운동>을 마련하였습니다.

강좌 내용은 영상 보기를 참고하시기 바랍니다
* 강좌 문의 : 이메일 idr.sec@gmail.com

강좌 영상 보기

 

무한식별시대, 온라인 주민번호에 대한 보호를 회피한 헌법재판소 각하 결정 유감

- 시민사회의 연계정보(CI)에 대한 법적 도전은 계속될 예정

  1. 코로나19 위기가 가속화 할수록 비대면 원격서비스가 급증하고 있다. 일견 편리하지만 다른 한편으로 정교한 온라인 추적에 대한 법적인 한계를 설정하고 정보주체 보호를 위한 제도적 대책이 필요한 시점이다. 하지만 헌법재판소는 온라인 주민등록번호인 연계정보에 대한 보호 요구를 외면하고 시민사회의 2차례의 헌법소원심판청구에 각하 결정을 내렸다. 
  1. 한국에서 시민에 대한 고유한 식별은 주민등록번호를 이용하는 방식으로 이루어져 왔다. 출생시 부여되는 주민번호는 사망시까지 거의 변치 않아 공공기관과 민간기업이 온라인과 오프라인에서 누군가를 식별하고 추적하는 데 매우 유용하게 사용해 왔다. 그러나 주민번호 남용과 유출이 급증하면서 피해가 끊이지 않자 정부와 국회는 2014년 뒤늦게 주민번호에 대한 보호를 강화하였다. 이때부터 법령상 근거가 없는 주민번호의 처리가 금지되고 일부 업종을 제외하고 민간의 주민번호 사용이 원칙적으로 금지되었다.
  1. 그런데 최근 공공기관의 행정적인 고지가  알려준 적 없는 카카오톡이나 통신사 문자로 도달되기 시작하였다. 미납요금 통지나 범칙금 통지 등 불이익한 처분 역시 모바일로 고지되고 있다. 수사기관도 국내 온라인 서비스에서 과거보다 국민을 더욱 손쉽게 추적하고 있다. 주민번호의 사용이 제한된 후에도 공공기관과 민간기업이 광범위하게 국민을 식별할 수 있는 비밀은 바로 연계정보(Connecting Information, CI)에 있다.
  1. CI는 주민번호를 암호화하는 방식으로 생성되어 전국민을 1:1로 식별할 수 있다. 그럼에도 우리 법제도는 CI를 주민번호처럼 보호하지 않고 있기에, 공공기관과 민간기업이 이를 범용으로 광범위하게 사용하고 있으며, 과거 주민번호 남용과 동일한 문제점을 내포하고 있다. 
  1. 정보주체인 시민은 자신의 온라인 주민번호가 언제 어떻게 생성되고 이용되는지 알지 못한다. 공공기관과 민간기업 간에 CI를 전자적으로 이용하고 있으며 시민은 온라인 공간에서 상시적으로 식별되고 추적되는 대상으로 전락했다. 정보주체는 자신의 CI를 열람할 권리도 보장받고 있지 못하며, 그 제공을 반대하거나 처리를 거부할 권리를 행사할 수도 없다.
  1. 이런 상황이 중대한 정보인권 침해라고 판단한 시민사회가 문제제기를 시작하였다. 2021년 3월 10일 민주사회를 위한 변호사모임 디지털정보위원회, 진보네트워크센터, 사단법인 정보인권연구소 등 3개 시민사회단체는 CI 제도에 대한 헌법소원을 청구하였다. CI의 생성·발급·처리 등의 행위가 헌법 상 기본권을 침해하고 있으며, 이를 규정하고 있는 정보통신망법 제23조의2 제2항, 제23조의3 제1항 역시 ‘대체수단’에 연계정보가 포함된다고 해석하는 한 헌법에 위반된다는 취지였다.
  1. 그러나 헌법재판소는 2021년 4월 24일 위 헌법소원심판청구에 대하여 각하 결정을 내렸다(헌법재판소 2021. 4. 27. 선고 2021헌마297 결정). 청구인들이 자신의 CI가 언제 생성되었는지 정확히 알고 있지 못하지만, 상당히 오래 전에 생성되었을 것이기에 청구기간이 도과하였다는 다분히 형식적인 이유였다. 무엇보다 헌법재판소는 본인확인기관은 민간이기 때문에 한국인터넷진흥원, 방송통신위원회 등이 CI모듈을 제공하는 등 사실상 CI의 생성 및 활용에 광범위하게 관여하고 있음에도 이러한 생성 및 활용을 공권력 행사로 볼수 없다는 납득할 수 없는 이유도 들었다.
  1. 청구인들과 단체들은 다시 한번 논리를 보강하여 2021년 4월 30일 2차로 헌법소원을 청구하였다. 그러나 6월 22일 헌법재판소는 1차 각하 결정과 유사한 사유로 또다시 각하 결정을 내렸다(헌법재판소 2021. 6. 22.선고 2021헌마489 결정). 공공기관이 연계정보를 최초로 보유한 시점을 청구기간의 기산점으로 삼아 청구기간이 도과하였다고 보았고, 본인확인기관은 공무수탁사인도 아니라고 보았다. 
  1. 청구인을 비롯하여 헌법소원을 청구한 단체들은 헌법재판소의 이런 결정들이 실망스럽기 짝이 없다. 기본권 침해의 사유가 발생한 날을 CI 생성 또는 제공시점으로 본 것은 참으로 부당하다. 자신의 온라인 주민번호인 CI가 언제, 어떻게 생성되었는지 당사자인 정보주체가 전혀 알 수 없다는 점, 개인정보자기결정권 등의 현실적 침해 시점은 결국 당사자가 이를 인식한 때라는 점 등을 고려했을 때, 청구인의 이익에 대한 고려 없이 청구기간을 해석한 헌법재판소의 결정은 본안 판단을 회피하기 위한 형식적 결정이 아닌지 의심된다.
  1. 앞서 살펴보았듯이 헌법재판소는 CI가 전국민 주민번호를 토대로 국가적으로 생성하여 보급되고 있음에도 그 발급주체가 민간 본인확인기관이기에 공권력 행사가 아니라고 본 것은  매우 형식적이다. CI의 생성 기법과 생성 기관은 방송통신위원회와 한국인터넷진흥원에서 국가적으로 지정하며, 이를 토대로 CI가 광범위하게 생성되고 활용이 되고 있다.. 이러한 지점에서도 헌법재판소가 온라인 주민번호에 대한 심사를 궁색하게 회피려한 것은 아닌지 의문스러울 수 밖에 없다.
  1. 우리 단체들은 헌법재판소의 각하 결정에 다시 한번 깊은 유감을 표하며, 헌법재판소가 제시한 형식적 사유 또한 납득할 수 없다는 입장을 명백히 밝힌다. 비대면 시대에 전국민을 온라인에서 고유하게 식별하는 CI에 대한 제도적인 규제와 정보주체 기본권 보호의 필요성은 더욱 중대해지고 있다. 따라서 우리 시민사회는 향후에도 온라인 주민번호에 대한 사법적인 문제제기를 멈추지 않고, 계속 도전할 것이다.

2021년 7월 14일

민주사회를 위한 변호사모임 디지털정보위원회, 진보네트워크센터, 사단법인 정보인권연구소

 

유엔 인권최고대표에 디지털 시대 프라이버시권 보고서에 대한 의견 제출

인공지능감독, 영향평가, 투명한 정보공개, 권리 구제 절차 등
인공지능 정책방향에 대한 한국 시민사회 의견 제시

  1. 지난 5월 30일, 민주사회를 위한 변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센터, 참여연대 등 4개 단체는 유엔 인권최고대표(Office of the United Nations High Commissioner for Human Rights)가 준비하고 있는 <디지털 시대 프라이버시권(the right to privacy in the digital age)> 보고서 작성을 위해 한국 시민사회의 의견을 제출하였습니다. 
  2. 지난 2019년 9월 26일, 유엔 인권이사회(Human Rights Council)는 '디지털 시대의 프라이버시권'에 대한 42/15 결의안을 채택하면서, 유엔 인권최고대표에 프로파일링, 자동화된 의사결정, 기계학습 기술 등을 포함한 인공지능이 적절한 안전조치가 없을 경우 프라이버시권의 향유에 어떠한 영향을 미칠 것인지에 대한 보고서를 준비하도록 요청했습니다. 이에 유엔 인권최고대표는 보고서 작성에 앞서 전 세계 이해관계자들에게 의견을 제출해줄 것을 요청한 바 있습니다. 
  3. 유엔 인권최고대표에 보낸 의견서에서 우리 단체들은 코로나19 역학조사지원시스템, 공공기관의 AI 면접, 챗봇 이루다 논란 등 국내에서 인공지능이 논란이 된 사례를 소개하였으며, 공공 및 민간 영역에서 인공지능 서비스가 이미 도입되고 있음에도 불구하고 인공지능에 대한 영향평가를 비롯하여 그 위험성을 통제할 수 있는 제도가 미흡하다는 점을 지적하였습니다. 또한 2020년 개인정보보호법 개정으로 기업들의 고객정보가 무분별하게 목적 외로 활용, 판매, 공유될 것에 대한 시민사회의 우려를 전달했습니다. 마지막으로 지난 5월 24일 120개 한국 시민사회단체가 발표한 <인권과 안전, 민주주의가 보장되는 인공지능 정책 요구 시민사회 선언>을 소개하면서, ▲ 인공지능에 대한 국가적 차원의 감독 마련, ▲ 인공지능 정보의 투명한 공개 및 소비자, 노동자, 시민의 참여 보장, ▲ 인공지능에 대한 영향평가 절차 마련 및 고위험 인공지능 규제, ▲ 인공지능으로 인한 권리 침해를 구제할 수 있는 절차 마련 등 한국 시민사회의 입장을 최종 보고서에 반영해줄 것을 요청하였습니다. 
  4. 우리는 앞으로도 국제적인 차원의 인공지능 규범 마련에 참여하여 국내 시민사회의 목소리를 반영할 수 있도록 노력할 것입니다.끝.

▣ 붙임 :
- 디지털 시대 프라이버시권 보고서에 대한 의견
- Input for Report on right to privacy in the digital age

120개 시민사회단체, 인공지능에 대한 첫 공동 선언

“정부와 국회는 인공지능 정책에서 인권과 안전, 민주주의를 보장하라”

- 공공과 민간 인공지능은 인권과 법률을 준수하고
- 소비자, 노동자, 시민을 보호하는 인공지능 규율법이 마련돼야

120개 시민사회단체는 오늘(5/24, 월) 오후 2시 참여연대 아름드리홀에서 기자회견을 열고 정부와 국회에 인권과 안전, 민주주의가 보장되는 인공지능 정책을 요구하는 선언을 발표했습니다. 시민사회단체는 △인공지능의 인권과 법률 준수 △인공지능 규율법의 마련을 촉구하며, 규율법에 담겨야 할 내용으로 ①인공지능 국가 감독 체계 마련 ②정보 공개와 참여 ③인공지능 평가 및 위험성 통제 ④권리구제 절차 보장을 제안하였습니다.

최근 정부는 과학기술정보통신부・4차산업혁명위원회 등 산업진흥 부처・기구 주도 하에 인공지능 정책을 발표하고 있으며, 관련 입법 또한 빠른 속도로 추진할 계획입니다. 코로나 위기로 여론 수렴이 부족한 상황에서 지난 3월 정부와 국회는 행정청이 인공지능을 비롯해 완전히 자동화된 시스템으로 처분을 할 수 있도록 하는 「행정기본법」(제20조)을 제정하였고, 행정기관이 인공지능을 활용하여 전자정부서비스를 제공할 수 있도록 하는 내용의 「전자정부법 일부개정법률안」도 심의 중입니다(안 제18조의2). 그러나 인공지능으로 사람에 대한 처분이나 의사결정에 이르도록 하면서 그 보호 방법이나 구제절차에 대한 논의는 충분히 이루어지지 못하였으며, 과학기술정보통신부 등이 주도하는 인공지능 정책은 산업계의 요구로 점철되어 있습니다. 

반면 시민사회는 이미 인공지능 챗봇 이루다 논란으로 불법적이고 편향적이고 무책임한 인공지능 제품이 어떻게 우리의 개인정보를 오남용하고 사회적 혐오를 재생산할 수 있는지 목격하였습니다. 공공기관과 민간기업이 <AI 채용>을 확대하고 있지만 불합격된 사람들은 본인이 어떻게 평가받고 탈락되었는지, 혹여 사투리나 외모로 차별받았는지 알 수 없습니다. 여성이나 장애인에게 차별적인 인공지능 스피커가 학교 교육에 이용되거나 안전이 검증되지 않은 자율주행차량이 거리를 질주할 때 우리의 미래 또한 위험할 것입니다. 알고리즘은 이미 언론 공론장과 노동을 통제하고 있으며, 금융서비스와 사회복지급여에 관여하고 있고, 심지어 사람을 대신하는 인공지능의 자동 행정과 의사결정도 시작되었습니다. 인공지능의 무기화 또한 빠르게 진행되고 있습니다. 

해외 여러 나라에서는 인공지능에 인권과 법률 준수를 요구하는 목소리가 커지고 있습니다. 2017년 폴란드와 미국의 법원은 각각 실업 급여와 교사 해고를 결정하는 데 사용된 인공지능 알고리즘에 대하여 투명성 보장을 요구하였고, 2020년 네덜란드 법원은 사회복지급여 부정수급 탐지 알고리즘의 운영을 중단시켰습니다. 영국에서는 코로나로 취소된 대학입학시험에서 교사 대신 인공지능이 부여한 성적이 부유한 사립학교 학생에게 높은 점수를 부과하여 사회적 분노를 샀습니다. 심지어 플랫폼 기업의 알고리즘이 미국 대통령 선거 등 민주주의에도 영향을 미쳤다는 경각심이 일고 있습니다. 여러 나라에서 인공지능을 규율하는 정책을 마련하고 있으며, 특히 유럽연합은 지난 4월 기본권 일반과 노동자·소비자의 권리에 영향을 미치는 인공지능 제품과 서비스에 대하여 엄격하게 관리하는 내용의 법안을 유럽 의회에 발의하였습니다.

기자회견 참석자들은 인공지능의 편향성과 위험성이 사람의 인권과 안전에 영향을 미친 최근의 논란을 지켜보며 인공지능 제품과 서비스를 무조건 신뢰하기는 어렵다고 밝히고, 모든 인공지능 시스템이 헌법과 관련 법률에 따라 개인정보를 보호하고 인권 침해와 차별을 금지해야 한다고 주장하였습니다. 더불어 공공과 민간이 도입하고 사용하는 모든 인공지능이 소비자의 안전과 권리를 보호하며, 노동자와 노동권을 보호하는 현행 법률을 준수할 것을 요구하였습니다. 참석자들은 딥러닝 등 특정한 기술적 특성이나 기업자율적인 윤리가 인권과 법률의 준수 의무를 회피하는 이유가 되어서는 안된다고 강조하였습니다.

또한 참석자들은 인공지능을 사회적으로 적절히 통제하기 위해 정부와 국회가 인공지능을 규율하는 법률을 마련할 것을 촉구하였습니다. 인공지능 규율 법률은 우선 인공지능 제품과 시스템을 국가적으로 감독하는 체계를 수립하여야 하는데, 참석자들은 국민을 위해 인공지능을 감독하는 역할은 산업부처나 기술부처가 아니라 공정거래위원회, 국가인권위원회, 개인정보보호위원회가 수행해야 마땅하다고 지적하였습니다.
더불어 인공지능 규율 법률이 인공지능 시스템에 대한 정보공개와 참여로 그 투명성과 민주성을 보장하여야 하며, 특히 공공기관 인공지능의 경우 민간에서 조달한 시스템이라 하더라도 국민 앞에 공개해야 한다고 밝혔습니다. 또한 위험한 인공지능을 제도적으로 통제하기 위하여 법률적 의무를 부과하고, 사람의 안전과 생계, 인권에 대하여 명백한 위험을 야기하는 인공지능은 금지해야 하고, 특히 실시간으로 거리에서 불특정다수의 얼굴을 인식하여 추적하는 시스템은 원칙적으로 금지해야 한다고 주장했습니다. 마지막으로 참석자들은 피해를 입거나 인권을 침해당한 사람에 대하여 권리구제를 보장할 것을 요구하였습니다. 피해를 입거나 인권을 침해당한 당사자가 인공지능 제품과 시스템에 대응할 수 있으려면 인공지능이 언제 어떻게 사용되었는지, 어디서 어떻게 이에 대한 이의를 제기할 수 있는지 알 수 있어야 한다고 주장했습니다. 

<인권과 안전, 민주주의가 보장되는 인공지능 정책 요구 시민사회 선언> 기자회견에는 백정현(민주노총 사무금융노조 정책국장), 조선희(민주언론시민연합 팀장), 은사자(한국여성민우회 성평등미디어팀 활동가), 김민(진보네트워크센터 활동가), 한광희(피스모모 리서치랩 팀장), 오정미(참여연대 공익법센터 운영위원), 서채완(민변 디지털정보위원회 변호사) 등이 참석하여 발언하였고, 김조은(투명사회를위한정보공개센터), 이라나(중구장애인자립생활센터), 허진선(평등과연대로!인권운동더하기) 활동가가 선언문을 낭독했습니다. 오늘 발표한 시민사회 선언은 이후 관련 정부부처 및 국회 상임위원회에 전달할 예정입니다. 끝.

▣ 붙임 : 인권과 안전, 민주주의가 보장되는 인공지능 정책 요구 시민사회 선언문

▣ <인권과 안전, 민주주의가 보장되는 인공지능 정책을 요구하는 시민사회 선언 기자회견> 개요 

  • 일시 및 장소 : 2021년 5월 24일(월) 오후 2시, 참여연대 2층 아름드리홀 
  • 공동 주최 : 인권과 안전, 민주주의가 보장되는 인공지능 정책을 요구하는 시민사회 선언 연명 120개 단체
  • 사회 : 장여경(정보인권연구소 이사)
  • 발언

ㅇ 시민사회 선언의 취지와 배경
ㅇ 각계 발언 및 인공지능 법적규제의 필요성 등 선언 주요 내용

- 인공지능이 야기하는 문제점 : 백정현(민주노총 사무금융노조 정책국장), 조선희(민주언론시민연합 팀장), 은사자(한국여성민우회 성평등미디어팀 활동가), 한광희(피스모모 리서치랩 팀장)
- 인공지능 법제 마련의 필요성 : 김민(진보네트워크센터 활동가)
- 인공지능 감독과 시민참여 : 오정미(참여연대 공익법센터 운영위원)
- 인공지능 위험성 규제와 권리구제 : 서채완(민변 디지털정보위원회 변호사) 

ㅇ 선언문 낭독 : 김조은(투명사회를위한정보공개센터), 이라나(중구장애인자립생활센터), 허진선(평등과연대로!인권운동더하기) 활동가
질의 응답

인권과 안전, 민주주의가 보장되는 인공지능 정책을 요구하는 시민사회 선언

오늘 우리 120개 단체들은 인권과 안전, 민주주의가 보장되는 인공지능 정책을 요구하는 선언을 발표합니다.

인공지능은 이미 우리 생활에 널리 사용되고 있습니다. 검색, 자동 번역, 추천 알고리즘, 챗봇처럼 소비자들이 인터넷에서 만나는 수많은 서비스들 뿐 아니라 AI스피커, 가전, 자동차와 같은 제품들에도 인공지능이 탑재되어 있습니다. 일터에서는 인공지능이 업무 성과를 관리 및 평가하기 시작했으며 플랫폼 노동처럼 알고리즘으로 업무를 배치받고 지시받는 사람들이 많아지고 있습니다. 금융 서비스 뿐 아니라 생계에 많은 영향을 미치는 신용 평가나 대출, 보험의 요율이나 지급 여부 결정에도 인공지능이 관여하고 있습니다. 실업 급여 지급 결정이나 부정수급 탐지[1]와 같은 사회복지 업무도 인공지능으로 수행될 것으로 예측되고 있습니다. 경찰은 어느 지역이 범죄율이 높은지 예측하는 인공지능 치안활동을 전국적으로 시작하였으며[2], 과학기술정보통신부와 지방자치단체는 코로나 확진자와 접촉자를 추적하기 위하여 거리 CCTV에 얼굴인식을 도입하고 있습니다[3]. 이미 수많은 공공기관과 민간기업들이 채용절차에 <AI면접>이나 <AI서류평가> 등 인공지능 도구를 사용하고 있고[4], 군대도 <AI면접>을 통해 특기병을 결정한다고 합니다[5]. 인공지능 무기 또한 눈앞의 현실로 다가왔습니다[6].

인공지능의 안전과 인권 침해 문제

이처럼 인공지능은 서비스나 제품을 추천·제공하는 단계부터 노동, 금융, 사회복지, 치안, 군사 영역에서 사람을 평가하고 중대한 의사결정을 내리는 단계까지 나아가고 있습니다. 이는 소비자, 노동자, 시민의 인권과 안전에 중대한 영향을 미칠 것입니다. 특히 안전이 검증되지 않는 인공지능 제품이 일상생활에서 사용된다면 우리의 생명조차 위험에 처할 것입니다. 미국에서 운행 중인 자율주행차량들이 오작동으로 몇 차례 사망사고를 일으켰지만 그 책임 문제가 여전히 불분명합니다[7].

또 인공지능이 드러내는 편향성에 대하여 세계적으로 논란이 불거지고 있습니다. 온라인 챗봇이 공개 후 불과 몇시간 만에 인종주의자가 되었고[8], 많은 기관에서 사용되는 얼굴인식기술이 흑인 여성을 잘 식별하지 못하였습니다[9]. 인공지능은 채용지원자 중 여성을 선호하지 않았고, 흑인들의 재범 위험을 백인보다 2배 높다고 판단하였습니다[10]. 지난해 영국에서는 코로나로 인해 취소된 대학입학시험 대신 인공지능으로 성적을 부여하였다가 부유한 지역 학생이 높은 점수를 받고 가난한 지역 학생이 낮은 점수를 받은 것으로 드러나 큰 사회적 논란을 겪기도 했습니다[11].

이는 기존의 데이터셋으로 학습하여 미래를 예측하는 인공지능의 본질적인 특성에 따른 문제이기도 합니다. 업계에서는 인간에게도 편견이 있다며, 인공지능은 인간사회의 차별을 학습했을 뿐이라고 주장합니다. 실제로 우리는 인공지능 챗봇 이루다가 어떻게 여성, 장애인, 성소수자, 유색인종에 대한 편견과 혐오를 빠르게 배우고 재현하는지를 직접 목격하였습니다. 문제는 이러한 인공지능의 편향성이 사회적 통제 없이 가정에서, 학교에서, 직장에서 사용되는 제품과 시스템에 바로 적용된다면, 우리 사회에 이러한 편견과 혐오가 항구적이 될 것이라는 점입니다. 그리고 이러한 편견과 혐오에 기초한 차별은 우리 사회에서 더욱 취약한 사람들의 권리를 위협할 수밖에 없습니다.

사람을 보호하는 법제도와 보호장치 미비

그럼에도 인공지능으로 영향을 받는 당사자들이나 일반 국민은 인공지능의 도입, 운영, 결정에 대하여 발언과 참여 기회를 전혀 보장받고 있지 못합니다. <AI 채용>에서 불합격된 사람들은 본인이 어떻게 평가받고 채용 탈락으로 결정되었는지 알지 못합니다[12]. 공공기관들은 인공지능을 적용한 면접이나 서류평가가 공정한지, 면접대상의 외모나 사투리를 차별하지는 않는지 전혀 검증하지 않고 사용해 왔습니다. 플랫폼 기업의 불투명한 알고리즘은 노동자와 자영업자들에게 고통을 주고 있습니다. 포털 뉴스의 비밀 알고리즘은 공론장의 편향성에 영향을 미치고 있습니다[13]. 해외에서는 플랫폼 기업의 알고리즘이 선거와 민주주의에도 영향을 미쳤다는 경각심이 일고 있습니다[14].

세계 여러나라에서 인공지능 알고리즘의 공정성과 투명성에 대한 소송이 제기되었고, 법원은 인공지능의 불투명성에 도전하는 당사자들과 시민사회의 손을 들어 주었습니다. 2017년 폴란드 법원은 정부의 실업자 점수 알고리즘에 대하여 정보공개를 하도록 하였고[15], 미국 법원은 민간기업에서 조달한 교육청의 교사 평가 알고리즘에 대하여 투명성과 적법절차 부족을 이유로 운영을 중단시켰습니다[16]. 특히 미국 법원은 민간기업의 영업비밀과 국민의 헌법상 권리인 적법절차를 모두 충족하기 위해서는 공공기관의 중요한 의사결정에 비밀 알고리즘을 사용해서는 안된다고 설시하였습니다. 2020년에는 네덜란드 법원이 사회복지급여 부정수급 탐지 시스템에 대하여 투명성 부족과 개인정보보호법 위반을 이유로 운영을 중단하라는 내용의 판결을 내렸습니다[17].

한국 사회에서 알파고가 던진 충격 이후 인공지능의 놀라운 발전은 언론, 산업계, 학계, 정부와 국회에서 큰 관심을 받았습니다. 그러나 이러한 관심 대부분은 대체로 산업적 가치에만 초점을 맞추어 왔습니다. 기술이 어떻게 사람의 인권과 안전을 보장할 것이며 이 기술을 어떻게 민주적으로 통제할 것인지에 대한 문제는 진지하게 검토되지 않았습니다. 나아가 인공지능 기술이 사람들의 인권과 안전에 영향을 미치는 것이 분명함에도, 정작 영향을 받는 사람들이 의견을 개진할 수 있는 공간은 전무한 상황입니다.

인공지능도 인권과 법률을 준수해야 합니다.

최근 인공지능 챗봇 이루다 개발사의 개인정보 보호법 위반 사건에서 확인하였듯이, 인공지능이라고 하여 인권과 법률 준수 의무에서 예외가 될 수는 없습니다. 모든 인공지능 시스템은 헌법과 관련 법률에 따라 인권 침해와 차별을 금지하고, 소비자의 안전과 권리를 보호하며, 노동자와 노동권을 보호하는 현행 법률을 준수해야 합니다.

인공지능 챗봇 이루다 사건은 우리에게 많은 충격과 분노를 주었습니다. 인공지능 서비스가 우리 사회의 편견과 혐오를 재생산하였을 뿐 아니라 그 개발 과정에서 개인정보를 소홀하게 취급하여 이용자들의 신뢰를 배반하였습니다. 결국 지난 4월 28일 개인정보보호위원회는 이루다 개발사 ㈜스캐터랩에 총 1억여 원의 과징금과 과태료를 부과하였습니다. ㈜스캐터랩은 과거에 운영했던 서비스를 통해 수집한 약 60만 명에 달하는 이용자의 내밀한 카카오톡 대화문장 94억여 건을 제대로 된 보호조치를 취하지 않고 자사 다른 서비스인 인공지능 챗봇 서비스 ‘이루다’ 의 개발과 운영에 이용한 것으로 확인되었습니다. 특히 만14세 미만 아동의 개인정보를 무단으로 이용한 규모가 20만 명에 달했습니다.

그런데 이루다 조사와 조치 결과를 두고 일부 업계는 인공지능 상품과 서비스 개발에 지장을 초래하고 있다고 볼멘 소리를 내고 있습니다. 이는 일반 소비자와 이용자들의 생각과 현격한 차이가 있습니다. 우리는 오히려 이루다 사건에서 이용자가 믿고 맡긴 민감한 개인정보를 기업이 이용자가 모르는 다른 상품 개발에 무단으로 마구 사용하거나 판매할 수 있는 현실을 보았습니다. 개인정보 추가이용과 가명정보의 이용을 원하는 산업계의 요구에 따라 2020년 이미 개인정보보호법과 그 시행령이 편향적으로 개정되었음에도, 그조차 지키지 못하겠다는 업계의 엄살은 도저히 납득하기 어렵습니다. 이런 논란을 지켜본 소비자와 이용자들은 인공지능 제품과 서비스를 충분히 믿고 안심하며 이용하기가 어렵습니다. 공공기관과 민간기업의 모든 인공지능 제품과 시스템들이 부족하나마 개인정보 보호법을 준수하고 있다는 신뢰가 바탕이 되어야 시민들 또한 그 혜택을 마음 놓고 누릴 수 있을 것입니다.

무엇보다 인공지능이 우리 사회의 편견과 혐오를 재생산하는 것을 이대로 방치할 수 없습니다. 인공지능 제품과 서비스 역시 고용과 서비스 등에서 성별, 장애, 연령, 인종, 지역 등으로부터 차별을 금지하는 현행 법률을 준수하여야 합니다. 인공지능의 도입이 확산될수록 그로 인한 차별에 대한 우려 또한 커지고 있는 만큼, 효과적이고 포괄적인 차별금지법의 제정도 이루어져야 할 것입니다.

더불어 인공지능 제품과 시스템들은 헌법과 관련 법률에서 보호하고 있는 표현의 자유, 집회시위의 권리 등 인권을 침해해서는 안 됩니다. 제품의 안전과 소비자의 권리를 보호하는 현행 법률들과 노동자와 노동권을 보호하는 현행 법률 또한 준수해야 합니다.

인공지능을 규율하는 법과 제도가 시급히 마련되어야 합니다.

이런 상황에서 네덜란드 암스테르담과 핀란드 헬싱키시[18], 프랑스 앙티브시[19] 등 세계 여러나라 지방자치단체들이 인공지능 알고리즘과 관련한 사항을 시민들에게 모범적으로 공개하고 의견을 수렴하고 있다는 사실은 시사하는 바가 매우 큽니다. 나아가 여러나라 정부가 인공지능을 규율하는 법제도를 도입하였거나 도입을 준비 중입니다. 캐나다 정부는 2019년부터 공공기관이 도입·운영하는 인공지능 의사결정 시스템에 대하여 영향평가 후 위험수준별로 정보공개, 인적 개입, 설명, 검사 등의 의무를 부과하는 훈령을 시행 중이며[20], 뉴질랜드 정부는 2020년부터 공공기관이 도입·운영하는 인공지능 알고리즘에 대하여 영향평가 후 위험수준별로 규제하고 있습니다[21]. 유럽연합 집행위원회는 최근 유럽시민이 신뢰할 수 있는 인공지능 규제법안을 유럽의회에 발의하였습니다[22].

인공지능을 이용한 자동화는 제품과 시스템의 효율성과 예측성을 크게 높일 수 있고 인간이 기존에 수행할 수 없었던 업무 영역을 확장시켰습니다. 그러나 인공지능이 사회적으로 적절히 통제되지 않는다면 그 편향성과 위험성이 사람의 인권과 안전에 중대한 영향을 미칠 것입니다. 이용자와 소비자는 그 의사결정 사유를 설명할 수도 없고, 검증할 수도 없고, 참여할 수도 없는 인공지능을 신뢰하지 않게 될 것입니다. 소비자, 노동자, 시민이 신뢰하지 못하는 인공지능에 대해서는 사회적 수용성 및 효용성 또한 감소할 수밖에 없습니다.

최근 인공지능 규범과 관련한 여러 국제문헌들은 인공지능을 규율하는 새로운 법률이 필요하다고 강조하고 있습니다. 인공지능 제품과 시스템을 국가적으로 감독하고, 인공지능 시스템에 대한 정보공개와 참여로써 그 투명성과 민주성을 보장하며, 위험한 인공지능을 제도적으로 통제하는 한편, 피해를 입거나 인권을 침해당한 사람에 대하여 권리구제를 보장해야 한다는 것입니다.

또한 인공지능의 무기화가 빠르게 진행되고 있는 현실에서 “인공지능이 인간의 통제없이 개별 표적을 선별하고, 공격하는 자율살상무기(LAWS)”를 규율 할 수 있는 법적, 제도적 장치가 선제적으로 마련되어야 합니다. 이는 전쟁의 비인간화와 비인간성이 초래하는 인류 존엄성의 훼손을 막기 위해 필요한 조치입니다.

이에 우리 시민사회는 인공지능 규율법의 마련을 촉구하며, 이 법률과 제도로써 ①인공지능 국가 감독 체계 마련 ②정보 공개와 참여 ③인공지능 평가 및 위험성 통제 ④권리구제 절차 보장을 요구합니다. 인공지능 역시 다른 모든 제품 및 기술 시스템과 마찬가지로 법률을 준수하고, 인권을 침해하지 않으며, 안전을 보장하여야 하고, 국가와 지방자치단체, 공공기관은 물론 기업은 이를 위한 조치를 취해야 할 의무가 있습니다. 딥러닝 등 특정한 기술적 특성이나 기업자율적인 윤리가 이런 의무를 회피하는 이유가 될 수는 없습니다.

 

【참고】 유엔 사무총장(2020)[23]

(b) 국가는 민간부문 활동에 관한 조치를 포함한 입법 조치를 취해야 할 의무를 상기하고 이를 준수해야 한다. 이를 통해 신기술은 모든 사람이 경제·사회·문화적 권리를 비롯한 인권을 완전히 향유하고 인권에 미치는 부작용을 방지하는 데 기여할 수 있을 것이다.

(h) 신기술이 사용되는 상황에서 책임을 완전하게 보장하는 적절한 법률체계와 절차방법이 마련되어야 한다. 이를 위해 국내 법제도의 공백을 검토 및 평가하고, 필요한 감독 체제를 수립하고, 신기술로 인한 피해에 대해 사람이 이용할 수 있는 구제 수단이 구비되어야 한다.

 

【참고】 유럽 기본권청(2020)[24]

인공지능에 대해 새로운 정책이나 새로운 입법을 도입할 때 입법자와 국가들은 ... 모든 기본권이 존중될 수 있도록 보장해야 한다. 특정한 기본권 보호조치는 관련 정책과 법률을 수반할 필요가 있다 … 인공지능 개발자와 사용자 모두를 기본권에 대한 자의적인 간섭으로부터 효과적으로 보호하고 법적 확실성을 갖추기 위해서 관련 안전조치가 법으로 규정될 필요가 있다. 인공지능의 개발과 사용에 있어 기본권을 지키고 보호하기 위한 자율적인 제도들도 추가적으로 권리 침해를 완화하는데 도움이 될 수 있다. 입법자가 인공지능 법의 범위를 설정할 때는, 법적 명확성의 최소 요건, 즉 법치주의 원칙 및 기본권 보장의 전제 조건에 충분한 주의를 기울여야 한다.

 

인공지능 제품과 시스템은 국가적으로 감독되어야 합니다.

최근 정부는 과학기술정보통신부/4차산업혁명위원회 등 산업진흥 부처/기구가 인공지능 정책을 주도하고 있으며 관련 입법 또한 빠른 속도로 추진되고 있습니다[25]. 그러나 인공지능으로 사람에 대한 의사결정에까지 이르도록 하면서 그로부터 사람을 보호하기 위한 조건이나 절차에 대한 논의는 충분히 이루어지지 못하였으며, 이는 과학기술정보통신부 등이 주도하는 인공지능 정책이 산업계의 요구로 점철되어 있는 데 따른 결과입니다.

반면 다른 나라의 경우 산업관련 부처가 인공지능 정책에 관여하더라도 부분적이거나 기술과 관련한 역할에 그치고 있습니다. 이들 국가에서 국민을 위해 인공지능을 감독하는 역할은 주로 시장감독기구, 국가인권기구 또는 평등기구, 개인정보보호감독기관에서 수행하고 있습니다. 이 기관들은 인공지능 제품과 시스템으로부터 소비자 보호, 인권 침해 구제, 차별 금지, 개인정보 보호 등을 소관하고 있습니다.

사람의 인권과 안전을 보장하고 권리구제의 책무가 있는 국가는 인공지능 국가 감독 체계를 수립하고, 여기에 공정거래위원회, 국가인권위원회, 개인정보보호위원회가 반드시 참여하도록 해야 합니다.

인공지능 국가 감독 체계는 인공지능에 대하여 사전적으로나 사후적으로 감독 권한을 행사하고, 진정 사건을 조사하고 피해자의 권리를 구제할 수 있는 충분한 권한과 자원을 구비해야 하며, 감독대상이 되는 인공지능 제품과 서비스의 경우 자료와 데이터를 보관하도록 의무화하여 그 설명과 조사가 가능하도록 하여야 합니다.

 

【참고】 유럽평의회 인권위원장(2019)[26]

각국은 공공기관과 민간기업이 개발, 도입, 사용하는 인공지능 시스템의 인권 준수에 대한 독립적이고 효과적인 감독을 위해 입법 체계를 수립해야 한다. 이 입법 체계는 상호협력하는 행정적, 사법적, 준사법적 또는 의회의 감독기구들의 조합으로 구성된 구조를 포함할 수 있다. 각국은 적절한 경우 기존 국가인권기구에 인공지능 시스템의 인권 준수에 대해 독립적이고 효과적인 감독 역할을 수행하는 권한의 부여를 검토해야 한다.

감독기구는 인공지능 시스템을 개발, 도입 및 기타 사용하는 공공기관과 민간기업들로부터 독립적이어야 하며 감독기능을 수행하기에 적절하고 충분한 분야간 전문지식, 역량 및 자원을 구비해야 한다.

독립적인 감독기구는 인공지능 시스템의 인권 준수를 능동적으로 조사 및 모니터링하고 영향을 받은 개인들로부터 진정을 접수, 처리하며 인공지능 시스템의 성능과 기술 개발에 대한 주기적인 검토를 보다 일반적으로 실시해야 한다. 감독기구는 인권 침해 발생의 위험성을 포착한 상황에 개입할 수 있는 권한을 보유해야 한다. 감독기구는 또한 정기적으로 의회에 보고하고 활동에 대한 보고서를 발표해야 한다.

공공기관과 민간기업들은 감독기구가 인공지능 시스템의 효과적인 감독에 필요한 모든 정보를 요청할 때 이를 제공해야 하고 이들에 정기적으로 보고해야 한다. 또한 인공지능 시스템이 인권에 미친 영향과 관련해 감독기구의 권고를 이행 해야 한다. 또한 감독 절차는 투명해야 하며 적절한 공공 조사의 대상이 될 수 있어야 하고 감독기구의 결정은 이의제기 또는 독립 심사의 대상이 될 수 있어야 한다.

 

【참고】 유럽 기본권청(2020)

국가는 인공지능 시스템이 기본권에 미치는 부정적인 영향을 감독하고, 필요한 경우 이를 실질적으로 해결할 수 있는 효과적인 책임 시스템을 구축해야 한다 … 인공지능 시스템이 기본권에 미치는 영향을 평가할 수 있도록 충분한 정보를 제공하도록 요구하는 법적 의무도 포함될 수 있다 … 국가는 인공지능 사용 시 기본권을 보호하기 위해 개인정보 보호 기관, 평등 기구, 국가 인권 기구, 옴부즈 기관 및 소비자 보호기관 등 기존의 감독 전문 조직을 더 잘 활용해야 한다. … 이들 기관들이 충분한 자원, 권한 및 중요한 전문지식을 갖추어 기본권 침해를 예방 및 평가하고 자신의 기본권이 인공지능에 의해 영향을 받는 사람들을 실질적으로 도울 수 있어야 한다.

 

인공지능 정책은 소비자, 노동자, 시민에게 투명하게 공개되고 그 참여가 보장되어야 합니다.

인공지능 제품과 시스템의 사용은 그 소비자, 노동자, 시민에게 위험하거나 중대한 영향을 미칠 수 있습니다. 따라서 이 제품과 시스템을 개발, 도입하고 의사결정에 사용하는 공공기관과 민간기업은 그 소비자나 이용자에게 모든 인공지능 기능과 그 의미에 대하여 이해할 수 있는 형태로 공개하고 가능한 한 당사자의 선택권을 보장해야 합니다.

특히 정보공개의 의무를 지고 있는 공공기관의 경우 그 인공지능 시스템 운영의 담당자와 책임자에 대한 정보뿐 아니라, 훈련 데이터셋과 처리 방법에 대한 정보, 개인정보 보호와 차별 방지를 위한 조치에 대한 정보, 인적 감독에 대한 정보, 그 기능의 영향력과 위험성에 대한 정보를 공개하여야 마땅합니다.

이 권리는 공공기관이 민간에서 조달한 시스템이나 서비스를 사용하는 경우에도 똑같이 보장되어야 합니다. 기업의 영업비밀 보호가 공공기관의 투명성 의무를 회피하는 조건이 되어서는 안되며, 국민 앞에 투명하게 공개할 수 없는 민간 시스템을 공공기관이 도입해서는 안 될 것입니다. 더불어 인공지능 시스템의 공공조달에 대해서는 위험성을 평가하고 통제하는 절차가 마련되어야 하며 그 평가 내용 또한 공개되어야 합니다.

나아가 공공기관의 경우 인공지능 시스템의 운영으로 영향을 받는 소비자, 노동자, 시민 등 모든 이해당사자들이 참여할 수 있고 그 의견을 수렴하는 공청회를 사전에 실시하는 것이 필요합니다.

 

【참고】 유엔 사무총장(2020)

신기술의 개발 및 도입에 관한 의사결정에 모든 관련 이해당사자의 참여를 보장하고, 특히 공공부문에서 인공지능이 지원하는 의사결정에 대하여 적절한 설명가능성이 보장될 필요가 있다.

 

【참고】 캐나다 정부 훈령 <자동화된 의사결정에 대한 지침>(2019)

6.2. 투명성

(의사결정 전 공지)

6.2.1. 해당 의사결정이 부록 C에 규정된 바대로 자동화된 의사결정 시스템에 의해 전체 또는 부분적으로 수행된다는 내용을 관련 웹사이트에 공지한다.

6.2.2. <Canada.ca 컨텐츠 스타일 가이드>에 부합하는 뚜렷하고 쉬운 용어를 이용하여 공지한다.

(의사결정 후 설명)

6.2.3. 부록 C에 규정된 대로 결정이 내려진 방법과 이유에 대해 영향을 받는 개인들에게 이해가능하게 설명한다.

 

인공지능의 위험성이 제도적으로 평가되고 통제되어야 합니다.

대다수 인공지능 제품과 시스템은 소비자, 노동자, 시민에게 위험하지 않을 수 있습니다. 그러나 어떤 인공지능은 개인이나 공동체의 권리나 안전에 영향을 미칠 수 있습니다. 영향이 미치는 범위는 협소하고 미미한 수준에 그칠 수 있지만 때로는 광범위하거나 심각한 데 이를 수 있습니다. 그 빈도 또한 일시적일 수 있지만 준영구적으로 발생할 수도 있습니다.

모든 인공지능 제품과 시스템은 개인정보 보호법, 제조물책임법, 소비자관련법, 노동관련법 등 현행 법률을 준수해야 합니다. 여기에 더하여 위험한 인공지능은 제도적으로 관리되어야 하며, 인공지능의 위험성은 생애주기별로 평가되어 그 위험성을 완화하기 위한 조치가 취해져야 합니다.

의료, 운송, 에너지, 금융 및 공공부문에서 인권에 법적 또는 상당한 영향을 미치는 경우, 사람의 부상·사망이나 상당한 물질적·비물질적 손상을 초래하는 경우, 채용과 업무관리 등 노동권과 입점업체 배정에 영향을 미치는 경우, 소비자권리에 영향을 미치는 경우, 원격으로 생체를 인식하거나 침입적으로 감시하는 인공지능은 고위험으로 보아야 할 것입니다. 이러한 고위험 인공지능에 해당할 경우 그 훈련 데이터셋은 편향성 방지와 안전성을 보장하는 조치를 사전과 사후에 취해야 하고, 감독기관의 조사나 피해자 권리구제시 검증이 가능하도록 인공지능 시스템 생애주기별 데이터와 방법론을 문서화, 기록, 보존해야 하며, 필요한 경우 인적 개입을 의무화해야 합니다. 공공기관의 모든 인공지능 시스템과 민간기업의 고위험 인공지능 시스템은 국가기관에 등록하여 그 의무를 준수하는지 국가적으로 관리해야 합니다.

사람의 안전과 생계, 인권에 대하여 명백한 위험을 야기하는 어떤 인공지능 시스템은 금지되어야 합니다. 실시간으로 거리에서 불특정다수의 얼굴을 인식하여 추적하는 시스템은 원칙적으로 금지되어야 합니다. 경찰 등 국가기관이 전국민의 얼굴을 인식하는 일은 결코 있어서는 안될 것입니다.

 

【참고】 유럽 기본권청(2020)

입법자는 기본권의 모든 범주를 포괄하는 의무적 영향 평가의 실시를 고려해야 한다. 이는 민간부문과 공공부문 모두에 적용되어야 하며, 인공지능 시스템이 사용되기 전에 이루어져야 한다 … 영향 평가는 … 정기적이고 반복적으로 실시되어야 한다. 평가는 투명하게 실시되어야 한다. 그 결과와 권고사항은 가능한 범위까지 공개되어야 한다. 기업과 공공기관들은 기본권에 미치는 영향을 완전하게 평가하는 데 필요한 정보를 수집할 수 있어야 한다.

 

【참고】 유럽 집행위원회(2021)[27]

고위험 인공지능 시스템은 시장에 출시되기 전에 엄격한 의무가 부과된다.

ㅇ 적절한 위험 평가 및 완화 시스템

ㅇ 위험과 차별적 결과를 최소화하기 위해 시스템에 공급하는 데이터 세트의 고품질 보장

ㅇ 결과의 추적성을 보장하기 위한 활동 기록

ㅇ 시스템에 대하여 필요한 모든 정보 및 그 준수 여부를 평가하는 기관의 목적 수행에 필요한 모든 정보를 제공할 수 있는 상세한 문서화

ㅇ 사용자에 대해 명확하고 적절한 정보 제공

ㅇ 리스크를 최소화하기 위해 적절한 인적 감독 조치

ㅇ 높은 수준의 견고성, 보안성 및 정확성

 

인공지능으로 피해를 입거나 인권을 침해당한 사람에 대하여 권리구제가 보장되어야 합니다.

공공기관 또는 민간기업이 개발, 도입, 사용하는 인공지능 시스템으로 인하여 피해를 입거나 인권을 침해당한 사람에게는 국가기관의 구제수단에 대한 접근이 보장되어야 합니다. 피해를 입거나 인권을 침해당한 당사자가 인공지능 제품과 시스템에 대응할 수 있으려면, 인공지능이 언제 어떻게 사용되었는지, 어디서 어떻게 이에 대한 이의를 제기할 수 있는지 알 수 있어야 합니다. 또한 인공지능 제품과 서비스는 우리 헌법과 인권규범이 보호하고 있는 적법절차의 권리를 보장해야 합니다.

따라서 인공지능 사용 기관은 일반적으로 소비자와 이용자에게 인공지능 사용 여부 및 그 기능, 인공지능을 사용한 의사결정에 대한 사항과 이의제기 방법에 대하여 설명하여야 합니다. 특히 공공기관이나 민간기업이 인공지능을 사용하여 당사자에 대해 법적 또는 상당한 영향을 미치는 의사결정을 내리는데 그 결정에 대하여 설명하지 못한다면 이 시스템을 사용해서는 안 될 것입니다.

금융서비스나 채용 등 개인을 평가하거나, 거부하는 등 사람에 대한 중대한 의사결정이 인공지능을 사용하여 자동적으로 내려졌을 경우, 그 대상이 된 정보주체는 그 사실을 통지받고, 인적 개입, 의사 표현, 그 결정의 이유 설명, 이의 제기, 안전조치 등을 보장받을 권리가 있습니다. 국가가 인공지능을 이용하여 국민에게 불이익한 행정 또는 형사상 처분이나 의사결정을 내리는 경우 국민은 그에 대한 사전적인 청문과 의견 진술, 문서 열람, 결정 이유 요구권 등 헌법상 적법절차를 보장받아야 합니다. 이 권리는 공공기관이 민간에서 조달한 시스템이나 서비스를 사용하는 경우에도 똑같이 보장되어야 합니다.

 

【참고】 유엔 의사표현의자유 특별보고관(2018)[28]

개인 이용자들은 인공지능 시스템의 반인권적 영향에 대한 구제 수단에 접근 할 수 있어야 한다. 기업들은 인공지능 처리시스템에 대해 표출되는 모든 이용자들의 불만사항 및 이의제기에 적시에 대응하기 위해 사람에 의한 검사 및 구제 시스템을 두어야 한다. 인공지능 시스템에 불만이 접수되고 구제가 요청된 빈도에 대한 데이터 뿐 아니라, 실제 이용되는 구제수단의 종류와 효과성에 대해서도 주기적으로 공개 되어야 한다.

 

【참고】 유럽평의회 인권위원장(2019)

인공지능 시스템이 머신러닝이나 이와 유사한 기법으로 특정한 인적 개입에서 독자적으로 의사결정을 할 수 있는 환경이라 하더라도, 인공지능 시스템은 항상 인적 통제를 유지해야 한다. 각국은 인공지능 시스템의 다양한 생애주기 단계에서 발생할 수 있는 인권 침해에 대한 명확한 책임의 선을 수립해야 한다. 인권을 침해하는 조치가 인간 책임자 또는 운영자에 의해 직접 지시되지 않은 경우라 하더라도, 인공지능 시스템의 개발, 도입 또는 사용으로 발생하는 인권 침해에 대한 책임과 책무는 항상 자연인 또는 법인 측에 있다.

공공기관 혹은 민간기업 인공지능 시스템의 개발, 도입, 혹은 사용으로부터 인권 침해 피해를 주장하는 누구라도 소관 국가기관에서 효과적인 구제수단을 제공 받을 수 있어야 한다. 나아가 각국은 불투명한 방식으로 당사자의 인지 없이 오로지 혹은 상당히 인공지능 시스템에 의해 산출된 결과물의 대상이 되었다고 의심하는 사람들에게 효과적인 구제수단에 대한 접근을 제공해야 한다.

효과적인 구제수단에는 인공지능 시스템의 개발, 도입 또는 사용으로 인한 피해에 대하여 신속하고 적절한 배상 및 보상이 포함되어 있어야 하며, 민사적, 행정법적 또는 적절한 경우 형사적 조치를 포함할 수 있다. 국가인권기구는 각각의 권한에 따른 자신의 결정을 제시함으로써 이러한 보상의 근거가 될 수 있다.

각국은 충분한 인적 개입 없이 이루어진 자동화된 의사결정에 기반하여 중대한 영향을 미칠 수 있는 의사결정의 대상이 되지 않을 권리를 개인에게 부여해야 한다. 적어도 개인은 이러한 자동화된 의사결정에서 인적 개입을 확보할 수 있어야 하며, 그러한 결정이 실시되기 전에 자신의 의견을 피력할 기회를 부여받아야 한다.

각국은 개인이 인공지능 시스템에 의해 야기된 인권 침해의 피해자라는 자신의 주장을 입증하는 것과 관련된 피고 또는 제3자 소유의 정보에 접근할 수 있도록 보장해야 한다. 여기에는 적절한 경우 훈련 및 테스트 데이터, 인공지능 시스템이 어떻게 사용되었는지에 대한 정보, 인공지능 시스템이 특정 권고, 의사결정 또는 예측에 어떻게 이르렀는지에 대해 유의미하고 이해가능한 정보도 포함되며, 인공지능 시스템의 결과물이 어떻게 해석되고 실행되었는지에 대한 상세정보도 포함된다.

소관 국가기관이 인공지능 시스템의 개발, 도입, 혹은 사용으로 인해 야기된 인권 침해 문제를 검토할 때, 인공지능 시스템이 현출하는 ‘객관성의 유혹(allure of objectivity)’에 적절한 회의적인 태도를 견지해야 하며, 인권 유린으로 난관에 처한 개인이 문제의 조치에 대한 책임자들에 비해 높은 수준의 증거에 구속받지 않도록 보장해야 한다.

 

오늘 선언에 참여한 시민사회, 노동, 인권단체들은 인공지능이 미치는 영향과 위험성으로부터 사람들의 인권과 안전, 민주주의를 보장하기 위하여 정부와 국회가 빠른 시일내 위와 같은 조치를 보장하는 입법 절차에 착수할 것을 다시 한번 촉구합니다. (끝)

 

2021. 5. 24.

가짜뉴스체크센터, 건강권 실현을 위한 보건의료단체연합(건강권 실현을 위한 행동하는 간호사회, 건강사회를 위한 약사회, 건강사회를 위한 치과의사회, 노동건강연대, 인도주의실천의사협의회, 참의료실현청년한의사회), 경제정의실천시민연합, 공익변호사와 함께하는 동행, 공익인권법재단 공감, 공익인권변호사모임 희망을만드는법, 군인권센터, 김포장애인야학, 김포장애인자립생활센터, 대구참여연대, 대전참여자치시민연대, 데이터민주주의포럼, 라이더유니온, 매체비평우리스스로, 무상의료운동본부, 미디어기독연대, 민주노총 공공운수노조, 민주사회를 위한 변호사모임 (교육청소년위원회, 노동위원회, 디지털정보위원회, 소수자인권위원회, 아동인권위원회, 여성인권위원회), 민주언론시민연합, 부산참여연대, 빈곤사회연대, 사단법인 경기장애인자립생활센터협의회, 사단법인 두루, 사단법인 여수시민협, 사단법인 정보인권연구소, 사단법인 제주참여환경연대, 사회적협동조합 빠띠, 상록수장애인자립생활센터, 생명안전시민넷, 서울YMCA 시청자시민운동본부, 성남참여자치시민연대, 소비자시민모임, 손잡고, 신대승네트워크, 언론개혁시민연대, 연구공동체 건강과 대안, 울산시민연대, 익산참여연대, 인권운동공간 활, 인천평화복지연대, 장애인권법센터, 장애해방열사_단, 전국교직원노동조합, 전국민주노동조합총연맹, 전쟁없는세상, 정태수열사추모사업회, 진보네트워크센터, 진보3.0, 차별금지법제정연대, 참여연대, 참여와자치를 위한 춘천시민연대, 참여자치21(광주), 충남참여자치지역운동연대, 충북참여자치시민연대, 투명사회를 위한 정보공개센터, 팔레스타인평화연대, 평등과 연대로! 인권운동더하기(거창평화인권예술제위원회, 광주인권지기 활짝, 구속노동자후원회, 국제민주연대, 노동인권실현을위한노무사모임, 다산인권센터, 대학성소수자모임연대 QUV, 대한불교조계종 사회노동위원회, 문화연대, 민족민주열사․희생자추모(기념)단체연대회의, 민주사회를 위한 변호사 모임, 민주주의법학연구회, 민주화실천가족운동협의회, 반도체노동자의 건강과 인권지킴이 반올림, 불교인권위원회, 빈곤과 차별에 저항하는 인권운동연대, 사회진보연대, 삼성노동인권지킴이, 새사회연대, 서교인문사회연구실, 서울인권영화제, 성적소수문화인권연대 연분홍치마, 실천불교전국승가회, 어린이책시민연대, 예수회 인권연대연구센터, 외국인이주.노동운동협의회, 울산인권운동연대, 원불교인권위원회, 인권교육센터 들, 인권교육온다, 인권연극제, 인권운동네트워크 바람, 인권운동사랑방, 장애물없는생활환경시민연대, 장애여성공감, 장애와인권발바닥행동, 전국불안정노동철폐연대, 전국장애인차별철폐연대, 전북평화와인권연대, 제주평화인권연구소 왓, 진보네트워크센터, 청소년인권행동 아수나로, 천주교인권위원회, 한국게이인권운동단체 친구사이, 한국기독교교회협의회(NCCK) 인권센터, 한국비정규노동센터, 한국성적소수자문화인권센터, 한국성폭력상담소, 한국청소년청년감염인커뮤니티 알, 행동하는성소수자인권연대, HIV/AIDS인권연대나누리+), 표현의자유와언론탄압공동대책위원회, 피스모모, 한국방송기술인연합회, 한국여성단체연합, 한국여성민우회, 한국장애인자립생활센터협의회, 형명재단 (총 120개 단체)

※ [내려받기] 선언서 전문

[1] “머신러닝으로 부정수급 탐지, AI로 강력범죄 전자감독”, 과학기술정보통신부 보도자료(2020. 4. 13).

[2] “경찰청, 빅데이터 플랫폼 구축하고 인공지능(AI) 범죄 예방 시범운영”, 경찰청 보도자료(2020. 12. 28) ; "인공지능(AI)으로 범죄예방의 첫걸음 내디딘다", 경찰청 보도자료(2021. 2. 26).

[3] “CCTV 활용 안면인식·동선분석'으로 코로나 감염경로 파악한다”, 뉴스1(2021. 2. 25).

[4] “공공기관 AI 채용은 ‘안알리즘’”, 한겨레21 제1335호(2020. 10. 23).

[5] “AI가 軍 특기병 면접본다…7월부터 시범 운영”, 조선일보(2021. 4. 13).

[6] “인공지능 무기 전쟁”, 한겨레(2021. 4. 10).

[7] “우버 자율주행차 첫 보행자 사망사고…안전성 논란 증폭”, 한국일보(2018. 3. 20). ; “나무 들이받고 불탄 테슬라…운전석에는 아무도 없었다", 경향신문(2021. 4. 19).

[8] “MS 채팅 봇 ‘테이’, 24시간 만에 인종차별주의자로 타락”, 동아사이언스(2016. 3. 27).

[9] “인공지능도 인종차별?…"얼굴인식 소프트에어 백인남성 더 정확"”, 연합뉴스(2018. 2. 12).

[10] “아마존, '여성차별' 논란 인공지능 채용 프로그램 폐기”, BBC(2018. 10. 11). ; 'AI 채용'은 남성을 선호해?…성차별 논란에 '자체 폐기', 중앙일보(2018. 10. 12).

[11] “사는 곳으로 성적을 결정했다 : 가난한 지역 공립학교 학생들에게 낮은 점수 준 알고리즘, 실패한 실험이 남긴 과제”, 한겨레21 제1329호(2020. 9. 11).

[12] “시민단체, 인공지능 채용 공공기관 13곳에 정보공개 청구 및 결과 발표”, 진보네트워크센터 보도자료(2020. 10. 27). ; “‘AI 면접 공정한가’ 온라인 토론회서 쏟아진 쟁점”, 뉴스로드(2021. 2. 17).

[13] “AI가 편집한다지만...포털뉴스 이대로 좋은가?”, MBC 스트레이트(2021. 3. 7).

[14] “무심코 누른 ‘좋아요’가 당신의 투표심리를 조종한다”, 서울경제(2020. 4. 10.)

[15] “Poland: Government to scrap controversial unemployment scoring system”, Algorithm Watch(2019. 4. 16).

[16] “Federal Suit Settlement: End of Value-Added Measures in Houston”, Education News(2017. 10. 10).

[17] “Welfare surveillance system violates human rights, Dutch court rules”, The Guardian(2020. 2. 5).

[18] “Amsterdam and Helsinki launch algorithm registries to bring transparency to public deployments of AI”, VentureBeat(2020. 9. 28).

[19] “Antibes publie l’inventaire de ses algorithmes”, laGazette(2021. 2. 11).

[20] The Government of Canada, “Directive on Automated Decision-Making”.

[21] New Zealand Government, “Algorithm charter for Aotearoa New Zealand”.

[22] European Commission, “Proposal for a Regulation laying down harmonised rules on artificial intelligence (Artificial Intelligence Act)”.

[23] “Question of the realization of economic, social and cultural rights in all countries: the role of new technologies for the realization of economic, social and cultural rights”, 유엔문서번호 A/HRC/43/29(2020. 3. 4).

[24] European Union Agency for Fundamental Rights(2020), “Getting the Future Rights : Artificial Intelligence and Fundamental Rights”.

[25] “인공지능 시대를 준비하는 법·제도·규제 정비 로드맵 마련”, 과학기술정보통신부 보도자료(2020. 12. 24). ; “4차산업혁명委 간담회 - AI에 지나친 쏠림 줄이기…자율규제 방식이 바람직”, 한국경제(2021. 3. 30).

[26] Council of Europe Commissioner for Human Rights(2019), “Unboxing artificial intelligence: 10 steps to protect human rights”.

[27] “Europe fit for the Digital Age: Commission proposes new rules and actions for excellence and trust in Artificial Intelligence”, European Commission(2021. 4. 21).

[28] “Report of the Special Rapporteur on the promotion and protection of the right to freedom of opinion and expression”. 유엔문서번호 A/73/348(2018. 8. 29).

[시민사회 공동논평] 국민 안전과 기본권 보호하는 AI 규제법 마련해야

인권침해, 차별 위험 등 AI 문제 ‘민간자율’로 해결할 수 없어

산업중심의 4차위⋅과기부 주도 아닌 인권위⋅개보위⋅공정위 참여하는 통합적 거버넌스 필요

지난 3월 30일, 4차산업혁명위원회(이하 4차위)는 산·학·연 민간 전문가가 참여한 가운데 ‘신뢰할 수 있는 인공지능(AI) 활용 방안 모색 간담회’를 개최하였다. 그러나 이번 간담회에서 인공지능 활용이나 인공지능 기술 자체의 속성에서 비롯되는 기본권 침해의 예방책 등 국민의 권리 보장 방안이 다뤄지지 않았다. 결론으로 도출된 ‘민간중심의 자율규제’라는 제언은 기업측의 이익과 입장만을 고려한 일방적 방향에 불과하다. 정부는 기업뿐 아니라 소비자, 노동자 등 실제 AI의 영향을 받는 모든 이해관계자들과 함께 AI의 신뢰성과 책임성을 담보할 수 있는 방법을 모색하는 것이 순서일 것이다. 뿐만 아니라 현실에서 실제로 벌어지는 다양한 AI에 의한 위험성을 예방하고 대비할 수 있는 AI 규제법제를 마련해야 한다.

이미 우리 사회 다양한 영역에서 AI 제품과 서비스가 활용⋅도입되고 있다. 스마트폰의 AI 비서나 AI 스피커, 온라인 쇼핑몰의 상품추천 등은 일상 생활에서 익숙한 AI 서비스이다. 더 나아가 맞춤형 금융상품 추천을 위한 신용평가, 사회복지수급자 선정, 일자리 배치 등 국민의 삶에 중대한 영향을 미치는 영역에 AI가 도입되고 있으며, 최근 여러 민간기업과 공공기관이 AI를 이용한 서류평가와 면접을 채용 절차에 적용하고 있다. 지난 2월에는 행정기본법이 국회를 통과하면서 AI에 의한 행정 처분의 근거가 마련되었고, 앞으로 국가의 행정작용에 이르기까지 AI 활용은 더욱 확대될 것이다. AI 산업이 지속가능하게 발전하기 위해서는 기술 지원과 더불어 AI로 인하여 발생할 문제에 대한 예방책도 함께 마련되어야 한다.

그러나 AI 법제도와 관련하여 4차위를 필두로 한 정부 정책들은 인공지능 산업의 기반이나 기술 개발을 진흥하는 것을 주요 목표로 하고 있다. 일례로 지난 해 12월 24일 과기부가 발표한 ‘인공지능 법⸱제도⸱규제 정비 로드맵’은 인공지능 산업 진흥과 활용 기반을 강화하는 방향 일색이다. 올해 3월 발족한 제2기 ‘인공지능 법제도정비단’이 추진하는 ‘데이터산업 진흥을 위한 기본법 제정’, ‘데이터 관리업에 대한 법적 근거 마련’ 방안 등 역시 산업 진흥에만 초점이 맞춰져 있다. 국민의 안전과 기본권 보호를 위하여 정작 먼저 이루어져야 할 ‘고위험 분야 인공지능 기술기준 마련’, ‘인공지능에 의한 계약의 효력’, ‘인공지능 행위에 대한 손해배상 방안 마련’, ‘인공지능 행정의 투명성 확보’ 등은 중장기 과제로 미뤄져 있다.

인공지능에 대한 깊은 논의가 부족한 채 ‘인공지능은 객관적이고 중립적일 것’이라는 막연하고도 맹목적인 신뢰를 바탕으로 앞다투어 인공지능 시스템을 도입, 홍보하는 것은 위험하다. 검증절차 없이 도입된 인공지능 시스템의 부작용은 오롯이 국민들에게 전가되기 때문이다. 인공지능의 오남용으로 인한 광범위한 인권 침해와 차별의 위험성은 챗봇 이루다 사건, 일부 공공기관 AI 면접에서 알고리즘 공개 거부 사례, 네이버나 다음 등 포털사이트의 뉴스 편집 알고리즘의 편향성에서 이미 드러났다. 이들 사례들은 인공지능 사용자인 시민들의 접근권, 처리절차 및 결과 도출 등에 관한 절차적 권리 등을 보장하지 않을 뿐 아니라 이러한 당연한 권리를 차단하기 위해 비밀주의로 일관하는 기업의 태도가 심각하다는 점을 보여준다. 미국은 공정거래위원회 격인 연방거래위원회(FTC)가 아마존 등 여러 기업에서 널리 사용하는 AI 채용 면접 ‘하이어뷰(Hire Vue)’ 알고리즘의 공정성을 조사 중이다. 그러나 우리 정부가 지금까지 AI면접 등에 대해 공정하고 투명한 채용 시스템인지, 부작용은 없는지에 대해 조사나 감독을 한다는 소식은 들은 바 없다. AI면접이 채용 지원자의 성별이나 연령에 따라 편향적으로 판단하지는 않는지, 표준어와 사투리 사용자 사이에 부당한 편향은 없는지, 어느 누구도 정확히 검증하지 않은 상태로 공공기관마저 무비판적으로 AI 채용을 도입하고 있다. 특히 기업들이 이윤 추구를 위하여 검증되지 않은 인공지능기술을 무차별적으로 도입하고 있다는 현실을 고려할 때, 인공지능기술의 연구, 개발, 상용화 과정에서 준수해야 할 절차나 한계에 대한 기준을 마련하지 않은 채 기업들의 ‘자율규제’에 맡기는 것은 국가가 헌법이 규정하고 있는 기본권 보호 의무를 방기하는 것이다.

국회 입법조사처는 2020년 9월 ‘인공지능의 윤리적 사용을 위한 개선과제’ 보고서에서 체계적이고 표준적인 윤리기준 등 인공지능윤리 거버넌스 마련, 예상치 못한 문제 발생 등에 대응할 수 있는 인공지능 사후감시 감독 시스템 도입, 인공지능 피해에 대한 배상책임 제도 보완 등 인공지능 전반의 논의가 필요하다고 제언한 바 있다. AI 문제는 민간자율의 범위를 뛰어 넘는다고 본 것이다. 이를 위해 우선, 인공지능 기술이 산업·사회 전반에 미치는 파급력이 크므로 전체를 조율할 수 있는 컨트롤 타워가 필요하다. 과기부가 소관부처라는 이유만으로 인공지능기술과 관련된 관련 법령의 제개정을 주도적으로 처리하면 안될 이유다. 신기술의 등장으로 새롭게 추구되는 가치와 기존의 법제도가 보호하고자 하는 가치가 충돌할 수 있는 만큼 국회, 정부 부처, 산업계, 학계, 시민단체 등이 참여하는 범정부적인 협의체가 구성되어야 한다. 또한 이 규제거버넌스 기구에는 공정거래위원회, 개인정보보호위원회, 국가인권위원회 등 국민의 기본권 보호 의무를 수행하는 국가 기관들도 반드시 참여해야 한다.

현재 국회에 발의되어 있는 AI 관련 법안(이상민 의원안, 양향자 의원안, 민형배 의원안)들 역시 모두 AI 산업육성과 진흥에 관한 법안들로, 신기술이 초래하는 위험성에 대한 고려가 전혀 없다. 인공지능의 사용은 ‘지속가능한 발전 목표’를 달성하고, 민주적인 프로세스와 사회적인 권리를 지원하는데 중요한 역할을 수행해야 한다. 이를 위해서는 인공지능 기술의 역기능을 최소화하기 위한 안전규제 및 위험관리 체계가 균형있게 마련되어야 한다.

AI 기술은 이른바 ‘4차 산업혁명’이라고 불리며 장밋빛 미래로 이야기되지만 그 이면에는 기본권과 인권 침해 위험성이 존재하며 피해 사례가 점차 드러나고 있다. 채용과정에서 왜 불합격인지 설명하기 어려운 인공지능의 판단을 당연하게 받아들여야 하는 것인지, 챗봇 이루다 사태에서 보듯 데이터 수집 단계의 개인정보 침해 뿐만 아니라 인간에 대한 혐오, 편견을 조장하는 발언들 역시 초창기 기술이라는 이유로 대책 없이 감내하여야 하는 것인지 질문해야 한다. 민간 자율과 별개로 인공지능의 영향을 받는 국민의 안전과 기본권 보호를 위한 인공지능 규제법을 마련할 것을 촉구한다.

2021년 4월 1일

민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대

온라인 주민등록번호…연계정보(CI)는 위헌이다

-시민사회단체, 헌법소원 제출 “애초에 존재할 필요 없는 연계정보, 즉각 폐지해야”
-‘고유/불변의 범용 개인식별코드’로서의 연계정보 생성·이용, 헌법상 과잉금지 원칙과 법률유보 원칙 위배

1. 민주사회를 위한 변호사모임 디지털정보위원회, 진보네트워크센터, 사단법인 정보인권연구소 등 3개 시민사회단체는 오늘(3/10) 연계정보(Connecting Information, CI)의 생성·발급·처리 등이 헌법 상 기본권을 침해하고 있으며, 이를 규정하고 있는 정보통신망법 제23조의2 제2항, 제23조의3 제1항 역시 ‘대체수단’에 연계정보가 포함된다고 해석하는 한 헌법에 위반된다는 취지의 헌법소원을 제기했다.

2. 이번에 소를 제기한 청구인들은 국민연금공단, 도로교통공단으로부터 카카오톡을 통해 안내 및 통지 메시지를 수신한 뒤, 해당 공단들에 휴대전화번호를 제공한 적이 없다는 점에 의구심을 느껴 개인정보 열람청구를 진행했다. 그 결과 청구인들은 해당 모바일 전자고지 서비스가 주민등록번호와 같은 고유식별번호인 연계정보(CI)를 이용해 청구인들을 식별하고 메시지를 보냈다는 사실을 알게 되었다. 우리도 모르게 또 다른 주민등록번호가 만들어졌고 기업들 사이에서 공공연하게 공유되어 왔던 것이다.

3. 청구인들에게 알리지 않고 필요한 절차를 거치지도 않은 채 청구인들의 고유식별코드를 생성하고, 그것을 이용해 특정 휴대전화의 명의자를 식별한 뒤 행정업무에 관한 메시지를 보내는 것은 ▲개인정보자기결정권 ▲사생활의 비밀 및 자유 ▲익명 표현의 자유 침해 ▲좋은 행정의 권리 등 기본권을 침해하고, 헌법상 과잉금지 원칙, 법률유보 원칙 등에도 위배되는 일이다.

4. 주민등록번호를 통한 본인확인의 폐해가 심각해지자, 정부는 정보통신망법 개정을 통해 주민등록번호를 사용하지 않고 본인을 확인할 수 있는 대체수단을 제공하도록 하고, 이를 제공하는 본인확인기관을 지정했다(제23조의2 제2항 및 제23조의3 제1항). 본인확인기관은 본인확인정보와 중복가입확인정보를 통해 특정 사이트에서의 본인확인을 수행해왔다. 그런데 피청구인인 방송통신위원회와 한국인터넷진흥원은 2010년 경 연계정보(CI)라는 새로운 식별번호를 도입했으며, 이 연계정보는 주민등록번호와 1:1 매칭되는 고유식별자이다. 피청구인이 연계정보(CI)를 도입한 이유는 바로 ‘사업자들의 온오프라인 서비스 연계를 지원’하기 위한 것이었다. 주민번호와 같은 국민 식별번호가 국민도 모르는 사이 법적 근거도 없이 만들어진 것이다.

5. 연계정보는 개인 식별이 가능한 정보이기에 개인정보이며, 이를 대상으로 한 생성 및 이용 행위는 원칙적으로 개인정보자기결정권의 제한에 해당한다. 또한 연계정보 생성 및 이용은 인터넷 이용자의 신원을 항상 확인하고 식별할 수 있도록 하므로 사생활 비밀 및 자유, 자신의 신원을 누구에게도 밝히지 아니한 채 익명 또는 가명으로 자신의 사상이나 견해를 표명하고 전파할 익명표현의 자유, 적절한 고지 및 절차를 거칠 수 있도록 하는 좋은 행정의 권리 등 국민의 기본권을 침해한다.

6. 연계정보는 주민등록번호를 기반으로 1대1 연계(매칭)되어 생성되었으며, 한 번 부여되면 주민등록번호를 변경하지 않는 한 변경할 수 없다. 즉 연계정보는 주민등록번호와 1대1 매칭되는 또 다른 범용 식별번호이기 때문에 주민등록번호가 야기한 것과 똑같은 문제점을 가질 수밖에 없다. 게다가 이러한 특징을 이용해 현재 연계정보가 공공·민간부문에서 ‘범용 식별정보’로 광범위하게 이용되고 있는 실정이다. 연계정보는 인터넷 기업 사이의 온오프라인 서비스 연계를 넘어, 수사기관에 의해 수사대상자 식별 및 수사 목적으로도 활용되고 있으며, 최근에는 규제 샌드박스 임시허가를 통해 공공기관의 ‘모바일 전자고지 서비스’로 그 활용이 확대되고 있다. 특히 ‘모바일 전자고지 서비스’의 경우, 단순 ‘안내’에 대한 통지에 그치지 않고 교통범칙금, 과태료, 하이패스 통행료 미납통지 등 공공적인 불이익 조치 역시 예정되어 있어 이용 범위가 더욱 광범위한 것으로 보인다.

7. 이런 식으로 연계정보를 ‘범용 개인식별코드’로 사용하는 것은 헌법 상 과잉금지 원칙에 위배된다. 주민등록번호를 사용하지 않고 본인을 확인할 수 있는 대체수단으로 이미 아이핀, 중복가입확인정보(DI) 등이 존재하는 바 연계정보는 주민등록번호 대체수단으로서 필요가 없으며, 입법목적을 달성하기 위한 필요 최소한, 피해 최소성의 수단도 아니다. 따라서 해당 법률조항에서 대체수단에 연계정보가 포함된다고 해석할 경우 이로 인한 기본권 침해가 현저하여 법익 균형성 역시 잃었다고 보아야 할 것이다.

8. 아울러 기본권을 침해하는 행위임에도 연계정보 생성⋅발급⋅처리 행위에 대해 법률에 도입 및 부여 근거 및 목적, 그에 따른 사용범위와 사용방법 및 절차, 법적 한계까지 근거 법률에 명확하게 규정되지 않았다. 이는 법률유보원칙에도 위배되는 사항이다. 따라서 연계정보 수집 및 처리, 이용은 중단되어야 하며, 연계정보를 주민등록번호 대체수단으로 규정하는 한 정보통신망법 제23조의2 제2항, 제23조의3 제1항은 위헌이다.

9. 결론적으로 ‘온라인 주민등록번호’, ‘네트워크 주민등록번호’ 혹은 ‘전산망 주민등록번호’라 할 수 있는 연계정보(CI) 제도는 폐지되어야 한다. 본인확인과 아무런 관계가 없고 단지 기업들의 편의를 위해 만들어진 것일 따름이기 때문이다. 어떻게 제휴 서비스를 제공할 것인지는 기업 스스로가 고민할 일이지, 한국 정부처럼 국민의 범용 개인식별코드를 만들어주는 것은 전 세계에 유례가 없다. 연계정보는 애초에 존재할 필요가 없었고, 지금 폐지해도 아무런 문제가 없다. 끝.

 

<관련 사례> 과태료 전자고지 샘플 (출처: 마포구청 블로그)
<관련 사례> 과태료 전자고지 샘플 (출처: 서울 마포구청 블로그)

시민사회단체, 국가인권위원회에 '이루다 챗봇' 사건 인권침해·차별 진정 및 정책권고 제안

  1. 민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대 공익법센터, 차별금지법제정연대는 2021. 2. 3. ‘이루다 챗봇’ 사건과 관련하여 인권침해 및 차별 진정과 정책권고를 요청하는 취지의 진정 및 정책권고 제안서를 국가인권위원회에 접수했습니다. 시민사회단체들은 위 진정 및 제안서에서 ‘이루다 챗봇’ 사안이 개별 인권침해 사안일 뿐만 아니라 인공지능 기술의 남용이 인권에 미칠 수 있는 부정적인 영향을 보여준 대표적인 사안라는 점을 지적하며 국가인권위원회에 관련 정책 전반에 대한 개선권고를 요청하였습니다.
  2. 국제인권규범에 따르면 국가 및 지방자치단체(이하 ‘국가 등’)는 사인에 의해 발생한 인권 침해 문제에 대하여 보호 의무를 부담합니다. 국제인권규범은 이른바 ‘3원적 의무설’에 따라 사인에 의한 인권침해에 있어 국가가 적절한 보호조치 등을 취하지 않은 경우를 국가 등에 의한 인권 침해를 구성하는 것으로 해석하고 있습니다. ‘이루다 챗봇’ 사안은 인공기술의 남용에 따른 프라이버시권 및 표현의 자유 침해에 대한 국가 등에 의한 제도적 보호의 부재를 여실히 드러낸 사안으로, 근본적으로는 국가에 의한 인권침해에 해당합니다.
  3. 유엔 인권최고대표, 유엔 의견과 표현의 자유 특별보고관 등은 인공지능기술 활용으로 인한 프라이버시 및 표현의 자유 침해를 방지해야 할 국제인권규범상 국가의 보호의무를 강조하며 영향평가제도, 감사제도 등 구체적인 제도를 수립하고 정보주체의 권리를 보장할 것을 권고하고 있습니다. 그리고 호주 국가인권위원회, 연방반차별국, 네덜란드 인권위원회 등 해외 국가인권기구들은 적극적 인공지능 규제의 법제화 제안, 정책권고 등 인공지능 기술에 따른 인권 침해와 차별을 막기 위한 적극적인 조치를 취하고 있습니다. 하지만 우리나라 국가인권위원회는 현재까지 인공지능 관련 정책 등에 대해 특별한 대응을 하지 않고 있는 상황입니다.
  4. 우리나라는 이른바 제4차 산업혁명이라는 미명 아래 상업적 분야 등에서 인공지능 기술 등 신기술이 무비판적으로 도입되고 있으며, 개인정보의 상업적 활용이 무분별하게 허용되고 있습니다. 그러나 정보주체인 시민들의 권리를 보장하기 위한 입법적, 행정적 기반은 전무합니다. 오히려 시민사회단체들의 우려와 반대에도 불구하고 도입된 ‘데이터 3법’으로 인하여 개인정보의 동의없는 상업적 활용이 폭넓게 허용되고 있고, 인공지능기술, 자동화 의사결정 등에 대한 규제도 전무한 상황입니다. 국가인권위원회는 위와 같은 공적 보호의 부재로 인한 인권침해 상황을 엄중히 인식하여야 합니다. 그리고 신속히 관련 정책을 인권의 관점에서 점검하여 권고를 내리는 등 국가인권기구로서의 역할을 다 하여야 할 것입니다.
  5. 이에 시민사회단체들은 위 진정 및 정책권고 제안서에서 국가인권위원회에 ‘이루다 챗봇’ 사안에 대한 철저한 조사 및 피해자들에 대한 배상을 권고해줄 것을 요청함과 동시에 관련 정책을 개선하기 위한 다양한 권고를 요청하였습니다. 시민사회단체들은 구체적으로 국가인권위원회에 ▲ 사적주체도 대상에 포함하는 실효성 있는 영향평가제도 구축 및 감사제도 도입 ▲ 인공지능에 의한 차별을 규율하기 위한 기반으로서 평등법의 제정 ▲ 프로파일링 및 자동화된 의사결정 거부권 등 정보주체의 권리 보장 ▲ 개인정보보호법 상 가명정보 및 동의제도에 관한 규정 정비 및 구제절차 보장, ▲ 인공지능 기술의 활용에 있어 기업 등이 준수해야할 가이드라인 개발 및 보급 등의 권고를 제안했습니다.
  6. 시민사회단체들은 ‘이루다 챗봇’ 사안을 사적영역의 문제 또는 한 기업의 일탈행위로 보고, 기업 등의 자율적 규제를 대안으로 제시하는 일부 주장에 깊은 우려를 표합니다. ‘이루다 챗봇’ 사안으로 드러난 인공지능, 알고리즘의 오남용으로 인한 광범위한 인권침해와 차별의 위험성은 엄연히 국가 등의 적절한 보호조치를 통해 예방, 방지되어야 합니다. 이번  시민사회단체들이 국가인권위원회에 제기한 진정 및 정책제안서가 인공지능 등 신기술로 인해 발생할 수 있는 인권침해와 차별의 위험성을 방지하고, 정보주체의 권리를 확인하는 하나의 계기가 될 수 있기를 기원합니다.

※ 첨부자료: 진정 및 정책권고 제안서 [내려받기]

2021년 2월 3일

민주사회를 위한 변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대 공익법센터, 차별금지법제정연대

인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안

 

▶토론회 일정 변경 안내◀
ㅇ 국회 방역 조치로 토론회 일자가 1차 안내된 2월 3일(수)에서 2월 17일(수)로 변경되었습니다
ㅇ 코로나19 방역 상황으로 인해 온라인 화상회의로 진행하며 정필모 의원실 페이스북 페이지를 통해 생중계로 참가하실 수 있습니다. https://www.facebook.com/pmjung537
ㅇ 토론회에 참가하실 분들께서 이름, 소속, 이메일 주소를 남겨 주시면 자료집 및 안내를 보내드리겠습니다. https://bit.ly/2YfxvD8


인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안 국회 토론회 (2. 17. 변경) 개최

- 최근 AI 면접과 챗봇 논란이 불거진 인공지능 제품과 서비스의 올바른 규제 방향 모색
- 더불어민주당 정보통신특별위원회(위원장 정필모)와 시민사회 공동주최

□ 최근 AI 면접과 챗봇 등 인공지능 제품과 서비스에 대한 사회적 논란이 불거진 가운데, 더불어민주당 정보통신특별위원회(위원장 정필모)와 시민단체 민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 소비자시민모임, 진보네트워크센터, 참여연대가 공동주최하는 인공지능의 공정성, 투명성, 책임성 보장을 위한 법제 정비 방안2월 17일 오후 2, 정필모 의원 페이스북에서 온라인으로 개최된다.

○ 이번 토론회에서는 최근 AI 면접과 챗봇 논란이 불거진 인공지능 제품과 서비스의 올바른 규제를 위한 법제 정비 방안에 대하여 토론한다.

□ 이번 토론회 발제는 △ 김민우 박사(충북대학교 행정학과 BK21사업팀 박사후연구원)가 “헌법과 인공지능”을 주제로 △ 오정미 변호사(서울대학교 공익법률센터 공익펠로우)가 “인공지능 법제 정비 제안”을 주제로 발표하며 △ 한상희 교수(건국대학교 법학전문대학원, 참여연대 정책자문위원장)가 사회를 맡는다.

○ 각계 전문가 토론자로는 김병필 교수(KAIST 기술경영학부/민주사회를위한변호사모임 디지털정보위원회 회원), 장여경 이사(사단법인 정보인권연구소), 윤명 사무총장(소비자시민모임), 김민 정책활동가(진보네트워크센터)가 참여하며, 정부 부처에서는 과학기술정보통신부(인공지능정책과 김경만 과장), 공정거래위원회(시장감시총괄과 이동원 과장), 개인정보 보호위원회(데이터안전정책과 이한샘 과장)가 토론에 참여한다.

□ 인공지능은 사회경제적으로 국민에게 여러 혜택을 가져올 수 있는 반면, 편향적이고 불투명한 의사결정으로 소비자와 이용자의 기본권과 안전에 위협이 될 수 있다는 우려 또한 존재하고 있다. 정부가 2021년 상반기부터 인공지능 법·제도·규제 정비 로드맵 추진 계획을 발표한 가운데(과학기술정보통신부 2020. 12. 24. 인공지능 법·제도·규제 정비 로드맵), 이번 토론회는 모든 국민에게 혜택이 돌아가는 인공지능 기술의 발전을 모색하고 그 예상되는 부작용을 최소화하는 국가 정책에 대한 논의 자리가 될 것으로 기대한다.

▣ 행사개요

(일시) ’21. 2. 17.(수), 오후2시

(장소/온라인 생중계) 정필모 의원 페이스북 http://www.facebook.com/pmjung537

(주최) 더불어민주당 정보통신특별위원회(위원장 정필모), 민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 소비자시민모임, 진보네트워크센터, 참여연대

(참여신청) https://bit.ly/2YfxvD8

▣ 프로그램

시간 프로그램
사회 : 한상희 교수 (건국대학교 법학전문대학원 / 참여연대 정책자문위원장)
2:00~2:10 개회 인사말 더불어민주당 정보통신특별위원회 정필모 위원장
2:10~2:35 발제 헌법과 인공지능 김민우 박사 (충북대학교 행정학과 BK21사업팀 / 박사후연구원)
2:35~3:00 발제 인공지능 법제 정비 제안 오정미 변호사 (서울대학교 공익법률센터 / 공익펠로우)
3:00~3:40 토론 인공지능과 기술윤리 : 김병필 교수 (KAIST 기술경영학부/민주사회를위한변호사모임 디지털정보위원회 회원)
인공지능 법제 정비 해외 사례 : 장여경 이사 (사단법인 정보인권연구소)
인공지능 제품의 안전성과 소비자 보호 : 윤명 사무총장 (소비자시민모임)
AI 면접의 공정성과 투명성 : 김민 정책활동가 (진보네트워크센터)
3:40~4:20 토론 정부 부처
- 과학기술정보통신부 김경만 과장 (인공지능정책과)
- 공정거래위원회 이동원 과장 (시장감시총괄과)
- 개인정보 보호위원회 이한샘 과장 (데이터안전정책과)
4:20~4:30 플로어 토론 및 참석자 전체 토론

 

신뢰할 수 있는 인공지능, 기업의 자율규제만으로는 못 이룬다

'개발'에만 치중한 AI산업육성, '이루다'는 예정된 참사
- 100억건의 개인정보 침해가 빚어낸 차별과 혐오주의자 챗봇

  1. 지난 12월 23일 출시된 스캐터랩의 대화형 챗봇 ‘이루다’를 둘러싼 논란이 한창입니다. 대화형 챗봇 ‘이루다’는 사용자들의 성희롱과 폭언 등의 남용, 혐오표현에 대한 미온적 대응 등 보호받아야 할 사회적 가치를 훼손하는 알고리즘은 물론이고, 개인의 사적인 대화나 개인정보가 심각하게 수집되고 유출된 것으로 드러나 당혹감을 안겨주고 있습니다.

우리는 마치 이번 논란을 해외시장에서 경쟁하려는 국내 청년 스타트업의 불가피한 시행착오로 포장하려는 일부 언론의 보도에 대해 우려하고 있으며, 엄연히 피해자가 드러난 사안에 대하여 법적 책임을 회피하려는 일체의 시도에 대하여 엄중하게 경고합니다.

챗봇 이루다 논란은 기업의 인공지능 제품이 일으킬 수 있는 문제의 한 단면일 뿐이며 이에 대한 대책을 기업 자율에만 맡겨둘 수 없습니다. 이미 우리 생활 곳곳에 들어와 있는 인공지능 제품에 대한 구체적이고 명료한 법적 규범을 마련할 것을 촉구합니다.

  1. 대화형 챗봇 ‘이루다’를 개발하고 운영하는 스캐터랩은 2013년 텍스트앳, 2016년 연애의 과학 등의 어플리케이션을 운영하며 카카오톡 등 메신저의 대화 내용을 수집해왔고 이를 자사 다른 제품인 대화형 챗봇 ‘이루다’의 학습용 데이터로 이용했습니다. 「개인정보 보호법」에 따르면 해당 대화 내용 데이터 수집과 이용에 다음과 같은 문제가 있습니다.

개인정보의 목적 외 이용과 부적절한 고지

텍스트앳과 연애의 과학 어플리케이션은 사용자들에게 각각 ‘감정분석서비스’, ‘카톡으로 보는 속마음’ 기능을 제공하며 카카오톡 대화 내용 내보내기 기능을 통해 특정 상대방과 나눈 대화를 전부 수집하였습니다. 스캐터랩은 ‘이루다’가 이용한 연애의 과학 사용자 데이터는 사용자의 사전 동의가 이루어진 개인정보취급방침의 범위 내에서 이용하였다고 주장하였습니다. 그러나 연애의 과학 로그인 페이지에서 “로그인함으로써 개인정보 처리방침에 동의합니다”로 간주하는 것은 각각의 사항을 알리고 명시적으로 동의를 받도록 한 개인정보 보호법 위반입니다(제15조 제2항 또는 제39조의3 제1항 및 제22조 위반). 

또 카카오톡 대화 수집에 동의한 사용자들에게 해당 비공개 대화가 챗봇 서비스 학습 데이터로 이용된다고 적정하게 고지되었는지 의문입니다. 각 어플리케이션의 개인정보 취급방침에는 다음과 같은 내용만이 존재합니다.

라. 신규 서비스 개발 및 마케팅·광고에의 활용
신규 서비스 개발 및 맞춤 서비스 제공, 통계학적 특성에 따른 서비스 제공 및 광고 게재, 서비스의 유효성 확인, 이벤트 및 광고성 정보 제공 및 참여기회 제공, 접속빈도 파악, 회원의 서비스이용에 대한 통계

현재 수많은 사용자들이 분노하는 것에서 알 수 있듯, 해당 방침을 읽고 본인이 제공한 대화 내용이 챗봇의 학습 데이터로 이용될 거라고 예상한 사람이 어디 있을지 의문입니다. 적법한 동의에 해당하기 위해서는 이용자가 개인정보에 관한 결정권을 충분히 자유롭게 행사할 수 있도록, 통상의 이용자라면 용이하게 법정 고지사항의 구체적 내용을 알아볼 수 있을 정도로 법정 고지사항 전부를 명확하게 게재해야 합니다. 이처럼 정보주체에게 충분히 설명하지 않고 충분히 인지되지 않은 동의는 제대로 된 동의라고 보기 어렵습니다. 

한편 ‘신규 서비스 개발과 마케팅·광고 활용’이 위 유료 어플리케이션을 이용하는데 ‘필수정보’인지도 의문입니다. 필수정보가 아닌 개인정보 수집·이용에 대해서는 이용자의 선택권을 보장해야 합니다(제16조 제2항과 제3항 또는 제39조의3제3항 위반).

대화 상대방의 동의 부존재

사용자들이 분석을 위해 제공한 카카오톡 대화는 2인 이상의 대화입니다. 개인정보 보호법 제15조 또는 제39조의3제1항에 따라 마땅히 받아야 할 대화 상대방에 대한 동의 절차는 어디에도 없었습니다. 지난 12일 스캐터랩은 논란이 지속되자 서비스를 중지하고 사과의 뜻을 밝혔지만 대화 상대방의 동의 부존재에 대해선 한 마디 언급도 없었습니다(제15조 제1항 또는 제39조의3제1항 위반). 

대화 상대방의 동의를 받아 데이터를 수집하는 것은 얼마든지 가능한 일입니다. 2019년 국립국어원에서 진행한 메신저 대화 자료 수집 및 말뭉치 구축 사업의 경우, 메신저 대화를 수집하며 대화 참여자 전원으로부터 대화 제공에 대한 동의와 저작권 이용 허락 등을 받아 데이터셋을 구축했습니다. 이는 정보주체의 권리를 보호함과 동시에 적법하게 데이터를 수집하는 일이 충분히 가능하다는 사실을 보여주고 있습니다. 

자신의 사적인 대화 내용이 수집되고 분석되며 이후 챗봇의 학습에 이용되었다는 사실을 인지도 못한 피해자가 무수히 존재할 것이며 이러한 데이터는 원본과 가명 정보 모두 폐기 되어야 마땅합니다.

대화 내용에 포함된 민감정보, 고유식별정보

‘텍스트앳’, ‘연애의 과학’ 서비스는 카카오톡 등 메신저를 통한 사적인 대화 내용을 수집하는 바, 이에는 이름과 연락처, 주소 등 개인의 신원이 드러날 수 있는 다양한 개인정보와 더불어 더 민감한 다른 정보도 포함되어 있습니다. 자신의 사상, 신념, 정치적 견해, 건강상태, 성생활에 대한 정보, 인종과 민족에 대한 정보 등은 민감정보입니다. 숫자 뿐 아니라 한글과 이미지 등 다른 형태로 표시된 여권번호, 운전면허번호, 외국인등록번호는 고유식별정보입니다. 민감정보와 고유식별정보는 정보주체의 명시적인 동의나 법령상 허용조항 없이는 누구도 수집하거나 이용할 수 없는데 연애의 과학은 이에 대한 별도 동의를 받지 않았으며 실제로 성생활 등에 대한 정보가 수집 이용된 것으로 보입니다(제23조제1항 및 제24조 제1항 위반). 또 숫자 뿐 아니라 한글이나 이미지로 표시된 주민등록번호는 법령상 근거 없이는 민간에서 수집하는 것 자체가 금지되어 있습니다(제24조의2 제1항 위반). 이러한 내용은 스캐터랩과 어플리케이션의 유료 기능의 개인정보 처리방침 어디에도 고지되지 않았습니다.

개인정보에 대한 이용자의 권리 무시

스캐터랩은 이루다가 학습한 대화내용에서 숫자와 영문, 실명 정보 등은 삭제하였기 때문에 개인정보에 대한 비식별화가 충분히 이루어졌다고 주장하고 있습니다. 그러나 지금 이름, 주소 등이 노출되는 사례가 등장하고 있는 것은 이 회사의 비식별화 또는 가명처리의 수준이 적정하지 않았다는 점을 분명히 드러내고 있으며, 스캐터랩은 얼마 전까지 연애의 과학에서 추출된 일부 대화 내용을 오픈소스 플랫폼에 훈련 데이터셋으로 공개하기도 했습니다. 해당 데이터셋의 경우 이름, 건강상태, 직장 등의 개인정보가 비식별화되지 않은 상태였습니다. 

무엇보다 눈에 두드러지는 숫자, 영문, 이름 등만 개인정보인 것이 아닙니다. 다른 정보와 쉽게 결합하여 알아볼 수 있으면 개인정보로서 똑같은 보호 대상입니다. 성명은 지웠지만 여성이고, 이십대라는 점을 알고 있으며, 숫자와 영문은 삭제되었지만 서울 성북구에 살고, 특정은행에 계좌가 있고, 특정대학교 특정학과 또는 특정 기숙사를 출입한다면 개인을 특정할 수 있습니다. 이처럼 개인정보를 부분적으로 삭제하여 가명처리를 했다 하더라도 더 많이 결합할수록 알아볼 가능성이 더 높아진다는 것이 상식입니다. 이러한 개인정보들을 언제 누구에게 어느 범위까지 알려지고 또 이용되도록 할 것인지를 그 정보주체가 스스로 결정할 수 있는 권리는 우리 헌법에서 보호하고 있는 기본권입니다. 

개인정보 침해를 당했음에도 불구하고 그 사실조차 모르는 정보주체가 다수 존재할 것입니다. 지금이라도 가입자 뿐 아니라 자신의 대화가 수집이용된 모든 정보주체의 열람 및 삭제 권리는 완전하게 행사될 수 있어야 합니다. 또 개인정보 수집과 처리 과정이 불법적인 것으로 드러나면 정보주체의 요청 없이도 해당 개인정보를 바탕으로 만들어진 챗봇 모델과 알고리즘의 폐기가 마땅합니다.

  1. 이번 이루다 논란은 기업을 위한 데이터3법이 자초한 문제이기도 합니다. 시민사회는 데이터3법이 기업들로 하여금 개인정보를 가명처리한 후 정보주체의 동의 없이 인공지능 제품 등 기업의 상품개발에 거의 무한대로 이용할 수 있도록 허용한 데 대하여 비판해 왔습니다. 공익적 학술 연구 등에 정보주체의 동의 없이 가명정보를 사용할 수 있도록 하는 유럽연합 등의 사례가 있지만, 기업의 상업적인 제품 개발을 위해 정보주체의 기본권을 무시하며 가명정보를 무제한적으로 이용하는 것은 위헌적입니다. 정보주체의 권리를 보장하기 위해서는 현 가명정보에 면제한 열람권, 삭제권 등을 보장하는 방향으로 법개정이 있어야 할 것입니다. 무엇보다 새로운 사회적 흐름으로 등장한 인공지능 제품에 대한 명확한 법규범은 필수입니다.

    그런데 최근 정부와 기업이 여기서 더 나아가 데이터 산업의 발전을 명분으로 현재의 사전 동의 조항을 더 완화하는 법 개정을 추진하고 있다는 데 대하여 우리는 깊이 우려합니다.

  1. 스캐터랩은 향후 ‘더 고도화된 데이터 알고리즘’으로 이 문제를 해결하고 향후 재운영하겠다는 방침을 밝혔습니다. 또 자신들이 마음대로 사용한 이용자의 원본 데이터, 가명 데이터를 완전 파기하겠다는 약속은 하지 않는 모습입니다

    그러나 바로 며칠전, 미국 연방거래위원회(FTC)는 불법적으로 사진을 수집해 얼굴인식 알고리즘 훈련용 데이터로 이용한 기업에게 해당 모델과 알고리즘을 삭제하라는 명령을 내렸다는 사실을 상기할 필요가 있습니다. 지금은 챗봇 문제로 시작했지만 더 위험한 인공지능에서 더 위험한 데이터, 더 위험한 알고리즘을 사용하기 전에 우리 사회가 이런 문제에 대한 대책을 고민해야 할 시점입니다. 

    윤리적 검토와 평가, 사회적 합의와 토론 없이 성급하게 개발되는 인공지능 제품은 국민에게 차별과 오류, 개인정보 침해 등 심각한 악영향을 가져올 수 있으며 동시에 블랙박스 속에 감춰진 알고리즘으로 인해 피해자가 권리 침해 사실조차 깨닫지 못할 수도 있습니다

  1. 기업의 인공지능 제품의 악영향에 대한 대책이 인공지능 윤리로 그쳐서는 안됩니다. 

    지난 12월 발표된 과학기술정보통신부의 ’인공지능(AI)윤리기준’ 에는 인권을 보장하고 프라이버시를 보호하고 다양성을 존중하고 책임성을 보장하는 등 선하고 아름다운 문장들이 가득하지만, 그것을 구체적으로 실현할 수 있는 방안은 없는 것으로 보입니다. 특히 아래와 같은 문장을 명시함으로써 인공지능 윤리 가이드라인이 현실적 규범으로서는 아무런 의미도 없는 선언에 불과하다는 사실을 스스로 입증하였습니다.

“본 윤리기준은 산업·경제 분야의 자율규제 환경을 조성함으로써 인공지능 연구개발과 산업 성장을 제약하지 않고, 정당한 이윤을 추구하는 기업에 부당한 부담을 지우지 않는 것을 목표로 한다.”

온갖 미사여구와 좋은 말이 가득하지만 구속력 있는 ‘법’이나 ‘제도’가 아니라 단순한 자율 규범으로, 아무런 강제성이 존재하지 않는 가이드라인으로 인공지능 제품의 악영향을 막을 수 없을 것입니다. 

  1. 인공지능 제품과 그 학습 데이터의 편향성의 문제는 윤리가 아니라 법률 규범의 문제입니다. 

    세계 각국은 인공지능 제품과 그 학습 데이터에 대하여 제조물 책임법, 소비자 보호법, 정보공개법, 개인정보 보호법, 평등법 등 현행법을 정교하게 적용하기 위해 노력하고 있습니다.

    특히 유럽연합의 경우 인공지능 제품과 서비스에 대해 기존 법률의 준수는 물론이고, 추가적으로 ‘고위험’ 인공지능에 해당할 경우 훈련데이터, 기록보존, 정보공개, 견고성, 인적 감독 등의 법적 의무를 추진하고 있습니다. 이때 공공적으로 법적인 효과를 낳거나 의료, 운수, 에너지 분야에서 중대한 손상을 야기하거나 노동자나 소비자의 권리에 영향을 미치는 인공지능 제품과 서비스는 ‘고위험’에 해당합니다. 이중 훈련 데이터에 대한 법적 의무로는 △충분히 광범위한 데이터셋에 기반해 훈련하는 등 그 안전을 합리적으로 보장할 것 △금지된 차별을 수반하는 결과로 이어지지 않도록 합리적인 조치를 취할 것 △제품과 서비스를 사용하는 동안 사생활과 개인정보를 적절히 보호할 것 등을 요구할 예정입니다. 

    캐나다는 이미 2019년부터 공공기관 자동화된 의사결정에 대한 지침(정부 훈령)을 제정하고 모든 공공기관 인공지능 알고리즘에 대하여 영향평가를 실시하고, 생산 전에 훈련 데이터가 의도하지 않은 데이터 편향을 드러내거나 결과에 부당하게 영향을 미칠 수 있는 요소가 있는지 검사 절차를 거치고 있습니다. 심지어 자율규제의 나라 미국에서도, 법 집행기관의 인공지능 사용과 채용을 위한 인공지능 사용 등 특정 영역을 강하게 규제하는 법이 제정되고 있습니다.

  1. ‘이루다’는 챗봇이고, 고위험 인공지능이나 공공기관 인공지능은 아닐지 모릅니다. 그러나 막연하고 기업 자율적인 인공지능 윤리에서 더 나아가 이제는 국민의 안전과 기본권을 보호할 수 있는 인공지능 규제법을 고민해야 할 때입니다. 

    개인정보를 보호해야 할 대상이 아닌 경제적 관점과 활용 대상으로만 바라보는 기업의 관행은 국민이 신뢰할 수 없는 인공지능 기술로 이어질 것입니다. 개인정보 자기결정권을 침해하고, 의도하지 않은 결과를 도출하고, 혐오를 양산하고, 소수자를 배제하고, 편견을 재생산하는 인공지능 기술의 도입을 방지할 방법이 현실적으로 고려돼야 합니다. 지금 이 순간에도 사회 다양한 영역에서 인공지능 제품과 서비스가 개발되고 활용되고 도입되고 있습니다. 그중 일부는 챗봇 정도가 아니라 채용, 사회 복지 수급자 선정, 일자리 배치 등 국민의 삶에 중대한 영향을 미치는 영역에 자리를 잡았습니다. 이러한 상황에서 기업들의 인공지능 윤리 준수를 선의에만 기댈 수는 없습니다. 국민에게는 인공지능 기술을 사회적으로 통제하기 위한 현실적인 법이 필요합니다.

  1. 이 문제적 인공지능 제품의 이면에서 개인정보에 대한 심각한 권리 침해가 발생한 것으로 보이며, 우리는 이에 대한 개인정보 보호위원회의 철저한 조사와 엄정한 처벌을 촉구합니다. 우리 단체들은 개인정보 보호위원회에 대한 의견, 민원 뿐 아니라 국가인권위원회 등 관련 부처에 대한 민원, 필요하다면 관련 소송 등으로 계속하여 이 사안에 공동으로 대응할 예정입니다. 나아가 정부와 국회의 관련 정책 입안자들에 대하여 소비자와 이용자의 권리를 침해하는 인공지능 제품의 규제를 위해 법률적 대책을 마련할 것을 촉구합니다. 

2021년 1월 13일
민주사회를위한변호사모임 디지털정보위원회, 사단법인 정보인권연구소, 진보네트워크센터, 참여연대

국제인권기준에 따른 개인정보 보호 법제도 개선방안 연구

사단법인 정보인권연구소는 2020년 11월 <유럽연합 「개인정보보호 규정」(GDPR) 등 국제인권기준에 따른 개인정보 보호 법제도 개선방안 연구> 보고서를 발간하였습니다.

최근 정부와 기업은 데이터 산업 활성화를 위해 개인정보 보호를 완화하는 여러 정책을 추진하고 있습니다. 쇼핑내역은 물론 민감한 건강정보에 이르기까지 많은 개인정보가 정보주체의 동의 없이 광범위하게 가명처리 후 거래되기 시작했습니다. 개인정보 보호법은 지난해 데이터3법 논란에 이어 2차 개정을 눈앞에 둔 상황입니다.

정보주체인 국민들이 지금의 데이터 환경을 신뢰할 수 있을까요. 소비자와 이용자의 개인정보를 부당하게 매매하거나 유출한 기업들은 충분히 책임을 지는 모습을 보여주지 못해 왔습니다. 데이터 산업이 정당하고 투명하지 못하다면 국민에게 어떤 이익이 돌아올 수 있을지 의문입니다. 무엇보다 개인정보 자기결정권은 헌법이 보호하는 기본권으로서 산업 발전을 위하여 이를 부당하게 제한해서는 안 될 것입니다.

데이터 환경은 인공지능 등 기술의 발전으로 갈수록 불투명해지고 있습니다. 그러나 우리 사회에서 정보주체의 권리 보장에 대한 진지한 고민은 4차 산업혁명의 구호 속에 실종되어 가는 듯 합니다. 반면 유럽연합 GDPR 등 국제기준에서는 정보주체가 자신의 개인정보 처리에 대하여 정보를 제공받을 권리, 접근할 권리, 수정할 권리, 삭제할 권리, 처리를 제한할 권리, 이동시킬 권리, 프로파일링 및 자동화된 의사결정에 대하여 행사할 수 있는 권리 등을 정교화해 나가고 있습니다.

또 최근 유럽에서는 기업 등 개인정보를 처리하는 자의 책임성 또한 강화되고 있습니다. 개인정보를 처리하는 자는 제품과 서비스에서 설계에 의한 개인정보 보호(data protection by design)와 기본설정에 의한 개인정보 보호(data protection by default)의 의무가 있고, 특히 고위험 개인정보 처리를 하는 경우 공공은 물론 민간에게도 개인정보 보호 영향평가의 의무가 있습니다. 나아가 개인정보 처리 활동을 기록해야 하고 독립적인 정보보호 책임자(DPO)를 두도록 하고 있기도 합니다. 그러나 안타깝게도 우리의 현행법과 개정안에서는 개인정보 처리자의 책임성 보장이 매우 부실한 상황입니다.

이에 연구보고서는 국내외 현황을 다각도로 살펴보고 정보주체에게 공정하고 투명하고 책임감 있는 개인정보 처리를 위한 정책 권고를 담았습니다. 우리의 개인정보 보호 법제도들은 정보주체의 권리를 충분히 보장하고 개인정보 처리자들의 책임성 또한 강화하는 방향으로 개선해야 할 필요가 있습니다. 또한 인공지능 등 신기술 환경에서 정보 인권을 보장하기 위한 거버넌스와 절차가 마련되어야 하고 국가인권위원회와 개인정보 보호위원회가 제 역할을 해야 합니다. 신용정보법과 개인정보 보호법으로 분산되어 있는 개인정보 보호 체계는 일원화되어야 하고, 정보기관 및 수사기관에 광범위한 예외를 구체적으로 한정할 필요가 있습니다.

국가인권위원회가 발주한 이 실태조사 연구보고서는, 사단법인 정보인권연구소 이사장 이호중 교수(서강대학교 법학전문대학원)가 책임을 맡았습니다. 이은우 변호사(법무법인 지향), 오병일 대표(진보네트워크센터), 장여경 이사(정보인권연구소), 김재완 박사(한국방송통신대학교)가 공동연구원으로 참여하고 희우 활동가(진보네트워크센터)가 연구보조원으로 참여했습니다.

♣️ 사단법인 정보인권연구소는 시민사회 관점에서 정보인권을 지지하는 대안적 정책을 연구하고 생산하기 위해 2018년 창립하였습니다(이사장: 이호중 서강대학교 법학전문대학원 교수). http://idr.jinbo.net

♣️ 연구보고서 전체 파일은 국가인권위원회에서 다운받으시거나 첨부파일을 내려받으시기 바랍니다.

[연구보고서 내려받기] 2020정보인권연구소_개인정보보호법제도개선연구_최종보고서