태그: 알고리즘

윤석열정부는 고위험 인공지능의 성급한 도입을 유예하고 인권보호를 위한 제도부터 마련해야

AI로봇경호, 데이터 전면개방, AI학력진단 등 인권에 부정적 영향 우려돼

윤석열정부의 110대 국정과제가 발표되었다. 이른바 ‘디지털플랫폼정부’를 내세우며 곳곳에서 인공지능의 도입을 본격화하고 있다. 그러나 우리 단체들은 윤석열정부가 도입을 준비중인 인공지능들이 인권에 부정적인 영향을 미칠 수 있는 고위험 영역이라는 점에서 깊은 우려를 표한다. 정부가 해야 할 일은 성급한 고위험 인공지능 배치보다 인공지능의 위험으로부터 인권을 보호할 수 있는 제도부터 마련하는 것이며, 유엔에서 권고한 대로 우리는 제도적 보호 장치 마련 전까지 모든 고위험 인공지능의 도입을 유예(모라토리엄)할 것을 요구한다.

이번 국정과제 발표 이전부터 윤석열정부는 대통령 경호에 무인 AI 로봇을 도입하고 생체인식정보를 처리하기 위해 준비 중인 것으로 알려졌다. 나아가 국정과제에서는 세계 3위권내 인공지능 국가를 실현하겠다며 “민간이 필요로 하는 데이터의 개방”을 확대할 방침을 밝혔다(과제77). 이렇게 개방될 데이터에는 공적 목적으로 수집한 국민의 개인정보들이 포함되어 있다. ‘AI 기반 학력진단시스템’도 도입될 예정이다(과제82). 학생의 성적 등 개인정보를 이용한 맞춤형 진단·학습도 추진된다. 더불어 민감한 건강정보의 처리가 이루어질 AI기반 건강관리사업을 확대할 예정이며(과제44), AI기반 온라인 고용서비스를 도입하고(과제52), AI기반의 유·무인 전투체계를 발전시킬 계획이다(과제103). 

그러나 이 인공지능 정책들은 모두 인권에 부정적 영향을 미칠 위험이 높은 영역들에 대한 것이다. 

우선 집무실 경호를 위하여 도입되는 AI 무인 로봇 경호의 경우 얼굴인식, 동작인식 등 생체인식정보가 처리될 예정이고 경우에 따라서는 대상자에 대한 고지나 제한 등 자동화된 조치가 이루어질 수도 있다. 그러나 군중 속에서 원격으로 특정 개인을 식별하는 원격 생체인식은 공공장소에 대한 국가 감시의 우려가 크며, 실시간 원격 생체인식은 이동의 자유 뿐 아니라 표현의 자유, 집회 및 결사의 자유에 직접적으로 부정적인 영향을 미치기 때문에 고도로 위험한 인공지능에 해당한다. 이러한 이유로 유엔 인권최고대표는 국제 인권 규범 준수를 보장할 수 있을 때까지 공공장소에서 실시간 원격 생체인식기술의 사용을 유예(모리토리엄)할 것을 각국에 권고한 바 있다. 유럽연합은 공공장소 실시간 원격 생체인식을 원칙적으로 금지하고 법원의 허가 등 예외적인 상황에서만 사용하는 인공지능 법안을 논의 중이다. 게다가 무인 로봇 경호 시스템은 사람에 대한 조치를 자동적으로 수행할 수 있다는 점에서 더욱 위험하다. 윤석열정부도 무인 경호를 이유로 상시적으로 공공장소에서 생체인식을 도입하고 자동화된 조치를 실시하려는 방침을 즉각 철회해야 한다. 

공공기관이 공익적으로 수집 보유해 온 개인정보의 민간 개방 또한 우려스럽다. 얼마전 법무부 출입국 인공지능 사업의 경우 출입국이라는 공익적 목적으로 국가가 보유해온 1억 7천만 건의 내국인과 외국인의 민감한 개인정보를 실증랩이라는 이름으로 민간업체 십수개에 제공하였고, 이들 기업은 이렇게 제공받은 개인정보로 자사 인공지능 프로그램을 학습시키고 지적재산권 취득 등 독자적인 이익을 얻었다. 공익적이고 특정한 목적으로 수집된 국민의 개인정보를 이와 무관한 민간의 영리적 목적을 위해 개방하는 것은 그 자체로 정보인권 침해이다. 가명처리나 실증랩이라는 처리 절차가 있다고 하여 이러한 인권 침해의 본질이 달라지지 않는다. 정부가 정보주체의 동의 없이 무분별한 개인정보 민간 개방을 계속한다면, 시민들은 이런 방식으로 형성되는 인공지능 사회를 반기지도, 신뢰하지도 않을 것이다. 

한편, AI 교육의 경우 아동에게 인공지능 제품과 서비스를 적용한다는 점에서 특히 주의가 요구되는 분야이다. 이루다 사건에서 우리가 이미 목격하였듯이 인간 사회의 차별적 인식과 혐오 언어를 학습한 인공지능은 챗봇으로, 스피커의 형태로 학교 현장에서 아동에게 직접 적용될 수 있다. 맞춤형 학습 프로그램을 개발하거나 조달한다는 이유로 민간 업체들이 학교에서 제공받은 학생의 개인정보를 이루다처럼 가명처리하여 목적 외로 이용하거나 자기 제품 향상 등 영리적 이익을 위해 이용하는 일이 벌어질 수도 있다. 무엇보다 아동을 대상으로 자동화된 의사결정을 적용하는 것은 금지되어야 하며, 특히 시험과 평가에 인공지능을 적용하는 일은 없어야 한다. 영국은 2020년 대입시험에 섣부른 인공지능을 도입하였다가 부유한 지역 사립학교와 가난한 지역 공립학교 학생을 차별하는 성적 평가를 낳아 세계적으로 충격을 주었던 바 있다. 따라서 아동의 성적 등 개인정보를 특별히 보호하고, 아동의 취약한 측면을 악용하는 인공지능 제품과 서비스를 금지하며, 아동을 대상으로 시험과 평가에 인공지능을 도입하거나 자동화된 의사결정을 적용하는 것을 금지하는 제도적 대책이 마련되어야 한다.

그밖에 돌봄서비스를 이유로 민감한 건강정보를 처리하거나 실업급여 등 고용서비스 자격 심사에 인공지능을 적용한다면 이 역시 인권에 매우 부정적인 영향을 미칠 것이다. 인공지능을 이용한 자율무기 또한 인류에 매우 위험한 결과를 야기할 수 있다고 국제사회가 여러 차례 경고해 왔던 바 있다.

지금 우리에게 필요한 것은 섣부른 고위험 인공지능의 도입이 아니다. 인공지능의 위험으로부터 인권을 보호하는 법제도부터 시급하게 마련할 필요가 있다. 인공지능을 규율하는 법제도는 관련 산업을 지원하기 위한 목적 하에 형식적으로 추진되어서는 안된다. 반드시 독립적이고 효과적으로 인권준수를 감독하는 체계가 마련되고 피해자 권리구제를 보장하여야 하며, 감독기관 조사와 권리구제를 지원하는 투명성 의무가 명시되어야 한다. 특히 유엔 사무총장과 유엔인권최고대표는 인공지능의 인권 위험으로부터 인권을 보호하기 위하여 인권영향평가를 비롯한 체계적인 인권실사를 실시할 것을 각국에 권고해 왔다. 

얼마전 국가인권위원회는 인공지능 인권 가이드라인을 의결했다. 윤석열정부는 고위험 인공지능 정책을 무분별하게 도입하기에 앞서 유엔 인권기구들의 권고 및 국가인권위원회의 권고부터 살펴보고 이행하여야 할 것이다. 우리에게 필요한 것은 우리의 인권을 위협하지 않고 안전한 인공지능이며, 정부가 해야 할 일은 인공지능이 인권에 미치는 부정적인 영향을 방지할 수 있는 법과 제도부터 마련하는 것이다. 이러한 인권 보호 장치가 마련되기 전까지는 모든 고위험 인공지능의 도입을 유예(모라토리엄)하여야 마땅하다.

2022년 5월 9일

민주사회를 위한 변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센터, 참여연대 

유엔 인권최고대표에 디지털 시대 프라이버시권 보고서에 대한 의견 제출

인공지능감독, 영향평가, 투명한 정보공개, 권리 구제 절차 등
인공지능 정책방향에 대한 한국 시민사회 의견 제시

  1. 지난 5월 30일, 민주사회를 위한 변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센터, 참여연대 등 4개 단체는 유엔 인권최고대표(Office of the United Nations High Commissioner for Human Rights)가 준비하고 있는 <디지털 시대 프라이버시권(the right to privacy in the digital age)> 보고서 작성을 위해 한국 시민사회의 의견을 제출하였습니다. 
  2. 지난 2019년 9월 26일, 유엔 인권이사회(Human Rights Council)는 '디지털 시대의 프라이버시권'에 대한 42/15 결의안을 채택하면서, 유엔 인권최고대표에 프로파일링, 자동화된 의사결정, 기계학습 기술 등을 포함한 인공지능이 적절한 안전조치가 없을 경우 프라이버시권의 향유에 어떠한 영향을 미칠 것인지에 대한 보고서를 준비하도록 요청했습니다. 이에 유엔 인권최고대표는 보고서 작성에 앞서 전 세계 이해관계자들에게 의견을 제출해줄 것을 요청한 바 있습니다. 
  3. 유엔 인권최고대표에 보낸 의견서에서 우리 단체들은 코로나19 역학조사지원시스템, 공공기관의 AI 면접, 챗봇 이루다 논란 등 국내에서 인공지능이 논란이 된 사례를 소개하였으며, 공공 및 민간 영역에서 인공지능 서비스가 이미 도입되고 있음에도 불구하고 인공지능에 대한 영향평가를 비롯하여 그 위험성을 통제할 수 있는 제도가 미흡하다는 점을 지적하였습니다. 또한 2020년 개인정보보호법 개정으로 기업들의 고객정보가 무분별하게 목적 외로 활용, 판매, 공유될 것에 대한 시민사회의 우려를 전달했습니다. 마지막으로 지난 5월 24일 120개 한국 시민사회단체가 발표한 <인권과 안전, 민주주의가 보장되는 인공지능 정책 요구 시민사회 선언>을 소개하면서, ▲ 인공지능에 대한 국가적 차원의 감독 마련, ▲ 인공지능 정보의 투명한 공개 및 소비자, 노동자, 시민의 참여 보장, ▲ 인공지능에 대한 영향평가 절차 마련 및 고위험 인공지능 규제, ▲ 인공지능으로 인한 권리 침해를 구제할 수 있는 절차 마련 등 한국 시민사회의 입장을 최종 보고서에 반영해줄 것을 요청하였습니다. 
  4. 우리는 앞으로도 국제적인 차원의 인공지능 규범 마련에 참여하여 국내 시민사회의 목소리를 반영할 수 있도록 노력할 것입니다.끝.

▣ 붙임 :
- 디지털 시대 프라이버시권 보고서에 대한 의견
- Input for Report on right to privacy in the digital age

[공개토론회] 인공지능 국가전략, 비판적 검토와 과제

 

공개토론회 「인공지능 국가전략, 비판적 검토와 과제」
- 오는 2월 21일(금) 오후3시, 서울 광화문 사회복지공동모금회 별관 강의실B

정부는 지난해 12월 17일 문재인 대통령 주재로 열린 제53회 국무회의에서 전부처가 참여한 「인공지능(AI) 국가전략」을 발표하였습니다. AI 국가전략은 AI 생태계 조성, AI 인재형 국가, 사람 중심의 AI 구현 등 3대 분야에서 9대 전략을 제시하면서 AI 분야별 법제 정비 계획도 밝혔습니다.
특히 ‘사람 중심 AI’ 분야에서는 일자리 안전망 확충, AI 윤리 정립 등의 과제를 제시하였습니다.

그러나 이 국가전략은 산업 중심 전략으로 노동자, 소비자, 이용자 보호를 위한 구체적인 내용을 담고 있지 않습니다.
법제 정비에 있어서는 인공지능 의사결정이 민주주의와 인권, 사회적 차별에 미치는 영향에 대응해야 할 과제가 있습니다.

사단법인 정보인권연구소는 AI 국가전략을 비판적으로 검토하고 과제를 제시하는 토론회를 개최합니다.
인공지능과 그 사회적 문제에 관심이 있으신 분들의 많은 참석을 바랍니다.

참가신청(링크)

❖ 토론회 개요

  • 제목 : 공개토론회 「인공지능 국가전략, 비판적 검토와 과제」
  • 일시 : 2020년 2월 21일(금) 오후3시~5시
  • 장소 : 광화문 사회복지공동모금회 별관(나눔문화센터) 지하1층 강의실B
  • 주최/주관 : 사단법인 정보인권연구소

❖ 토론회 구성

오후
3:00~3:10
사회 : 이호중
/ 정보인권연구소 이사장, 서강대학교 법학전문대학원 교수
3:10~3:30 발제 인공지능 거버넌스와 시민사회 오철우 / 서울과학기술대 강사, 과학기술학 박사
3:30~3:50 발제 인공지능 국가전략에 대한 검토와 제언 선지원 / 정보통신정책연구원 ICT전략연구실 부연구위원
3:50~4:00 토론 임완철 / 성신여자대학교 교육학과 겸임교수, 서울시교육청 미래교육(에듀테크)정책자문관, 정보인권연구소 연구위원
4:00~4:10 토론 허유선 / 중앙대학교 HK+ 인공지능인문학 사업단, 동국대 철학과 강사
4:10~4:20 토론 김하나 / 민주사회를위한변호사모임 디지털정보위원회·노동위원회
4:20~4:30 토론 홍석만 / 참세상연구소 연구실장, 「부채전쟁」 저자
4:30~4:40 토론 국가인권위원회 인권정책과
4:40~5:00 플로어 토론 및 참석자 전체 토론

❖ 사단법인 정보인권연구소 소개

사단법인 정보인권연구소는 시민사회 관점에서 정보인권을 지지하는 대안적 정책을 연구하고 생산하기 위해 2018년 창립하였습니다(이사장: 이호중 서강대학교 법학전문대학원 교수). http://idr.jinbo.net

※ 자료집 다운로드 [인공지능 국가전략, 비판적 검토와 과제]

4차산업혁명시대에서 정보인권보호를위한 실태조사

4차 산업혁명 시대에 정보인권을 어떻게 보호해야 할까요?
최근 국제사회는 이 문제에 대한 정책적 대안을 다양하게 모색하고 있습니다.

예를 들어 하버드대 버크만센터는 <인공지능과 인권, 기회와 위험(Artificial Intelligence & Human Rights: Opportunities & Risks)> 보고서를 통해 인공지능(AI)에 대한 인권영향평가를 제안하였습니다. 이 보고서에서 인권영향평가를 실시한 결과, 인공지능은 프라이버시권에 가장 큰 영향을 미쳤으며, 평등권, 표현의 자유, 집회결사의 자유, 노동권 등 다른 권리들도 상당히 영향을 받는 것으로 나타났습니다. 또 취약한 집단에 속해 있는 사람은 다른 사람보다 훨씬 더 강력한 영향을 받는 것으로 드러났습니다. 버크만센터는 인공지능이 인권을 존중하는 방식으로 배치될 수 있도록 유엔 기업과 인권 이행지침 등 국제인권규범의 역할이 중요하다는 점을 강조했습니다.

최근 데이비드 케이 유엔 표현의 자유 특별보고관 역시 인공지능이 인권을 위협하는 데 대해 우려를 표하고 이를 방지하기 위해 인권영향평가를 제안하였습니다. 인공지능은 그 작동이 사용자에게 숨겨져 있다는 점에서, 그리고 인공지능에 의한 정보의 개인화가 편향을 강화하고 도발적 콘텐츠나 가짜뉴스를 촉진할 수 있다는 점에서 사용자의 자기결정권과 자율성을 침해합니다. 프로파일링과 사용자 타게팅은 개인정보의 대량수집과 사용자가 제공하지 않은 민감 정보의 추정 등을 통해 프라이버시권을 위협할 수 있습니다. 인공지능에 의한 온라인 콘텐츠 편집과 필터링은 표현의 자유와 차별받지 않을 권리를 위협할 수 있습니다. 특별보고관은 기업과 정부가 인공지능의 개발, 구매, 이용 단계 이전에 인권영향평가를 시행할 필요가 있다고 지적하였습니다.

정보인권연구소는 2018년 11월 문화사회연구소, 참세상연구소와 함께 「4차산업혁명시대에서 정보인권보호를위한 실태조사」 보고서를 발간하였습니다.
이 실태조사는 국가인권위원회가 발주한 과제로서, 사단법인 참세상이 수행하고 문화사회연구소 이광석 교수(서울과학기술대학교)가 책임을 맡았습니다. 정보인권연구소에서는 오병일, 홍지은 연구위원이 참여했습니다.

특히 실태보고서에서는 4차 산업혁명과 정보인권에 대한 관계 시민 및 관계전문가 인식 조사를 수행하였습니다.
시민들은 4차 산업혁명과 정보인권 보호 둘 다 중요하게 생각하지만 정보인권을 보다 중요하게 고려하는 것으로 나타났습니다. 또 개인정보를 활용하여 안전과 건강수준을 향상시켜 직접적으로 도움이 될 서비스에 대해서는 대체로 긍정적으로 바라보았지만, 금융과 신용평가 등 편익이 불확실한 부분에 대한 개인정보의 활용에는 부정적 의견이 많았습니다. 하지만, 가명정보를 정보주체의 동의 없이 가공하는 것에 대해서는 반대 의견을 보다 분명히 했습니다. 개인정보를 수집, 관리하는 공공기관이나 기업에 대해 낮은 신뢰를 보였습니다. 무엇보다 정책방향과 관련해서 전반적으로 개인정보 보호를 위한 보다 강력한 조치들을 요구하였고, 특히 4차 산업혁명의 발달을 위해 개인정보 규제를 완화하는 것에 대해서는 반대 의견이 많이 보였습니다.

보고서는 정보인권 보호와 확장을 위한 법제도 및 정책도 제안하였습니다.
우선, 시스템의 투명성을 보장하고, 설계단계에서부터 정보인권을 보호하며, 개인정보의 수집 및 처리의 전 과정에서 정보주체의 권리가 보장되도록 개인정보 보호법제를 개선해야 합니다.
다음으로, 정보수사기관의 지능화된 국가 감시에 대해 통제 절차와 감독체계의 마련이 필요합니다.

※ <전체 연구보고서> 파일은 국가인권위원회에서 다운받으시거나 첨부파일을 참고하시기 바랍니다.

※ <연구 요약문>을 우편으로 받으실 분은 이메일 idr.sec 골뱅이 gmail.com 로 주소를 보내주시면 추후 발송해 드리겠습니다.