[번역] 유엔 인권최고대표 -정보인권연구소 // Institute for Digital Rights

* 원문 : The right to privacy in the digital age, Report of the United Nations High Commissioner for Human Rights. 유엔문서 A/HRC/48/31.

요약

최고대표는 인권이사회가 결의안 42/15에서 위임한 본 보고서에서 프로파일링, 자동화된 의사결정 및 머신러닝 기술을 비롯한 인공지능을 국가와 기업이 광범위하게 사용하는 것이 프라이버시권 및 관련 권리의 향유에 어떻게 영향을 미치는지 분석하였다. 최고대표는 국제법 체계를 개괄한 데 이어 인공지능의 프라이버시권 침해 측면을 강조하면서 4대 주요 분야[역주: 수사/국가안보/형사사법/출입국관리, 공공서비스 제공, 고용, 온라인 정보 관리]에서 프라이버시권 및 관련 권리에 영향을 미친 사례를 소개하였다. 이후 최고대표는 문제를 해결하기 위한 접근방식을 논의하면서 안전장치의 설계 및 구현에 관하여 국가와 기업에 일련의 권고를 제시하였고, 이를 통하여 인공지능이 제공할 수 있는 편익을 최대한 누리면서 유해한 결과물은 방지하고 완화할 수 있도록 하였다.

I. 도입

1. 본 보고서는 인권이사회 결의 42/15에 따라 제출되며, 이 결의에서 인권이사회는 적절한 안전장치가 없으면 프로파일링, 자동화된 의사결정 및 머신러닝 기술을 포함한 인공지능이 어떻게 프라이버시권의 향유에 영향을 미칠 수 있는지를 논의하는 전문가 세미나를 개최하고, 이 문제에 대한 주제 보고서를 마련하여 인권이사회 제45차 회의에 제출할 것을 유엔인권최고대표에게 요청한 바 있다.

2. 최근 몇 년간 인공지능(AI), 특히 머신러닝 기술만큼 대중의 상상력을 사로잡은 기술 발전이 없었다. 이러한 기술들은 실제로 큰 현대 문제 중 일부를 사회가 극복하도록 도우면서 선을 위한 엄청난 힘이 될 수 있다. 그러나 이러한 기술이 인권에 미치는 영향을 충분히 고려하지 않고 배치될 경우 부정적인, 심지어 치명적인 영향을 미칠 수도 있다.

3. 본 보고서는 코로나19 감염병(COVID-19) 대유행에 초점을 맞추지 않았지만, 현재의 지구적 건강 위기는 세계 각지 여러 생활 영역에서 인공지능의 속도, 규모 및 영향이 강력하다는 사실을 매우 잘 보여주는 사례들을 낳았다. 여러 유형의 데이터(위치정보, 신용카드정보, 교통정보, 건강정보 및 인구통계학적 정보)와 인적 관계에 대한 정보를 이용한 접촉 추적 시스템이 질병의 확산을 추적하는 데 사용되어 왔다. 개인을 감염된 사람이나 감염되었을 수 있는 사람으로 지목하고, 격리나 자가격리를 요구하는데 인공지능 시스템이 사용되어 왔다. 성적의 예측적 할당에 사용된 인공지능 시스템은 공립학교와 가난한 지역의 학생들을 차별하는 결과를 낳았다. 이러한 발전 양태는 인공지능 시스템이 사람들의 일상생활에 광범위한 영향을 미치고 있음을 보여준다. 이러한 경우들에서 무엇보다 프라이버시권이 영향을 받는데, 인공지능이 개인정보를 사용하고 종종 사람들의 삶에 실제적인 영향을 미치는 결정을 내리게 되었기 때문이다. 또한 프라이버시 문제와 깊이 얽혀 있는 건강권, 교육권, 이동의 자유, 평화로운 집회의 자유, 결사의 자유, 표현의 자유 등 다른 권리의 향유도 다양한 영향을 받는다.

4. 2019년 유엔 사무총장은 “최고의 열망: 인권을 위한 행동 촉구”에서 디지털 시대가 인류 복지, 지식 및 탐험의 새로운 경계를 열었다고 인정했다. 그는 디지털 기술이 인권을 옹호하고 방어하며 행사할 수 있는 새로운 수단을 제공한다고 강조했다. 그럼에도 불구하고, 신기술은 예를 들어 인권 활동가 등에 대한 감시, 억압, 검열 및 온라인 괴롭힘을 통해, 특히 이미 취약하거나 뒤쳐진 사람들의 권리를 침해하기 위해 너무 자주 사용된다. 복지제도의 디지털화는 효율성을 향상시킬 수 있는 그 잠재력에도 불구하고 가장 필요로 하는 사람들을 제외시킬 위험이 있다. 사무총장은 신기술의 발전이 인권을 침해하고, 불평등을 심화시키고, 기존의 차별을 악화시키는 데 사용되어서는 안 된다고 강조했다. 그는 인공지능의 거버넌스는 공정성, 책무성, 설명성 및 투명성을 보장할 필요가 있다고 강조했다. 안보 분야에 있어서 사무총장은 치명적인 자율 무기 시스템에 대한 세계적인 금지를 재차 촉구했다.

5. 본 보고서는 디지털 시대의 프라이버시권에 관한 최고대표의 이전 두 보고서를 토대로 작성되었다. 또한 이사회 결의안 42/15에 따라 2020년 5월 27일, 28일에 개최된 온라인 전문가 세미나에서 얻은 통찰과 최고대표에게 본 보고서 발간을 요청한 데 대한 응답이 담겼다.

II. 법적 체계

6. 세계인권선언 제12조, 시민적 및 정치적 권리에 관한 국제규약 제17조 및 기타 여러 국제적 및 지역적 인권기구는 프라이버시권을 기본 인권으로 인정한다. 프라이버시권은 국가와 개인의 힘의 균형에서 중추적인 역할을 하며 민주주의 사회의 기본적 권리이다. 데이터 중심 세계에서 온라인과 오프라인에서 다른 인권을 향유하고 행사하는 것의 중요성도 증가하고 있다.

7. 프라이버시권은 인간의 존엄성의 표현이며 인간의 자율성과 개인 정체성의 보호와 관련이 있다. 인공지능 사용 환경에서 특히 중요한 프라이버시 측면으로 정보 프라이버시가 포함되며, 이러한 정보 프라이버시에는 개인과 개인의 삶에 대해 존재하거나 도출할 수 있는 정보와 해당 정보에 기초한 결정을 포함하며, 개인의 정체성을 결정할 자유도 포함된다.

8. 프라이버시권에 대한 어떠한 간섭도 자의적이거나 불법적이어서는 안 된다. ‘불법’이란 국가가 법률에 근거를 두고 해당 법률을 준수하는 한도에서만 프라이버시권을 간섭할 수 있음을 의미한다. 법률 자체는 시민적 및 정치적 권리에 관한 국제규약의 조항, 목적 및 목표를 준수해야 하며 그러한 간섭이 허용되는 정확한 상황을 상세히 명시해야 한다. 자의성 개념은 법률에 의해 규정된 간섭조차도 규약의 조항, 목적 및 목표에 따라야 하며, 어떤 경우에도 특정 상황에서 합리적이어야 한다는 것을 보장하기 위해 도입된 것이다. 따라서 프라이버시권에 대한 모든 간섭은 정당한 목적에 부합해야 하며, 정당한 목적을 달성하기 위해 필요하며, 비례적이어야 한다. 어떠한 제한도 최소 침해적인 선택이 가능해야 하며 프라이버시권의 본질을 침해해서는 안 된다.

9. 프라이버시권은 모두에게 적용된다. 인종, 피부색, 성, 언어, 종교, 정치적 또는 기타의 의견, 민족적 또는 사회적 출신, 재산, 출생 또는 기타의 신분에 따라 그 보호에 차이를 두는 것은 시민적 및 정치적 권리에 관한 국제규약 제2조 (1) 및 제3조에 명시된 차별금지 원칙과 일치하지 않는다. 이러한 이유로 차별을 하는 것은 또한 규약 제26조에 담긴 법 앞의 평등권을 침해한다.

10. 시민적 및 정치적 권리에 관한 국제규약 제2조 제1항은 국가가 자국 영토 내의 모든 개인과 그 관할권하에 있는 모든 개인에 대해 차별 없이 규약에서 인정된 권리를 존중하고 보장하도록 요구하고 있다. 즉, 국가는 규약에서 인정된 권리를 침해하는 것을 삼가야 할 뿐만 아니라 그러한 권리의 향유를 보호하기 위해 적극적인 조치를 취해야 할 의무가 있다. 이는 국가 당국, 자연인, 법인 누구로부터 유발된 것이건 간에 개인의 사생활에 대한 간섭으로부터 개인을 보호하기 위한 적절한 입법 및 기타 조치를 채택할 의무를 의미한다. 이러한 의무는 기업과 인권 이행지침의 기둥 I에도 반영되어 있으며, 여기서는 기업이 관련된 부정적인 인권 영향으로부터 보호해야 할 국가의 의무를 개괄하였다.

11. 기업은 국제적으로 인정된 모든 인권을 존중할 책임이 있다. 이는 타인의 인권 침해를 방지하고 자신이 관련된 부정적인 인권 영향을 해소해야 한다는 의미다. 기업과 인권 지침의 기둥 II는 이러한 책임을 이행하는 방법에 관하여 모든 기업에게 권위 있는 청사진을 제공한다. 존중 책임은 기업의 활동 및 사업 관계 전반에 걸쳐 적용된다.

III. 인공지능이 프라이버시권 및 기타 인권에 미치는 영향

A. 인공지능 시스템의 관련 기능

12. 인공지능 시스템의 운영은 다양한 방식으로 프라이버시 침해 및 기타 권리에 대한 간섭을 초래하고 심화시킬 수 있다. 여기에는 완전히 새로운 애플리케이션뿐만 아니라 개인정보의 수집 및 사용을 증가시켜 프라이버시권리 간섭을 확대, 강화 또는 장려하는 인공지능 시스템의 기능이 포함된다.

13. 인공지능 시스템은 일반적으로 개인정보를 포함한 대용량 데이터셋에 의존한다. 이는 광범위한 데이터 수집, 저장 및 처리를 촉진한다. 많은 기업이 가능한 한 많은 데이터를 수집하기 위해 서비스를 최적화한다. 예를 들어, 소셜 미디어 회사와 같은 온라인 기업은 인터넷 이용자에 대한 방대한 양의 데이터를 수집하고 수익화하는데 의존한다. 이른바 사물 인터넷(Internet of Things)은 데이터 급증의 원천으로 기업과 국가 모두 사용한다. 데이터 수집은 친밀한 공간, 사적인 공간 및 공공 장소를 가리지 않고 이루어진다. 데이터 브로커는 개인정보를 수집, 결합, 분석하고 수많은 수령인과 공유한다. 이러한 데이터 거래는 대부분 공공 조사를 받지 않으며 기존 법적 체계 내에서는 극히 부분적으로만 제한될 뿐이다. 결과 데이터셋이나 수집된 정보의 방대함은 전례 없는 비율이다.

14. 이러한 데이터셋은 기업과 국가에 사람들의 사생활을 노출하는 것 외에도, 여러 가지 방법으로 개인들을 취약하게 만든다. 개인정보 유출은 수백만 명의 민감 정보를 여러 번 노출시켰다. 대용량 데이터셋은 셀 수 없이 많은 유형의 분석과 제3자 공유를 가능하게 하며, 이는 종종 추가적인 프라이버시 침해로 이어지고 인권에 기타 부정적인 영향을 끼친다. 예를 들어, 정부 기관이 기업이 보유한 이러한 데이터셋에 직접 접근할 수 있도록 하는 방식은 관련된 개인의 프라이버시권에 자의적이거나 불법적인 간섭의 가능성을 증가시킨다. 한 가지 특별한 우려사항은 다양한 출처의 데이터를 결합함으로써 탈익명화가 촉진될 가능성이다. 동시에 데이터셋 설계가 개인의 정체성에 영향을 미칠 수 있다. 예를 들어 성별을 2개항으로 기록하는 데이터셋은 남성 또는 여성으로 식별되지 않는 사람들을 오인하게 한다. 또한 개인정보의 장기간 보관은 개인정보 수집 당시 예상하지 않았던 장래의 악용 가능성이 있기 때문에 특별한 위험이 수반된다. 시간이 지남에 따라 데이터가 부정확해지거나 부적절해지거나 역사적인 편견에 따른 오인을 초래하여 향후 개인정보 처리의 편향 또는 오도된 결과를 초래할 수 있다.

15. 인공지능 시스템은 개인정보 처리에만 전적으로 의존하지 않는다는 점에 유의해야 한다. 그러나 개인정보가 관련되지 않더라도 프라이버시권을 비롯한 인권은 아래와 같이 개인정보 이용에 의해 부정적인 영향을 받을 수 있다.

16. 인공지능 도구는 인간 행동의 패턴에 대한 통찰력을 얻기 위해 널리 사용된다. 해당 데이터셋에 접근하면 특정 지역 예배 장소에 얼마나 많은 사람들이 참석할 가능성이 있는지, 어떤 TV 프로그램을 선호하는지, 심지어 대략 몇 시에 일어나고 잠을 자는 경향이 있는지에 대한 결론을 도출할 수 있다. 인공지능 도구는 개인의 정신적, 신체적 상태를 비롯하여 개인에 대해 광범위한 추론을 할 수 있으며 특정 정치적 또는 개인적 성향을 가진 사람들과 같은 집단을 식별할 수 있다. 인공지능은 또한 미래의 행동이나 사건이 일어날 가능성을 평가하는 데 사용된다. 인공지능이 만든 추론과 예측은 그 확률적 특성에도 불구하고 때때로 완전히 자동화된 방식으로 사람들 권리에 영향을 미치는 의사결정의 기반이 될 수 있다.

17. 많은 추론과 예측은, 사람들의 자율성과 자신의 정체성에 대한 세부사항을 확립할 권리를 포함하여, 프라이버시권의 향유에 깊은 영향을 미친다. 이는 또한 사상과 의견의 자유에 대한 권리, 표현의 자유, 공정한 재판 관련 권리 등 다른 권리에도 많은 문제를 야기한다.

18. 인공지능 기반 결정은 오류에서 자유롭지 않다. 사실, 인공지능 솔루션의 확장성은 작아 보였던 오류율의 부정적인 영향을 극적으로 증가시킬 수 있다. 인공지능 시스템의 출력 결함에는 다양한 원천이 있다. 우선, 인공지능 알고리즘의 출력에는 확률적 요소가 있으며, 이는 그 결과물에도 불확실성이 포함되어 있음을 의미한다. 더불어 사용된 데이터의 관련성과 정확성은 종종 의문스럽다. 또한 비현실적인 기대는 원하는 목표를 달성할 채비를 갖추지 않은 인공지능 도구의 배치로 이어질 수 있다. 예를 들어, COVID-19 위험을 진단하고 예측한다는 수백 개의 의료 인공지능 도구를 분석한 결과, 높은 기대 속에 개발되었음에도 이들 중 어느 것도 임상 용도에 적합하지 않은 것으로 나타났다.

19. 결함이 있는 데이터에 의존하는 인공지능 시스템의 출력물은 예를 들어, 한 개인을 테러범으로나 부정 수급을 저지른 것으로 오지목함으로써 여러 가지 방법으로 인권 침해의 원인이 될 수 있다. 편향된 데이터셋은 인공지능 시스템에 기반한 차별적 의사결정으로 이어지는 바 특히 우려된다.

20. 많은 인공지능 시스템의 의사 결정 과정은 불투명하다. 인공지능 시스템의 개발 및 운영을 뒷받침하는 정보 환경, 알고리즘, 모델의 복잡성은 물론 정부와 민간 행위자들의 의도적인 비밀주의는, 인공지능 시스템이 인권과 사회에 미치는 영향을 일반 대중이 이해할 수 있는 뜻깊은 여정을 방해하는 요인이다. 머신러닝 시스템은 불투명성의 핵심적인 요인이다. 이 시스템은 설명하기 어렵거나 불가능한 방식으로 패턴을 식별하고 설명하기 어렵거나 불가능한 처방을 내릴 수 있다. 이를 흔히 "블랙박스" 문제라고 한다. 불투명성으로 인해 인공지능 시스템을 유의미하게 조사하는 것이 어려워지고, 인공지능 시스템이 위해를 야기하는 경우 불투명성이 효과적인 책무성 확보에 장벽이 될 수 있다. 그럼에도 불구하고 이 시스템들이 전적으로 조사될 수 없는 것은 아니라는 점에 주목할 필요가 있다.

B. 주요 분야에서 인공지능 시스템에 대한 우려

21. 본 절에서는 인공지능 도구의 적용으로 인해 문제가 발생한 4가지 주요 영역을 검토하여 이러한 우려 사항이 실제로 어떻게 경험되고 있는지 설명한다.

수사/국가안보/형사사법/출입국관리 분야의 인공지능

22. 국가는 점점 더 많은 인공지능 시스템을 법 집행(수사), 국가안보, 형사사법 및 국경 출입국관리 시스템에 통합하고 있다. 이러한 응용의 많은 부분에 대하여 실제로 우려가 제기되고 있지만, 본 절에서는 새롭게 부상하는 인권 문제 일부를 대표하는 선별된 사례 몇 가지에 초점을 맞출 것이다.

23. 인공지능 시스템은 종종 예측 도구로 사용된다. 이들은 알고리즘을 사용하여 과거 데이터를 비롯한 대량의 데이터를 분석하여 위험을 평가하고 미래 추세를 예측한다. 학습 데이터와 분석된 데이터는 목적별로 예를 들어 범죄 기록, 체포 기록, 범죄 통계, 특정 지역의 경찰 개입 기록, 소셜 미디어 게시물, 통신 데이터 및 여행 기록을 포함할 수 있다. 이 기술은 사람들의 프로필을 생성하고, 범죄 또는 테러 활동이 증가할 가능성이 있는 장소를 식별하며, 심지어 개인을 용의자나 미래의 재범자로 지목하는 데 사용될 수 있다.

24. 이러한 활동이 프라이버시권 및 광범위한 인권에 미치는 영향은 막대하다. 첫째, 사용된 데이터셋에는 다수의 개인에 대한 정보가 포함되어 있으므로 프라이버시권이 관련된다. 둘째, 인공지능 평가는 그 예측에서 확률적 특성을 보유하고 있으므로 합리적인 의심의 근거로 생각해서는 안 되는데도 불구하고, 수색, 검문, 체포 및 기소 등 국가의 개입을 촉발할 수 있다. [이때] 영향을 받는 권리에는 프라이버시권, 공정한 재판에 대한 권리, 자의적인 체포와 구금으로부터의 자유, 그리고 생명에 대한 권리가 포함된다. 셋째, AI 기반 결정에 내재된 불투명성은, 특히 인공지능이 강제적인 조치의 기반이 될 때 국가의 책무성에 대한 중요한 문제를 제기하며, 대테러기관 활동처럼 일반적으로 투명성의 결여를 지적받아온 분야에서는 더욱 그러하다. 넷째, 예측 도구는, 특정 소수자 집단에 편중된 치안 집중의 사례에서처럼, 사용된 데이터셋에 내재된 역사적인 인종적 및 민족적 편견을 반영하여 차별을 영구화하거나 강화할 위험을 내재하고 있다.

25. 생체 인식 기술 분야의 발전으로 법 집행 기관 및 국가 보안 기관에서 생체 인식 기술의 사용이 증가하고 있다. 생체 인식은 얼굴, 지문, 홍채, 음성 또는 보행과 같은 개인의 특정 특징의 디지털 표상을 데이터베이스 내 이런 다른 표상과 비교하는 방식이다. 비교 결과, 더 높거나 낮은 확률로 그 사람이 실제로 그 식별된 사람임을 추론한다. 원격에서 실시간으로 이러한 프로세스가 수행되는 일이 점점 더 많아지고 있다. 특히, 점점 더 많은 국가 당국이 원격 실시간 얼굴 인식을 도입하고 있다.

26. 원격 실시간 생체 인식은 국제 인권법 상으로 심각한 우려를 낳고 있으며, 최고대표는 이전에도 이에 대해 조망했던 바 있다. 이러한 우려사항 중 일부는 예측 도구와 관련된 문제로 나타나며, 이는 개인에 대한 오식별 가능성이나 특정 집단 구성원에 편중된 영향을 미치는 문제 등이다. 또한 얼굴 인식 기술은 개인의 민족, 인종, 출신지, 성별 및 기타 특성에 기반하여 개인을 프로파일링하는 데 사용될 수 있다.

27. 원격 생체 인식은 프라이버시권에 대한 깊은 간섭으로 이어진다. 한 개인의 생체인식 정보는 다른 사람과 구별되는 독특한 특성을 나타내기 때문에 그 사람의 인격의 핵심 특성 중 하나를 구성한다. 게다가, 원격 생체 인식은 공공 장소에서 체계적으로 개인의 신원을 확인하고 추적할 수 있는 국가의 능력을 극적으로 증가시켜, 사람들이 관찰되지 않고 자신의 삶을 영위할 수 있는 능력을 약화시키고, 이동의 자유 뿐 아니라 표현의 자유, 평화로운 집회 및 결사의 자유에 대한 권리 행사에 직접적으로 부정적인 영향을 미친다. 따라서 이러한 상황에서 최고대표는 실시간 생체 인식 기술의 사용을 제한하거나 금지하려는 최근의 노력을 환영한다.

28. 인공지능 도구는 또한 사람들의 얼굴 표정 및 기타 ‘예측적 생체 인식’에서 감정 및 정신 상태를 추론하여 보안 위협 여부를 판단하도록 개발되었다. 안면감정인식 시스템은 인간의 감정상태를 표정에서 자동적이고 체계적으로 추론할 수 있다는 전제하에 운영되며, 이는 과학적 근거가 부족하다. 연구자들은 얼굴 표정과 감정의 약한 연관성만을 발견했고 얼굴 표정은 문화와 맥락에 따라 다양하여 감정 인식이 편견과 오해에 취약하다는 점을 강조했다. 이러한 우려를 고려하였을 때, 예를 들어 경찰이 검문이나 체포를 위해 개인을 선별하거나 심문 중 진술의 진실성을 평가하기 위해 공공 기관이 감정 인식 시스템을 사용하는 것은 프라이버시권, 자유로울 권리 및 공정한 재판에 대한 권리 등 인권 침해 위험을 초래한다.

인공지능 시스템과 공공서비스 제공

29. 공공 서비스 전달 지원에 인공지능 시스템이 점점 더 많이 사용되고 있으며, 이는 대개 적시에 정확한 서비스를 전달하는 보다 효율적인 시스템을 개발한다는 명시적 목표를 가지고 있다. 이는 또한 물품과 서비스의 전달이 인공지능 시스템과 연계될 수 있는 인도주의적 상황에서 점점 더 많이 나타나고 있다. 이것은 정당하고 심지어 칭송받을 만한 목표이긴 하지만, 적절한 안전장치가 마련되어 있지 않다면 공공적이고 인도적인 서비스의 전달에 인공지능 도구를 배치하는 것이 인권에 부정적인 영향을 미칠 수 있다.

30. 인공지능은 복지 수급에 대한 의사 결정에서 보육 서비스 방문 가정을 지정하는 것에 이르기까지 다양한 공공 서비스에 사용된다. 이러한 의사 결정은 대규모 데이터셋을 사용하여 이루어지는데, 이러한 데이터셋은 국가 보유 데이터를 포함할 뿐 아니라 소셜 미디어 회사나 데이터 브로커와 같은 민간 기관에서 취득한 정보도 포함하며, 일부는 보호적 법체계 바깥에서 수집된다. 게다가, 인공지능 시스템에 대한 컴퓨팅 지식과 권한을 민간 기업이 보유하는 경향이 있기 때문에, 이러한 협업은 종종 민간 기업이 인구집단의 많은 부분에 대한 정보를 담은 데이터셋에 접근할 수 있다는 것을 의미한다. 이는 프라이버시권에 대한 우려 뿐 아니라 데이터에 내재된 역사적 편견이 공공 기관의 의사결정에 어떤 영향을 미칠 것인가에 대한 우려를 낳는다.

31. 공공 서비스에 인공지능을 사용하는 것에 대한 가장 큰 우려는 그것이 차별적일 수 있다는 것이며, 특히 소외된 집단과 관련한 것이다. 극빈 및 인권에 관한 특별보고관은 ‘디지털 복지 디스토피아’를 경고한 바 있는데, 이는 복지 수급자를 발견, 조사, 처벌하기 위해 규제되지 않은 데이터 매칭을 사용하며, 수급자에게 개인의 자율성과 선택을 저해하는 조건을 부과한다. 이러한 우려에 대한 사례가 최근 네덜란드에서 나타났는데, 디지털 복지 부정 탐지 시스템이 프라이버시권을 침해하는 것으로 밝혀져 법원이 이를 금지한 판결이 널리 알려졌다. 해당 시스템은 중앙 및 지방 정부에 대하여 고용, 주택, 교육, 복지 급여 및 건강보험 및 기타 식별 가능한 형태의 데이터를 비롯하여 이전에 분리하여 보관했던 데이터를 공유하고 분석할 수 있도록 광범위한 권한을 제공했다. 또한 이 도구는 저소득 및 소수자 집단 주민을 타겟으로 하여 사실상 사회경제적 배경에 기반한 차별을 초래했다.

고용 환경에서 인공지능 사용

32. 모든 유형의 비즈니스 규모에 걸쳐 다양한 고용주들이 인공지능 시스템을 포함한 데이터 기반 기술을 사용하여 노동자를 모니터링하고 관리하고자 하는 수요 증가가 나타나고 있다. 소위 인력 분석은 직원들에 대한 보다 효율적이고 객관적인 정보 제공을 요구한다. 여기에는 채용, 승진 계획 또는 해고에 대한 자동화된 의사 결정이 포함될 수 있다.

33. 이러한 기술의 대부분은 직무 관련 행동 및 성과 모니터링에 초점을 맞추고 있지만, 인공지능 시스템의 적용 범위는 직무와 관련이 없는 행동 및 데이터로도 확대된다. COVID-19 대유행은 두 가지 방법으로 이러한 추세를 가속화시켰다. 첫째, 노동자에게 예방적 건강 체계를 제공하는 일부 기업은 건강 관련 데이터를 점점 더 많이 수집한다. 둘째, 사람들이 재택으로 일하는 동안 많은 업무가 디지털로 실행됨에 따라, 인공지능 시스템에 의한 직장 감시가 사람들의 가정으로 옮겨왔다. 두 추세 모두 직장 모니터링 데이터를 비업무 데이터 입력과 결합시킬 위험을 증가시킨다. 이러한 인공지능 기반 모니터링 관행은 전체 데이터 수명 주기 동안 방대한 프라이버시 위험을 구성한다. 여기에 더해, 데이터가 직원에게 처음 공지된 목적외 다른 목적으로 사용될 수 있으며, 이는 소위 기능 확대(function creep)를 초래할 수 있다. 동시에, 사람 관리에 사용되는 많은 인공지능 시스템의 기반이 되는 정량적 사회과학은 견고하지 않고 편견에 취약하다. 예를 들어, 회사가 남성, 백인, 중년 남성을 선호하는 과거 데이터셋으로 학습된 인공지능 채용 알고리즘을 사용하는 경우, 결과 알고리즘은 구인에 적합한 자격을 동등하게 갖춘 여성, 유색인종 및 젊은이나 노년층을 선호하지 않을 것이다. 동시에, 근로자를 보호하기 위한 책무성 구조와 투명성이 결여된 경우가 많으며, 노동자들은 인공지능 기반 모니터링 실시에 대한 설명을 거의 또는 전혀 듣지 못하고 있다. 어떤 상황에서는 기업이 순수하게 직장 내 부정행위를 예방하려는 관심을 가지고 있지만, 그러한 관심을 위해 취하는 조치들이 직장 내 상호작용의 사회적 모드 및 연결된 성과 목표를 과도하게 침입적으로 정량화하는 것을 정당화할 수 없다. 직장 환경 및 사용자와 노동자 사이 권력 관계를 고려해 볼 때, 우리는 노동자들이 노동에 대한 대가로 프라이버시권을 포기하도록 강요받고 있을 가능성의 시나리오를 떠올릴 수 있다.

온라인 정보 관리를 위한 인공지능

34. 소셜 미디어 플랫폼은 인공지능 시스템을 사용하여 콘텐츠 관리에 대한 의사결정을 지원한다. 기업은 이러한 시스템을 사용하여 콘텐츠의 순위를 매기고 무엇을 증폭시킬지, 무엇을 격하시킬지 결정하며, 각기 다른 개별 이용자 프로필별로 이러한 의사결정을 개인화하는 등의 방식을 사용한다. 자동화는 또한 관할권 내에서 또는 관할권 간에 서로 다른 법적 요건에 대응하는 등 콘텐츠에 대한 제한을 실시할 때도 사용된다. 인식된 온라인 위해성과 관련하여 인터넷 매개사업자에 대해 필터 의무를 도입하는 것은 이러한 시스템이 지역적 및 지구적 수준의 표현의 자유 및 프라이버시권에 미치는 심각한 영향을 고려하지 않고 인공지능에 광범위하게 의존하는 경향을 확대할 위험이 있다.

35. 내용 추천, 증폭 및 조정 시스템이 의존하는 방대한 데이터셋은 플랫폼 이용자와 개인 관계망에 대한 광범위한 온라인 모니터링 및 프로파일링을 통해 생성되고 지속적으로 확장된다. 정보를 수집하고 그로부터 추론하는 이러한 영구적 프로세스는 극심한 시장 집중과 결합되어 전세계적으로 소수의 기업들이 수십억 명의 개인에 대한 프로파일과 네트워크화된 일반 공공 영역을 쥐고 통제하는 상황을 초래했다.

36. 막대한 시장 지배력을 가진 기업들이 수행한 인공지능 지원 콘텐츠 큐레이션은 연이은 두 명의 의사 표현의 자유 특별보고관 수임자들이 지적했듯이 개인의 의견 형성 및 개발 능력에 미치는 영향에 대한 우려를 불러 일으키고 있다. 또한 플랫폼 추천 시스템은 사람들의 선호도, 인구통계학적이고 행태적인 패턴에 대한 통찰력에 의존하면서 사용자 참여를 극대화하는 데 주력하는 경향이 있으며, 이는 종종 선정적인 콘텐츠를 촉진하여 양극화 경향을 잠재적으로 강화하는 것으로 나타났다. 더욱이, 정보의 타겟팅은 달갑지 않고 심지어 위험한 사생활 침해로 이어질 수 있다. 예를 들어 추천 시스템은 소셜 미디어 플랫폼에서 폭력 생존자의 잠재적인 친구로 가해자를 추천하는 결과를 낳았고, 그 반대의 추천으로 생존자를 위험에 빠뜨리는 결과도 낳았다. 또한, 검색 결과의 데이터에 반영된 다수 또는 지배적 집단의 편향이 소수자 집단 또는 취약 집단에 대해 또는 그 안에서 공유되는 정보에 대해 영향을 미치는 것으로 나타났다. 예를 들어, 연구 결과 구글의 검색 결과에서 성별과 인종적 편향은 충격적인 정도인 것으로 나타났다.

IV. 문제에 대한 해결

37. 일반적으로 새로운 기술, 특히 인공지능에 대한 인권 기반 접근의 필요성이 점점 더 많은 전문가, 이해관계자 및 국제사회에서 인식되고 있다. 인권 기반 접근법은 사회가 기술적 발전의 혜택을 극대화하는 동시에 위해를 방지하고 제한할 수 있는 방법을 식별하는 데 도움이 되는 도구를 제공한다.

A. 기본 원칙

38. 인공지능에 대한 인권 기반 접근법은 평등과 차별금지, 참여와 책무성, 지속 가능한 개발 목표와 기업과 인권 이행지침의 중요 원칙을 포함한 여러 가지 핵심 원칙의 적용을 요구한다. 또한, 합법성, 정당성, 필요성 및 비례성의 요건이 AI 기술에도 일관되게 적용되어야 한다. 또한, 인공지능은 가용성, 경제성, 접근성 및 품질이라는 핵심 요소를 달성함으로써 경제적, 사회적 및 문화적 권리의 실현을 촉진하는 방식으로 배치되어야 한다. 인공지능 사용과 관련된 인권 침해와 남용 피해를 입은 사람들은 효과적인 사법적 및 비사법적 구제수단을 이용할 수 있어야 한다.

39. 위에서 지적한 바와 같이, 프라이버시권에 대한 제한은 법률에 규정되어야 하며, 정당한 목적을 달성하기 위해 필요한 것이어야 하며, 그 목적에 비례해야 한다. 실제에서 이는 어떠한 조치가 정해진 목표를 달성할 수 있는지, 그 목표가 얼마나 중요한지, 그리고 조치의 영향이 어떤지를 각국이 신중하게 판단해야 함을 의미한다. 각국은 또한 덜 침해적인 접근법이 동일한 효과로 동일한 결과를 달성할 수 있는지 판단해야 하며, 만약 그렇다면 해당 조치를 채택해야 한다. 최고대표는 이미 정보 기관과 법 집행 기관 감시에 필요한 제한과 안전장치들을 개략적으로 설명한 바 있다. 필요성 및 비례성 검사 또한 특정 조치를 취해서는 안 된다는 판단으로 이어질 수 있다는 점에 유의해야 한다. 예를 들어, 통신 회사 등에 부과된 포괄적이고 무차별적인 통신 데이터 보존 요구는 비례성 검사를 통과하지 못할 수 있다. 마찬가지로 복지급여 수급자에게 생체인식 요구를 부과하는 것은 대체수단이 제공되지 않는다면 불균형적이다. 또한 조치를 단독으로 평가하는 것이 아니라 별개의 조치이지만 상호 작용하는 조치들과의 누적 효과를 적절히 고려하는 것이 중요하다. 예를 들어, 국가는 새로운 인공지능 기반 감시 도구를 배치하기로 결정하기 전에 기존 역량과 기능이 프라이버시권 및 기타 권리의 향유에 미치는 영향을 조사해야 한다.

B. 입법 및 규제

40. 프라이버시권 및 상호 연결된 권리에 대한 효과적인 보호는 국가가 수립한 법률, 규제 및 제도적 체계에 달려 있다.

41. 데이터 기반 인공지능 시스템이 출현함에 따라 개인정보보호법으로 효과적이고 법적으로 보호해야 할 중요성이 커지고 있다. 이러한 보호는 최고대표의 프라이버시권 관련 이전 보고서에서 확인된 최소 기준을 충족해야 한다.

42. 개인정보보호 체계는 인공지능 사용과 관련된 새로운 위협을 처리해야 한다. 예를 들어 법적으로 추론되거나 나아가 사용 및 공유될 수 있는 데이터의 유형에 대하여 법률로써 제한할 수 있다. 또한 입법자들은 개인의 권리 강화를 고려하고, 자신의 권리에 영향을 미치는 완전히 자동화된 결정에 대하여 유의미한 설명에 대한 권리와 거부할 권리 등을 부여해야 한다. 인공지능 기술의 계속적인 발전에 맞추어, 개인정보보호 체계 내에서 더 많은 안전장치를 지속적으로 개발할 필요가 있다.

43. 방대한 정보 비대칭성을 비롯한 글로벌 데이터 환경의 복잡성과 불투명성 증가에 대응하기 위한 핵심 요소 중 하나는 독립적인 개인정보보호 감독 기관이다. 이 기관들은 효과적인 집행력을 가지고 있어야 하고 적정한 자원을 확보해야 한다. 강력한 진정 메커니즘 구축 등을 통하여 시민 사회가 개인정보보호법의 집행을 지원할 수 있도록 장려하여야 한다.

44. 개인 정보 보호법을 넘어, 인공지능의 문제를 권리 존중 방식으로 해결하기 위해 광범위한 법안들을 검토하고 장래 채택해야 한다.

45. 인공지능 애플리케이션, 시스템 및 용도의 다양성을 고려하여, 규제는 부문별 문제를 해결하고 관련 위험에 대한 대응을 맞춤화할 수 있을 만큼 충분히 구체적이어야 한다. 인권에 대한 위험이 높을수록 인공지능 기술의 사용에 대한 법적 요구사항이 엄격해져야 한다. 따라서 법 집행, 국가안보, 형사사법, 사회보장, 고용, 보건의료, 교육 및 금융 등 개인의 이해관계가 특히 높은 분야가 우선되어야 한다. 법률과 규제에 있어 위험기반 접근방식은 특정 인공지능 기술, 애플리케이션 또는 사용 사례에 대한 금지를 요구해야 하며, 필요성과 비례성 검사를 통과하지 못하는 등 국제 인권법 하에서 정당화되지 않는 잠재적 또는 실제적 영향을 초래하는 경우가 이에 해당한다. 게다가, 차별 금지와 본질적으로 충돌하는 인공지능의 사용은 허용되어서는 안 된다. 예를 들어, 정부 또는 인공지능 시스템이 금지된 차별 기준에 의해 개인을 집단으로 분류하는 개인 사회신용점수는 이러한 원칙에 따라 금지되어야 한다. 특정 상황에 배치될 때 그 사용이 인권에 위험을 초래하는 시스템의 경우, 국가는 관할권 내외에서 부정적인 인권 영향을 방지하고 완화하기 위해 해당 시스템의 사용과 판매를 규제할 필요가 있다. 인권에 부정적인 영향이 발생할 가능성이 있을 때 인간의 감독 및 의사결정의 의무적 개입이 규정되어야 한다. 위험을 평가하고 해결할 수 있기까지 시간이 걸릴 수 있다는 점을 감안할 때, 국가는 또한 원격 실시간 얼굴 인식과 같은 잠재적인 고위험 기술의 사용에 대하여, 그 사용이 인권을 침해할 수 없음이 보장될 때까지 유예(모라토리엄)하여야 한다.

46. 또한 국가는 인권 활동가 또는 언론인을 타겟으로 하는 등 인권 침해에 그러한 기술이 사용될 위험이 있을 때 그 판매를 방지하기 위해 국경간 감시 기술의 무역에 대해 강력한 수출 통제 체제를 도입하여야 한다.

47. 인공지능 시스템에서 발생하는 위험의 스펙트럼은 인공지능 시스템의 개발, 배치 및 사용에 대한 적정하고 독립적이고 공정한 감독이 필요하다는 사실을 시사한다. 이러한 감독은 행정적, 사법적, 준사법적 및 의회 감독 기관의 조합으로 수행될 수 있다. 예를 들어, 개인 정보보호 기관, 소비자 보호 기관, 부문별 규제 기관, 차별 방지 기구 및 국가 인권 기구는 감독 시스템의 일부를 구성해야 한다. 또한 인공지능 사용을 감독하는 부문 간 규제 기관은 기본 표준을 수립하고 정책 및 집행의 일관성을 보장하는 데 도움이 될 수 있다.

C. 인권 실사

48. 국가와 기업은 인공지능 시스템의 구입, 개발, 배치 및 운영 시 뿐 아니라 개인에 대한 빅데이터를 공유하거나 사용하기 전에 포괄적인 인권실사를 실시해야 한다. 또한 국가는 이러한 프로세스의 자원을 조달하고 주도할 뿐 아니라 기업에 포괄적인 인권 실사를 실시하도록 요구하거나 장려할 수 있다.

49. 인권실사절차의 목적은 기업이 원인이 되었거나 초래하였거나 직접 관련된 부정적인 인권 영향을 식별, 평가, 방지 및 완화하는 것이다. 실사 절차에서 인공지능의 사용이 인권과 양립할 수 없는 것으로 드러나는 경우, 위해를 완화할 수 있는 유의미한 방법이 없기 때문에, 이러한 형태의 사용은 더 이상 추진되어서는 안 된다. 인권영향평가는 인권 실사 과정의 필수적인 요소이다. 인권 실사는 인공지능 시스템의 수명주기 전반에 걸쳐 실시하여야 한다. 여성과 십대 여성, 레즈비언, 게이, 양성애자, 트랜스젠더 및 성소수자, 장애인, 소수자 집단에 속하는 사람, 노인, 빈곤층 및 기타 취약한 상황에 처해 있는 사람들에게 불균형한 영향을 미치는 것에 각별한 주의를 기울여야 한다.

50. [인공지능이 인권에 미치는 위험의] 완화 방법 개발 및 평가를 비롯한 인권실사는 잠재적으로 영향을 받는 권리 주체 및 시민사회와 유의미한 협의로 이루어져야 하며, 여러 학제간 전문성을 갖춘 전문가도 이에 참여해야 한다. 국가와 기업은 그들이 사용하는 인공지능 시스템이 인권에 부정적인 영향을 미치는지 여부를 확인하기 위해 지속적으로 모니터링해야 한다. 인권영향평가의 결과, 인권 위험을 해결하기 위해 취해진 조치 및 공공 협의 내용은 그 자체로 공개되어야 한다.

D. 국가-기업 연합

51. 국가와 기술 기업 사이에 긴밀한 연합 관계가 있는 상황에 대해서는 집중적인 주의가 요구된다. 국가는 법적, 정책적 조치에 대한 국가적 역할을 넘어 인공지능이 어떻게 개발되고 사용되는지를 형성할 수 있는 중요한 경제 주체이다. 국가가 민간 부문의 인공지능 개발자 및 서비스 제공자와 협력하는 경우, 국가는 인권과 양립할 수 없는 목적을 위해 인공지능이 사용되지 않도록 추가적인 조치를 취해야 한다. 이러한 조치는 국영 기업 경영, 연구개발 자금 지원, 기타 국가가 인공지능 기술 기업에 제공하는 금융 등 지원, 민영화 시도 및 공공 조달 관행 전반에 적용되어야 한다.

52. 국가가 경제 행위자로 활동하는 경우, 그들은 국제인권법 상 주요 의무의 보유자이며 그 의무를 적극적으로 이행하여야 한다. 동시에, 기업들은 국가와 협력할 때 인권을 존중할 책임이 있으며 인권법과 상충되는 국가의 요구에 직면했을 때 인권을 존중할 방법을 모색해야 한다. 예를 들어, 인권 기준을 충족하지 못하는 개인 정보 제출 요구를 받았을 때, 기업은 초래될 위해를 방지하거나 완화하기 위한 수단을 사용해야 한다.

53. 국가는 책임 있는 사업 행위를 지속적으로 요구함으로써 인권 보호를 강화할 수 있다. 예를 들어, 수출 신용 기관이 인공지능 기술 회사에 지원을 제공할 때, 그들은 이러한 기업들이 권리 존중 행위 부문에서 견실한 실적을 보유하고 강력한 실사 과정을 통해 이를 입증할 수 있도록 보장해야 한다.

54. 국가가 공공재 또는 서비스를 제공하기 위해 인공지능 기업에 의존하는 경우, 국가는 인공지능 시스템의 개발과 배치를 감독할 수 있도록 보장해야 한다. 이는 인공지능 애플리케이션의 정확성과 위험에 대한 정보를 요구하고 평가함으로써 이루어질 수 있다. 위험을 효과적으로 완화할 수 없는 경우, 국가는 공공재 또는 서비스 전달에 인공지능을 사용하지 말아야 한다.

E. 투명성

55. 인공지능 시스템의 개발자, 판매자, 운영자, 사용자는 인공지능 사용의 투명성에 대한 노력을 대폭 강화해야 한다. 첫 번째 단계로, 국가, 기업 및 기타 인공지능 사용자는 그들이 사용하는 시스템의 종류, 사용 목적, 시스템 개발자와 운영자의 신원에 대한 정보를 제공해야 한다. 의사결정이 자동으로 이루어지고 있거나 이루어졌을 때 또는 자동화 도구의 도움을 받아 이루어졌을 때 영향을 받는 개인에게 이를 체계적으로 알려야 한다. 개인이 제공하는 개인 정보가 인공지능 시스템에서 사용하는 데이터셋의 일부가 될 경우 이를 통지해야 한다. 또한 인권에 중대한 애플리케이션에 대하여 국가는 그 인공지능 도구와 사용에 대한 주요 정보를 포함하는 등록제도를 도입해야 한다. 개인 정보 보호 체계에 포함된 투명성 의무와 개인정보 열람, 삭제 및 정정권의 효과적인 시행이 보장되어야 한다. 개인이 자신에 대해 작성된 프로파일을 더 잘 이해하고 통제할 수 있도록 특별히 주의를 기울여야 한다.

56. 투명성 증진은 위에서 설명한 ‘블랙박스’ 문제를 극복하기 위한 지속적인 노력을 포함함으로써 더 전진해야 한다. 인공지능 시스템을 보다 설명 가능하게 하는 (종종 알고리즘 투명성이라 언급되는) 방법론의 개발 및 체계적 배치는 적절한 권리 보호를 보장하는 데 있어 가장 중요하다. 이것은 인공지능이 사법 절차 내 또는 경제적, 사회적, 문화적 권리 실현에 필수적인 사회서비스와 관련된 중요한 문제를 결정하는 데 사용될 때 가장 필수적이다. 연구자들은 이미 그 목표를 달성하기 위한 다양한 접근 방식을 개발했으며, 이 분야에 대한 투자 증대가 중요하다. 국가는 또한 지적재산권 보호가 인권에 영향을 미치는 인공지능 시스템에 대한 유의미한 조사를 방해하지 않도록 조치를 취해야 한다. 조달규칙은 인공지능 시스템에 대한 감사가능성 등 투명성의 필요성을 반영하여 갱신되어야 한다. 특히 국가는 인권에 중대한 부정적인 영향을 미칠 수 있음에도 유의미한 감사 대상이 될 수 없는 인공지능 시스템의 사용을 피해야 한다.

V. 결론 및 권고

A. 결론

57. 본 보고서는 인공지능 기술이 프라이버시권 및 기타 인권 행사에 미치는 영향이 부정할 수 없고 지속적으로 증가하는 실태의 긍정적이고 부정적인 면 모두를 조망하였다. 보고서는 널리 사용되는 인공지능 시스템의 부분을 이루는 대체로 투명하지 않은 개인정보 수집 및 교환의 광범위한 생태계를 비롯하여 우려스러운 발전상에 대하여 지적하였다. 이러한 시스템은 치안 유지와 사법 행정에 대한 정부 접근법에 영향을 미치고, 공공 서비스의 접근성을 판단하며, 누가 채용될 기회를 가질 것인지 결정하고, 사람들이 온라인에서 어떤 정보를 보고 공유할 수 있는지에 영향을 미친다. 게다가, 인공지능 기반 결정과 관련된 차별의 위험은 너무 현실적이다. 보고서는 포괄적인 인권 기반 접근만이 모두에게 이익이 되는 지속 가능한 해결책을 보장할 수 있음을 강조하면서 인공지능과 관련된 근본적인 문제를 해결하는 다양한 방법을 개괄하였다.

58. 그럼에도 불구하고, 인공지능 주변에서 발생하고 있는 다양하고 새로운 문제들을 고려해 보았을 때, 이 보고서는 끊임없이 진화하는 인공지능 환경에 대한 한순간의 스냅샷이다. 추가적으로 분석되어야 할 분야에는 보건의료, 교육, 주택 및 금융 서비스가 포함된다. 국가, 국제기구 및 기술 회사들에게 점점 더 믿음직한 해결책이 되고 있는 생체 인식 기술 분야에는 더 많은 인권 지침이 시급하다. 또한 인권 관점에서 향후 초점을 맞추어야 하는 할 작업 분야는 글로벌 데이터 환경에서 엄청난 책무성 공백을 메울 수 있는 방법을 찾는 것이어야 한다. 마지막으로, 인공지능발 차별을 극복하기 위한 솔루션을 시급히 확인하고 구현하여야 한다.

B. 권고

59. 최고대표는 각국에 다음을 권고한다.

(a) 인공지능의 개발, 사용 및 거버넌스에 있어 모든 인권을 보호하고 강화해야 할 필요성을 인정하고, 온라인과 오프라인에서 모든 인권을 동등하게 존중하고 시행할 수 있도록 보장한다.

(b) 인공지능의 사용이 모든 인권에 부합하도록 보장하고, 인공지능의 사용에서 프라이버시권 및 기타 인권에 대한 간섭이 법률에 의해 규정되고, 정당한 목적을 추구하며, 필요성과 비례성의 원칙을 준수하며, 문제의 권리의 본질을 손상시키지 않도록 보장한다.

(c) 국제 인권법을 준수하며 운영할 수 없는 인공지능 애플리케이션을 명시적으로 금지하고 인권 향유에 고위험을 수반하는 인공지능 시스템의 판매 및 사용에 대해 인권 보호를 위한 적정한 안전장치가 마련될 때까지 모라토리엄을 부과한다.

(d) 최소한 책임 당국이 프라이버시 및 개인정보보호 기준을 준수하고 중대한 정확성 문제와 차별적 영향이 없음을 입증할 수 있을 때까지, 그리고 A/HRC/44/24 제53항 (j) (i-v)에 명시된 모든 권고안이 시행될 때까지, 공공장소에서 원격 생체 인식 기술의 사용에 대하여 모라토리엄을 부과한다.

(e) 인공지능 환경에서 프라이버시권을 보호하기 위한 필수 전제조건으로 공공 및 민간 부문에 대한 개인정보보호법을 독립적이고 공정한 권한을 통해 채택하고 효과적으로 시행한다.

(f) 공공 및 민간부문의 인공지능 사용과 관련된 다층적이고 부정적인 인권 영향을 적절하게 방지하고 완화하는 입법 및 규제 체계를 도입한다.

(g) 인공지능 시스템의 사용과 관련된 인권 침해 및 남용의 피해자가 효과적인 구제수단을 이용할 수 있도록 보장한다.

(h) 특히 공공 부문에서 인권에 중대한 영향을 미칠 수 있는 모든 인공지능 지원 의사 결정에 대하여 적절한 설명 가능성을 요구한다.

(i) 국가 및 기업의 인공지능 시스템 사용과 관련된 차별을 해소하기 위한 노력을 강화하며, 여기에는 인공지능 시스템의 결과물 및 그 배치로 인한 영향에 대하여 체계적인 평가와 모니터링을 실시하고, 요구하고, 지원하는 것이 포함된다.

(j) 인공지능 기술의 제공 및 사용에 대한 민관 파트너십은 투명해야 하고 독립적인 인권 감독의 대상이 되어야 하며, 인권에 대한 정부 책무를 포기하는 결과로 이어지지 않도록 보장해야 한다.

60. 최고대표는 국가와 기업에 대하여 다음을 권고한다.

(a) 인공지능 시스템의 설계, 개발, 배치, 판매, 구입, 운영의 수명주기 전반에 걸쳐 체계적으로 인권실사를 수행한다. 그 인권 실사의 핵심 요소는 정례적이고 포괄적인 인권영향평가여야 한다.

(b) 일반인과 영향을 받는 개인들에게 적절히 알리고 자동화 시스템에 대한 독립적이고 외부적인 감사를 가능하게 하는 등 인공지능 사용의 투명성을 크게 증가시킨다. 인공지능 사용과 관련된 잠재적 또는 실제적 인권 영향이 더 많고 심각할수록, 더 높은 투명성이 필요하다.

(d) 자금 지원 및 해당 목적 연구 수행 등을 통하여 인공지능 기반 의사 결정의 설명 가능성을 증진한다.

61. 최고대표는 기업에 대하여 다음을 권고한다.

(a) 기업과 인권 이행지침을 완전히 운용하는 등 모든 인권을 존중하는 책임을 이행하기 위한 노력을 다한다.

(b) 인공지능 시스템의 출력물 및 그 배치의 영향에 대한 체계적인 평가 및 모니터링 수행을 비롯하여 인공지능 시스템의 개발, 판매 또는 운영과 관련된 차별을 해소하기 위한 노력을 강화한다.

(d) 인권에 부정적인 영향을 미치거나 이를 초래하였을 때 효과적인 운영 차원의 고충처리 메커니즘 등 정당한 절차를 이용하는 구제 수단을 제공하거나 협조한다.

Tags:

[번역] 유엔 인권최고대표 <디지털 시대 프라이버시권 (2021)>

요약