* 원문 : Council of Europe Commissioner for Human Rights (2019). Unboxing artificial intelligence: 10 steps to protect human rights.
1. 인권영향평가
회원국은 공공기관이 구입, 개발 또는 배치하는 인공지능 시스템에 대해 인권영향평가 실시 절차를 도입하는 법적 체계를 수립해야 한다. 인권영향평가는 규제 영향평가 및 개인정보보호 영향평가 등 공공기관이 수행하는 다른 영향평가와 유사한 방식으로 구현 및 운영되어야 한다.
회원국은 법률에서 인권영향평가의 적용을 받는 인공지능 시스템의 유형을 기술할 수 있지만, 그러한 설명은 인공지능 시스템의 모든 수명주기 단계에서 개인의 인권을 간섭할 가능성이 있는 모든 인공지능 시스템을 포괄할 수 있을 만큼 충분히 포괄적이어야 한다.
인권영향평가의 법적 체제의 일부로서, 공공기관에 대하여 계획 중이거나 기존에 사용 중인 인공지능 시스템에 대하여 자체적인 평가를 실시하도록 해야 한다. 이 자체 평가는 인공지능 시스템의 특성, 맥락, 범위 및 목적을 고려하여 시스템이 인권에 미칠 수 있는 잠재적 영향을 평가해야 한다. 공공기관이 제안된 인공지능 시스템을 아직 조달하거나 개발하지 않은 경우, 시스템의 구입 또는 개발에 앞서 이 평가를 수행해야 한다.
인권 영향 평가는 인공지능 시스템에 대하여 독립된 감독 기관이나 관련 전문지식을 갖춘 외부 연구자/감사관이 실시하는 유의미한 외부 검토를 포함하여, 인권 영향과 시간의 흐름에 따른 위험을 발견하고 측정하고 전체적으로 파악하는 데 도움이 되어야 한다. 공공기관은 이러한 유의미한 외부 검토를 수행할 때 국가인권기구를 참여시킬 것을 고려해야 한다.
자체 평가와 외부 검토는 인공지능 시스템 뒤의 모델이나 알고리즘의 평가에 국한되지 않고 의사결정자가 어떻게 입력 정보를 수집하거나 영향을 미치는지, 그러한 시스템의 출력물을 해석할 수 있는지에 대한 평가를 포함해야 한다. 또한 인공지능 시스템이 시스템의 수명주기 전체에 걸쳐 유의미한 인간의 통제를 유지하는지 여부를 평가하는 것도 포함해야 한다.
자체 평가나 외부 검토 결과 인공지능 시스템이 인권을 침해할 실질적인 위험이 있음이 드러난 상황이면 인권영향평가는 그러한 위험을 방지하거나 완화하기 위해 고안된 수단, 안전장치 및 방법을 수립해야 한다. 공공기관이 이미 구축한 인공지능 시스템에서 그러한 위험이 식별된 상황이면 위에서 언급한 수단, 안전장치 및 방법이 적용될 때까지 그 사용을 즉시 중단해야 한다. 식별된 위험을 유의미하게 완화할 수 없는 경우, 공공기관은 인공지능 시스템을 배치하거나 기타 방법으로 사용해서는 안 된다. 자체 평가나 외부 검토에서 인권 침해 사실이 드러난 경우 공공기관은 즉시 조치를 취해 인권 침해를 해소 및 구제하고 그러한 침해 위험이 재발될 위험을 방지 또는 완화하는 조치를 취해야 한다.
외부 검토 절차를 거친 연구 결과 및 결론을 비롯한 인권영향평가는 쉽게 접근할 수 있고 기계로 판독할 수 있는 형식으로 일반에 공개되어야 한다.
공공기관은 제3자가 정보(기밀사항 혹은 영업 비밀)에 대한 제한을 포기하지 않는 상황에서 그 제한이 (1) (외부 연구/검토의 수행을 포함하여) 인권영향평가를 수행하거나 (2) 인권영향평가를 공개하는 것을 지연시키거나 방해하는 경우에는 해당인으로부터 인공지능을 구입하지 말아야 한다.
공공기관들에 대하여 인공지능 시스템을 구입·개발하는 시점뿐 아니라 정기적으로 인권영향평가를 실시하도록 요구하여야 한다. 인권영향평가는 최소한 인공지능 시스템의 각 수명주기의 새로운 단계 또는 그와 유사하게 중요한 시점에 수행되어야 한다.
2. 공개적인 의견 수렴
국가의 인공지능 시스템 사용은 공개 조달 기준에 의해 통제되고 투명하게 운영되는 절차를 적용하여 모든 이해관계자가 투입할 수 있도록 개방되어야 한다. 회원국은 인공지능에 특화된 요구사항을 반영하기 위해 정보 접근, 정부 공개 및 공공 조달 법률 및 정책의 개정을 검토하여야 한다.
회원국은 인공지능 시스템과 관련된 다양한 단계는 물론 최소한 조달 및 인권영향평가 단계에서 공개적인 의견 수렴을 실시해야 한다. 유의미한 공개 의견 수렴 과정은 인공지능 시스템 관련 모든 정보의 시기적절하고 사전적인 공개를 수반하여 인공지능 시스템의 작동, 기능 및 잠재적 또는 측정된 영향에 대한 적절한 이해를 촉진한다. 공개적인 의견 수렴은 정부 관계자, 민간 부문 대표자들, 학계, 비영리 부문, 언론 및 소수자 집단이나 영향을 받는 집단 및 공동체의 대표자를 비롯하여 모든 이해관계자가 의견을 제시할 수 있는 기회를 제공해야 한다. 국가인권기구는 시민사회와 국가 기관 사이의 가교 역할을 맡아 유의미한 협의 수행에 도움을 줄 수 있다.
3. 민간부문의 인권기준 이행을 촉진해야 하는 회원국 의무
회원국은 유엔 기업 및 인권 이행지침과 인권과 기업 관련 각료위원회 권고 CM/Rec(2016)3을 효과적으로 이행해야 한다. 기업은 그 이행에 있어 젠더 관련 위험과 관련하여 차별적이지 않은 방법을 사용하여야 한다. 또한 기업은 소관 사항 내에 정주하거나 운영되는 모든 인공지능 행위자(예: 인공지능 개발자, 소유자, 제조업체, 관리자, 서비스 제공자 및 기타 인공지능 기업)도 마찬가지로 운영 전반에 걸쳐 이러한 원칙을 구현해야 한다는 요구를 분명히 제시하여야 한다.
유럽인권협약에 따른 능동적이고 절차적인 의무를 준수하기 위해 회원국은 인공지능 시스템의 수명주기 전체에 걸쳐 인공지능 행위자의 인권 침해로부터 개인의 인권을 보호하는 데 필요한 조치를 적용해야 한다. 회원국은 자국 법률이 인공지능 행위자의 인권 존중에 도움이 되는 여건을 조성하고 인공지능 관련 인권 침해에 대하여 효과적인 책무와 구제 수단에 장벽을 만들지 않도록 구체적으로 보장해야 한다.
회원국은 적절한 경우 인권 실사를 비롯하여 인공지능 행위자가 인권을 존중하도록 요구하는 추가적인 조치를 적용해야 한다. 회원국은 인공지능 행위자가 인공지능 시스템에 의해 야기되는 위해를 방지하거나 완화하기 위한 효과적인 조치를 취하도록 요구해야 하며, 인공지능 행위자는 인공지능 시스템에 의해 야기되는 위해를 식별, 방지 및 완화하려는 노력에 대해 투명해야 한다. 회원국은 인권에 부정적인 영향을 미치는 것으로 식별된 위험이 적절히 완화되지 않고 해결되지 않을 경우 적절한 조치 결과를 공개해야 한다.
4. 정보 및 투명성
개인의 인권에 유의미한 영향을 미치는 의사 결정 과정에서 인공지능 시스템이 사용되는 사실은 식별 가능해야 한다. 인공지능 시스템의 사용은 명확하고 접근하기 쉬운 용어로 공개되어야 할 뿐만 아니라 개인은 의사결정에 도달하는 방법과 그러한 결정이 어떻게 검증되었는지 이해할 수 있어야 한다.
인공지능 시스템이 공공 서비스, 특히 사법, 복지 및 보건의료 서비스에서 개인과 상호작용하는 데 사용되는 경우, 그 사실을 이용자에게 고지하여야 하며 요청시 전문가의 자문을 지체없이 구할 수 있음을 전달하여야 한다. 인공지능 시스템의 출력물이 오로지 또는 중대하게 지원하는 공공기관의 의사결정이 누군가에 대해 이루어진 경우 그 사람에게 위 정보를 고지하고 즉시 제공해야 한다.
전체 인공지능 시스템에 대한 감독 또한 투명성 요구에 따라야 한다. 이는 해당 시스템의 프로세스, 인권에 대한 직간접적 영향, 인권에 부정적인 시스템의 영향을 식별하고 완화하기 위해 취한 조치 등 시스템에 대한 정보를 공개하는 형태로 이루어지거나, 독립적이고 포괄적이며 효과적인 감사의 형태로 이루어질 수 있다. 모든 경우에, 공개되는 정보는 인공지능 시스템에 대한 유의미한 평가를 가능하게 해야 한다. 어떤 인공지능 시스템도 인간의 검토와 정밀 조사를 허용하지 못할 정도로 복잡해서는 안 된다. 투명성과 책무성의 적절한 기준을 따를 수 없는 시스템은 사용해서는 안 된다.
5. 독립적 감독
회원국은 공공기관과 민간 기업이 개발, 배치, 사용하는 인공지능 시스템의 인권 준수에 대한 독립적이고 효과적인 감독을 위해 입법 체계를 수립해야 한다. 이 입법 체계는 효과적으로 상호협력하는 행정적, 사법적, 준사법적 또는 의회 감독기구들의 조합으로 구성된 구조를 포함할 수 있다. 회원국은 적절한 경우 기존 국가인권기구에 인공지능 시스템의 인권 준수에 대해 독립적이고 효과적인 감독 역할을 수행할 수 있도록 권한 부여를 검토해야 한다.
감독 기관은 인공지능 시스템을 개발, 배치 및 기타 사용하는 공공기관과 민간 기업들로부터 독립적이어야 하며 감독기능을 수행하기에 적절하고 충분한 분야간 전문지식, 역량 및 자원을 구비해야 한다.
독립적인 감독 기관은 인공지능 시스템의 인권 준수를 능동적으로 조사 및 모니터링하고 영향을 받은 개인들로부터 진정을 접수, 처리하며 인공지능 시스템의 성능과 기술 개발에 대한 정기적인 검토를 보다 일반적으로 실시해야 한다. 감독 기관은 인권 침해 발생의 위험을 포착한 상황에 개입할 수 있는 권한을 보유해야 한다. 감독 기관은 또한 정기적으로 의회에 보고하고 활동에 대한 보고서를 발표해야 한다.
공공기관과 민간 기업들은 감독 기관이 인공지능 시스템의 효과적인 감독에 필요한 모든 정보를 요청할 때 이를 제공해야 하고 감독 기관에 정기적으로 보고해야 한다. 또한 인공지능 시스템이 인권에 미친 영향과 관련해 감독 기관의 권고를 이행해야 한다. 더불어 감독 절차는 투명해야 하며 적절한 공공 조사의 대상이 될 수 있어야 하고 감독 기관의 결정은 이의제기 또는 독립 심사의 대상이 될 수 있어야 한다.
6. 차별금지 및 평등
모든 상황에서 인공지능으로 불균형한 영향을 받을 위험이 증가하는 집단에 대하여 각별한 주의를 기울여 차별 위험을 방지 및 완화하여야 한다. 여기에는 여성, 아동, 노인, 경제적으로 취약한 사람들, LGBTI 집단의 구성원, 장애인 및 ‘인종적’, 민족적 또는 종교적 집단이 포함된다. 회원국은 차별적이거나 차별적인 결과를 초래하는 인공지능 시스템의 사용을 억지하여야 하며, 관할권 내에서 제3국의 인공지능 시스템의 사용 결과로부터 개인을 보호하여야 한다.
인공지능 수명주기의 모든 단계에 이들 집단을 효과적으로 대표하는 다양한 공동체의 적극적인 참여와 유의미한 협의 과정을 포함하는 것은 부정적인 인권 영향을 방지하고 완화하는 데 중요한 구성요소이다. 또한, 인공지능 시스템 개발에 사용되는 학습 데이터에 대한 투명성과 정보 접근성에 각별한 주의를 기울여야 한다. 인권영향평가 및 기타 인권 실사 방법은 정기적으로 반복되어야 하며, 책무성 실현과 구제 조치를 위해 적절하고 접근 가능한 방법이 제공되어야 한다.
회원국은 특히 예측적 또는 예방적 치안과 같은 방법론이 관련되는 법집행 상황에서 인공지능 시스템을 사용할 때 최고 수준의 정밀 조사를 실시하여야 한다. 그러한 시스템은 특정 집단에 대하여 사실상의 프로파일링을 수행할 수 있는 차별적 효과에 대하여 배치 전에 독립적으로 감사가 이루어질 필요가 있다. 이러한 효과가 탐지되면 해당 시스템을 사용할 수 없다.
7. 개인정보보호 및 프라이버시
개인정보 처리에 의존하는 인공지능 시스템의 개발, 학습, 검사 및 사용은 유럽인권협약 제8조에 따라 개인정보와 관련한 ‘정보적 자기결정권’을 비롯하여 개인의 사생활 및 가정생활을 존중할 권리를 완전히 보장해야 한다.
인공지능 시스템 환경에서 이루어지는 개인정보 처리는 그러한 처리가 추구하는 정당한 목적에 비례해야 하며, 처리의 모든 단계에서 인공지능 시스템의 개발 및 배치로 추구하는 이익과 문제되는 권리와 자유 간에 공정한 균형을 반영해야 한다.
회원국은 회원국에 구속력이 있는 개인정보보호 및 프라이버시권에 관한 기타 국제법 뿐만 아니라 개인정보의 자동화된 처리에 관한 유럽평의회 현대화 협약(“108+호 협약”)을 효과적으로 이행하여야 한다. 인공지능 시스템 수명주기의 모든 단계에서 이루어지는 개인정보의 처리는 108+호 협약에 명시된 원칙에 근거하여야 하며, 특히 (i) 관련 인공지능 시스템 수명주기 단계에서 개인정보를 처리하기 위해 법률에 의해 규정된 합법적인 근거가 있어야 하고, (ii) 개인정보가 합법적으로 처리되어야 하며, (iii) 개인정보는 명시적이고 구체적이며 합법적인 목적으로 수집되어야 하며 이러한 목적과 양립할 수 없는 방식으로 처리되어서는 안 되고, (iv) 개인정보는 처리 목적에 적절하고 관련이 있으며 과도하지 않아야 하며, (v) 개인정보는 정확해야 하고, 필요한 경우 최신 상태로 유지해야 하며, (vi) 개인정보는 해당 정보가 처리되는 목적에 필요한 기간을 넘어서지 않는 동안만 정보주체를 식별할 수 있는 형태로 보존되어야 한다.
회원국은 인공지능 시스템이 유전정보, 범죄·형사 절차·유죄 판결 및 관련 보안조치와 관련된 개인정보, 생체인식 정보, ‘인종적’·민족적 기원, 정치적 의견, 노동조합 가입여부, 종교적 또는 기타 신념, 건강 또는 성생활에 대한 개인정보의 처리에 의존하는 경우 적절한 안전장치를 규정하는 입법 체계를 도입하여야 한다. 그러한 안전장치는 또한 이들 개인정보가 차별적이거나 편향된 방식으로 처리되지 않도록 보호하여야 한다.
8. 표현의 자유, 집회 및 결사의 자유, 노동권
모든 개인의 인권과 기본적 자유를 존중, 보호 및 이행해야 할 책임의 맥락에서 회원국은 인공지능의 사용에 의해 관여될 수 있는 국제 인권 기준의 모든 범위를 고려해야 한다.
표현의 자유: 회원국은 다양하고 다원적인 정보 환경을 조성해야 할 의무와 인공지능의 콘텐츠 관리와 큐레이션이 표현의 자유, 정보에 대한 접근 및 의견의 자유 행사에 미칠 수 있는 부정적인 영향을 염두에 두어야 한다. 회원국은 또한 인공지능 전문지식과 권력의 집중이 정보의 자유로운 흐름에 부정적인 효과를 미치는 것을 방지하기 위하여 기술 독점을 규제하는 적절한 조치를 검토하는 것이 권장된다.
집회 및 결사의 자유: 특히 집회 및 결사의 자유를 오프라인에서 행사하기 어려운 상황에서 콘텐츠 관리를 위해 인공지능 시스템을 사용하는 것이 이들 권리에 미칠 수 있는 영향에 각별한 주의를 기울여야 한다. 얼굴인식 기술의 사용은 회원국이 엄격하게 규제하여야 하며, 그 사용을 명확히 한정하고, 효과적인 집회의 자유 행사를 보호하기 위하여 공공 투명성을 규정하는 법률을 입법하여야 한다.
노동권: 자동화를 가속화하여 노동 가용성에 부정적인 영향을 미칠 수 있는 인공지능의 잠재력을 주의 깊게 관찰하여야 한다. 인공지능 개발로 인해 창출되고 손실된 일자리의 수와 유형을 추적하기 위한 정기적인 평가가 이루어져야 한다. 인적 노동 수요 감소로 인해 분명히 영향을 받는 노동자들을 재교육하고 일자리를 재할당하기 위해 적절한 계획이 개발되어야 한다. 또한 회원국은 교육 커리큘럼을 조정하여 인공지능 시스템과 관련된 역량이 필요한 일자리에 대한 접근을 보장하여야 한다.
9. 구제 수단
인공지능 시스템은 기계 학습 또는 유사한 기술을 통해 인공지능 시스템이 인간의 특정한 개입과 독립적으로 의사결정을 내릴 수 있는 상황에서도 항상 인간의 통제 하에 있어야 한다. 회원국은 인공지능 시스템 수명주기의 다양한 단계에서 발생할 수 있는 인권 침해에 대하여 명확한 책임선을 수립해야 한다. 인공지능 시스템의 개발, 배치 또는 사용에서 발생하는 인권 침해에 대한 책임성과 책무성은 항상 자연인 또는 법인에게 있어야 하며, 이는 심지어 인권을 침해한 해당 조치를 인간 책임자 또는 운영자가 직접 지시하지 않은 경우에도 해당한다.
공공 또는 민간 기관의 인공지능 시스템의 개발, 배치, 사용으로 인하여 인권 침해를 당했다고 주장하는 사람은 소관 국가기관으로부터 효과적인 구제 수단을 제공받아야 한다. 나아가 회원국은 투명하지 않은 방식 또는 인지하지 못한 상태에서 인공지능 시스템의 출력물이 오로지 또는 중대하게 지원하는 조치의 대상이 되었다고 의구심을 갖는 사람들에게 효과적인 구제 수단을 제공해야 한다.
효과적인 구제 수단이란 인공지능 시스템의 개발, 배치 또는 사용으로 인한 위해에 대하여 신속하고 적절한 배보상과 시정을 포함하여야 하며, 민사·행정적 또는 형사적 조치를 포함할 수 있다. 국가인권기구는 각자의 소관에 따라 자체적인 결정을 수행함으로써 그러한 시정조치의 근거가 될 수 있다.
회원국은 유의미한 인적 개입 없이 오로지 자동화된 의사결정에 기반하여 자신에게 중대한 영향을 미치는 의사결정의 대상이 되지 않을 권리를 개인에게 보장하여야 한다. 최소한 개인은 그러한 자동화된 의사결정에서 인적 개입을 구할 수 있어야 하며 그러한 의사결정이 실행되기 전에 자신의 견해에 대한 검토를 받을수 있어야 한다.
회원국은 인공지능 시스템으로 인해 인권 침해를 당했다는 주장의 입증과 관련이 있을 경우, 개인이 상대방 또는 제3자가 소유한 정보에 접근할 수 있는 권리를 보장하여야 한다. 이는 적절한 경우 관련 학습 또는 검사 데이터, 인공지능 시스템이 사용된 방법에 대한 정보, 인공지능 시스템이 특정 권고, 의사결정, 예측에 도달한 방법에 대한 유의미하고 이해가능한 정보, 인공지능 시스템의 출력물이 해석되고 작동하는 방식에 대한 세부사항을 포함한다.
국가 기관이 인공지능 시스템의 개발, 배치 또는 사용으로 인한 인권 침해 문제를 검토할 때에는 인공지능 시스템이 제시하는 ‘객관성의 유혹’에 대하여 적절한 거리를 두어야 하고 인권 침해에 도전하는 개인이 문제가 된 조치에 대하여 책임이 있는 측보다 더 높은 입증 기준을 요구받지 않도록 하여야 한다.
10. 인공지능 리터러시 증진
정부 기관, 독립적인 감독 기관, 국가인권기구, 사법부와 법 집행 기관은 물론 일반 대중에게 인공지능에 대한 지식과 이해를 촉진하여야 한다. 회원국은 정부 내에 모든 인공지능 관련 문제에 대해 협의하는 자문 기구 설립을 고려해야 한다.
인공지능 시스템의 개발이나 적용에 직간접적으로 관련된 사람들은 시스템이 어떻게 기능하는지에 대해 필요한 지식과 이해를 갖추어야 하고 그것이 인권에 미치는 영향에 대하여 알아야 한다. 그러한 행위자들이 그들의 시스템이 인권에 미치는 영향에 대하여 알기 위해서는, 이들 또한 그들의 업무에 관여될 수 있는 인권 기준의 범위를 인지할 수 있어야 한다.
회원국은 (특히) 학교를 비롯한 공간에서 강력한 인식 제고, 훈련 및 교육에 대한 노력으로 일반 대중의 인공지능 리터러시 수준에 투자하여야 한다. 이는 인공지능 작동에 대한 교육에만 한정되어서는 안 되며, 인공지능이 인권에 미치는(긍정적이고 부정적인) 잠재적 영향에도 투여되어야 한다. 소외된 집단과 일반적으로 IT 리터러시에서 취약한 사람들에게 접근하기 위해 특별한 노력을 기울여야 한다.
체크리스트
| 인권영향평가 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 공개적인 의견 수렴 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 민간부문의 인권기준 이행을 촉진해야 하는 회원국 의무 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 정보 및 투명성 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 독립적 감독 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 차별금지 및 평등 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 개인정보보호 및 프라이버시 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 표현의 자유, 집회 및 결사의 자유, 노동권 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 구제 수단 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|
|
| 인공지능 리터러시 증진 | 해야 할 일 |
|
|
| 하지 말아야 할 일 | |
|