태그: 인공지능

경찰 등 법집행기관의 얼굴인식 감시기술 사용과 인권 문제

사단법인 정보인권연구소는 이슈리포트 <정보인권> 통권 제10호로 “경찰 등 법집행기관의 얼굴인식 감시기술 사용과 인권 문제”를 발간하였다. 이 연구는 4.9통일평화재단의 지원으로 제작되었으며 진보네트워크센터도 필자로 함께 참여하였다.

최근 경찰은 치안활동에 첨단과학기술을 결합한 ‘스마트치안’을 강조하면서, 지문, 유전정보 등 고전적 형태의 생체인식정보를 넘어 얼굴정보, 행동정보 등 새로운 형태의 생체정보를 활용하는 치안활동을 확대해 가고 있다.

특히 경찰과 사실상 공동관제하고 있는 지방자치단체 CCTV가 최근 급격히 지능화하고 있다. 경기도 부천시의 경우 코로나19 대응을 위해 확진자의 얼굴 사진과 CCTV 영상 속 시민들의 얼굴을 대조해 같은 사람을 찾아내고 동선을 파악하는 ‘확진자 동선추적 시스템’을 개발하고 있다고 밝히기도 했다.

이미 경찰은 CCTV, 블랙박스 등 범죄현장에서 찍힌 용의자 사진과 구속된 9대 수법범죄자 데이터베이스를 비교·검색하여, 용의자의 신원확인을 신속하게 지원하는 <범죄예방 3D얼굴인식시스템>을 개발 및 관리해 왔다. 이 시스템에는 2019년 현재 이미 198,330건의 얼굴인식정보가 포함되어 있다. 경찰은 3D얼굴인식시스템을 계속 고도화할 계획으로, 2024년에는 실시간 CCTV 연계 얼굴인식을 목표로 하고 있으며, 인공지능을 이용하여 나이 등 대상자 특성에 대한 자동화된 식별도 추구하고 있다.

또 경찰청과 과학기술정보통신부, 산업통상자원부는 공동으로 2018년부터 5개년에 걸쳐 ‘실종아동등 신원확인을 위한 복합인지기술개발사업’을 진행하고 있다. 이 사업은 △ 유전정보, △ 얼굴정보, △ 행동정보, △ 시·공간정보 등을 수집하고 연계하여 인공지능 기반으로 분석하여 고도화된 신원분석을 목표로 하고 있다. 현재는 ‘실종아동수색’이라는 목적에 한정하여 개발되고 있으나, 일단 기술적 기반이 갖추어지면 그 활용이 향후 범죄 수사, 위험방지 등 다양한 경찰활동으로 확대될 가능성이 존재한다.

미국에서는 잘못된 얼굴인식으로 경찰이 무고한 흑인을 체포하는 등 얼굴인식 기술을 둘러싼 많은 논란이 빚어져 왔고, 경찰의 얼굴인식 기술 사용에 대하여 샌프란시스코, 워싱턴 주 등에서 규제법을 도입한 바 있다. 유럽연합에서는 인권기구인 기본권청이 법집행기관의 얼굴인식기술 사용이 유럽 개인정보보호법 GDPR 및 경찰디렉티브에 위배될 가능성을 지적하며 법률에 따른 통제를 제안하였다. 지난 9월에는 영국 항소법원이 경찰의 실시간 얼굴인식 사용에 대한 시민단체 소송에서 최초의 위법 판결을 내렸다. 법원은 경찰이 얼굴인식 기술의 차별적 영향을 적절히 고려하지 못했고, 평등법에 따른 의무를 다하지 못했으며, 민감정보 처리에 대한 개인정보 보호법을 준수하지 못했다고 지적했다.

이슈리포트는 I. 서론 II. 얼굴인식 기술의 개념 III. 해외 현황 및 관련 법제도 IV. 국내 현황 및 관련 법제도 V. 결론 및 제언으로 구성되어 있으며, 경찰 등 법집행기관의 얼굴인식 감시기술의 사용에 대한 해외 사례 및 법제도를 소개하고 나아가 국내 개인정보 보호법 적용 및 그 한계에 대하여 살펴보았다. 이슈리포트는 결론적으로 민감정보인 생체인식정보 처리의 제한에서 경찰 등 법집행 목적을 제외한 현행 개인정보 보호 법령의 개선과 함께 경찰 등 법집행기관의 얼굴인식 기술 사용을 법률에 따라 엄격하게 통제할 것을 제안하였다. 또한 집회시위 등 국민 기본권의 본질을 중대하게 침해할 우려가 있는 분야에서는 얼굴인식기술의 사용을 금지할 것과 국민을 보호하기 위한 법적 근거가 갖추어지기 전에는 법집행기관의 얼굴인식정보 처리를 중단할 것을 제안하였다.

△이슈리포트 <정보인권>은 사단법인 정보인권연구소 후원회원을 위한 비정기간행물이다.
일시후원/후원회원 신청 http://idr.jinbo.net/member

[이슈리포트 내려받기] 경찰 등 법집행기관의 얼굴인식 감시기술 사용과 인권 문제

법 집행기관의 얼굴인식 기술 사용 현황과 진단

 

생체인식 정보를 활용한 인공지능 기술, 특히 그중에서도 얼굴인식 기술에 대한 규제는 이미 세계적 이슈 중 하나입니다. 미국은 공공기관의 얼굴인식 기술 사용을 전면적으로 통제하거나 금지하는 조례들이 여러 지역에서 통과되고 시행되었으며 주 단위 규제를 넘어 연방 차원의 법안 또한 논의되고 있습니다. 또한 유럽연합은 기존의 보호장치에 더해 공공장소에서의 얼굴인식 기술 사용 금지를 고려하기도 했습니다.

인종에 대한 차별, 성별에 따른 차별, 해소되지 않는 결함과 근본적 권리 침해 가능성 등 규제의 배경이 된 연구 결과와 사례에 따르면 얼굴인식 기술의 위험성은 이미 편익을 넘어선 것으로 보입니다. 한국의 개인정보 보호법은 최근 개정을 통해 특별히 보호받아야 하는 민감정보로 얼굴인식 정보와 같은 생체인식 정보를 포함하게 되었지만, 수사기관과 기업이 이를 피해갈 우회로는 여전히 많은 상황입니다.

본 간담회는 수사기관 등 법 집행기관이 현재 어떠한 방식으로 얼굴인식 기술을 사용하고 있는지, 정보주체의 권리 침해 등 문제는 없는지 검토하고, 이에 대해 인권에 기반한 논의와 민주적 통제 방안을 고민해보고자 합니다.


  • 일시: 2020년 11월 25일(수) 오후 2시
  • 장소: 온라인 웨비나(ZOOM)
  • 사회: 이호중 (서강대학교 법학전문대학원 교수/사단법인 정보인권연구소 이사장)
  • 발제: 김민 (진보네트워크센터 정책활동가) , 장여경 (사단법인 정보인권연구소 상임이사)
  • 토론: 김하나 (해우 법률사무소 변호사), 이지은 (참여연대 공익법센터 간사)
  • 사전 참가 신청 링크 : https://forms.gle/tSB68BjDonH9xoFL7

 

  • 문의: 사단법인 정보인권연구소, 진보네트워크센터 02-774-4551
  • 주최: 사단법인 정보인권연구소, 진보네트워크센터

“행정기본법 제정안 제20조”에 대한 반대의견 국회 제출

인권사회단체, 인공지능 의한 결정을 행정 행위로 인정하는
“행정기본법 제정안 제20조”에 대한 반대의견 국회 제출

  • 행정기본법 제정안, ‘단순 행정자동화’와 ‘인공지능에 의한 결정’ 차이 고려치 않아

  • 인공지능 시스템에 대한 권리구제, 검증 및 사후관리 규정 마련 선행돼야

  1. 오늘(11/5) 민주사회를 위한 변호사모임 디지털정보위원회, 진보네트워크센터, 사단법인 정보인권연구소 등 3개 인권사회단체는 정부가 발의하여 현재 국회 법제사법위원회에 상정되어 있는 ‘행정기본법 제정안 제 20조’에 반대하는 의견서를 법사위에 제출했다.
  2. 행정기본법 제정안 제20조는 행정청에서 재량이 있는 처분을 제외한 모든 처분을 ‘자동화된 시스템’에 의해 할 수 있도록 허용하고 있다. 그러면서 명시적으로 ‘인공지능 기술을 적용한 시스템’을 ‘완전히 자동화된 시스템’에 포함시켜 역시 행정 ‘처분’으로 인정한다는 내용이 담겨있다. 단체들은 의견서에서 인공지능 처분에 대한 시민들의 절차적 권리와 구제의 권리를 보장하고 있지 않은 상황에서 그 위험성을 오롯이 시민이 부담하게 하는 위 제20조의 도입을 재고할 것을 요구하고 사회적 의견 수렴을 위한 국회 공청회를 요구하였다.
  3. 이 조항은 단순 행정자동화 시스템과 인공지능 기술 적용 시스템의 차이를 구분하지 않고 있다. 단순 행정자동화 결정은 의사 결정 구조가 단순하고 구조적이기에 결과 예측 및 오류 수정이 비교적 수월하다(예 : 과속 단속 카메라에 의한 단속, 컴퓨터 추첨에 따른 학교 배정 등). 그러나 인공지능 알고리즘에 의한 자동 결정은 비정형적이며 알고리즘에 따라 매우 복잡한 구조적 특성을 지니기 때문에 결과의 예측이 현저히 어렵다. 인공지능을 구성하는 알고리즘의 안전성, 적법성이 확보되지 않은 상태에서 단순 행정자동화와 인공지능에 의한 결정을 동일한 ‘처분’으로 규정한다면 인공지능에 의한 자동화 결정의 타당성을 둘러싼 논란이 계속될 것이다.
  4. 대상조항은 자동화된 시스템에 의한 처분을 원칙적으로 기속행위에만 허용하고 있지만, 오늘날 행정의 다양성, 복잡성으로 인하여 어떤 행정행위가 기속행위인지 재량행위인지 여부를 구분하는 기준 또한 명확하지 않은 상황이다. 공무원의 형식적 개입, 알고리즘에 대한 설명의 불가능성 등 인공지능의 특성을 고려했을 때, 위법한 인공지능에 의한 처분에 당사자가  불복하는 것이 사실상 어려울 수 있다는 점이 매우 우려스럽다.
  5. 헌법상 적법절차의 원칙은 행정절차에도 적용되기 때문에 처분의 당사자인 시민은 자동화된 처분이더라도 그 처분이 어떠한 경위로 이루어진 것인지 설명을 받을 수 있는 권리를 가져야 한다. 또한 자동화된 처분으로 피해를 입은 경우 적절한 구제를 받을 권리를 가진다. 그러나 인공지능에 의한 처분은 시민들의 위 설명을 받을 수 있는 권리와 구제를 받을 권리를 광범위하게 제약할 수 있다. 인공지능에 의한 처분의 경우 현재 행정절차법상에서는 사실상 처분의 사전통지, 이의권 등을 행사하기 어렵기 때문이다.
  6. 인공지능 시스템에서 가장 중요한 알고리즘을 검증하고 평가하도록 규정하는 법체계는 부재한 상태이다. 이러한 상황에서 인공지능에 의한 처분을 전면적으로 허용하는 것은 섣부른 정책의 추진이자 인공지능에 의해 발생할 위험을 과소평가하는 것으로서, 대상조항은 삭제되어야 마땅하다.  끝.

행정기본법안 제20조에 대한 의견

2020년 11월 5일

민주사회를 위한 변호사모임 디지털정보위원회,
진보네트워크센터, 사단법인 정보인권연구소

  1. 의견 제출의 취지

행정기본법안(이하 ‘법안’이라 합니다)은 2020. 7. 7. 국무회의에서 의결된 이후 현재 국회 법제사법위원회에 상정되어 있습니다. 법안은 복잡한 행정원칙의 원칙과 기준을 제시하는 기본법 체계를 구축하고자 한다는 점에서 의의가 있습니다. 그러나 처분을 단순 자동 시스템 뿐만 아니라 인공지능시스템에 의해서도 할 수 있도록 허용한 법안 제20조는 제정대상에서 제외되는 것이 마땅합니다. 인공지능시스템에 의한 처분으로 발생할 수 있는 다양한 문제에 대한 충분한 검토와 논의가 이루어지지 않았기 때문입니다.

  1. 문제가 되는 조항

우리 단체들이 문제가 있다고 판단하고 있는 조항은 법안 제20조(이하 ‘대상조항’이라 합니다)입니다. 대상조항은 행정청이 재량이 있는 처분을 제외한 모든 처분을 ‘자동화된 시스템’에 의해 할 수 있도록 허용하고 있습니다. 그리고 대상조항은 명시적으로 ‘인공지능 기술을 적용한 시스템’을 ‘자동화된 시스템’에 포함시키고 있습니다.

 

제20조(자동적 처분) 행정청은 법령으로 정하는 바에 따라 완전히 자동화된 시스템(인공지능 기술을 적용한 시스템을 포함한다)으로 처분을 할 수 있다. 다만, 처분에 재량이 있는 경우는 제외한다.

 

  1. 제정안의 문제점

가. 단순 행정자동화 시스템과 인공지능 기술 적용 시스템의 차이를 반영하지 않았음 

대상조항은 완전히 ‘자동화된 시스템’에 ‘인공지능 기술을 적용한 시스템’이 포함된다고 규정하고 있습니다. 즉 대상조항이 규정하는 ‘완전히 자동화된 시스템’은 ‘단순 행정자동화 결정’만을 의미하는 것이 아니라 ‘인공지능에 의한 자동화 결정’까지도 포함하는 자동화 결정을 의미합니다. 그러나 단순 행정자동화 결정과 인공지능에 의한 자동화 결정은 그 구조의 복잡성, 결과예측가능성 등 여러측면에서 본질적 차이가 존재하기 때문에 구분이 필요합니다. 

단순 행정자동화 결정은 의사결정 구조가 정형적이고 단순하며, 그 결과가 비교적 예측 가능합니다(예: 과속단속카메라에 의한 과속단속, 컴퓨터추첨에 따른 학교배정 등). 반면 인공지능에 의한 자동화 결정은 비정형적이고, 구조화된 틀에 들어맞지 않는 사안을 알고리즘을 통해 처리하는 방식으로 이루어집니다. 따라서 인공지능에 의한 자동화 결정은 단순  행정자동화 결정에 비해 결과의 예측이 현저히 어렵다는 차이가 존재합니다. 

인공지능을 이용할 경우 행정의 효율성은 높아질 수 있습니다. 그러나 인공지능을 구성하는 알고리즘의 안전성, 적법성이 확보되지 않는다면 인공지능에 의한 자동화 결정의 타당성은 논란에서 자유로울 수 없습니다. 그리고 무엇보다 우리나라는 인공지능에 의한 행정에 대한 논의가 제대로 이루어지지 않았고, 이를 받아들일 준비가 미비한 상황입니다. 

나. 재량권 행사가 필요한 처분이 기속행위로 변형되어 이루어질 우려가 있음

대상조항은 자동화된 시스템에 의한 처분이 원칙적으로 기속행위에 해당하는 경우에만 허용된다는 한계를 설정하고 있습니다. 그러나 오늘날 행정의 다양성, 복잡성으로 인하여 어떤 행정행위가 기속행위인지 재량행위인지 여부를 구분하는 기준은 명확하지 않습니다. 

대법원 또한 기속행위와 재량행위의 구별기준에 대하여  “처분의 근거 법규정의 형식·체제·문언상 표현을 우선적으로 고려하고, 불분명한 경우 행정분야의 주된 목적·특성, 당해 행위의 성질·유형 등을 고려하여 개별적으로 판단하여야 한다”라고 판시하며(대법원 2018. 10. 4. 선고 2014두37702 판결 등), 특정 행정행위가 재량행위인지 기속행위인지 여부는 사법부의 판단을 통해 최종적으로 확인될 수 있다는 입장을 가지고 있습니다.

이처럼 재량행위와 기속행위의 명확한 구별이 어려운 상황에서 대상조항과 같이 인공지능에 의한 자동결정의 방식으로 이루어지는 자동화된 처분(이하 ‘인공지능에 의한 처분’)을 전면적으로 허용하는 경우, 재량권 행사가 필요한 처분도 인공지능에 의해 기속행위로 변형되어 이루어질 우려가 있습니다. 그리고 재량권 행사가 필요한 처분이 기속행위로 변형되어 이루어지면 이는 원칙적으로 ‘재량권을 불행사한 처분’으로서 위법합니다(대법원 2019. 7. 11. 선고 2017두38874 판결 등 참조). 

즉 인공지능에 의한 처분의 활성화는 결국 처분에 있어 행정청의 재량권 불행사를 조장할 수 있는 것입니다. 그러나 현재로서는 이러한 위법한 인공지능에 의한 처분에 당사자가  불복하는 것은 사실상 어려울 것으로 보입니다. 공무원의 형식적 개입, 알고리즘에 대한 설명의 불가능성 등 인공지능의 특성을 고려했을 때, 재량권의 불행사를 입증하기 어려울 수 있고, 책임의 주체도 불분명하기 때문입니다.

다. 독일 연방행정절차법 제24조 및 제35조의a 규정의 진정한 의미

법제처는 대상조항의 제정과 관련한 참고자료로 독일 연방행정절차법 제24조(직권조사의원칙)와 제35조의a를 제시하고 있습니다. 하지만 위 조항들은 오히려 대상조항이 부당하게 제정되었다는 점을 보여주는 자료입니다. 

독일 연방행정절차법 제24조는 행정 자동화 방식으로 행정행위를 함에 있어 그 행정행위로 인한 침해를 방지하기 위해 조사되지 않은 참여자의 사실 진술을 고려할 의무를 행정청이 부담하도록 규정하고 있습니다.

 

독일 연방행정절차법

제24조(직권조사원칙) ① 행정청은 직권으로 사안(사실관계)를 조사한다. 행정청은 조사의 방법 및 범위를 정한다 ; 행정청은 참여자의 제시와 증거신청에 구속되지 아니한다. 행정청이 행정행위를 발급하기 위하여 자동장치를 설치한 경우에는, 개별 경우를 위하여 행정청은 자동절차에서 조사되지 않은 참여자의 중요한 사실진술을 고려하여야 한다.

행정 자동화 방식에 의한 처분은 일률적으로 이루어지기 때문에, 사안의 개별 특수성이 반영되지 않는 문제가 있습니다. 독일 연방행정절차법 제24조는 위와 같은 문제를 방지하기 위해 행정청에게 참여자의 중요한 사실진술을 고려할 의무를 부담하도록 규정하고 있는 것입니다. 그러나 대상조항은 사안의 개별 특수성을 반영하지 못하는 자동화처분의 문제를 대비하기 위한 내용을 일체 규정하고 있지 않습니다. 법안에서도 위 문제를 대비하기 위한 조항을 별도로 규정하고 있지 않습니다.

 

독일 연방행정절차법

제35조의a 행정행위의 완전히 자동화된 발급 법규정에 의해 허용되고, 재량이나 판단여지가 존재하지 아니하면 행정행위는 자동장치에 의해 완전히 발해질 수 있다.

독일 연방행정절차법 제35조의a 또한 대상조항과 큰 차이를 보입니다. 독일연방법 제35조의a가 규정하는 자동장치에는 인공지능 기반 시스템이 포함되어 있지 않기 때문입니다.

학계에서는 독일 연방행정절차법 제35조의a를 완전 자동적 행정을 합법화하는 규정으로 이해하지 않습니다. 학계는 독일 연방행정절차법 제35조의a를 오히려  자동적 행정을 매우 제한적으로 허용하는 규정으로 이해하며, 인공지능에 기반한 자동행정이 허용되지 않는다는 입장을 가지고 있습니다.

독일 행정절차법에서 규정한 완전 자동적 행정행위에 관한 규정은 행정기본법 제20조 인공지능 알고리즘을 활용한 자동적 행정결정에 적용하기에 한계가 있습니다. 독일의 규정은 완전히 자동화된 시스템에 대하여 단순, 반복적인 ‘기속행위’에 적용될 수 있음을 규정한 것이고, 우리의 행정기본법 제20조는 완전히 자동화된 시스템을 인공지능 시스템까지 포함한 것으로 규정하고 있어 향후 적용될 수 있는 분야의 확장성이 매우 넓어 불확실성이 매우 큽니다.

라. 인공지능에 의한 처분으로 인한 적법절차의 원칙 침해 우려 

인공지능에 의한 자동화 결정의 경우, 알고리즘이 근거 법률의 목적과 내용을 제대로 구현하지 못해 잘못된 처분을 할 가능성을 배제할 수 없습니다. 이 경우 해당 처분은 시민들의 재산권, 신체의 자유 등 기본권을 부당히 제약하고 차별을 야기할 수 있습니다.  

그러나 인공지능에 의한 처분에 있어 공무원의 의사 개입은 사실상 불가능하거나 형식적일 수 밖에 없기 때문에 시민들은 자신에 대한 인공지능에 의한 처분이 부당하다고 생각하여도 공무원으로부터 적절한 설명을 들을 수 없게됩니다. 이에따라  부당한 인공지능에 의한 처분의 책임 소재도 희석될 우려가 있습니다. 

헌법재판소는 “헌법상 적법절차의 원칙은 형사절차뿐만 아니라 입법과 행정 등 국가의 ‘모든’ 공권력 행사에 적용된다”고 보았습니다(헌법재판소 1992. 12. 24 선고 92헌가8 결정 등). 대법원 역시 “헌법상 적법절차의 원칙은 형사소송절차 뿐만아니라 국민에게 부담을 주는 행정작용에서도 준수되어야 한다”고 판시하고 있습니다(대법원 2012. 10. 18 선고  2010두1234 판결). 

이처럼 헌법상 적법절차의 원칙은 행정절차에도 적용되기 때문에 처분의 당사자인 시민은 자동화된 처분이더라도 그 처분이 어떠한 경위로 이루어진 것인지 설명을 받을 수 있는 권리를 가져야 합니다. 또한 자동화된 처분으로 피해를 입은 경우 적절한 구제를 받을 권리를 가집니다. 그러나 인공지능에 의한 처분은 시민들의 위 설명을 받을 수 있는 권리와 구제를 받을 권리를 광범위하게 제약할 수 있습니다. 인공지능에 의한 처분의 경우 현재 행정절차법상에서는 사실상 처분의 사전통지, 이의권 등을 행사하기 어렵기 때문입니다. 

과학기술 발전에 따라 행정의 모든 영역에서 전문성과 복잡성이 커지고 있기 때문에  무엇이 최선의 결정인가 보다는 어떠한 논의과정을 거쳐 해결책을 찾을 것인가에 대한 절차적 보장이 중요합니다. 인공지능 시스템이 개인의 권리에 중대한 영향을 미치는 행정적 의사결정에 사용될 때에도 적법절차의 원칙은 준수되어야 합니다. 마땅히 그 의사결정에 대해서 당사자들이 근거를 밝히도록 요구하고, 설명을 들을 수 있어야 합니다. 

그러나 인공지능을 구성하는 알고리즘을 어떻게 설명할 것인지, 인공지능에 의한 처분으로 발생하는 손해의 책임을 누구에게 귀속시킬 것인지 등에 관한 사회적 논의가 심도있게 이루어지지 않았고 관련 법체계 역시 구축되지 않았습니다. 이러한 상황에서 대상조항에 따라 인공지능에 의한 처분을 전면 허용한다면, 시민들이 행정에 종속되거나 객체적 지위에 머물고, 행정과정에서 자신들의 권익을 보호할 수 없게 되는 등 헌법이 보장하고 있는 적법절차의 원칙이 심각하게 훼손당할 것입니다. 

마. 인공지능 시스템을 검증하고 평가할 수 있는 별도의 법체계 마련이 필요

영국 옥스포드 인사이트(Oxford Insights)가 발표한 2019년 정부 AI 준비지수(2019 Government AI Readiness Index)에서 우리나라는 26위라는 낮은 순위로 평가되었습니다. 위 준비지수는 당사국이 공공 서비스 제공에 인공지능를 사용할 준비가 됐는지를 평가할 수 있는 지표입니다. 영국 옥스포드 인사이트가 위와 같은 평가를 한 이유는 인공지능 시스템이 윤리 및 안전에 대한 충분한 관리 없이 공공분야에 시행되는 것이 매우 위험할 수 있기 때문입니다.

위 지표가 절대적인 것은 아니지만, 우리나라가 상당히 낮은 순위로 평가되었다는 사실을 엄중하게 받아들일 필요가 있습니다. 이는 공공영역에 인공지능 시스템을 도입하는 것에 대한 철저한 점검이 필요하다는 점을 시사합니다.

행정처분의 영역에서 인공지능의 활용은 구체화된 행정입법을 알고리즘에 구현하는 방식으로 이루어집니다. 이때 알고리즘에 행정입법의 취지가 충분하고 정당하게 반영되었는지를 검증하고 사후적으로 관리하는 것이 필요합니다. 뿐만 아니라 알고리즘을 투명하고, 보편적 수준에서 이해가능한 방법으로 공개하여야 하고, 헌법적 가치 또한 충분히 반영되었는지를 평가할 수 있어야 합니다. 따라서 인공지능의 앞서 인공지능 시스템을 포함한 행정자동화 시스템을 주기적으로 점검하고, 점검 결과에 따라 시스템을 개선하는 제도의 구축이 선행되어야 합니다.

현재 인공지능에 대해서는 지능정보사회 윤리 등을 규정한 지능정보화기본법(2020. 12. 10. 시행예정) 뿐이고, 인공지능 시스템에서 가장 중요한 알고리즘을 검증하고 평가하도록 규정하는 법체계는 부재한 상태입니다. 이러한 상황에서 대상조항과 같이 인공지능에 의한 처분을 전면적으로 허용하는 것은 섣부른 정책의 추진이자 인공지능에 의해 발생할 위험을 과소평가하는 것입니다.

인공지능 도입에 앞서 어떠한 시스템이 구축되어야 하는지와 관련하여서는 20대 국회에서 발의되었던 전자정부법 개정안(박선숙 의원 대표발의)을 참고해 볼 수 있습니다. 위 개정안은 행정기관에게 자동화 시스템의 안정성·공정성·정확성 등을 주기적으로 점검하고, 그 결과에 따라 시스템을 개선할 의무를 부담하도록 규정했습니다. 또한, 위 개정안은 행정기관에게 인공지능을 사용한 ‘지능형 시스템’이 도출한 판단·결정·평가·자문 등 내용을 기록·보존하고, 시스템 관리를 위한 주기적 영향평가를 실시하도록 하는 내용도 규정하고 있었습니다. 그러나 위 개정안은  통과되지 못한 채 20대 국회의 임기만료로 폐기되었습니다. 

물론 위 개정안이 공공영역에 인공지능 시스템을 도입하는 것을 정당화할 수 있는 완벽한 법률안이라고는 볼 수는 없습니다. 그러나 위 개정안은 인공지능 기술을 공공영역에 맹목적으로 도입하려는 추세 속에서, 인공지능 시스템을 검증하고 평가할 수 있는 법체계를 구축하려 시도한 법률안이라는 점에서 큰 의미가 있습니다.

4. 결론

인공지능 시스템은 앞으로 여러 분야에 도입되어 활성화 될 것입니다. 인공지능 시스템에 대한 사회적 논의와 안전장치의 구축이 충분히 이루어지지 않았음에도 인공지능에 대한 맹목적 신뢰에 기반한 제도의 도입은 신중해야 합니다. 행정행위는 효율성을 중요하게 생각하는 민간분야와 달리 책임성과 공공성을 본질적 요소로 합니다. 그러나 인공지능에 의한 처분에 대한 시민들의 절차의 권리와 구제의 권리를 보장하기 위한 제도는 제대로 구축되어 있지 않고, 이에 대한 논의도 성숙하지 못한 상황입니다. 

대상조항이 실질적으로는 단순 행정 자동화 결정만을 허용하는 법적 근거로서 의미를 갖기 때문에 그 위험성이 크지 않다는 주장이 있을 수 있습니다. 그러나 대상조항이 ‘인공지능기술을 적용한 시스템’을 명시적으로 ‘자동화된 시스템’의 한 종류로 포함하고 있는 이상, 단순 행정 자동화 결정을 넘어 처분 전반이 인공지능에 의해 이루어질 위험성이 존재할 수밖에 없습니다. 그리고 인공지능에 의한 처분이 야기하는 위험은 오롯이 시민이 부담해야 합니다.

따라서 시민의 기본권에 직접 영향을 미치는 행정처분의 경우에는 공무원 등의 개입이 필수적이며, 안전장치가 마련되어야 하며, 명확한 규정이 필요합니다. 행정의 신속성, 효율성을 강조한다는 취지 아래 논의가 미성숙한 인공지능 시스템에 의한 처분을 허용하는 경우 예측할 수 없는 피해가 발생할 우려가 있다는 점을 간과해서는 안될 것입니다. 이에 우리 단체들은 법안의 제정에 있어 제20조의 도입을  재고해주실 것을 요청하는 취지로 현행 법안에 대해 반대의견을 개진합니다.

나아가 우리 단체들은 위 법안에 대한 공청회가 코로나19 상황으로 지난 3월 매우 제한적으로 이루어졌다는 점을 지적하고자 합니다. 인공지능에 의한 처분을 허용하는 것은 그 자체로 시민의 기본권에 중대한 영향을 미치는 정책을 도입하는 것으로 사회적 논의와 공론화 과정이 더욱 절실히 요구됩니다. 이에 우리 단체들은 법안에 대한 반대의견을 개진함과 동시에 귀 위원회에 대상조항에 관한 추가 공청회 개최 또한 요청합니다. 끝.

[PDF 보기] 20201105법제사법위_행정기본법안 의견서

[공개토론회] 인공지능 국가전략, 비판적 검토와 과제

 

공개토론회 「인공지능 국가전략, 비판적 검토와 과제」
- 오는 2월 21일(금) 오후3시, 서울 광화문 사회복지공동모금회 별관 강의실B

정부는 지난해 12월 17일 문재인 대통령 주재로 열린 제53회 국무회의에서 전부처가 참여한 「인공지능(AI) 국가전략」을 발표하였습니다. AI 국가전략은 AI 생태계 조성, AI 인재형 국가, 사람 중심의 AI 구현 등 3대 분야에서 9대 전략을 제시하면서 AI 분야별 법제 정비 계획도 밝혔습니다.
특히 ‘사람 중심 AI’ 분야에서는 일자리 안전망 확충, AI 윤리 정립 등의 과제를 제시하였습니다.

그러나 이 국가전략은 산업 중심 전략으로 노동자, 소비자, 이용자 보호를 위한 구체적인 내용을 담고 있지 않습니다.
법제 정비에 있어서는 인공지능 의사결정이 민주주의와 인권, 사회적 차별에 미치는 영향에 대응해야 할 과제가 있습니다.

사단법인 정보인권연구소는 AI 국가전략을 비판적으로 검토하고 과제를 제시하는 토론회를 개최합니다.
인공지능과 그 사회적 문제에 관심이 있으신 분들의 많은 참석을 바랍니다.

참가신청(링크)

❖ 토론회 개요

  • 제목 : 공개토론회 「인공지능 국가전략, 비판적 검토와 과제」
  • 일시 : 2020년 2월 21일(금) 오후3시~5시
  • 장소 : 광화문 사회복지공동모금회 별관(나눔문화센터) 지하1층 강의실B
  • 주최/주관 : 사단법인 정보인권연구소

❖ 토론회 구성

오후
3:00~3:10
사회 : 이호중
/ 정보인권연구소 이사장, 서강대학교 법학전문대학원 교수
3:10~3:30 발제 인공지능 거버넌스와 시민사회 오철우 / 서울과학기술대 강사, 과학기술학 박사
3:30~3:50 발제 인공지능 국가전략에 대한 검토와 제언 선지원 / 정보통신정책연구원 ICT전략연구실 부연구위원
3:50~4:00 토론 임완철 / 성신여자대학교 교육학과 겸임교수, 서울시교육청 미래교육(에듀테크)정책자문관, 정보인권연구소 연구위원
4:00~4:10 토론 허유선 / 중앙대학교 HK+ 인공지능인문학 사업단, 동국대 철학과 강사
4:10~4:20 토론 김하나 / 민주사회를위한변호사모임 디지털정보위원회·노동위원회
4:20~4:30 토론 홍석만 / 참세상연구소 연구실장, 「부채전쟁」 저자
4:30~4:40 토론 국가인권위원회 인권정책과
4:40~5:00 플로어 토론 및 참석자 전체 토론

❖ 사단법인 정보인권연구소 소개

사단법인 정보인권연구소는 시민사회 관점에서 정보인권을 지지하는 대안적 정책을 연구하고 생산하기 위해 2018년 창립하였습니다(이사장: 이호중 서강대학교 법학전문대학원 교수). http://idr.jinbo.net

※ 자료집 다운로드 [인공지능 국가전략, 비판적 검토와 과제]

[정보인권포럼] 머신러닝 알고리즘과 차별

 

차별적 사회를 학습한 인공지능 의사결정이 차별적이지 않을수 있을까요?

우리 사회에서 차별금지법 제정은 오랜 진통을 겪어 왔습니다.
헌법이 차별받지 않을 권리를 선언하고 있지만 우리 사회의 현실은 한발짝 더 나가기가 힘든 상황입니다.

이런 가운데 최근 인공지능 알고리즘 의사결정이 인종, 젠더 등에 따라 사람을 차별할 가능성에 대한 우려가 국내외로 커지고 있습니다.
인종, 성별, 장애에 따른 차별금지 법규범이 오래도록 정착되어 온 서구사회에서조차 인공지능이 기존의 법규범에 포함되지 않는 차별적 효과를 낳을 가능성에 대하여 고민하기 시작하였습니다.

우리나라에서도 공공부문 채용이나 경찰 등 국민의 권리에 영향을 미칠 수 있는 분야에서 인공지능 의사결정이 빠른 속도로 도입되고 있습니다.
그러나 인공지능 의사결정의 올바른 책임구조를 수립하기 위한 사회적 토론은 아직 미미합니다.

더구나 우리 사회의 경우 차별에 대응하는 법규범이 미흡한 실정이니
우후죽순으로 도입되고 있는 인공지능 의사결정이 은밀하게 차별을 자동화할 가능성도 적지 않습니다.
자동화된 차별적 결정에 구속되지 않을 권리, 그리고 이를 보장할 수 있는 인공지능 거버넌스를 요구해야 할때는 아닐까요?

정보인권연구소의 제5차 정보인권포럼은
2019년 <머신러닝 알고리즘과 차별> 논문을 발표하신 남중권 박사님을 모시고 이에 대하여 토론해 보고자 합니다.

★ 제5차 정보인권포럼 ★
- 주제 : 머신러닝 알고리즘과 차별
- 사회 : 이호중 교수 (정보인권연구소 이사장 / 서강대학교 법학전문대학원)
- 발제 : 남중권 박사 (고려대학교 법학연구원)
- 토론 : 박한희 변호사 (공익인권변호사모임 희망을만드는법)
- 일시 : 2019년 12월 17일(화) 오후7시
- 장소 : 한국방송통신대학교 열린관 421호 (서울지하철 4호선 혜화역)
- 참석신청 : https://www.onoffmix.com/event/203582

 

4차산업혁명시대에서 정보인권보호를위한 실태조사

4차 산업혁명 시대에 정보인권을 어떻게 보호해야 할까요?
최근 국제사회는 이 문제에 대한 정책적 대안을 다양하게 모색하고 있습니다.

예를 들어 하버드대 버크만센터는 <인공지능과 인권, 기회와 위험(Artificial Intelligence & Human Rights: Opportunities & Risks)> 보고서를 통해 인공지능(AI)에 대한 인권영향평가를 제안하였습니다. 이 보고서에서 인권영향평가를 실시한 결과, 인공지능은 프라이버시권에 가장 큰 영향을 미쳤으며, 평등권, 표현의 자유, 집회결사의 자유, 노동권 등 다른 권리들도 상당히 영향을 받는 것으로 나타났습니다. 또 취약한 집단에 속해 있는 사람은 다른 사람보다 훨씬 더 강력한 영향을 받는 것으로 드러났습니다. 버크만센터는 인공지능이 인권을 존중하는 방식으로 배치될 수 있도록 유엔 기업과 인권 이행지침 등 국제인권규범의 역할이 중요하다는 점을 강조했습니다.

최근 데이비드 케이 유엔 표현의 자유 특별보고관 역시 인공지능이 인권을 위협하는 데 대해 우려를 표하고 이를 방지하기 위해 인권영향평가를 제안하였습니다. 인공지능은 그 작동이 사용자에게 숨겨져 있다는 점에서, 그리고 인공지능에 의한 정보의 개인화가 편향을 강화하고 도발적 콘텐츠나 가짜뉴스를 촉진할 수 있다는 점에서 사용자의 자기결정권과 자율성을 침해합니다. 프로파일링과 사용자 타게팅은 개인정보의 대량수집과 사용자가 제공하지 않은 민감 정보의 추정 등을 통해 프라이버시권을 위협할 수 있습니다. 인공지능에 의한 온라인 콘텐츠 편집과 필터링은 표현의 자유와 차별받지 않을 권리를 위협할 수 있습니다. 특별보고관은 기업과 정부가 인공지능의 개발, 구매, 이용 단계 이전에 인권영향평가를 시행할 필요가 있다고 지적하였습니다.

정보인권연구소는 2018년 11월 문화사회연구소, 참세상연구소와 함께 「4차산업혁명시대에서 정보인권보호를위한 실태조사」 보고서를 발간하였습니다.
이 실태조사는 국가인권위원회가 발주한 과제로서, 사단법인 참세상이 수행하고 문화사회연구소 이광석 교수(서울과학기술대학교)가 책임을 맡았습니다. 정보인권연구소에서는 오병일, 홍지은 연구위원이 참여했습니다.

특히 실태보고서에서는 4차 산업혁명과 정보인권에 대한 관계 시민 및 관계전문가 인식 조사를 수행하였습니다.
시민들은 4차 산업혁명과 정보인권 보호 둘 다 중요하게 생각하지만 정보인권을 보다 중요하게 고려하는 것으로 나타났습니다. 또 개인정보를 활용하여 안전과 건강수준을 향상시켜 직접적으로 도움이 될 서비스에 대해서는 대체로 긍정적으로 바라보았지만, 금융과 신용평가 등 편익이 불확실한 부분에 대한 개인정보의 활용에는 부정적 의견이 많았습니다. 하지만, 가명정보를 정보주체의 동의 없이 가공하는 것에 대해서는 반대 의견을 보다 분명히 했습니다. 개인정보를 수집, 관리하는 공공기관이나 기업에 대해 낮은 신뢰를 보였습니다. 무엇보다 정책방향과 관련해서 전반적으로 개인정보 보호를 위한 보다 강력한 조치들을 요구하였고, 특히 4차 산업혁명의 발달을 위해 개인정보 규제를 완화하는 것에 대해서는 반대 의견이 많이 보였습니다.

보고서는 정보인권 보호와 확장을 위한 법제도 및 정책도 제안하였습니다.
우선, 시스템의 투명성을 보장하고, 설계단계에서부터 정보인권을 보호하며, 개인정보의 수집 및 처리의 전 과정에서 정보주체의 권리가 보장되도록 개인정보 보호법제를 개선해야 합니다.
다음으로, 정보수사기관의 지능화된 국가 감시에 대해 통제 절차와 감독체계의 마련이 필요합니다.

※ <전체 연구보고서> 파일은 국가인권위원회에서 다운받으시거나 첨부파일을 참고하시기 바랍니다.

※ <연구 요약문>을 우편으로 받으실 분은 이메일 idr.sec 골뱅이 gmail.com 로 주소를 보내주시면 추후 발송해 드리겠습니다.

 

[강좌] 시민을 위한 인공지능 리터러시

정보인권연구소 기획강좌 웹자보_수정_960px

 

강좌신청 (클릭) / 온오프믹스에서 신청

 

인공지능 알파고가 이세돌 9단을 이겼을 때 많은 사람들이 놀라움과 함께 두려움을 느꼈습니다. 기계가 지배할지도 모른다는 두려움과 뒤쳐지면 안된다는 두려움. 대선주자들도 너나할것없이 하루빨리 ‘4차 산업혁명'에 앞서가야 한다고 외쳤습니다.

인공지능, 빅데이터, 사물인터넷...우리 삶에 편익을 가져다 준다고 하는데, 두려움이 앞서는 이유는 무엇일까요? 뒤쳐지지 않기 위해 빨리 뛰기만 하면 되는 것일까요.

기술이 가지고 올 가능성과 기술 뒤에 숨은 욕망을 찬찬히 살펴봐야 할 때입니다. 온갖 호들갑과 허풍, 거품은 걷어내야 하겠지요. 그리고 그 기술을 온전히 시민의 것으로 만들기 위해, 지금 우리가 해야할 일은 무엇인지 고민해봐야 합니다.

정보인권연구소 기획강좌에 함께 해주신 강사 네 분이 여러분의 길라잡이가 되어드릴 것입니다.

 

- 일시 : 11월 29일(수), 30일(목), 12월 6일(수), 7일(목) 오후 7:00~9:00

- 장소 : 삼경교육센터 라움 5층 2강의실 (서울역 14번 출구 앞)

 

<프로그램>

11월 29일(수) : 빅데이터의 진실과 거짓말

김동환, 중앙대 공공인재학부 교수, <빅데이터는 거품이다> 저자

 

11월 30일(목) : 로봇시대, 인간의 일

구본권, 사람과디지털연구소 소장, <로봇 시대, 인간의 일> 저자

 

12월 6일(수) : 자율적 기술이 우리를 구원할 것인가

전치형, 카이스트 과학기술정책대학원 교수, 과학잡지 ‘에피’ 편집위원

 

12월 7일(목) : 인공지능 알고리즘을 믿느냐

최은창, 프리인터넷프로젝트 펠로우, <레이어 모델> 저자

 

<등록안내>

- 강좌 신청

- 수강료 : 8만원 (학생 및 시민사회단체 상근자의 경우에는 50% 할인됩니다.)

- 납부계좌 : 우리은행 1002-554-403889 오병일(정보인권연구소)

- 정보인권연구소 회원은 무료입니다. (회원 가입 후 신청을 하셔도 됩니다.)

http://idr.jinbo.net/member