알고리즘 영향평가 도구 안내
* 원문 : Algorithmic Impact Assessment Tool. (2021. 4. 시점)
1. 소개
알고리즘 영향평가(AIA)는 재무부의 <자동화된 의사결정 훈령>(이하 ‘훈령’)을 지원하는 의무적 위험성 평가 도구입니다. 이 도구는 자동화 된 의사결정 시스템의 영향 정도를 판단하는 질문지 형식입니다. 질문지는 48개의 위험성과 33개의 완화 조치에 대한 질문으로 구성되어 있습니다. 시스템 설계, 알고리즘, 의사결정 유형, 영향 및 데이터를 비롯한 여러 요소를 기반으로 평가 점수가 내려집니다.
AIA는 내부 및 외부 이해관계자의 자문과 모범 사례를 바탕으로 개발되었습니다. 이 도구는 공개적으로 개발되었으며 일반인도 공개 라이선스에 따라 공유 및 재사용이 가능합니다.
2. 평가의 사용 및 채점 방식
이 평가는 재무부 사무처가 학계, 시민 사회 및 기타 공공기관과 협의하여 수립한 것으로서 자동화된 의사결정 시스템의 위험성 영역에 대하여 캐나다 정부의 정책, 윤리, 행정법적 사항들을 고려하여 구성되었습니다. AIA는 각 부처 및 기관이 자동화 된 의사결정 시스템과 관련된 위험성을 더 잘 이해하고 관리 할 수 있도록 설계되었습니다. AIA는 표 1에 정의된 위험성 영역을 평가하기 위해 다양한 형식의 문항으로 구성됩니다.
<표 1> 정의된 위험성 영역
| 위험성 영역 | 정의 |
| 1. 프로젝트 | |
| 프로젝트 단계 | 프로젝트 소유자, 설명 및 단계 (설계 또는 구현) |
| 사업 동기 / 긍정적 영향 | 의사결정 절차에 자동화를 도입하려는 동기 |
| 위험성 개요 | 높은 수준의 프로젝트 위험성 지표 |
| 프로젝트 권한 | 프로젝트에 대해 새로운 정책 권한을 추구할 필요가 있음 |
| 2. 시스템 | |
| 시스템 관련 | 시스템의 사양 (예 : 이미지 인식, 위험성 평가 등) |
| 3. 알고리즘 | |
| 알고리즘 관련 | 알고리즘의 투명성, 쉽게 설명되는지 여부 등 |
| 4. 의사결정 | |
| 의사결정 관련 | 자동화된 의사결정의 분류 (예 : 보건의료서비스, 사회 지원, 면허 등) |
| 5. 영향 | |
| 영향평가 | 지속성, 가역성 및 영향을 받는 분야 (예 : 권리, 건강, 경제 또는 환경) |
| 6. 데이터 | |
| 소스 | 의사결정을 자동화하는 데 사용된 데이터의 출처 및 보안 등급 |
| 유형 | 정형 또는 비정형으로 사용되는 데이터의 종류 (오디오, 텍스트, 이미지 또는 비디오) |
AIA는 또한 식별된 위험성을 관리하기 위해 마련된 완화 조치를 평가합니다. 이 완화성에 대한 문항들은 표 2에 정의된 범주로 구성됩니다.
<표 2> 완화성 영역 정의
| 완화성 영역 | 정의 |
| 7. 자문 | |
| 내부 및 외부 이해관계자 | 개인정보보호 및 법률 전문가를 비롯해 자문받은 내부 및 외부의 이해관계자 |
| 8. 위험성 제거 및 완화 조치 | |
| 데이터 품질 | 데이터가 대표성을 가지고 편향적이지 않도록 보장하는 절차 및 이 절차들과 관련된 투명성 조치 |
| 절차적 공정성 | 시스템과 그 의사결정을 감사하는 절차 및 회복 조치 |
| 개인정보보호 | 개인정보를 보호하는 조치 |
2.1 채점
각 영역에는 1 개 이상의 문항이 포함되어 있으며, 문항들에 대한 답변들이 해당 영역의 최대 점수를 구성합니다. 각 문항의 값은 본래의 영향과 완화성에 기초하여 가중치가 부여되며, 이 가중치가 점수에 반영됩니다. 본래 영향에 대한 점수는 자동화의 위험성을 측정하는 반면, 완화성 점수는 자동화의 위험성을 관리하는 방법을 측정합니다.
위험성 영역 1~6 문항은 본래 영향 점수를 높여가고, 완화성 영역 7과 8 문항은 완화성 점수를 높여갑니다. 이 문항들은 다음과 같은 다양한 요소에 걸쳐 의사결정이 미칠 영향을 측정하기 위해 고안되었습니다.
- 개인 또는 공동체의 권리
- 개인 또는 공동체의 건강 또는 복리
- 개인, 단체 또는 공동체의 경제적 이익
- 생태계의 지속가능성
- 영향의 지속성과 가역성
<표 3> 위험성 영역에서 본래 영향 점수
| 위험성 영역 | 문항수 | 최대 점수 |
| 1 - 프로젝트 | 15 | 15 |
| 2 - 시스템 | 1 | 0 |
| 3 - 알고리즘 | 2 | 6 |
| 4 - 의사결정 | 1 | 6 |
| 5 - 영향 | 16 | 36 |
| 6 - 데이터 | 13 | 44 |
| 본래 영향 점수 | 48개 문항 | 최대 107 점 |
<표 4> 완화성 영역에서 완화성 점수
| 완화성 영역 | 문항수 | 최대 점수 |
| 7 - 자문 | 2 | 2 |
| 8 - 위험성 제거 및 완화 조치 | 31 | 43 |
| 완화성 점수 | 33개 문항 | 최대 45점 |
현재 점수는 다음과 같이 결정됩니다.
a. 완화성 점수가 달성 가능한 최대 점수의 80% 미만일 경우, 현재 점수는 본래 영향 점수와 같음
b. 완화성 점수가 달성 가능한 최대 점수의 80% 이상일 경우, 본래 영향 점수에서 15%를 차감함
이 현재 점수는 백분율 범위로 표시되며, <표 5>에 제시된 영향 수준에서 해당하는 범위를 맞춰 봅니다.
2.2 영향 수준
AIA를 완료하면 해당 시스템에 대한 영향 수준이 제시됩니다. 영향 수준은 수준 I (작은 영향)으로부터 수준 IV (매우 높은 영향)에 이르기까지 다양합니다. 영향 수준은 달성 가능한 최대 점수 대비 현재 점수의 백분율로 결정됩니다.
<표 5> 영향 수준 정의
| 영향 수준 | 정의 | 점수 백분율 범위 |
| 수준 I | 영향이 거의 없거나 전혀 없음 | 0 % ~ 25 % |
| 수준 II | 중간 영향 | 26 % ~ 50 % |
| 수준 III | 높은 영향 | 51 % ~ 75 % |
| 수준 IV | 매우 높은 영향 | 76 % ~ 100 % |
3. 지침
AIA는 정보공개 포털에서 온라인 질문지로 사용할 수 있습니다. 모든 문항을 마친 후 영향 수준 및 훈령상 요구사항 링크가 보여집니다. 또한 상세한 결과 페이지에서 해당 시스템이 그 수준으로 평가된 이유에 대한 설명을 볼 수 있습니다. 이 결과 및 설명은 PDF 포맷으로 인쇄 및 저장할 수 있습니다.
AIA는 서비스 대상자, 업무 절차, 데이터 및 시스템 설계 결정을 비롯해 광범위한 주제에서 자동화된 결정을 평가합니다. 이러한 영역들의 전문지식을 제공하는 다분야 팀과 함께 AIA를 실시하는 것이 가장 좋습니다.
AIA의 각 질문에 모두 답변해야 합니다. 질문에 대한 답변을 알 수없는 경우 이 질문에서 가장 낮은 점수를 선택하십시오. 해당되는 경우 요청을 받으면 문서 증거를 제공할 준비를 하십시오.
훈령 제6장은 기관이 수행해야 할 요구사항의 일반적인 목록을 제공합니다. 전문가검토 유형 및 결정에 인적으로 개입하는 정도를 포함하여 더 높은 영향 수준에서 일부 요구사항이 증가할 수 있습니다. 영향 수준별로 다양한 요구사항들을 준수하려면, 훈령 부록의 영향 수준별 요구사항을 참고하십시오. 그외 요구사항은 영향 수준별로 달라지지 않는 기본 요구사항으로서, 시스템 개발에 앞서 기관의 법률부서와 협의하고, 직원을 교육하며, 의사결정에 이의를 제기할 수 있는 법적인 소구 방안을 제공해야 합니다.
3.1 AIA 실시 시기
AIA는 프로젝트 설계 단계 초기에 실시되어야합니다. AIA의 결과에 따라 자동화된 의사결정 시스템을 구현할 때 준수해야 하는 훈령상의 완화성 및 자문 요구사항을 따르게 됩니다.
시스템의 생산 전에 두 번째로 AIA를 실시하여 해당 결과가 구축된 시스템에 정확하게 반영되었는지 확인해야합니다. 이 수정된 AIA 결과는 최종 결과로서 정보공개 포털에 공개되어야합니다.
3.2 결과 공개
각 기관은 AIA의 최종 결과를 정부 정보공개 포털에서 일반에 접근가능한 형식과 공용어 두 가지로 공개할 책임이 있습니다. AIA의 결과 페이지는 AIA에 입력 된 텍스트에 대한 번역을 제공하는 옵션을 제공합니다. 결과 페이지는 이 요구사항을 만족하기 위해 일반에 접근가능한 PDF 포맷으로 결과를 다운로드하는 옵션도 제공합니다.
알고리즘 영향평가 질문지
* 원문 : Algorithmic Impact Assessment. (2021. 4. 시점)
AIA의 정보는 사용자의 로컬 컴퓨터에만 저장되며, 캐나다 정부는 사용자가 도구에 입력한 정보에 접근할 수 없습니다. 작업을 보관하려면 나중에 사용할 수 있도록 ‘저장’ 버튼을 사용하여 데이터를 로컬에 저장하십시오. ‘JSON 파일 업로드’ 버튼을 사용하여 이전에 저장된 AIA 양식을 다시 로드할 수 있습니다.
제1장 : 프로젝트 세부정보
답변자 이름
직책
기관명
부서명
프로젝트명
IT 계획상 프로젝트 ID
부서 프로그램명(부서 성과 체계상)
프로젝트 단계(필수)
□ 설계
□ 구현
프로젝트 설명을 입력하십시오.
제2장 : 사업 동기 / 긍정적 영향
귀 기관의 팀이 이 의사결정 과정에 자동화를 도입하는 동기는 무엇입니까? (해당 항목 모두 체크하시오)
□ 기존 업무 또는 사건의 적체
□ 전반적인 의사 결정의 품질 향상
□ 기존 프로그램의 처리 비용 절감
□ 시스템이 인간이 합리적인 시간 내에 수행할 수 없었던 업무를 수행함
□ 혁신적인 접근 방식의 사용
□ 기타 (구체적으로 작성하십시오)
제3장 : 위험성 개요
프로젝트가 (예를 들어 개인정보보호 문제로 인해) 집중적인 공공 조사 영역에 속하거나 소송이 빈번한 영역에 속합니까?
□ 예
□ 아니오
이 업계의 고객이 특히 취약합니까?
□ 예
□ 아니오
의사결정의 이해관계가 첨예합니까?
□ 예
□ 아니오
프로젝트가 직원의 수나 역할 측면에 큰 영향을 미칩니까?
□ 예
□ 아니오
제4장 : 프로젝트 권한
이 프로젝트에 새로운 정책 권한이 필요합니까?
□ 예
□ 아니오
제5장 : 시스템 관련
다음 중 시스템에 적용되는 기능을 체크하십시오.
□ 이미지 및 개체 인식: 이미지 또는 개체와 관련된 인식, 분류 및 맥락화를 자동화하기 위해 대단히 큰 규모의 데이터셋을 분석함
□ 텍스트 및 음성 분석: 텍스트, 발화, 음성을 식별, 처리, 태그하고 태그에 기반하여 권고하기 위하여 큰 규모의 데이터셋을 분석함
□ 위험성 평가: 패턴을 식별하고 및 행동 방침을 권고하거나 경우에 따라 특정 조치를 개시하기 위하여 대단히 큰 규모의 데이터셋을 분석함
□ 콘텐츠 생성: 특정 상황에서 특정 컨텐츠를 분류, 처리, 분배, 개인화 및 서비스하기 위하여 큰 규모의 데이터셋을 분석함
□ 프로세스 최적화 및 업무절차 자동화: 이상 징후를 식별하고, 패턴을 군집화하고, 결과 또는 최적화 방법을 예측하고, 특정 업무절차를 자동화하기 위하여 큰 규모의 데이터셋을 분석함
□ 기타 (특정하시오)
제6장 : 알고리즘 관련
알고리즘에 다음 특성이 있습니까?
사용되는 알고리즘이 (영업) 비밀이 될 것이다
□ 예
□ 아니오
알고리즘 처리가 해석하거나 설명하기 어려울 것이다
□ 예
□ 아니오
제7장 : 의사결정 관련
의사결정이 아래 범주 중 하나에 해당합니까(해당 항목 모두 체크하십시오)?
□ 보건의료 관련 서비스
□ 경제적 이익(보조금 및 기금, 세금 혜택, 채권 추심)
□ 사회적 지원(예 : 장애인 신청 등)
□ 접근성 및 이동성(보안 허가서, 국경 통과)
□ 면허 및 허가서 발급
□ 기타 (특정하시오)
제8장 : 영향평가 관련
이 시스템은 의사결정자를 보조하는 데만 사용됩니까?
□ 예
□ 아니오
이 시스템이 인간에 의해 이루어질 수 있는 의사결정을 대체합니까?
□ 예
□ 아니오
이 시스템이 판단이나 재량권이 필요한 인간의 의사결정을 대체합니까?
□ 예
□ 아니오
시스템을 개발한 부서가 아닌 다른 부서에서 이 시스템을 사용합니까?
□ 예
□ 아니오
의사결정에 따른 영향을 되돌릴 수 있습니까?
□ 되돌릴 수 있음
□ 비교적 되돌릴 수 있음
□ 되돌리는 것이 어려움
□ 되돌리는 것이 불가능함
의사결정으로 인한 영향이 얼마나 지속됩니까?
□ 잠시 영향을 미치는 편임
□ 어떤 영향은 몇 개월 동안 지속되지만, 어떤 영향은 더 오래 지속될 수 있음
□ 영향이 수년간 지속됨
□ 대부분의 영향이 영구적임
위에서 선택한 답변에 따라 의사결정으로 인한 영향이 발생한 이유를 설명하십시오.
의사결정이 개인의 권리나 자유에 미치는 영향이 다음과 같습니다.
□ 영향이 거의 없거나 전혀 없음
□ 온건한 영향을 미침
□ 높은 영향을 미침
□ 매우 높은 영향을 미침
(위에서 선택한 답변에 따라) 의사결정으로 인한 영향이 발생한 이유를 설명하십시오.
의사결정이 개인의 건강과 복리에 미칠 영향이 다음과 같습니다.
□ 영향이 거의 없거나 전혀 없음
□ 온건한 영향을 미침
□ 높은 영향을 미침
□ 매우 높은 영향을 미침
(위에서 선택한 답변에 따라) 의사결정으로 인한 영향이 발생한 이유를 설명하십시오.
의사결정이 개인의 경제적 이익에 미치는 영향이 다음과 같습니다.
□ 영향이 거의 없거나 전혀 없음
□ 온건한 영향을 미침
□ 높은 영향을 미침
□ 매우 높은 영향을 미침
(위에서 선택한 답변에 따라) 의사결정으로 인한 영향이 발생한 이유를 설명하십시오.
의사결정이 환경 생태계의 지속가능성에 미칠 영향이 다음과 같습니다.
□ 영향이 거의 없거나 전혀 없음
□ 온건한 영향을 미침
□ 높은 영향을 미침
□ 매우 높은 영향을 미침
(위에서 선택한 답변에 따라) 의사결정으로 인한 영향이 발생한 이유를 설명하십시오.
제9장 : 데이터 관련
A. 데이터 소스
자동화된 의사결정 시스템이 개인 정보를 입력 데이터로 사용합니까?
□ 예
□ 아니오
이 시스템에서 사용하는 입력 데이터의 최고 보안 등급은 무엇입니까? (하나를 선택하십시오)
□ 없음
□ A급 보호
□ 기밀 / 대외비 (Classified / Confidential)
□ B급 보호 / C급 보호
□ 비밀 / 최고비밀 (Secret / Top Secret)
누가 데이터를 관리합니까?
□ 공개 데이터
□ 연방 정부
□ 지방자치단체
□ 민간기관 / 시민단체
이 시스템이 여러 다른 소스의 데이터를 사용합니까?
□ 예
□ 아니오
이 시스템이 인터넷 또는 원격 통신 장치로 데이터를 입력합니까? (예: 사물 인터넷, 센서)
□ 예
□ 아니오
이 시스템이 다른 IT 시스템과 상호 작용할 것인가?
□ 예
□ 아니오
이 시스템을 학습시키는데 사용되는 데이터를 누가 수집했습니까?
□ 우리 기관 자체
□ 다른 연방 기관
□ 다른 정부 기관
□ 외국 정부 / 제3의 비정부기관
이 시스템에서 사용하는 입력 데이터를 누가 수집했습니까?
□ 우리 기관 자체
□ 다른 연방 기관
□ 다른 정부 기관
□ 외국 정부 / 제3의 비정부기관
B. 데이터 유형
이 시스템이 권고사항이나 의사결정을 내리기 위해 비정형 데이터의 분석을 필요로 합니까?
□ 예
□ 아니오
(‘예’인 경우) 비정형 데이터의 유형은 무엇입니까?
□ 오디오 및 텍스트 파일
□ 이미지 및 비디오 파일
제10장 : 자문
다음 집단이 관여합니까?
내부 이해관계자(전략 정책 및 계획 부서, 데이터 거버넌스 부서, 프로그램 정책 부서 등)
□ 예
□ 아니오
외부 이해관계자(시민사회, 학계, 산업계 등)
□ 예
□ 아니오
제11장 : 위험성 제거 및 완화 조치 - 데이터 품질
편향성 및 기타 예상치 못한 결과물에 대해 데이터셋을 검사하기 위해 문서화된 절차를 두고 있습니까? 이런 절차들은 체계, 방법론, 지침 또는 기타 평가 도구를 적용한 사례 등을 말합니다.
□ 예
□ 아니오
설계 단계에서 데이터 품질 문제를 해결하는 방식에 대해 문서화하는 절차를 두고 있습니까?
□ 예
□ 아니오
위 정보가 공개됩니까?
□ 예
□ 아니오
이 데이터에 대하여 ‘젠더 기반 분석 플러스’를 적용할 예정입니까?
□ 예
□ 아니오
위 정보가 공개됩니까?
□ 예
□ 아니오
이 시스템의 설계, 개발, 유지보수 및 개선에 대한 책임을 소속 기관 내에서 할당했습니까?
□ 예
□ 아니오
오래된 데이터나 신뢰할 수 없는 데이터가 자동화된 의사 결정에 사용되는 위험을 관리하기 위하여 문서화된 절차를 두고 있습니까?
□ 예
□ 아니오
위 정보가 공개됩니까?
□ 예
□ 아니오
이 시스템에 사용된 데이터가 정보공개포털에 공개됩니까?
□ 예
□ 아니오
제12장 : 위험성 제거 및 완화 조치 - 절차적 공정성
감사추적(audit trail) 기능이 법률에서 명시된 권한 또는 위임된 권한을 확인합니까?
□ 예
□ 아니오
이 시스템은 시스템에 의해 수행된 모든 권고사항 또는 의사결정을 기록한 감사추적 정보를 제공합니까?
□ 예
□ 아니오
모든 주요 의사결정 사항이 감사추적 정보에서 확인됩니까?
□ 예
□ 아니오
자동화된 시스템 로직 내의 모든 주요 의사결정 사항들이 관련 법률, 정책 또는 절차와 관련되어 있습니까?
□ 예
□ 아니오
모델과 시스템의 모든 변경 사항을 상세히 기록한 로그기록을 유지합니까?
□ 예
□ 아니오
감사추적 기능이 시스템에 의해 결정된 모든 사항을 명확하게 규정합니까?
□ 예
□ 아니오
시스템이 생성한 감사추적 기능을 사용하여 필요한 경우 결정 통지(이유서 또는 기타 통지 포함)를 생성할 수 있습니까?
□ 예
□ 아니오
감사추적 기능이 시스템의 각 결정에 대해 어떤 버전의 시스템이 사용되었는지 정확하게 식별할 수 있습니까?
□ 예
□ 아니오
감사추적 기능이 권한이 있는 의사결정자가 누구인지 식별할 수 있습니까?
□ 예
□ 아니오
시스템이 필요할 경우 의사결정이나 권고사항에 대한 이유를 제시할 수 있습니까?
□ 예
□ 아니오
시스템에 대한 접근 권한을 부여, 모니터링 및 취소하는 절차가 있습니까?
□ 예
□ 아니오
시스템 사용자가 피드백을 포착할 수 있는 메커니즘이 있습니까?
□ 예
□ 아니오
의사결정에 대해 이의를 제기하고자 하는 고객을 위해 계획 또는 수립된 소구 절차가 있습니까?
□ 예
□ 아니오
시스템의 결정에 대해 인간의 기각이 가능합니까?
□ 예
□ 아니오
기각이 이루어졌을 때 그 사실을 기록하는 절차가 있습니까?
□ 예
□ 아니오
감사추적 기능에 시스템의 작동 또는 성능에 대한 수정사항을 기록하는 변경사항 관리 절차가 포함됩니까?
□ 예
□ 아니오
캐나다 정부 <정보기술아키텍처 검토위원회>에 컨셉 케이스를 제출할 예정입니까?
□ 예
□ 아니오
제13장 : 위험성 제거 및 완화 조치 - 개인정보보호
시스템에 개인정보 사용이 포함된 경우, 개인정보 영향평가를 수행하거나 수행한 적이 있거나, 기존 영향평가를 갱신할 예정입니까?
□ 예
□ 아니오
프로젝트의 개념 수립 단계에서부터 시스템에 보안과 개인정보보호조치를 설계하고 구축합니까?
□ 예
□ 아니오
개인정보가 폐쇄형 시스템(예 : 인터넷, 인트라넷 또는 다른 시스템에 대한 연결이 없음) 내에서 사용됩니까?
□ 예
□ 아니오
개인정보 공유와 관련된 경우, 적절한 보호조치가 수반된 동의서 또는 약정이 수립되어 있습니까?
□ 예
□ 아니오