* 원문: The Assessment List for Trustworthy Artificial Intelligence (ALTAI) for self-assessment.
2020. 7. 17.
인공지능고위전문가그룹 (High-Level Expert Group on Artificial Intelligence)
기본권
| 1. 인공지능 시스템은 잠재적으로 다음과 같은 근거 등에 기초하여 사람들을 부정적으로 차별합니까? (성별, 인종, 피부색, 민족적 또는 사회적 기원, 유전적 특징, 언어, 종교 또는 신념, 정치적 또는 다른 의견, 소수 민족의 일원, 재산, 출생, 장애, 나이 또는 성적지향 등) ― 인공지능 시스템의 개발, 배치 및 사용단계에서 잠재적인 부정적인 차별(편향)을 테스트하고 모니터링하는 프로세스를 마련했습니까? ― 인공지능 시스템에서 잠재적인 부정적인 차별(편향)을 해결하고 시정하기 위한 프로세스를 마련했습니까? 2. 인공지능 시스템은 예를 들어, 아동보호와 아동의 최선의 이익을 고려하는 것과 관련하여 아동의 권리를 존중합니까? ― 인공지능 시스템이 아동에게 미칠 잠재적인 피해를 해결하고 시정하는 프로세스를 마련했습니까? ― 인공지능 시스템의 개발, 배치 및 사용단계에서 아동에 대한 잠재적인 피해를 테스트하고 모니터링하는 프로세스를 마련했습니까? 3. 인공지능 시스템은 GDPR에 따라 개인과 관련된 개인정보를 보호합니까? ― 인공지능 시스템의 개발, 배치 및 사용단계와 관련하여, 그 목적과 관련된 처리작업의 필요성 및 비례성 평가를 포함하여, 개인정보보호 영향평가의 필요성을 구체적으로 평가할 수 있는 프로세스를 구축했습니까? ― 인공지능 시스템의 개발, 배치 및 사용단계와 관련하여, 안전장치, 보안 조치 및 개인정보보호를 보장하기 위한 메커니즘을 포함하여, 위험에 대처하기 위한 조치를 구축했습니까? ― 이 평가목록의 프라이버시 및 데이터 거버넌스 섹션과 유럽개인정보보호감독관(European Data Protection Supervisor)이 제공하는 지침을 참조하십시오. 4. 인공지능시스템은 표현과 정보의 자유 및 집회와 결사의 자유를 존중합니까? ― 인공지능 시스템의 개발, 배치 및 사용단계에서, 표현과 정보의 자유, 집회와 결사의 자유에 대한 잠재적인 침해를 테스트하고 모니터링하는 프로세스를 구축했습니까? ― 인공지능 시스템에서 표현과 정보의 자유 및 집회와 결사의 자유에 대한 잠재적인 침해를 해결하고 시정하기 위한 프로세스를 구축했습니까? |
1. 인간행위자와 감독
◎ 인간행위자와 자율성
| • 인공지능 시스템은 최종사용자가 인간이나 사회에 영향을 미치는 상호작용, 안내 또는 결정을 내리도록 설계되었습니까? ― 인공지능 시스템이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과인지 여부에 대해 일부 또는 모든 최종사용자 또는 주체에 혼란을 일으킬 수 있습니까? ― 최종사용자 또는 다른 주체들이 결정, 내용, 조언 또는 결과가 알고리즘 결정의 결과라는 것을 적절하게 인식하고 있습니까? • 인공지능 시스템이 일부나 모든 최종사용자 또는 주체에게 인간 또는 인공지능 시스템과 상호작용하는지 여부에 대해 혼란을 일으킬 수 있습니까? ― 최종사용자 또는 주체가 인공지능시스템과 상호작용하고 있다는 정보를 받습니까? • 인공지능 시스템이 최종사용자의 과도한 의존도를 발생시킴으로써 인간의 자율성에 영향을 미칠 수 있습니까? ― 최종사용자가 인공지능 시스템에 과도하게 의존하지 않도록 절차를 마련했습니까? • 인공지능 시스템이 의도하지 않고 바람직하지 않은 방식으로 최종사용자의 의사결정과정에 간섭함으로써 인간의 자율성에 영향을 미칠 수 있습니까? ― 인공지능 시스템이 실수로 인간의 자율성에 영향을 미치지 않도록 어떤 절차를 마련했습니까? • 인공지능 시스템은 최종사용자 또는 주체간의 또는 그들과의 사회적 상호작용을 시뮬레이션합니까? • 인공지능 시스템은 인간의 애착을 형성하거나, 중독적인 행동을 자극하거나, 사용자 행동을 조작할 위험이 있습니까? 어떤 위험이 가능한지 또는 가능성이 있는지에 따라 아래 질문에 답하십시오. ― 인공지능 시스템에 불균형한 애착을 갖게 될 경우 최종사용자 또는 주체에게 발생할 수 있는 부정적인 결과에 대처하기 위한 조치를 취했습니까? ― 중독의 위험을 최소화하기 위한 조치를 취했습니까? ― 조작의 위험을 완화하기 위한 조치를 취했습니까? |
◎ 인간의 감독
| • 인공지능 시스템이 다음과 같은지 여부를 확인하십시오(적절한 것을 모두 선택하세요). ― 자가학습 또는 자율적인 시스템입니까? ― Human-in-the-Loop(인간참여)에 의해 감독됩니까? ― Human-on-the-Loop(인간지배)에 의해 감독됩니까? ― Human-in-Command(인간지휘)에 의해 감독됩니까? • 인간(Human-in-the-Loop, Human-on-the-Loop, Human-in-Command)은 감독을 수행하는 방법에 대한 특정 훈련을 받았습니까? • 최종사용자 또는 주체에 대한 인공지능 시스템의 바람직하지 않은 부작용에 대한 탐지 및 대응 메커니즘을 수립했습니까? • 필요할 때 작업을 안전하게 중단하기 위한 '중지 버튼' 또는 관련 절차를 보장했습니까? • 인공지능 시스템의 자가학습 또는 자율성을 반영하기 위해 특정 감독 및 통제 조치를 취했습니까? |
2. 기술적 견고성과 안전성
◎ 공격에 대한 회복성과 보안
| • 인공지능 시스템이 설계 또는 기술적 결함, 결점, 중단, 공격, 오용, 부적절하거나 악의적인 사용과 같은 위험이나 위협의 경우에 (예를 들어, 인간 또는 사회 안전에) 적대적이고 치명적인 해로운 영향을 미칠 수 있습니까? • 인공지능 시스템이 사이버보안에 대해 인증을 받았습니까? (예: 유럽의 사이버보안법에 의해 생성된 인증제도) 또는 특정 보안 표준을 준수합니까? • 인공지능 시스템은 사이버공격에 얼마나 노출되어 있습니까? ― 인공지능 시스템이 취약할 수 있는 잠재적인 공격 형태를 평가했습니까? ― 다음과 같은 다양한 유형의 취약점과 잠재적인 공격 진입점을 고려했습니까? * 데이터 중독(즉, 훈련데이터 조작) * 모델 회피(즉, 공격자의 의지에 따라 데이터를 분류하는 것) * 모델 역전(즉, 모델 매개변수 추론) • 수명주기 동안 발생할 수 있는 잠재적인 공격에 대비하여 인공지능 시스템의 무결성, 견고성 및 전반적인 보안을 보장하기 위한 조치를 취했습니까? • 시스템을 레드팀(red-team)/펜테스트(침투시험,pentest)했습니까? • 최종사용자에게 보안적용 범위 및 업데이트 기간을 알렸습니까? ― 인공지능 시스템에 대한 보안 업데이트를 제공하는 예상 기간은 얼마나 됩니까? |
◎ 일반적 안전성
| • 각 특정 용도 사례에서 인공지능 시스템의 위험, 위험지표 및 위험 수준을 정의했습니까? ― 위험을 지속적으로 측정하고 평가하는 프로세스를 마련했습니까? ― 최종사용자와 주체에게 기존 또는 잠재적 위험을 알렸습니까? • 인공지능 시스템에 대한 가능한 위협(설계 결함, 기술적 결함, 환경 위협)과 발생할 수 있는 결과는 무엇입니까? ― 인공지능 시스템의 악의적 사용, 오용 또는 부적절한 사용의 위험을 평가했습니까? ― 인공지능 시스템의 결함 또는 오용으로 인해 발생할 수 있는 결과의 (예를 들어, 인간의 무결성과 관련된) 안전 임계 수준을 정의했습니까? • 안정적이고 신뢰할 수 있는 동작에 대한 중요한 인공지능 시스템의 결정 의존도를 평가했습니까? ― 신뢰성/테스트 요구사항을 적절한 수준의 안정성 및 신뢰성에 맞추었습니까? • 중복시스템 또는 다른 병렬시스템(인공지능 기반 또는 '기존'시스템)을 통해 내결함성을 계획했습니까? • 인공지능 시스템이 기술적 견고성과 안전성에 대한 새로운 검토를 받을 수 있도록 언제 변경되었는지 평가하는 메커니즘을 개발했습니까? |
◎ 정확성
| • 인공지능 시스템의 정확도가 낮으면 치명적이거나 적대적이거나 해로운 결과를 초래할 수 있습니까? • 인공지능 시스템을 개발하는데 사용되는 데이터(훈련데이터 포함)가 시스템이 배포될 환경을 대표하는 고품질의 완전하고 최신 상태인지 확인하기 위한 조치를 취했습니까? • 인공지능 시스템의 정확성을 모니터링하고 문서화하기 위한 일련의 단계를 마련했습니까? • 인공지능 시스템의 작동이 학습된 데이터나 가정을 무효화할 수 있는지 여부와 이것이 어떻게 적대적인 영향을 미칠 수 있는지 고려했습니까? • 최종사용자 및 주체가 예상할 수 있는 인공지능 시스템의 정확도 수준이 적절하게 전달되도록 프로세스를 마련했습니까? |
◎ 신뢰성, 대체계획 및 재현성
| • 신뢰도 및 재현성이 낮은 경우 인공지능 시스템이 (예를 들어, 인간의 안전과 관련된) 치명적, 적대적 또는 해로운 결과를 일으킬 수 있습니까? ― 인공지능 시스템이 의도한 목표를 충족하는지 모니터링하기 위해 잘 규정된 프로세스를 마련했습니까? ― 재현성을 보장하기 위해 특정 상황이나 조건을 고려해야 하는지 여부를 테스트했습니까? • 인공지능 시스템의 신뢰성과 재현성의 다양한 측면을 평가하고 보장하기 위해 검증 및 승인 방법과 문서화(예:로깅)를 마련했습니까? ― 인공지능 시스템의 신뢰성 및 재현성을 테스트하고 검증하기 위한 프로세스를 명확하게 문서화하고 운영가능하도록 했습니까? • 어떤 출처에서든 인공지능 시스템 오류를 해결하기 위한 테스트 된 안전장치 대체 계획을 정의하고, 이를 촉발하기 위한 거버넌스 절차를 마련하였습니까? • 인공지능 시스템이 낮은 신뢰도 점수로 결과를 산출하는 경우를 처리하기 위한 적절한 절차를 마련했습니까? • 인공지능 시스템은 (온라인) 연속 학습(continual learning)을 사용하고 있습니까? ― 인공지능 시스템이 객관적 기능에 대한 점수를 높이기 위해 새로운 방법이나 특이한 방법을 학습하는데 있어 잠재적인 부정적 결과를 고려했습니까? |
3. 프라이버시 및 데이터 거버넌스
◎ 프라이버시
| • 프라이버시권, 신체적, 정신적 및 도덕적 무결성에 대한 권리, 개인정보보호 권리에 대한 인공지능 시스템의 영향을 고려했습니까? • 사용 사례에 따라, 인공지능시 스템에 관한 프라이버시와 관련된 문제를 표시할 수 있는 메커니즘을 설정했습니까? |
◎ 데이터 거버넌스
| • 인공지능 시스템이 개인정보(특정 범주의 개인정보 포함)를 사용하거나 처리하여 훈련을 받았거나 개발되었습니까? • GDPR(일반개인정보보호법) 혹은 유럽 이외 지역에서 이에 상응하는 규정에 따라 일부는 의무적으로 적용되는, 다음 조치를 취했습니까? * 개인정보영향평가(DPIA) * 개인정보보호책임자(DPO)를 지정하고 그들을 인공지능 시스템의 개발, 조달 또는 사용 단계의 초기에 포함 * 개인정보 처리를 위한 감독 메커니즘(자격 있는 직원으로 접근 제한, 데이터 접근 기록 및 수정 메커니즘 포함) * 설계 및 기본값에 의한 프라이버시 보호를 달성하기 위한 조치(예: 암호화, 가명화, 집계, 익명화) * 데이터 최소화, 특히 개인정보(특정 범주의 개인정보 포함) ― 동의철회권, 거부권, 잊힐 권리를 인공지능 시스템 개발에 구현하였습니까? ― 인공지능 시스템의 수명주기 동안 수집, 생성 또는 처리되는 데이터의 프라이버시 및 개인정보보호 영향을 고려했습니까? • 인공지능 시스템의 비개인 훈련데이터 또는 기타 처리된 비개인 데이터의 프라이버시 및 개인정보보호 영향을 고려했습니까? • 인공지능 시스템을 관련 표준(예: ISO, IEEE) 또는 (일상)데이터 관리 및 거버넌스를 위해 널리 채택된 규약에 맞추었습니까? |
4. 투명성
◎ 추적가능성
| • 전체 수명주기 동안 인공지능 시스템의 추적가능성을 다루는 조치를 취했습니까? ― 인공지능 시스템에 대한 입력데이터의 품질을 지속적으로 평가하기 위한 조치를 마련했습니까? ― 인공지능 시스템이 특정 결정(들) 또는 권장사항(들)을 내리는데 사용된 데이터를 추적할 수 있습니까? ― 어떤 인공지능 모델이나 규칙이 인공지능 시스템의 결정(들)이나 권고사항으로 이어졌는지 추적할 수 있습니까? ― 인공지능 시스템의 출력 품질을 지속적으로 평가하기 위한 조치를 취했습니까? ― 인공지능 시스템의 결정(들) 또는 권장사항(들)을 기록하기 위해 적절한 로깅 관행을 마련했습니까? |
◎ 설명가능성
| • 인공지능 시스템의 결정을 사용자에게 설명했습니까? • 사용자가 인공지능 시스템의 결정을 이해하고 있는지 지속적으로 조사합니까? |
◎ 고지
| • 대화형 인공지능 시스템(예: 챗봇, 로봇 변호사)의 경우, 사용자가 인간이 아닌 인공지능 시스템과 상호작용하고 있음을 사용자에게 전달합니까? • 인공지능 시스템에 의해 생성된 결정의 목적, 기준 및 한계에 대해 사용자에게 알리는 메커니즘을 수립했습니까? ― 인공지능 시스템의 이점을 사용자에게 전달했습니까? ― 정확도 및 오류율과 같은 인공지능 시스템의 기술적 한계 및 잠재적 위험을 사용자에게 전달했습니까? ― 인공지능 시스템을 적절하게 사용하는 방법에 대해 사용자에게 적절한 교육자료 및 면책조항을 제공했습니까? |
5. 다양성, 차별금지, 공정성
◎ 불공정한 편향 회피
| • 인공지능 시스템에서, 입력데이터 사용 및 알고리즘 설계 모두에 대해 불공정한 편향을 생성하거나 강화하는 것을 방지하기 위한 전략이나 일련의 절차를 수립했습니까? • 데이터에서 최종사용자 및 주체의 다양성과 대표성을 고려했습니까? ― 특정 대상그룹이나 문제가 있는 사용 사례에 대해 테스트했습니까? ― 데이터와 모델 및 성능에 대한 이해를 향상시키기 위해, 공개적으로 사용가능한 최신 기술이 적용된 기술 도구를 조사하고 사용했습니까? ― 인공지능 시스템의 전체 수명주기 동안 잠재적 편향(예: 사용된 데이터셋 구성으로 발생할 수 있는 제한에 따른 편향(다양성 부족, 대표성 부족))에 대해 테스트 및 모니터링하는 프로세스를 평가하고 구축했습니까? ― 관련이 있는 경우, 데이터에서 최종사용자 및 주체의 다양성과 대표성을 고려했습니까? • 인공지능 설계자와 인공지능 개발자가 인공지능 시스템을 설계하고 개발할 때 주입할 수 있는 편견을 더 잘 인식할 수 있도록 교육 및 인식 이니셔티브를 마련했습니까? • 인공지능 시스템의 편향, 차별 또는 성능저하와 관련된 문제를 표시(신고)할 수 있는 메커니즘을 보장했습니까? ― 그러한 문제를 누구에게 어떻게 제기할 수 있는지에 대해 명확한 단계와 방법을 설정했습니까? ― (최종)사용자 및 주체 외에 인공지능 시스템에 의해 잠재적으로 직(간)접적으로 영향을 받을 수 있는 대상을 식별했습니까? • 공정성에 대한 정의는 인공지능 시스템을 설정하는 프로세스의 모든 단계에서 일반적으로 사용되고 구현됩니까? ― 이것을 선택하기 전에 공정성에 대한 다른 정의를 고려했습니까? ― 공정성에 대한 올바른 정의에 대해 영향을 받는 지역 공동체, 즉 노인 또는 장애인 대표 등과 협의했습니까? ― 적용된 공정성의 정의를 측정하고 테스트하기 위한 정량적 분석 또는 측정기준을 확인했습니까? ― 인공지능 시스템의 공정성을 보장하기 위한 메커니즘을 구축했습니까? |
◎ 접근가능성 및 보편적 설계
| • 인공지능 시스템이 사회의 다양한 선호도와 능력에 부합하는지 확인했습니까? • 인공지능 시스템의 사용자 인터페이스가 특별한 필요나 장애가 있는 사람들, 또는 배제 위험이 있는 사람들이 사용할 수 있는지 평가했습니까? ― 인공지능 시스템에 대한 정보와 인공지능 시스템의 사용자 인터페이스가 보조기술(예:화면 판독기) 사용자에게도 접근하고 사용할 수 있도록 보장했습니까? ― 인공지능 시스템의 계획 및 개발단계에서 보조기술이 필요한 최종사용자 또는 주체를 참여시키거나 협의했습니까? • 해당되는 경우, 계획 및 개발 과정의 모든 단계에서 보편적 설계 원칙을 고려했는지 확인했습니까? • 인공지능 시스템이 잠재적인 최종사용자 및 주체에 미치는 영향을 고려했습니까? ― 인공지능 시스템 구축에 관련된 팀이 가능한 대상 최종사용자 및 주체와 협력했는지 평가했습니까? ― 인공지능 시스템의 결과에 불균형적으로 영향을 받을 수 있는 그룹이 있을 수 있는지 평가했습니까? ― 최종사용자 또는 주체의 공동체에 대한 시스템의 불공정성의 위험을 평가했습니까? |
◎ 이해관계자 참여
| • 인공지능 시스템의 설계 및 개발에 가능한 가장 광범위한 이해관계자의 참여를 포함하는 메커니즘을 고려했습니까? |
6. 사회·환경적 복지
◎ 환경적 복지
| • 인공지능 시스템이 환경에 미치는 잠재적인 부정적인 영향이 있습니까? ― 어떤 잠재적 영향을 파악합니까? • 가능한 경우 인공지능 시스템의 개발, 배포 및 사용이 환경에 미치는 영향(예를 들어, 사용된 에너지양 및 탄소배출량)을 평가하는 메커니즘을 설정했습니까? ― 인공지능 시스템의 수명주기 전반에 걸쳐 환경영향을 줄이기 위한 조치를 정의했습니까? |
◎ 일자리 및 역량에 대한 영향
| • 인공지능 시스템이 인간의 업무와 업무배치에 영향을 미칩니까? • 영향을 받는 노동자와 그 대표자(노동조합,(유럽)노동위원회)에 사전에 알리고 협의함으로써 조직 내 인공지능 시스템 도입을 위한 기반을 마련했습니까? • 인공지능 시스템이 인간의 업무에 미치는 영향을 잘 이해할 수 있도록 조치를 취했습니까? ― 노동자가 인공지능 시스템이 어떻게 작동하는지, 어떤 기능이 있고 어떤 기능이 없는지에 대해 이해하고 있는지 확인했습니까? • 인공지능 시스템이 노동력의 탈숙련화 위험을 발생시킬 수 있습니까? ― 탈숙련화 위험에 대응하기 위한 조치를 취했습니까? • 시스템이 새로운 (디지털) 기술을 촉진하거나 필요로 합니까? ― 기술 재교육과 향상을 위한 훈련 기회와 자료를 제공했습니까? |
◎ 사회 전반 및 민주주의에 대한 영향
| • 인공지능 시스템이 사회 전반 및 민주주의에 부정적인 영향을 미칠 수 있습니까? ― 잠재적으로 간접적으로 영향을 받는 이해관계자 또는 사회 전체와 같이 (최종)사용자와 주체를 넘어서는 인공지능 시스템 사용이 미치는 사회적 영향을 평가했습니까? ― 인공지능 시스템의 잠재적인 사회적 피해를 최소화하기 위한 조치를 취했습니까? ― 인공지능 시스템이 민주주의에 부정적인 영향을 미치지 않도록 조치를 취했습니까? |
7. 책무성
◎ 감사가능성
| • 인공지능 시스템의 감사가능성을 용이하게 하는 메커니즘(예를 들어, 개발 프로세스 추적가능성, 훈련데이터의 소싱 및 인공지능 시스템 프로세스, 결과, 긍정적/부정적 영향의 로깅)을 설정했습니까? • 독립적인 제3자가 인공지능 시스템을 감사할 수 있는지 확인했습니까? |
◎ 위험관리
| • 윤리적 문제 및 책무성 조치를 감독하기 위한 외부지침 또는 제3자 감사 프로세스를 미리 확인했습니까? ― 이러한 제3자의 참여가 개발단계를 넘어선 것입니까? • 위험 훈련을 조직했습니까? 그렇다면 인공지능 시스템에 적용가능한 잠재적인 법적 프레임워크에 대한 정보도 제공합니까? • 잠재적으로 불분명한 영역을 포함하여, 전반적인 책무성 및 윤리 관행을 논의하기 위해 인공지능 윤리 검토위원회 또는 유사한 메커니즘을 설립하는 것을 고려했습니까? • 이 ALTAI(신뢰할 수 있는 인공지능 평가목록)에 대한 인공지능 시스템의 준수 여부를 논의하고 지속적으로 모니터링 및 평가하는 프로세스를 수립했습니까? ― 이 프로세스에 앞서 언급한 6가지 요구사항 간의 충돌 또는 서로 다른 윤리 원칙 간의 충돌에 대한 식별 및 문서화, 그리고 ‘절충(trade-off)’ 결정에 대한 설명이 포함됩니까? ― 그러한 프로세스에 관련된 사람들에게 적절한 훈련을 제공했으며 이는 인공지능 시스템에 적용할 수 있는 법적 프레임워크도 포함합니까? • 제3자(예: 공급업체, 최종사용자, 주체, 유통업체/판매업체 또는 노동자)가 인공지능 시스템의 잠재적인 취약성, 위험 또는 편향을 보고하는 프로세스를 수립했습니까? ― 이 프로세스가 위험관리 프로세스의 개정을 촉진합니까? • 개인에게 부정적인 영향을 미칠 수 있는 응용프로그램에 대해 설계에 의한 시정 메커니즘(redress by deisng mechanisms)이 마련되어 있습니까? |