| 소개: 영국 에이다 러브레이스 연구소와 국민 보건 서비스 NHS는 어떤 인공지능 시스템이 NHS AI Lab의 국가의료이미지플랫폼(NMIP)의 데이터를 활용하고자 할 때 그 영향을 평가하는 도구를 개발하였습니다.
NMIP 알고리즘영향평가는 7개의 절차로 이루어집니다. 템플릿은 4개의 섹션으로 구성되며, |
* 원문 : Ada Lovelace Institute(2020). Algorithmic impact assessment: AIA template.
프로젝트 이름: [삽입]
- 알고리즘영향평가 시작 날짜: [삽입], 마지막 편집: [삽입]
- 조직/팀 이름: [삽입]
- 프로젝트 연락처: [삽입]
접근성 및 사용성에 대한 참고사항
- 템플릿 버전: 1.0
- 이것은 제안된 NMIP 알고리즘영향평가 템플릿의 첫 번째 초안(버전 1.0)입니다. 우리는 접근성과 사용성을 목표로 했지만 이 프레임워크가 실제로 구현되면 다른 요구사항이 발생할 수 있습니다. 따라서 사용자 경험을 개선할 수 있는 디자인 또는 접근성 기능과 관련된 모든 피드백을 환영합니다: hello@adalovelaceinstitute.org
- 이 템플릿의 복사본을 다운로드하려면 파일 - 복사본 만들기로 이동합니다.
목차
- 개요
- 목적
- 기대
- 상위 수준의 프로젝트 정보
-
- 귀하의 프로젝트
- 귀하의 조직
- 통상적인(common) 윤리적 고려 사항
- 영향 식별 및 시나리오
- 잠재적 위해 분석
개요
- 이 문서는 NHS의 국가의료이미지플랫폼(National Medical Imaging Platform, NMIP)을 위한 알고리즘영향평가를 완료하기 위한 템플릿입니다
- 이 문서에서 NMIP에 액세스하려는 프로젝트 팀은 알고리즘영향평가를 구성하는 세 가지 수행의 결과를 보고합니다.
- 초기 성찰적 수행(reflexive exercise), 프로젝트 팀이 완료하며, 프로젝트의 잠재적 영향에 대한 것입니다.
- 참여형 워크숍, 프로젝트 팀이 환자 및 임상의 패널로부터 이 문서에 대한 피드백을 받습니다.
- 성찰적 수행 및 참여형 워크숍의 최종 종합, 이는 NMIP 데이터 액세스 위원회(DAC)에 제출되며, NMIP에 대한 액세스를 승인하거나 거부하는 최종 결정의 일부로 고려됩니다.
- 이 문서는 이 템플릿을 사용하는 방법과 프로젝트 팀이 수행해야 하는 알고리즘영향평가 프로세스의 기타 활동에 대한 자세한 설명을 제공하는 NMIP 알고리즘영향평가 사용자 가이드와 함께 읽어야 합니다.
목적
- 이 템플릿에는 다음을 위한 일련의 질문과 답변 프롬프트가 포함되어 있습니다.
- 당신이 프로젝트에 대한 상위 수준 정보를 설명하는 데 도움
- 의료 AI 프로젝트가 직면할 수 있는 몇 가지 일반적인 윤리적 문제 고려
- 잠재적 위험의 식별 및 완화를 위해 사용 중인 귀하의 시스템의 여러 가능한 시나리오 구성
- 이러한 프롬프트는 팀이 영향을 식별하고 평가하는 데 도움이 되는 장치 역할을 합니다. 이것의 목적은 NMIP DAC에 신청 절차의 일부로 검토할 수 있는 영향 식별의 구체적인 기록을 제공할 뿐만 아니라, 당신의 팀이 시스템을 보다 효과적이고 안전하며 성공적으로 만드는 방법을 식별하는 데 도움이 되는 것입니다.
- 3단계를 모두 거친 알고리즘영향평가는 투명성과 신뢰성에 대한 약속의 일환으로 NHS AI Lab 웹사이트에 게시됩니다.
기대
- 이 템플릿의 프롬프트는 높은 수준의 프로젝트 정보 섹션부터 시작하여 시간순으로 작업하도록 설계되었습니다.
- 일부 질문에는 성찰적 수행, 참여적 워크숍 및 종합 섹션이라는 제목 아래에 답변을 위한 3개의 글머리 기호가 있습니다. 이는 알고리즘영향평가 절차의 개별 단계를 반영하고, 프로젝트의 다음 단계에서 답변으로 돌아가야 하는 위치를 구분합니다(위의 프로세스 그림 참조). 예를 들어, 성찰적 수행에 대한 답변은 ‘성찰적 수행’으로 표시된 행에 채워야 하며, 참여적 워크숍의 새로운 관찰은 ‘참여적 워크숍’ 행에 통합되어야 합니다. 두 실행이 모두 완료된 후의 최종 평가 및 종합은 최종 ‘종합’ 행에 문서화됩니다.
- 참고:
- 템플릿의 모든 필드는 필수 입력 사항입니다.
- 가능하면 모든 답변을 250단어 미만으로 유지하십시오. 질문은 예상되는 세부 수준에 대한 추가 지침을 제공합니다.
- 팀은 이 템플릿을 작성할 때 전문 용어, 임상 및/또는 기술 용어를 피하고(이러한 용어가 필요한 경우 명확하게 설명해야 함) 사전 이해를 전제로 하지 않고 평이한 일반 언어를 사용해야 합니다. 길에서 만난 낯선 사람에게 답을 설명한다고 상상하면서 답의 명확성을 스트레스 테스트할 수 있습니다. 기술 프로젝트의 일반 언어 요약에 대한 추가 팁은 일반 언어 요약에 대한 이 지침을 보세요.
1. 상위 수준의 프로젝트 정보
이 섹션에서는 당신의 프로젝트에 익숙하지 않은 이 알고리즘영향평가 검토자를 위해 프로젝트에 대한 배경 정보를 묻습니다. 또한 이 템플릿의 후반 섹션에서 윤리적 고려 사항 및 잠재적인 피해에 대한 생각에 도움을 주는 상위 수준의 맥락 질문을 다룹니다.
귀하의 프로젝트
1.ai) 귀하의 프로젝트 목적을 설명하십시오. 이것은 250단어 이내의 간결한 요약이어야 합니다. 이것을 논문 초록의 형태로 쓸 수 있습니다. 독자가 기술 지식이 많지 않다고 가정하십시오. 당신은 이것을 낯선 사람에게 설명하고 있습니다.
1.a.ii) 프로젝트의 의도된 용도를 설명합니다.
귀하의 조직
1.bi) 귀하의 조직에 대한 한 줄의 설명을 제공하십시오. 웹사이트 링크가 있는 경우 여기에 포함할 수도 있습니다.
1.b.ii) 어떤 유형의 조직/프로젝트 팀입니까? 예: 학술 연구실, 비영리 단체, 회사.
1.b.ii) 조직이나 팀에 사명 선언문이 있는 경우 여기에 포함할 수 있습니다.
1.c 이 시스템, 모델 또는 연구에 대한 입력 및 출력을 설명합니다. 어떤 다른 종류의 데이터 소스를 사용할 것입니까?
1.d 이 시스템의 영향을 받는 이해 관계자는 누구입니까? 예를 들어, 의도된 사용자는 누구이며, 누구에게 서비스를 제공하는 것입니까? 이를 나열할 때 가능한 한 구체적으로 작성하세요. 예를 들어 임상의, 간호사, 병원 행정 직원, 특정 유형의 환자 등 입니까? 영향을 받는 인구를 명시적으로 설명하고, 필요한 경우 시스템 사용자 집합과 구별해야 합니다.
| 성찰적 수행 | 참여 워크숍 | 종합 |
2. 통상적인 윤리적 고려 사항
이 섹션에서는 의료, AI 및 알고리즘 문헌의 맥락에서 일반적인, 특정 윤리적 고려 사항을 안내합니다.
이 섹션 작성에 도움이 필요한 경우, NHSX의 AI 보고서 섹션 3을 참조하여 의료 분야에서 AI를 사용하기 위한 윤리적 고려 사항뿐만 아니라, 보다 구체적으로는 데이터/디지털 건강 및 알고리즘 고려 사항을 참조할 수 있습니다. 이는 직간접적인 이해 관계자에 대한 당신의 모델의 가능한 영향을 분석하는 데 도움이 될 것입니다. 예를 들어, 프롬프트 2b에서, 당신은 사생활과 데이터 공유, 그리고 환자 안전에 대한 가능한 영향에 대해 논의할 수 있습니다.
2.a 이 프로젝트가 특정 커뮤니티에 대한 불평등 또는 불법적인 차별의 생성 또는 악화로 이어질 수 있습니까? 예를 들어, 치료에 대한 차별적 접근을 악화시키면서? 편향 및 공정성을 평가하거나 모니터링하기 위한 현재 계획에서 간과할 수 있는 것은 무엇입니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
2.b 귀하의 프로젝트는 동의와 자율성을 어떻게 고려합니까? 감시 증가와 관련된 위험이 있습니까? 예를 들어, 시스템의 의도된 수혜자에게 시스템 사용에 대해 어떻게 알립니까? 이 시스템은 감시가 증가하는 것으로 해석될 수 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
2.d 이 프로젝트는 어떤 환경적 영향을 미칠까요? 이 시스템을 학습시키고 실행하는 데 얼마나 많은 컴퓨팅과 에너지가 필요합니까? 이 시스템의 결과로 발생할 수 있는 소프트웨어, 하드웨어 또는 장비의 다른 환경적 영향이 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
2.e 이 시스템의 사용이 환자와 건강 및 치료 전문가 간의 관계에 어떤 영향을 미칠 수 있습니까? 이 시스템으로 인해 일부 환자 또는 서비스 사용자가 치료를 덜 받거나 건강 및 치료 전문가와 논의할 때 덜 솔직해질 수 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
2.f 이 시스템을 사용하거나 영향을 받는 개인은 결과에 대해 어떻게 이의를 제기할 수 있습니까? 결과에 어떻게 이의를 제기할 수 있습니까? 이 시스템 사용을 거부할 수 있는 옵션이 있습니까? 이 시스템의 결과물은 어떻게 그리고 누구에게 설명 및 해석 가능합니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
2.e 어떻게 이 시스템이 의도하지 않거나 의도적으로 오용될 수 있습니까? 이 시스템이 사고나 오류로 이어질 수 있는 경우는 무엇입니까? 건강 및 사회 복지 데이터 사용의 결과가 공익에 부합하지 않는 목적으로 다뤄질 수 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
3. 영향 식별 및 시나리오
이 섹션은 구현 시 시스템의 광범위한 잠재적 영향을 반영하기 위한 것입니다.
위의 질문을 염두에 두고, 이 시스템이 보급된 후 이 시스템의 사용으로 인해 발생할 수 있는 최상의 시나리오와 최악의 시나리오, 성공을 위해 필요한 사회 환경 조건 및 극복해야 할 예상되는 장애물이나 과제는 무엇인지를 쉬운 언어로 요약하여 제공하세요.
여기에 기술 개념을 사용해야 하는 경우 주의 깊게 설명해야 합니다.
- 영향을 받는 이해 관계자에 대해 생각할 때, 직접적인 이해 관계자(예: 임상의, 환자, 의도된 환경에서 기술의 다른 사용자)와 간접 이해 관계자(예: 특정 정체성 그룹, 규제 기관, 시민 사회, 일반 대중)를 모두 고려하십시오.
- 이 프로세스에서 식별되어야 하는 영향의 최소 개수는 없지만, DAC는 최상의 시나리오와 최악의 시나리오 모두에서의 분석을 보기를 기대하고 있습니다. 위원회는 당신의 프로젝트에 대한 지식과 참여 실행 워크숍에 대한 참여의 강도에 기반하여 당신 팀의 평가에 동의할지 여부를 판단할 것입니다.
3.a 이 시스템을 사용할 때 발생할 수 있는 최상의 시나리오는 무엇입니까? 이 시스템이 설계/의도된 대로 작동할때 뿐만 아니라 실패, 오류, 실수 또는 예기치 않은 동작을 처리하는 방법에 대해서도 논의해야 합니다
| 성찰적 수행 | 참여 워크숍 | 종합 |
3.b 이 시스템이 성공적으로 운영되기 위해서는 어떤 사회-환경적 요구사항이 필요합니까? 예를 들어 인터넷에 대한 안정적인 연결, 의사와 간호사를 위한 교육, 특정 임상 및 행정 직원 간의 협업 등
이 질문에 답할 때, 어떤 이해 관계자가 이 시스템을 사용할 것인지, 시스템이 성공하기 위해 그들이 어떻게 최적으로 상호 작용하거나 협력할 것인지, 정보가 어떻게 (그리고 누구와) 공유되는지, 어떤 사회적, 기술적 및 작업흐름 의존성이 존재할 필요가 있는지 고려하세요. 또한 이 시스템을 성공적으로 사용하는 데 필요한 인프라 이해 관계자의 유형을 고려할 수도 있습니다.
| 성찰적 수행 | 참여 워크숍 | 종합 |
3.c 최상의 시나리오를 달성하기 위한 도전/장애물은 무엇입니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
3.d 이 시스템을 사용할 때 발생하는 최악의 시나리오는 무엇입니까?
3.di) 시스템이 설계/의도된 대로 작동할 때
| 성찰적 수행 | 참여 워크숍 | 종합 |
3.d.ii) 시스템이 설계/의도한 대로 작동하지 않거나 시스템이 작동하지 않을 때
| 성찰적 수행 | 참여 워크숍 | 종합 |
4. 잠재적 피해 분석
이 섹션은 프로젝트 팀에게 상기 3단계에서 설명한 모든 시나리오에서 발생하는 다양한 이해관계자의 잠재적 피해와 편익을 나열하도록 요청합니다.
그런 다음 팀이 각 피해의 인지된 중요성, 긴급성, 어려움 및 탐지 가능성이 무엇이라고 생각하는지 평가하도록 요청합니다.
마지막으로, 이 섹션에서는 프로젝트 팀이 이러한 영향이 피해를 유발할 가능성을 줄이는 특정 설계 결정과 같이, 이러한 피해에 대한 잠재적 완화를 고려하도록 요청합니다. 이것은 팀이 피해가 어떻게 분산될 수 있는지 고려하고, 잠재적인 즉각성 또는 복구 불가능성을 기반으로 어떤 피해에 우선 순위를 지정해야 하는지 확인하는 데 도움이 됩니다.
4.a 위에서 식별한 시나리오를 기반으로, 팀이 적극적으로 설계할 때 고려해야 하는, 이 시스템의 구현으로 인해 발생할 수 있는 잠재적인 피해는 무엇입니까? 누가, 어떻게 피해를 입을 위험이 가장 높습니까?
피해에 대해 생각할 때 임상의, 환자 또는 이 기술의 사용에 영향을 받을 다른 사람의 관점에서 이를 고려하십시오.
식별된 각각의 피해에 대해 다음 고려 사항을 기록해 두십시오.
- 중요도 - 이 피해가 이해관계자의 복지에 얼마나 결정적입니까? 회복할 수 없고 심각한 것은 무엇입니까?
- 긴급성 – 이 위협은 얼마나 즉각적입니까?
- 어려움 – 이 피해를 완화하는 것이 얼마나 어려울 것입니까?
- 탐지 가능성 – 현재 설계에서 이 피해를 얼마나 인지할 수 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |
4.b 위에서 확인된 시나리오를 기반으로, 이러한 피해를 최소화하기 위해 어떤 완화 조치를 취할 수 있습니까?
| 성찰적 수행 | 참여 워크숍 | 종합 |