[번역] 영국 정부 <인공지능 조달지침>

AI란 무엇이며 정부는 AI를 어떻게 활용할 수 있을까

인공지능(AI)은 비용을 절감하고 품질을 향상시키며 일선 직원들의 소중한 시간을 절약함으로써 공공 서비스를 크게 개선할 수 있는 일련의 기술들로 구성되어 있다.

AI에 대해 <공공부문 AI 활용 가이드>에서는 다음과 같이 정의하고 상세하게 설명하였다. “AI는 일반적으로 지능이 필요하다고 생각되는 작업을 수행할 수 있는 시스템을 구축하기 위한 디지털 기술의 이용으로 정의할 수 있다.” AI의 발전은 끊임없이 진화하고 있지만, 일반적으로 통계를 사용하여 대량의 데이터에서 패턴을 찾아내고 그 데이터를 사용하여 인간의 지속적인 지도 없이 반복적인 작업을 수행하는 기계들을 의미한다.

우리는 정부에 AI 시스템을 배치하는 초기 단계에 있다. 우리는 AI 시스템을 사용하여 의사결정을 진행할 때의 새로운 편익을 계속 발견하고 있으며, 동시에 우리가 다루어야 할 문제와 위험 또한 계속 발견되고 있다.
이 지침은 대부분 머신러닝(machine learning)의 사용을 염두에 두고 있다. 머신러닝은 AI의 하위집합이며, 주어진 과제에 대해 시간을 경과하며 경험을 통해 성능을 향상시키는 디지털 시스템을 개발하는 것을 말한다. 머신러닝은 AI의 가장 널리 사용되는 형태로서 자율주행차, 음성인식, 기계 번역과 같은 혁신에 기여해 왔다.

더 알고 싶다면 AI 분야에서는 새로운 개념들이 많이 사용되고 있으며 별첨의 AI 용어집을 참고하는 것이 유용할 수 있다. 영국 공공부문에 AI가 어떻게 활용돼 왔는지에 대한 자세한 사례는 <공공부문 AI 활용 가이드>의 사례연구를 살펴볼 수 있다. AI 기술에 대해 보다 자세히 알아보려면, 국방과학기술연구소 AI랩의 데이터과학 전문가들이 국방부 이용자들을 위해 AI, 데이터과학, 머신러닝 등을 이해할 수 있도록 편찬한 비스킷북이 나와 있다.

이 지침의 목적은 무엇인가?

공공조달은 AI의 채택을 촉진할 수 있고 공공서비스 전달을 개선하는 데 기여할 수 있다. 정부의 구매력은 이러한 혁신을 주도하고 영국의 AI 기술 개발을 촉진할 수 있다.
AI가 신흥 기술인 만큼 공공기관의 요구사항에 맞는 최적의 시장 접근 경로를 구축하는 것이 어려울 수 있으며, 혁신적인 공급업체와 실제 거래하거나 AI 기술을 효과적이고 윤리적으로 알맞게 배치하도록 AI 특수 기준과 약관을 마련하는 것이 어려울 수도 있다.
지침은 AI 기술을 구매하는 방법에 대한 이행 원칙들과 더불어 조달 과정에서 발생할 수 있는 과제를 해결하는 통찰력을 제공할 것이다. 이 지침은 이러한 지침들 중 첫 번째이며, 총망라한 것은 아니다.
지침은 인공지능실이 세계경제포럼 4차산업혁명센터, 정부 디지털서비스청, 내각 사무처 정부조달부서(Government Commercial Function), 공공조달청(Crown Commercial Service) 등과 공동으로 개발한 것이다. 산업계, 학계 및 정부 부처의 광범위한 이해관계자들이 지침 개선에 도움을 주었다. 이 지침은 세계경제포럼의 ‘공공부문 AI 잠금 해제’ 프로젝트에서 출발했다.
또한 인공지능실은 이 프로젝트의 일환으로 < AI 조달키트>를 공동 제작했다. 이는 전세계 공공부문 조달 전문가들이 AI 조달에 대한 접근방식을 재고할 수 있도록 지원하는 툴킷이다.

이 지침은 정부의 AI 기술 활용이 진화할 때마다 업데이트될 예정이다. AI 시스템을 조달 중이거나 조달하는 것을 고려하고 있는 경우, 혹은 지침에 대한 피드백을 제공하는 데 관심이 있는 경우 ai-properties-guidelines@officeforai.gov.uk으로 문의 바란다.

누가 이 지침을 사용해야 하는가?

이번 가이드라인은 기존 서비스를 개선하려는 목적으로나 향후 서비스 전환의 일환으로 AI 기술의 적합성을 검토 중인 중앙부처들을 대상으로 한다. 다른 공공부문 기관들도 이 지침을 따를 수 있다.
이 지침은 다음과 같은 이들에게 유용할 것이다.
● AI 기술 조달 및 계약 관리를 담당하는 조달 및 상업 부문 실무자
● 기술적 문제를 해결하기 위해 AI 시스템의 적합성을 검토 중인 데이터, 정보, 기술 및 혁신 부문 최고책임자
● 디지털 변환 프로젝트 및 프로그램에 AI 기술을 사용하고자 하는 디지털 전달 및 변환팀
● AI 시스템의 프로젝트 특수 요구사항을 준비 중이거나 이를 평가, 사용, 관리하는 분석가, 데이터 과학자 및 기타 디지털·데이터·기술 전문가
● 정부 내 AI 조달에 대한 모범 관행, 기술 및 윤리적 표준을 보다 잘 이해하고자 하는 공급업체

공공조달은 조달 규칙 및 규정 프레임워크에 의해 관리되며, 이 지침은 독자가 이러한 규칙과 단대단 조달 절차에 대한 충분한 실무지식을 가지고 있다고 가정한다. 경영상 판단 속에 본 지침을 사용하고, 적절한 경우 법률 자문을 구하기 바란다. 일부 연구용역 계약은 조달 법령의 범위를 벗어날 수도 있다.

이 지침을 어떻게 사용해야 하는가?

이 지침은 AI 시스템의 실행가능성을 평가할 때 고려해야 할 주제를 비롯해, AI 기술 프로젝트를 집행할 때 조달팀이 고려해야 할 사항도 개괄적으로 제시한다. 이행 원칙으로서, 가능한 한 개방적으로 작업하면서 AI 프로젝트와 사용하게 될 툴, 데이터 및 알고리즘에 대해 투명할 것을 요구한다.
모든 형태의 AI 시스템이 동일하지는 않을 것이며 AI 기술이 점점 더 많은 종류의 기술 제품에 내장되는 형태일 것이다. AI 시스템은 처음부터 개발하거나, 매대에서 구매하거나, 이미 사용 중인 시스템에 추가할 수도 있다.
공급업체가 AI가 아닌 특수 요구사항 또는 시스템 제공의 일부로 AI 기술을 활용할 것을 제안하는 경우, 몇 가지 추가적으로 고려해야 할 사항이 있을 수 있다. 이러한 경우, 디지털 정보 최고 책임자/기술 설계자와 상의하여 AI 모델이 솔루션에 미칠 수 있는 영향을 평가하고, 계약에 AI 기술을 제공의 일부로 수용하는 적절한 조항을 규정하기 위해 경영상 판단을 내려야 한다.
이 지침은 기술 및 디지털 서비스의 사용과 관련하여 다음과 같은 기존 정책 및 지침과 함께 고려되어야 한다.
● 디지털 서비스 표준
● 기술 규칙 (The Technology Code of Practice)
● 데이터 윤리 프레임워크
● 공공부문 AI 활용 가이드
● 데이터 개방 표준
● 기타 기술 표준 및 지침

<아웃소싱 플레이북>을 참조하여, AI 구매 전략을 정의할 때 다른 기술 요구사항에 대한 구매 전략과 동일한 방식으로 한다.

더 알고 싶다면 <공공부문 인공지능 활용 가이드>는 정부 팀으로 하여금 AI 시스템을 활용해 문제를 어떻게 해결할 수 있는지 이해하고, 개발이 필요한 해결책의 일부로 AI 기술이 사용될 수 있을지 의사결정을 내릴 때 도움을 줄 수 있다. < AI 조달키트> 툴킷은 AI 조달에 대한 상세한 지침은 물론, 절차 중 고려해야 할 주요 이슈에 대해 보다 상세한 내용을 제공한다. 또한 NHSx에서 발행한 <보건의료 구매자 AI 체크리스트>와 같은 부문별 지침을 참고할 수 있다.

1. AI 도입 계획에 조달을 포함할 것

AI 기술 도입을 접목하도록 기술 및 데이터 계획을 갱신할 것. 정부 전반적으로 AI 도입을 지원하는 조달 정책을 전략적으로 사용하고, 협업을 통하여 AI 기술 배치에 있어 규모의 경제를 활용하는 이점을 취하도록 하며, 정부 전반에 걸쳐 관심 있는 팀들과 지식을 공유할 것.
AI 관련 이니셔티브를 주도하는 중앙 정부 부처 및 기관내 다른 팀들과 업무를 연계하는 방안을 고려해 볼 것.
기관 내부 및 민간 서비스 전반에 걸쳐 네트워크를 구축하여 통찰력을 공유하고 모범 관행을 통해 학습할 것.

2. 다양한 다학제 팀에서 의사를 결정할 것

AI 프로젝트의 개발, 평가, 전달 시 AI 기술이 접목된 상호의존적 분야를 이해하는 다양한 팀과 함께 하면 더욱 효과적임. 여기에는 다음이 포함될 수 있음.
● 분야별 전문지식(예: 의료, 운송)
● 상업적 전문지식
● 시스템 및 데이터 엔지니어링
● 모델 개발(예: 심층 학습)
● 데이터 윤리학
● 시각화/정보 설계

낙찰된 공급업체에게, 적합한 기술력을 갖춘 팀을 구성하고 AI 시스템의 편향성을 완화하기 위해 다양성에 대한 요구를 해결할 것을 요구할 것.

3. 조달 절차 개시 전 데이터 평가를 실시할 것

데이터는 현재 AI 기반 솔루션 대다수의 기반임. 관련 데이터의 가용성은 모든 AI 시스템의 전제 조건이기 때문에 가용 데이터가 없다면 AI 조달에 대해 논의하는 데 시간을 낭비할 이유가 없음.
● 조달 절차의 개시 단계부터 데이터 거버넌스 메커니즘이 가동될 수 있도록 확보할 것.
● 프로젝트에 관련 데이터를 사용할 수 있는지 여부를 평가할 것.
● 시장에 출시하기 전에 데이터 내부의 결함 및 편향 가능성을 해결할 것. 데이터 문제를 직접 해결할 수 없는 경우 이를 해결하기 위한 계획을 수립할 것.
● 조달 계획 및 후속 프로젝트를 위해 공급업체와 데이터를 공유할 것인지 여부 및 방법을 정의할 것.

4. AI 배치의 장점 및 위험성을 평가할 것

공익적 목표를 정의하는 것은 AI 시스템이 달성하고자 하는 프로젝트 및 조달 절차 전반의 기반이 됨. 또한 AI 기술은 조달 단계 초기에 확인하고 관리해야 하는 특정한 위험성을 야기함.
● 제안서를 평가할 때 공익이 의사결정 절차의 주요 동인이라는 점을 조달 문서에 설명할 것. <사회적 가치> 지침에 따라 AI 시스템이 인간과 사회 경제에 미치는 영향 및 편익을 고려할 것. 조달되고 있는 사업이 (본질적으로 일반적이지는 않다 하더라도) 공익적 목표와 관련이 있어야 하며, 차별금지, 동등한 대우 및 비례성의 원칙을 준수해야 함.
● 당면한 문제와 관련하여 AI를 고려한 배경을 조달 문서에 명확히 설명하고 대안적 솔루션에 대해 열린 태도를 취할 것.
● 조달 절차 개시 단계에서 AI 영향 평가를 수행하고, 중간 조사 결과가 조달에 반영되는지 확인할 것. 주요 의사 결정 단계에서 평가 결과를 재차 살펴볼 것.

5. 처음부터 사실상 시장에 참여할 것

정부 지출은 공정하고 경쟁적인 시장을 만드는데 사용될 수 있고, 이는 더 나은 AI 시스템으로 이어짐. AI 공급업체와의 조기 협력은 보다 관련성이 높은 대응으로 이어져 성공적인 조달 및 보다 나은 프로젝트 수행 가능성을 높일 수 있음. 접근 방식의 비례성에 초점을 맞추어 스타트업, 중소기업, 자율·지역·사회적 기업 등의 공급업체는 물론 경쟁에서 대표성이 낮은 그룹이 소유한 공급업체 등을 단념시키는 불필요한 부담을 부과하지 말 것.
● 계획 단계 초기 및 과정 중에 AI 공급업체와 협력할 것.
● 다양한 방법으로 광범위한 AI 공급업체를 접촉할 것.
● AI 생태계의 경쟁을 지원하는 개방적 환경을 장려할 것.

6. 알맞은 시장 접근 경로를 수립하고, 특정 솔루션보다는 과제에 초점을 맞출 것

조달되는 AI 시스템은 문제가 되고 있는 과제를 해결하고 책임 있고 혁신적인 시장의 반응을 촉진해야 함. 신중하게 작성된 요구사항은 공급업체로 하여금 귀 기관이 필요로 하는 사항을 이해하고 최선의 솔루션을 제안하는 데 도움이 될 수 있음. 공급업체에게 상황이나 과제에 대해 알려서, 공급업체들이 귀 기관의 요구에 맞는 솔루션을 제안하도록 할 것.
● 상업적 모범 관행은 <아웃소싱 플레이북>의 지침을 참조할 것.
● <혁신 파트너십>, GovTech Catalyst, 공공조달청의 동적 AI 구매 시스템 등 AI 시스템을 구할 수 있는 다양한 시장 경로를 탐색해 볼 것.
● 솔루션에 대한 자세한 사양 대신 명확하게 문제를 진술할 것.
● 제품 개발에서 반복적인 접근방식의 경우 우선순위를 정하고 이를 입찰 공고에 반영할 것.

7. 거버넌스 및 정보 인증을 위한 계획을 수립할 것

AI 시스템의 생애주기 전체에 걸쳐 정밀 조사가 가능하도록 적절한 감독 메커니즘을 수립해야 함. AI 사용 사례와 프로젝트의 위험 요인에 따라 다른 고려사항을 적용하고, 이러한 접근이 정밀조사를 감당할 수 있는지 확인해야 함. 조달 문서에서 기존 법과 규정을 준수하고 규범의 표준화를 지원해야 한다는 점을 강조할 것.
요구사항 초안을 작성할 때 기존 규칙, 지침 및 규정을 반드시 참조하고, 해당되는 경우 이들을 계약 조건에 반영할 것.
● <기술 규칙> 및 <정부 설계 원칙>, <데이터 윤리 프레임워크> 및 기타 관련 표준을 준수할 것.
● AI 의사 결정의 투명성을 최대화하여 사용자에게 AI 시스템이 잘 기능한다는 확신을 부여할 것.

8. 블랙박스 알고리즘 및 공급업체 종속(Lock-In)을 방지할 것

알고리즘의 설명 가능성과 해석 가능성을 장려하고 이를 설계 기준 중 하나로 삼을 것. 이는 귀 기관 팀이 그 결과를 이해하는 것을 가능케 하는 방법 및 기술이 사용된다는 것을 의미함. 고도로 ‘설명 가능한’ AI 시스템의 산출물은 귀 기관 팀은 물론 다른 공급업체에 의해 해석될 수 있음. 이는 또한 귀 기관이 향후 AI 시스템을 지속하거나 구축할 때 다른 공급업체와 협력할 수 있도록 함으로써 공급업체에 종속될 수 있는 위험을 제한함.

9. 평가 시 AI 배치의 기술적, 윤리적 한계를 해소해야 할 필요성에 초점을 맞출 것

다학제 팀의 경험을 활용하여 평가 절차를 지원하고 입찰 평가를 수행할 때 광범위한 전문 지식을 확보할 것.
● 공급업체가 데이터 내에서 편향성 문제에 주목하거나 해결하였는가? 왜 그들의 전략이 적절하고 비례적인지 명확하게 설명하였는가? 귀 기관이 놓쳤을 수 있는 문제에 대해 공급업체가 이를 해결할 계획을 가지고 기민하게 프로젝트를 제공하는 문제의 중요성을 강조했는가?
● 기존 서비스 또는 기술과의 통합 필요성을 고려하였는가?
● 공급업체의 거버넌스 접근 방식이 귀 기관의 요구사항을 충족하는가?
● 적절한 기술 표준을 준수하였는가?

10. AI 시스템의 생애주기 관리를 고려할 것

공공부문의 AI 기반 솔루션이 윤리적인 사용을 보장하기 위해서는 집행 계획, 지속가능하고 계속적인 평가 방법, 데이터 모델에 대해 피드백하는 메커니즘이 중요함. 더불어 AI 시스템의 기능성 및 결과는 조달 절차에서 뚜렷하지 않을 수 있으며, 배치 과정에서야 드러나는 경우가 많아 구매 기관과 공급업체 간 소통 및 정보 공유가 확대되어야 함.
● AI 조달 과정에서 일회성 결정이 아니라 생애주기에 걸친 테스트가 필요하다는 점을 고려할 것.
● 지식 이전 및 교육훈련을 요구사항의 일부로 포함할 것.
● AI 시스템을 이해해야 하는 비전문가를 대상으로 교육훈련 및 설명을 실시할 것을 요구사항의 일부로 포함할 것.
● 적절하고 지속적인 고객지원 및 호스팅 협의가 이루어지도록 보장할 것.

이 장에서는 조달 절차 전반에 걸쳐 다루어야 할 구체적인 고려사항을 제기한다.
1. 준비 및 계획
2. 공고
3. 선정, 평가 및 낙찰
4. 계약 이행 및 지속적인 관리
일반적인 원칙으로서, 모든 AI 조달에 대한 조사는 “어떻게 하면 우리의 문제를 AI 시스템 솔루션에 맞출 수 있을까?”가 아니라 “AI 기술이 우리에게 어떤 혜택을 줄 수 있을까?”라는 발상으로 이루어져야 한다.
AI 기술을 다른 기술 솔루션과 마찬가지로 취급하고 적절한 상황에서 사용하라. 모든 서비스는 서로 다르게 마련이며, 기술에 대해 내리는 귀 기관의 결정은 서비스별로 특수할 것이다.

1. 준비 및 계획

모두에게 개방적이고 접근 가능하여 광범위한 참여를 장려하는 유연하고 효율적인 조달 절차를 달성하기 위해서는 준비가 핵심적이다. 가능한 한 개방적으로 일하며, 사전 조달의 법적 요건을 준수해야 한다. 여기에는 2012년 「공공서비스(사회적 가치)법」(해당되는 경우 개정법)에서 요구하는 의무적 고려사항 반영과 2010년 「평등법」에 따른 <공공부문 평등 의무>의 적용성 평가 등이 포함된다. AI 시스템 배치를 포함할 가능성이 있는 조달 프로젝트를 시작하기 전에 다음 사항을 고려해야 한다.

다학제 팀:

AI가 실행 가능하고 적절한 솔루션인지 여부를 검토하기 위해 지식과 경험을 가진 사람들로 팀을 구성할 것. AI 시스템의 조달 및 구현을 지원하기 위해 다양한 역할과 기술이 결합된 다학제 팀의 구성을 추구할 것. 다양한 기술을 갖춘 팀은 귀 기관이 데이터 및 영향 평가를 수행하는 것에 기여하고 귀 기관의 사업 사례 및 조달 절차에 주요 발견 사항들을 반영하는 데 기여할 수 있음.

AI 프로젝트 팀에서 고려해야 할 전문적 역할들: ● 데이터 설계자 ● 데이터 과학자 ● 데이터 엔지니어 ● 기술 설계자 ● 제공 관리자 ● 보안 설계자 ● 상업화 관리자 처음부터 이 모든 역할이 필요하지 않을 수도 있지만, 시작하기 전에 자신의 필요를 고려할 필요가 있음. 시장에 진출할 수 있는 적절한 기반이 마련되어 있는지 검토하고, AI 시스템을 기존 절차, 기술, 서비스에 통합할 수 있는지 검증하기 위해서는 전문가와 상담하는 것이 유용함.

견고한 실행이 이루어지고, 팀의 기술력 내에서 작업이 수행되도록 하는 것이 중요함. 팀에 전문 지식이 부족한 경우 기관 또는 정부 내 전문가 네트워크를 접촉하여 원하는 사용 사례에 대한 중요한 통찰력을 얻을 수 있음.
또한 공급업체의 요구사항 충족을 검토하는 의사결정에서 인재 발굴 활동의 완수 여부를 고려할 수 있음.

더 알고 싶다면 컨설팅에 유용할 수 있는 팀과 기관의 예시로는 인공지능실, 정부 디지털 서비스, 데이터 윤리 및 혁신센터 또는 특정 부문 지식을 갖춘 팀과 기관들이 있다. <공공부문 AI 활용 가이드>에서도 AI 활용 사례를 찾아볼 수 있다. 또한 지식 허브, 디지털 구매 커뮤니티, 데이터 과학 이해관계자 커뮤니티 또는 기타 유사 네트워크를 비롯한 전문가 커뮤니티를 통해 모범 관행을 알아보고 지식과 피드백을 공유할 수 있다.

데이터 평가 및 거버넌스

시장에 진출하기 전에 귀 기관의 데이터를 찾아서 확보해둘 것. 이를 위해서는 특수하고 전문적인 조언을 받아야 할 수도 있음. 데이터 설계자 및 데이터 과학자가 이 과정을 이끌어야 함. 이러한 과정은 귀 기관과 귀 기관의 팀이 귀 기관이 이용할 수 있는 데이터의 복잡성, 완전성 및 한계를 이해하는 데 도움을 줄 것임.
데이터에 대한 철저한 평가가 어려운 것으로 드러나거나 이루어지지 않은 경우, AI 시스템이 자기 의사결정의 기반으로 사용할 데이터에 대해 종합적인 점검을 실시할 것을 입찰공고 요구사항에 포함할 것.
데이터 거버넌스는 프로젝트와 관련된 모든 데이터 활동을 포함해야 함.
● 프로젝트 구성원에게 데이터 접근 권한 부여
● 분석을 위해 데이터를 다른 위치에 저장
● 데이터 [처리에 대한] 동의 검토

프로젝트와 데이터의 민감도에 따라 조달 절차에서 공급업체들에게 데이터를 공개하는 것도 고려해 볼 만함. 공급업체는 이를 통해 이용 가능한 데이터에 대해 파악하고 입찰 공고에 대한 대응을 개선할 수 있음. 모든 공급업체에 동일한 데이터를 동시에 제공하고 이때 개인정보 보호법 및 GDPR을 준수하는 조치를 취하고 있는지 확인할 것. 이를 지원하기 위해 NDA(이면계약) 또는 공급업체 참여 행사를 고려해볼 것. <데이터 윤리 프레임워크> 원칙 3은 데이터 거버넌스 및 비례성에 대한 추가 정보를 규정하고 있음.
또한 데이터 총계처리, 마스킹 및 합성을 포함해 개인정보를 보호하는 익명화 기법의 사용을 고려해 볼 수 있음. 입찰 공고는 데이터를 덜 침해적으로 사용하거나 덜 민감한 데이터셋을 이용하여 동일하거나 유사한 결과를 달성하는 혁신적인 기술 접근법을 장려해야 함.

AI 영향 평가

AI 영향 평가는 프로젝트 설계 단계에서 시작되어야 함. 솔루션 설계 및 조달 절차는 평가에서 확인된 위험성의 완화를 추구해야 함. 취득하게 될 AI 시스템의 사양을 모르는 상태에서 완전한 평가 실시가 불가능하기 때문에 AI 영향평가는 반복적인 과정이 되어야 함.
AI 영향 평가는 다음을 평가함
● AI 시스템에 대한 사용자 요구사항과 그 공익
● AI 시스템의 인적 및 사회 경제적 영향 - 이는 AI가 사회적 가치 편익을 제공할 수 있도록 보장함
● 기존의 기술적, 절차적 환경에 미친 결과
● 데이터 품질 및 부정확하거나 편향될 가능성
● 의도하지 않은 결과가 나올 가능성
● 지속적인 지원 및 유지보수 요구사항을 비롯해 전체 생애주기에 대한 비용적 고려사항

관련 위험성과 각각의 완화 전략이 영향 평가 내에서 규정되고 합의되어야 하며, 이 전략은 해당되는 경우 ‘계속진행/중단’ 등 주요 의사결정 시점을 포함해야 함. 이러한 결정 시점 또는 AI 시스템 설계에 상당한 변화가 있을 때마다 영향 평가를 검토할 것.

더 알고 싶다면 개인정보 보호 영향 평가 및 평등 영향 평가는 의도하지 않은 결과 가능성을 평가하기 위한 유용한 출발점을 제공할 수 있다. 자동화된 의사결정을 위한 위험 평가 문항의 예시로는 캐나다 정부의 <자동화된 의사결정에 대한 지침>과 AI Now의 <알고리즘 영향 평가 프레임워크>를 참조.

예비적 시장 협력

예비적 시장 협력은 AI가 해결책의 일부가 될수 있을지 여부 및 그 방법을 이해하는 데 도움이 됨. 예비적 시장 협력으로 알게 된 내용을 통해 문제 진술을 더 잘 정의할 수 있으며, 요구사항의 범위와 실현 가능성을 결정하는 데도 도움이 될 수 있음.
예비적 시장 협력은 전국적으로 AI 설계 및 전달에 전문적인 중소기업과 사회적 기업을 포함하여 서비스 전달 개선에 도움이 될 수 있는 공급업체를 적극적으로 발굴해야 함.
모든 예비적 시장 협력은 공공 조달의 원칙을 준수해야 하며 공급업체가 우선적 이익을 얻지 못하도록 처리되어야 함. 실무적으로 이는 특정 솔루션 또는 공급업체에 맞춘 기술 사양을 설정하지 않고, 이때 공유된 정보는 조달 절차 중에도 이용할 수 있도록 함을 의미함.

더 알고 싶다면 예비적 시장 협력 또는 발굴 단계(discovery phase)를 완료하면 서비스 구매나 구축 전에 문제를 이해하는 데 도움이 될 것이다. AI 실시 계획 및 준비에 대한 <공공 부문 AI 활용 가이드>에서 발굴 단계 조직화 방법에 대한 내용 참조.

조달 접근 방식 및 수단

AI 시스템 구매를 위해 시장에 접근하는 경로는 현재 다수 존재함. 어떤 종류의 과제를 해결해야 하는지에 따라 달라짐. G-Cloud, Digital Outcomes and Specialists, the Spark Dynamic Purchasing System 등 프레임워크 협약들이 고려해봄직한 유용한 출발점이 될수 있음.
혁신 중심의 조달 절차는 정부 내 신기술 채택을 가속화하고, AI의 혁신과 윤리적 발전을 촉진할 수 있는 기회를 제공함. 여기에는 다음이 포함될 수 있음.
● 다양한 단계에서 시장에 진출할 수 있고 솔루션이 실행되기 전에 기술을 테스트하는 개념 증명(proof-of-concepts)을 포함하는 신속 조달 절차. 발굴 단계 또는 개념 증명을 통해 AI 시스템이 광범위한 요구사항을 충족할 수 있는지 여부를 시연해볼수 있음.
● 기술 경연대회, 시연회, 과제 기반 조달 절차 등은 공급업체들이 AI 기술을 바탕으로 서로 경쟁하게 하고, 기관이 해결되길 바라는 과제에 적용되는 기술을 평가해볼수 있음. 이러한 절차들은 혁신에 초점을 맞추고 다양한 접근 방식을 탐구해볼 수 있음. 예를 들어 GoverTech Catalyst 또는 스코틀랜드 정부가 운영하는 CivilTech® 액셀러레이터 프로그램을 들 수 있음.
● 혁신 파트너십은 현재 시장에서 접근가능한 옵션으로는 제공할 수 없는 기술의 조달을 가능케 함. 공공 계약 개정 규정은 이 시장 접근 경로가 잠긴 문이 열 때 나타나는 기회들을 강조함. 한 연구보고서는 이러한 파트너십이 지역 수준에서 어떻게 작용할 수 있는지를 분석함.
● 전문 AI 조달 프레임워크 또는 동적 구매 시스템에 따르면 후속 계약에 적용되는 약관을 규정하고 윤리적 요구사항을 포함하는 일련의 사전적 정의 기준에 따라 공급업체를 평가할 수 있음. 공공조달청의 동적 AI 구매시스템은 이런 새로운 접근방식의 첫 번째 사례에 해당함.

2. 공고

어떤 시장 접근 경로를 선택하든 AI 기술이 빠르게 발전하고 있으며 신기술과 제품이 끊임없이 출시되고 있다는 점을 유념해야 한다. 입찰 공고에서 산출물 기반 요구사항을 사용하고 현재 직면하고 있는 문제와 기회를 설명하는 데 초점을 맞춘다. 이는 공급업체들로 하여금 어떤 기술이 당신의 요구사항에 가장 적합한지 판단할 수 있게끔 해줄 것이다.

요구사항 초안 작성

요구사항 초안은 혁신을 주도하는 한편 효과적이고 책임 있고 윤리적인 AI 기술 배치를 위한 기초를 수립할 수 있음.
산출물 기반 요구사항을 사용하여, 공급업체가 요구사항에 어떻게 대응할 것인지 제안하게 할 것. 사용자 요구 및 요구 성능에 의해 뒷받침되는 충분히 상세한 문제 진술 초안을 작성할 것.

AI 요구사항 초안을 작성할 때 고려해야 할 주요 사항은 다음과 같음. 문제 진술부터 시작할 것 제한 사항과 추가적인 기능 요구사항을 포함하여 어떤 과제를 해결하려는 목표인지 명확히 진술할 것. AI가 당면 과제와 관련이 있다고 생각하는 이유와 대안적 솔루션에 열려 있는 이유를 설명할 것. 데이터 전략 및 요구 사항을 강조할 것 데이터 발굴에 기반하여 AI 시스템이 귀 기관의 현재 데이터 전략 및 관행에 어떻게 부합하는지 설명할 것. 가능한 경우 개인정보 보호 영향 평가를 참조하고 데이터 평가 결과, 데이터 요구사항 및 데이터 거버넌스 접근 방식에 대한 세부 사항을 추가할 것. 데이터 품질, 편향성 및 제한에 주목할 것 데이터 발굴 과정에서 이해하게 된 점을 활용하여 입찰 공고에 데이터의 드러난 한계점을 강조하고 공급업체에게 이러한 단점을 해결하는 전략의 설명을 요청할 것. 귀 기관이 놓쳤을 수 있는 관련 제한 사항을 해결하기 위한 계획을 세우고 공급업체에게 이 문제를 완화하기 위한 전략을 요청할 것. 귀 기관이 공급업체의 AI 접근 방식을 이해해야 할 필요성을 강조할 것 공급업체가 변수를 선택하는 방법과 모델이 기반하고 있는 AI 기법(예: 감독형, 비감독형 또는 강화학습형 등) 등 알고리즘과 모델에 대한 정보를 알 수 있는 평가 질의 초안을 작성할 것. 또한 모델의 한계를 설정하기 위해 노력할 것. 공급업체가 프로젝트에 결부된 계획 하에 알고리즘을 훈련시키는 데 사용한 데이터의 출처와 특성에 대해 명확성을 추구할 것. 알고리즘에 대한 독립적 감사도 요구사항에 포함할 것을 고려할 수 있음. 평가 기준이 이러한 지점들을 적절하게 평가하는지 확인할 것. AI 시스템 ‘블랙박스’ 및 공급업체에 종속되지 않는 전략을 고려할 것 ‘블랙박스’인 알고리즘에 의존하지 말 것. 입찰 공고에서 AI 개발에 대해 ‘설명 가능한 접근법’의 필요성(AI 시스템의 의사결정 과정을 이해할 수 있는 범위)을 강조할 것. 고도로 ‘설명 가능한’ AI 시스템의 산출물은 귀 기관 팀은 물론 다른 공급업체에 의해 해석될 수 있을 것임. 이를 통해 향후 다른 공급업체와 협력하여 초기 AI 시스템을 유지하거나 개선할 수 있는 가능성이 높아져 공급업체에 종속될 위험을 제한함. 조달 문서에서 이 문제를 다루는 것을 고려할 것. 개방형 표준, 저작권료 면제 허가 계약(royalty-free licensing agreements) 및 퍼블릭도메인 공개 약관(public domain publication terms)의 채택이 모범 관행이 될 수 있음. <데이터 윤리 프레임워크> 원칙 6 “투명하게 작업하고 책무를 이행해야 한다”를 적용하고 독립 감사와 같은 다른 수단의 사용을 고려할 것. 하십시오. 이 주제에 대한 자세한 정보는 물론 내용은 “설명 가능한 AI에 대한 왕립학회의 정책 브리핑” 참조. 지적재산권의 중요성을 다음과 같이 명시할 것 공급업체가 자신의 지적재산권(IP)과 상업적 이익을 보호하기 위해 솔루션 내부 작업에 대한 세부사항을 공개하는 것을 원치 않을 수 있음. AI 시스템의 설계와 배치 과정에서 새로운 알고리즘이 개발되거나 기존 알고리즘을 맞춤(예를 들어 데이터를 통한 알고리즘 재훈련)할 가능성이 높음. 귀 기관 또는 공급업체가 새로운 지적 재산을 소유해야 하는지 여부와 누가 생성된 IP를 가장 잘 활용할 수 있을지를 고려할 것. 협약은 상호 이익 및 공정함을 보장할 것. 제10차 정부 설계 원칙을 고려하여 귀 기관의 작업이 공개되고 다른 사람이 재사용할 수 있도록 보장 할 것. 관련 기술 또는 서비스 통합에 대해 언급할 것 귀 기관 데이터 및 기술 설계자와 협력하여 AI 시스템과 통합해야 할 관련 기술 또는 서비스를 정의할 것. 공급업체가 입찰 공고에 응할 때 알아야 할 특수 설계 기준이 있을 수 있음. 지속적인 지원 및 유지보수에 대한 귀 기관의 요구사항을 고려할 것 운영부서 또는 서비스부서의 직원은 AI 시스템의 사용 방법과 그 산출물에 대한 조치를 이해할 수 있도록 AI 시스템에 대해 충분한 지식을 갖추었거나 교육훈련을 받아야 함. 귀 기관은 교육훈련 및 지식 이전의 중요성을 강조하여 귀 기관의 팀이 계약 기간 동안 숙련도가 향상되고 공급업체가 시행한 솔루션에 대해 심층적으로 이해할 수 있도록 보장하고, 비전문가인 사용자가 어떻게 지원받을 수 있을지 고려할 수 있음. 최초 계약 기간을 넘어 요구될 수 있는 지속 지원에 대한 요구사항, 호스팅 또는 추가 개발 사항을 고려할 것. 서비스 지원 및 유지보수를 담당하는 기관내 팀이 있는 경우, 해당 팀이 공급업체와 상담했는지 확인할 것. 책임 및 위험성에 대한 고려사항을 추가할 것 위험성은 이를 가장 잘 관리할 수 있는 측에 할당할 것. 알맞은 위험성 배분은 서비스의 장기적 실행 가능성뿐만 아니라 최고 가치 달성을 위해서도 중요함. 특정 영역에 대한 책임은 특정 부서, 특히 AI 기반 솔루션의 사용 및 적용, 데이터 접근 및 이전과 관련된 부서에 속할 것임. 또한 기술, 보안 및 품질 보장에 관한 영역 등에서는 공급업체에게 책임을 물을 필요가 있을 수 있음. 이러한 고려 사항들에 대하여 입찰 공고에서 강조할 것. 위험 할당에 대한 자세한 내용은 <아웃소싱 플레이북> 8장 참조. 또한 신청서는 인가되지 않은 것으로 의심되는 행위를 기관 내부 또는 외부의 관련 기관에 쉽게 신고할 수 있는 방식을 포함해야 함.

귀 기관 팀의 경험을 활용하여 초안 작성 절차를 지원하고, 사용자 및 이해관계자와 협력하여 포함되어야 하는 평가의 핵심 영역을 설정할 것. 모든 요구사항은 투명해야 하며, 중소기업 및 사회적 기업과 같은 특정 유형의 공급업체 또는 영국이 조달 의무와 함께 무역 협정을 체결한 국가의 공급업체들을 차별해서는 안 됨.

더 알고 싶다면 <아웃소싱 플레이북>에 설명된 상업적 모범 관행을 따르고 <기술 규칙> 및 <정부 설계 원칙>을 준수해야 한다.

3. 선정, 평가 및 낙찰

선정 및 평가 단계에서는 요구사항에 대한 공급업체의 반응을 고려해야 한다. 다학제 팀의 경험을 활용하여 평가 절차를 지원하고 평가를 수행할 수 있는 광범위한 전문지식을 확보해야 한다.
견고성 실행 원칙의 주요 내용에 따르면, 공급업체가 AI 기반 솔루션을 제공할 때 시연을 요청하고 입찰자를 평가할 때 이를 추구해 볼 수 있다. 견고성 실행 원칙에는 다음이 포함될 수 있지만 이에 국한되지는 않는다.
● 사내 윤리적 AI 접근 방식을 수립하고, AI 기반 솔루션의 설계, 개발 및 배치 방법에 대한 사례를 제시
● 알고리즘 산출물에 대한 책무성을 보장하는 절차
● 불공정하게 차별할 수 있는 산출물의 회피
● 재현가능성을 위한 설계
● 다양한 조건에서 이루어지는 모델 테스트
● 허용 가능한 모델 성능에 대한 정의
● 견고하고 비례적인 보안의 제공

평가 절차의 일환으로 AI 시스템을 개발하고 배치할 팀의 전문 기술, 자격, 다양성 등도 검토한다. 이는 또한 시스템의 불공정한 편견을 예측하거나 탐지하는 데 도움이 될 수 있다.
공급업체의 반응은 공급업체의 일반적인 접근 방식을 나타내는 지표라는 점에서 유의해야 한다. 완전하게 상세하고 확고한 계획을 기대하기는 어려운데, 이는 AI 개발이 반복적인 과정이고 프로젝트가 진행됨에 따라 시스템이 예외없이 변화하고 진화할 것이기 때문이다.

더 알고 싶다면 세계경제포럼이 인공지능실과 협력 개발한 참고자료들도 AI 입찰자의 반응을 평가하는 사례가 될 수 있으며, 평가 단계에서 추가할 고려사항에 대한 아이디어를 제공한다. 마젠타북은 정부의 모니터링 및 평가 전략에 대한 일반적인 지침을 제공할 수 있다.

4. 계약 이행 및 지속적인 관리

다른 모든 계약과 마찬가지로, 새로운 공급업체가 <아웃소싱 플레이북> 및 계약 관리를 위한 모범 관행에 따라 참여할 수 있도록 시간과 주의를 기울여야 한다.
AI 시스템은 생애주기 전체에 걸쳐 지속적인 지원이 필요할 수 있다. 지원 격차에 따른 영향력을 수용하거나 외부 전문지식을 채택하는 것은 둘 다 비용이 든다. AI 기반 솔루션을 구매할 때 이 점을 고려해야 한다.

절차 기반 거버넌스 및 감사가능성

< AI 윤리 및 안전 이해 지침>에 제시된 절차 기반 거버넌스 프레임워크의 실시를 고려할 것. 이는 규범, 가치, 원칙에 대한 고지 절차와 프로젝트 업무흐름을 정의하는 실행규약을 통합할 수 있는 근거가 됨. 앨런 튜링 연구소는 이를 ‘절차 기반 거버넌스(Process-Based Governance) 프레임워크’라고 명명하였으며 이는 귀 기관 팀에 다음의 개요를 제공할 수 있음.
● 각 거버넌스 조치에 관련된 해당 팀원 및 역할
● 거버넌스 목표를 달성하기 위해 개입과 맞춤형 고려사항이 필요한 업무 흐름 단계
● 평가, 후속 조치, 재점검 및 지속적인 감독에 대한 명시적 시간표
● 명확하고 잘 정의된 실행규약으로 단대단 감사가능성을 지원하는 활동 기록(log)과 집행 체계

프로젝트 생애주기의 모델링, 교육훈련, 테스트, 검증 및 구현 단계에 걸쳐 데이터를 수집하는 과정이 기록되도록 구현하여 단대단 감사가 가능해야 함. 해석 가능하고 정당한 AI를 구현하기 위하여 이러한 기록은 다양한 사용자를 염두에 둔 가변적 접근성 및 정보 표출이 이루어져야 함.

모델 테스트

모델의 정확성을 유지하기 위해서는 지속적인 모델 테스트가 필요함. 부정확한 모델은 국민에게 부정적인 영향을 미치는 잘못된 결정을 초래할 수 있음. 따라서 일단 배치한 모델의 유효성을 모니터링할 방법을 공급업체와 함께 수립할 것. 국가 사이버 보안 센터에서 발간한 사이버 보안을 위한 지능적 도구 평가 지침은 또한 이러한 고려사항의 중요성을 강조하였음.

지식 이전 및 교육훈련

프로젝트가 완수되면 내부적으로 팀들이 이 도구를 자체적으로 적절하게 사용할 수 있도록 지식 이전 계획의 완전성 및 논리를 평가할 것. 이를 보장할 수 없는 경우 채용 및 유지보수 또는 추가 유지보수 계약을 통해 사내 역량을 확립하도록 할 것.
운영부서 또는 서비스부서의 직원은 AI 시스템의 사용 방법과 그 산출물에 대한 조치를 이해할 수 있도록 AI 시스템에 대해 충분히 지식을 갖추었거나 교육훈련을 받아야 함. AI 애플리케이션 오남용을 방지하기 위해 직원 교육훈련 및 지원에 대한 요구 문제를 AI 공급업체와 해결할 것. 신청서는 인가되지 않은 것으로 의심되는 행위를 기관 내부 또는 외부의 관련 기관에 쉽게 신고할 수 있는 방식을 포함해야 함.

수명 종료

AI 시스템 및 데이터의 수명을 종료시키는 절차를 어찌해야 할지 고려해 볼 것. 이 지침을 효과적으로 적용하기 위해서는 데이터 청소 및 수집에 대해 감사 가능한 방법론이 핵심임. 계약 종료의 역할과 절차를 정의하는 것이 계약기관 및 공급업체 모두에게 중요함. 그러한 고려사항이 계약에 포함되어 있는지 확인하고, 광범위한 절차의 일부로서 계약관리 절차가 AI 시스템의 수명 종료를 적절하게 뒷받침할수 있을 정도로 충분히 견고한지 검사할 것.