국제법 준수, 책임성 조항 등 법안 개선 및 보완 사항 제안
고위험 군사AI의 금지·제한 규정 추가 및 보완 필요성 제시
국방인공지능위원회의 독립성과 민주적 통제 제도화 제안
1. 오늘(5/14) 참여연대, 민주사회를 위한 변호사 모임, 디지털정의네트워크, 녹색연합, 한국여성단체연합 등 인권, 노동, 복지, 여성, 환경, 소비자, 평화 분야 전국 46개 시민사회단체로 구성된 ‘인공지능 책임성과 공공성 강화를 위한 시민사회 공동행동(이하, ‘AI시민행동’)’은 현재 국회 국방위에 계류되어 있는「국방인공지능법」제정안에 대한 우려와 제안 의견을 담은「국방인공지능법」 제정안에 대한 입법의견서(19쪽)를 국회에 제출했습니다.
2. 지난 2026년 1월 22일「인공지능기본법」이 전면시행되었습니다. 그러나 해당 법의 적용 대상에 국방 및 국가안보 목적의 인공지능은 제외되어 있습니다. 애초에 공통 규범으로 기본법을 제정하고 국방분야 인공지능에 한하여 필요한 예외적인 규율은 별도로 제정했어야 마땅하지만 지금으로서는 별도로 국방인공지능법을 추진할 수밖에 없는 상황입니다. 문제는 전세계적으로 인공지능을 활용한 무기 개발과 투자가 크게 증가하고, 실제 전장에 투입되며 표적 식별과 의사결정까지 전 과정에서 여러 가지 법적·윤리적 쟁점이 발생하고 있음에도 현재 발의되어 있는 국방인공지능법안은 사실상 국방인공지능 기술에 대한 규제와 통제 보다는 개발과 기술 발전을 촉진하기 위한 육성에 초점을 맞추고 있다는 점입니다.
3. 이에 AI시민행동은 의견서를 통해 국방인공지능은 유엔 헌장, 국제인도법, 국제인권법을 비롯하여 국제법 및 국내법 체제에 합치하는 방식으로 규제되어야 하며, 특히 자율 무기 체계에 관하여 최근 국제 사회가 권고 및 논의하고 있는 금지·제한의 방향을 반영해야 한다는 점을 강조했습니다. 또한 국방인공지능은 그 특성상 고위험 인공지능에 해당함에도 불구하고, 이 법안은 국방인공지능이 야기할 수 있는 위험을 사전에 관리하거나, 문제 발생 시 원인을 규명하고 책임을 부과하는 등의 사업자 책무에 대해서는 규율하지 않고 있다는 점에 우려를 표했습니다. 위험관리방안의 수립, 인공지능의 학습데이터와 최종결과와 관련된 투명성 요건, 국방인공지능 시스템을 이용하는 이용자에 대한 보호 방안, 사람의 관리ㆍ감독, 향후에 문제를 추적하고 책임 소재를 파악할 수 있도록 하는 문서의 작성과 보관 등 고위험 인공지능에 필수적인 요건을 해당 법안에 명시적으로 규정해야 합니다. 이 외에도 민간의 인공지능을 국방분야에 도입할 때 인공지능기본법에서 규정하고 있는 것 이상의 안전성, 신뢰성, 책무성 의무를 사업자에게 부과해야 한다는 점도 강조했습니다.
4. 이러한 우려에 기초해 AI시민행동은 국방인공지능법안 개선점을 다음과 같이 제시했습니다. ▷국가안보 중심에서 책임성 중심으로 목적 조항의 방향을 전환하고, ▷‘자율성’, ‘인간통제’ 등 핵심 개념 정의 조항을 추가하며, ▷모호한 ‘인적 개입’ 개념을 구체화하고 살상 결정 위임 불허 원칙도 명시할 것을 제안했습니다. 또한 ▷국방인공지능위원회의 독립성과 민주적 통제를 제도화할 것을 제안하고, ▷개발 및 특례 조항을 제한적으로 적용하고 군사AI 금지·제한하는 규정을 추가토록 했습니다. 이어 ▷안전성 확보 의무조항을 강화하고 피해 책임 범위와 기준을 명확화해야 한다고 강조하고, ▷특정 국방인공지능에 대한 금지 규정을 추가하는 것은 물론, ▷영향받는 자의 권리구제와 책임자 처벌 조항도 보완해야 한다고 지적했습니다.
5. 마지막으로 AI시민행동은 국회가 정해진 입법 계획에 맞춘다며 법안 심의를 졸속으로 진행해서는 안 되며 시민사회와 국제인도법, 국제인권법, 인권 및 평화학 등 전문가들이 제시하는 우려와 개선 의견을 충분히 청취해 법안을 수정·보완하는 것이 필요하다고 재차 강조했습니다. 또한 의견서에서 제기된 쟁점들에 대한 토론도 적극 이어갈 계획임을 밝혔습니다.
국방인공지능법 제정안에 대한 AI시민행동 입법의견서 주요 개선방향
1. 국가안보 중심에서 책임성 중심으로 목적 조항의 방향 전환
- 제1조 목적 조항은 ‘국방분야에서의 인공지능 기술 개발 및 활용에 관한 기본원칙을 수립하고, 실질적이고 책임있는 인간 통제와 국제법 준수를 보장함으로써 인공지능 기반 무기체계의 안전성·책임성·투명성을 확보하고, 민간인 보호와 인권 존중에 부합하는 책임있는 국방인공지능 활용 체계를 확립하는 데 이바지한다’로 수정해야 함.
- 한국이 2024년 REAIM 정상회의와 유엔총회 결의안에서 약속한 바를 국내법적으로 이행할 수 있도록 ▷국제인도법 및 국제인권법 준수, ▷제네바협약추가의정서 제36조에 따른 무기검토 의무, ▷민간인 보호 등은 ‘국방인공지능 개발과 활용의 원칙’으로 별도의 조문으로 명문화해야 함.
2. ‘자율성’, ‘인간통제’ 등 핵심 개념 정의 조항 추가
- 제2조 정의에서 국방인공지능 규범 논의의 핵심 개념인 ‘자율성(autonomy)’, ‘인간통제(human control)’, ‘AI기반 무기체계(AI-enabled weapon system)’ 등에 대해 별도로 정의해야 함. 또한, 이 법안에서 강조하는 ‘안전성’, ‘신뢰성’, ‘책임성’은 무엇인지에 구체적인 설명이 있어야 함.
- 인공지능기본법을 준용하여 국방인공지능 사업자 및 이용자의 책무와 영향받는 자 권리 구제를 위해 국방인공지능사업자, 이용자, 영향받는자의 정의를 규정할 필요가 있음.
3. 모호한 ‘인적 개입’ 개념을 구체화하고 살상결정 위임 불허 원칙도 명시
- 제3조 기본방향에서 첫째, 국제인도법(IHL) 및 국제인권법을 준수하여야 한다는 원칙, 둘째 국방인공지능의 개발 및 이용의 전 주기에서 안전성ㆍ신뢰성ㆍ책임성을 확보하고, 영향받는 자의 설명요구권과 인적개입 요구권을 보장해야 한다는 원칙을 명문화 해야 함. 셋째 ‘인적개입’이라는 모호한 표현을 ‘맥락에 적합한 인간의 책임있는 판단과 통제’ 등으로 대체하고, 인간 통제의 구체적인 구성요소를 법률에 명문화해야 함. 또한, 인간에 대한 살상 결정을 기계에 위임하지 않는다는 원칙이 명시되어야 함.
4. 국방인공지능위원회의 독립성과 민주적 통제 제도화
- 위원회 구성은 군, 정부 중심 구조에서 벗어나 시민사회와 외부 전문가, 관계 중앙행정기관 등의 참여를 확대하고, 외부 위원이 전체 위원의 3분의 1 이상이 되도록 함.
- 위원회 기능은 단순한 정책 심의 수준을 넘어 국방인공지능의 위험 관리와 책임성을 강화할 수 있는 방향으로 강화해야 함. 특히 제7조 제8호의 ‘국방인공지능의 안전성 및 신뢰성 확보 등에 관한 사항’은 단순한 심의, 의결로 충분하지 않으며, 국방인공지능의 ‘반인도적 사용 가능성’이나 국제법 위반 가능성을 예방하기 위한 검토와 관리 기능을 명시적으로 포함해야 함.
- ‘인공지능 기술의 국방 분야 개입·도입 및 운용 현황’과 위원회 활동이 정기적으로 국회에 보고될 수 있도록 국회 보고를 의무화하고, 국회의 요구가 있을 경우 관련 정책과 사업 현황을 보고하도록 규정하여 민주적 통제가 가능하도록 해야 함.
- 국방인공지능의 위험성과 책임 문제를 고려할 때, 위원회에 인공지능기술의 반인도적 적용이나 국제법 위반 가능성에 대해 조사 권한을 부여하고, 위원회와는 별도로 국방인공지능의 개발 및 운용과정에 대한 독립적인 감독 기능을 수행하는 감독관 제도를 도입해야 함.
5. 개발 및 특례 조항의 제한적 적용 및 군사AI 금지·제한하는 규정 추가
- 제3장 ‘국방인공지능기술의 개발 및 특례’는 ‘국방인공지능기술의 개발, 활용 및 규제’로 수정하고, 제14조, 제18조에서 고위험영역 인공지능 관련 사업자의 책무, 표적 선택, 교전 개시, 치명적 무력 행사와 같은 핵심 영역에서는 안전 검증을 우회할 수 없도록 특례 조항의 적용 범위를 제한해야 함.
- 제17조에서 민간 인공지능 기술을 도입하는 경우 사전에 해당 기술의 안전성, 편향성, 이중용도 위험 및 국제법 준수 여부 등 평가를 통해 도입 여부를 결정하도록 하고, 민간인공지능 기술의 군사적 활용과 관련하여 이중용도 기술 관리체계를 마련하고, 도입, 승인, 사용, 모니터링 등 단계별 관리 절차를 시행하는 것을 명시해야 함. 또한, 인공지능기본법의 고성능 인공지능(제32조)과 고영향 인공지능(제34조)에서 규정하고 있는 것 이상의 안전성, 신뢰성, 책무성 의무를 사업자에게 부과할 필요가 있음.
6. 안전성 확보 의무조항 강화 및 피해 책임 범위와 기준 명확화
- 안정성 확보 의무 조항은 현재와 같이 ‘할 수 있음’ 수준이 아니라 ‘해야 한다’로 법적 강제력이 있는 의무 사항으로 규정하고, 안전 인증이 없는 시스템 운용은 금지해야 함.
- 인공지능기본법 제34조에서 규정하고 있는 고영향 인공지능 사업자의 책무를 기본적으로 국방인공지능 사업자에게 적용해야 함.
- 국방부 및 산하기관은 인공지능 시스템을 도입할 경우 의무적으로 인권영향평가를 수행하도록 규정해야 함.
7. 특정 국방인공지능에 대한 금지 규정 필요
- 금지대상, 고위험, 제한된 위험 등 위험도(risk-based)에 따른 분류체계를 도입하여야 함. 특히 의미있는 인간통제 없이 작동하면서 사람을 표적으로 삼는 자율무기의 연구, 개발 및 운용을 금지해야 함. 금지되지 않는 자율 무기에 대해서는 의미있는 인간통제가 어떻게 이루어질 수 있는지, 즉 그에 대한 의사결정 요건, 기술적 요건, 운영적 요건에 대해서 가능한 한 구체적으로 제한하는 규정을 두어야 함.
8. 영향받는 자의 권리구제와 책임자 처벌
- 인공지능기본법 제3조에서 규정하고 있는 영향받는 자의 설명요구권(인공지능의 최종결과 도출에 활용된 주요 기준 및 원리 등에 대하여 기술적ㆍ합리적으로 가능한 범위에서 명확하고 의미 있는 설명을 제공받을 권리)도 보장받아야 함.
- 국방인공지능에 대해 위험성을 평가하고, 사고를 조사하고, 시정조치를 권고할 수 있는 독립적인 감독기구를 두어야 함.
- 인공지능 오작동 또는 운용 과정에서 발생한 피해에 대해 국가, 기업, 개인의 책임 범위와 기준을 명확하게 규정해야 하며, 책임 규명과 사후 조사가 가능하도록 알고리즘 설계, 데이터 사용 및 운용 과정에 대한 기록 보존과 문서화 의무를 명시해야 함.