교사, 학부모, 시민사회단체들의 반대에도 불구하고, 교육부는 AI 디지털교과서 사업을 밀어붙이고 있다. AI 디지털교과서의 교육적 효과에 대한 의구심과 사전 준비 부족 등 이미 많은 문제들이 지적되고 있지만, 또 하나의 문제는 학생들의 정보인권을 심각하게 침해할 수 있다는 점이다. 우리 단체들은 교육부가 학생 정보인권 보호에 대한 충분한 대책이나 설명없이 AI 디지털교과서 사업을 밀어붙이는데 강한 우려를 표한다.
AI 디지털교과서에 대한 검정이 진행 중이기는 하지만, AI 디지털교과서는 그 운영 방식을 고려할 때 매우 세밀하고 방대한 학생들의 개인정보를 수집할 것으로 보인다. 기본적인 인적사항 뿐만 아니라, 교과서 시스템에의 로그인/로그아웃 일시, 로그인 횟수 및 간격, 학습한 콘텐츠의 종류, 학습 시간 및 패턴, 게시글 등록 건(수), 평가 결과, 문제 풀이 현황, 과제 현황, 학습 이력 등 학생의 일거수 일투족을 추적하여 사생활 침해에 이를 수 있는 매우 세세한 정보를 수집할 수밖에 없다. 이처럼 (이전에는 수집 자체가 되지 않았던) 방대한 개인정보 수집은 중대한 개인정보 침해 위협을 야기한다. 아무리 보안조치를 취하더라도 해킹이나 고의, 또는 부주의로 인한 돌이킬 수 없는 개인정보 유출 위험을 배제하기 힘들다.
외부 유출이 아니더라도, 학생 입장에서 이는 감시 체계로 작동할 수 있다. 학교 내에서의 학습 과정 뿐만 아니라, 방과 후의 학습 과정까지 모니터링될 뿐만 아니라 기록으로 보존되기 때문이다. 이는 학생의 전체 삶에 대한 모니터링으로서 학생의 프라이버시와 자율성을 심각하게 침해한다. 이러한 감시는 학생들에게 압박감을 줄 수 있어 교육적 측면에서도 바람직하지 않다. 과연 AI 디지털교과서의 이런 문제에 대해 학생들의 의견을 청취하는 과정을 거쳤는지 의문이다.
또한 AI 디지털교과서는 개인정보보호법을 준수하면서 적법하게 추진되어야 한다. 이를 위해서는 AI 디지털교과서 업체들이 학생들의 개인정보를 수집할 때 개인정보보호법 상 적법 근거가 있어야 한다. AI 디지털교과서 업체들의 개인정보 수집이 법령에 근거를 둔 것은 아니기 때문에, 학생들의 동의(14세 미만의 미성년자의 경우 법적대리인의 동의)를 얻어야 한다. 개인정보보호법 상 동의는 정보주체의 ‘자유로운 의사’에 따른 것이어야 하며, 따라서 특정 학교나 학급에서 AI 디지털교과서를 도입했다고해서 동의를 강제한다면, 그것은 적법한 동의가 될 수 없다. 교육부는 AI 디지털교과서 시행 이후에 특정 학교에서 동의가 강제되고, 이에 대해 개인정보 분쟁조정이 신청되거나 교과서 업체가 고발되는 등 분란이 발생할 가능성을 어떻게 감당하려는지 우려하지 않을 수 없다. 동의를 강제하지 않는다고 해서 문제가 없어지는 것은 아니다. 한 학급 내에서 동의를 한 학생과 하지 않은 학생이 병존할 경우, 원활한 수업이 가능할 수 있을까. 어떤 상황이 되든, AI 디지털교과서는 학교 내에 혼란을 야기할 가능성이 크다.
AI 디지털교과서의 AI 기능이 적절하게 작동할지, 차별이나 편향을 야기할 가능성은 없는지도 우려된다. AI 디지털교과서 개발 가이드라인 상에서는 ‘학습데이터의 수집‧정제‧선택 등의 과정을 투명하게 관리’하고, ‘알고리즘과 데이터의 처리 과정을 사용자가 이해할 수 있는 언어로 설명’할 것, ‘AI 알고리즘의 예측, 추천 및 결정 등 특정 의사 결정 또는 행동에 대하여 주요 요인을 사용자에게 설명할 수 있도록 관리할 것’, ‘AI 알고리즘의 편향성을 방지하기 위하여 학습데이터 선정 시 교육 목적에 적합하고 충분한 양의 최신 데이터를 사용하며 데이터에 대한 무결성을 지속적으로 점검할 것’을 권고하고 있으나, AI 디지털교과서 제작 업체가 이를 위한 기술적 역량이 있는지, 교육부가 이러한 원칙 이행 여부를 판단할 역량이 있는지도 심히 우려스러울 뿐 아니라 이를 권고 수준에서 어떻게 실효성있게 관리 감독하겠다는 것인지도 의문이다.
AI 디지털교과서 학습을 위해 어떠한 데이터를 사용했는지, 편향성이 존재하는 현실에서 편향을 없애기 위해 어떠한 조치를 취할 수 있는지, 거대 기술기업도 완전히 해결하지 못하는 생성형 AI의 거짓 정보 생성 문제를 해결할 기술적 역량은 있는지, 여전히 기술적 난제로 남아있는 인공신경망 기반 AI의 설명가능성 문제를 교과서 업체들이 해결할 역량이 있는지 모든 것이 미지수로 남아있다. 교육부는 AI 윤리를 준수해야한다는 추상적인 원칙이 아니라, 이를 보장하기 위한 구체적인 절차와 기술적 방안을 공개해야 한다.
AI 디지털교과서는 학생들의 개인정보를 처리하고, 학생들을 평가하며, 이에 기반하여 향후 교육자료를 제시하는 기능을 한다. 이는 유럽연합 인공지능법의 기준에 따르면 ‘고위험 AI’로 분류된다. 아직 한국에서는 고위험 AI의 위험성을 식별, 완화하거나 문제가 발생할 경우 권리를 구제할 수 있는 실효성있는 제도적 장치가 없는 상황이다. 이런 상황에서 AI 디지털교과서를 충분한 검증 과정도 없이 성급하게 추진해야할 어떠한 이유가 있는지 의문이다.
개인정보 감독기구로서 개인정보보호위원회는 AI 디지털 교과서 운영 과정에서 학생들에게 교과서 업체의 개인정보 관련 약관에 대해 동의할 것을 강제한다면, 이는 개인정보보호법 위반이 된다는 점에 대해 교육부에 확실하게 경고할 필요가 있다.
교육부는 학생들을 AI 실험의 대상으로 삼아서는 안된다. 학생 정보인권을 침해하는 AI 디지털교과서 사업을 즉각 중단할 것을 촉구한다.
2024년 9월 27일
민주사회를위한변호사모임 디지털정보위원회, 정보인권연구소, 진보네트워크센터, 참여연대, AI 디지털교과서 중단 공동대책위원회