Skip to main content

프런티어 AI에 대한 전 세계적 모라토리엄 촉구 60+ civil society organisations and experts call for a global moratorium on frontier AI

시민사회와 전문가들, 프론티어 AI에 대한 전 세계적 모라토리엄 촉구

아래에 서명한 우리 시민사회단체들은 인간에게 심각하거나 광범위한 피해를 초래할 가능성이 있는 고도화된 AI 모델 또는 자율형 AI 모델, 즉 ‘프론티어 AI’의 개발, 배포 및 판매에 대해 즉각적인 전 세계적 모라토리엄(유예)을 시행할 것을 촉구한다. 이 모라토리엄은 구속력 있는 안전장치, 독립적인 감독, 실효성 있는 집행 메커니즘이 마련될 때까지 유지되어야 한다.

세계 최대 AI 기업들의 개발자들조차 이제는 가장 강력하고 잠재적으로 위험한 AI 시스템의 무분별한 개발 속도를 늦출 필요가 있음을 인정하고 있다. 이는 경쟁을 주도하는 기업들 스스로가 AI 역량이 이를 통제하는 데 필요한 안전장치보다 더 빠르게 발전하고 있음을 인정한 중대한 고백이다.

자발적 약속만으로는 충분하지 않다. 경고가 나올 때마다 기업들은 다시 개발 가속화로 돌아가고, 정부들은 향후 규제에 대한 논의만 이어가고 있다. 소수의 민간 기업이 대중이 감수해야 할 위험의 수준을 결정하도록 내버려 두어서는 안 된다.

피해는 이미 현실이다

전문가들은 고도화된 AI가 인류에게 실존적 위협이 될 수 있다고 경고한다. 하지만 AI는 이미 대규모 사기를 가능하게 하고, 감시 및 무기 체계를 가속화하며, 허위정보를 증폭시키고, 초급 일자리를 없애고, 권력과 부를 집중시키고 있다.

우리는 디지털 권리, 노동권, 기업 책임, 젠더 정의, 인종 정의, 교육, 환경 정의, 시민적 자유 등 다양한 분야에서 활동하고 있다. 우리는 이러한 피해를 꾸준히 기록해 왔고, AI 개발의 무모한 속도에 대해 경종을 울려 왔으며, 구속력 있는 규제를 요구해 왔다. 거대 기술 기업들은 실효성 있는 규제를 막기 위해 싸워 왔고, 그 결과 현재의 규제는 의약품, 항공, ‘논란이 되는 무기’ 등 심각한 인권 침해를 초래할 수 있는 다른 분야에 적용되는 기준에 한참 못 미치고 있다.

우리의 긴급 요구

긴급한 조치가 필요하다는 공감대가 대중 사이에서 커지고 있는 만큼, 우리는 다음을 요구한다.

  1. 정부는 프론티어 AI 모델의 개발과 판매에 대해 즉각적인 전 세계적 모라토리엄을 시행하고, 구속력 있는 국제 협정을 위한 협상을 시작해야 한다.
  2. AI 기업은 프론티어 AI 모델의 개발, 배포, 판매를 즉시 중단하고, 독립적인 규제 기관 및 평가 기관에 전적으로 협력해야 한다.
  3. 투자자는 프론티어 AI에 대한 자금 지원을 중단하고, 관련 투자 노출 규모를 공개하며, 자신의 영향력을 활용해 투자 대상 기업들이 개발, 배포, 판매를 중단하도록 요구해야 한다.

모라토리엄은 다음 다섯 가지 조건이 충족될 때까지 유지되어야 한다.

  1. 독립적인 감독 및 인증: 고도화된 모델과 자율형 모델은 출시 전에 국제적으로 합의된 안전 및 인권 기준에 따라 독립적인 평가를 받아야 한다. 규제 기관은 이를 평가하는 데 필요한 시스템과 정보에 접근할 수 있어야 한다. 인증에는 실효성 있는 억제(containment) 및 작동 중지(shutdown) 메커니즘이 포함되어야 한다.
  2. 안전에 관한 투명성: 기업은 AI 개발 및 안전에 대한 지출 내역과 함께 중대한 사고, 확인된 위험, 실패한 테스트, 시정 조치를 공개해야 한다.
  3. 의무적 인권 및 환경 실사: 기업은 AI 가치사슬 전반에 걸쳐 피해를 식별하고, 예방하고, 해결해야 한다. 이러한 의무는 기업과 경영진에 대한 민사적·형사적 책임으로 뒷받침되어야 한다.
  4. 위험한 역량의 금지: 정부는 신뢰할 수 있는 방식으로 통제할 수 없는 역량을 지닌 시스템을 금지해야 하며, 여기에는 우리의 통제 능력을 앞지를 수 있는 재귀적 자기 개선(recursive self-improvement)이 포함된다.
  5. 핵심 분야에 대한 엄격한 통제: 보건, 금융, 공공 서비스, 교육 등 고위험 분야와 이주 관리, 무기 및 감시 시스템에는 광범위한 영향 평가와 독립적인 감독 없이 AI를 배치해서는 안 된다.

행동을 미룰 수 없다

세계는 미국과 중국이 AI의 미래를 결정할 때까지 기다릴 수 없다. 각 지역의 정부들은 전 세계 노동자와 영향을 받는 공동체가 실질적인 의사결정 권한을 갖는 포용적인 국제 협정을 구축하기 위해 함께 노력해야 한다.

이와 동시에 국가 및 지역 차원의 규제도 신속하게 추진되어야 한다. 정부는 자국민을 보호해야 할 즉각적인 의무가 있으며, 국제 협상이 진행되는 동안에도 조치를 미룰 수 없다. 구속력 있는 안전장치가 마련될 때까지 프론티어 AI 개발은 중단되어야 한다.

ENGLISH

60+ civil society organisations and experts call for a global moratorium on frontier AI

 

We, the undersigned civil society organisations, call for an immediate global moratorium on the development, deployment and sale of ‘frontier AI’ which are advanced or autonomous AI models that have the potential to cause severe or widespread harm to humans until binding safeguards, independent oversight and effective enforcement mechanisms are in place.

Developers from some of the world’s largest AI companies now accept the need to slow the reckless development of the most powerful and potentially dangerous AI systems. This is a significant admission from the companies leading the race: AI capabilities are advancing faster than the safeguards needed to control them.

Voluntary commitments are not enough. After each warning, companies return to accelerated development while governments continue to discuss future regulation. A handful of private companies cannot be allowed to determine what level of danger the public should accept.

The harms are already here

Experts warn that advanced AI could pose an existential threat to humanity. Meanwhile, AI is already enabling mass fraud, accelerating surveillance and weapons systems, amplifying misinformation, eliminating entry-level jobs and concentrating power and wealth.

We work across digital rights, labour rights, corporate accountability, gender justice, racial justice, education, environmental justice and civil liberties. We have consistently documented these harms, sounded the alarm over the reckless pace of AI development and called for binding regulation. The tech giants have fought to block effective and binding regulations which remain far from the standards applied to other sectors capable of causing severe human rights and environmental harm, including pharmaceuticals, aviation and ‘controversial weapons’.

Our urgent call

As public consensus grows on the need for urgent action, we demand that:

  1. Governments impose an immediate global moratorium on the development, financing and sale of frontier AI models and begin negotiating a binding international agreement.
  2. AI companies immediately cease the development, deployment and sale of frontier AI models and cooperate fully with independent regulators and assessors.
  3. Investors pause financing for frontier AI, disclose their exposure and use their leverage to require portfolio companies to stop development, deployment and sale.

The moratorium must remain in place until five conditions are met:

  1. Independent oversight and certification: Advanced and autonomous models must undergo independent assessment against internationally agreed safety and human rights standards before release. Regulators must have access to the systems and information necessary to assess them. Certification must include effective containment and shutdown mechanisms.
  2. Transparency on safety: Companies must disclose their spending on AI development and safety, alongside serious incidents, identified risks, failed tests and corrective action.
  3. Mandatory and ongoing human rights and environmental due diligence: Companies must identify, prevent and address harms across the AI value chain. These duties must be backed by civil and criminal liability for companies and their executives.
  4. Prohibition of dangerous capabilities: Governments must prohibit systems with capabilities that cannot be reliably controlled, including recursive self-improvement that could outrun our ability to contain it.
  5. Strict controls in critical sectors: AI must not be deployed in health, finance, public services, education or other high-risk sectors as well as migration management, weapons and surveillance systems without extensive impact assessment and independent oversight.

Action cannot wait

The world cannot wait for the United States and China to determine the future of AI. Governments across regions must work together to build an inclusive international agreement in which workers, human rights defenders and affected communities worldwide have genuine decision-making power.

In parallel, national and regional regulation must proceed rapidly. Governments have an immediate and a primary obligation to protect their populations and cannot delay action while international negotiations continue. Development of frontier AI must stop until binding safeguards are in place.

서명자들 Signatories

단체 Organisations:

  1. 7amleh – The Arab Center for the Advancement of Social Media
  2. Action Group on Erosion, Technology and Concentration (ETC Group)
  3. Africa Freedom of Information Centre (AFIC)
  4. Asociación Ciudad Viva, Paraguay
  5. Bangladesh NGOs Network for Radio and Communication (BNNRC)
  6. BlueLink Foundation
  7. Business and Human Rights Centre
  8. Cairo Institute for Human Rights Studies
  9. Campaign on Digital Ethics (CODE)
  10. CCAOI
  11. Centro Nacional de Comunicación Social (Cencos)
  12. CITAD
  13. Collaboration on International ICT Policy for East and Southern Africa (CIPESA)
  14. Common Room Networks Foundation (Common Room)
  15. Digital Empowerment Foundation
  16. Digital Justice Network
  17. Digital Rights Nepal
  18. Empower
  19. EngageMedia
  20. Fantsuam
  21. Fundación porCausa
  22. Foundation for Media Alternatives
  23. Globe International Center, Mongolia
  24. GreenNet
  25. Institute for Digital Rights
  26. International Service for Human Rights
  27. IT for Change
  28. JCA-NET.
  29. Jokkolabs Banjul
  30. LaLibre Tecnologías Comunitarias
  31. Latin American Campaign for the Right to Education (CLADE)
  32. Media Matters for Democracy
  33. Media Rights Agenda (MRA)
  34. Migrant Workers’ Action
  35. Mizzima Media
  36. Myanmar Internet Project
  37. Nexus Research Co-operative, Ireland
  38. ONG Amaranta - Chile
  39. Open MIC (Open Media and Information Companies Initiative)
  40. Palestinian Center for Development and Media Freedoms (MADA)
  41. Pangea.org
  42. Paradigm Initiative (PIN)
  43. PEN International
  44. Pollicy
  45. Public Citizen
  46. Software Freedom Law Center India (SFLC.in)
  47. SMEX
  48. SOMO
  49. Taller de Comunicacion Mujer
  50. TEDIC – Paraguay
  51. The Media Awareness and Justice Initiative
  52. The Oversight Lab
  53. Digital Action
  54. Gambia Press Union (GPU)
  55. Cartoonists Rights
  56. Media Institute of Southern Africa (MISA)
  57. Freedom Forum
  58. Visualizing Impact
  59. VOICE
  60. Freedom of Expression Institute (FXI)
  61. ASPBAE - Asia South Pacific Association for Basic and Adult Education

개인 Individuals:

  1. Richard Hill
  2. Andrew Garton
  3. Michel Lambert
  4. Leandro Navarro
  5. Soledad Luca de Tena
  6. Tarek Al Ghorani

 

Tags: