다리오 아모데이 'AI 지수곡선 위의 정책' 전문 번역 — 앤트로픽 CEO가 제안하는 5대 정책

역자 일러두기. 이 글은 앤트로픽(Anthropic) CEO 다리오 아모데이(Dario Amodei)가 2026년 6월 발표한 에세이 Policy on the AI Exponential를 원문에 충실하게 옮긴 완역입니다. 원문의 논지와 뉘앙스를 그대로 살리되, 한국 독자가 자연스럽게 읽도록 다듬었습니다. 본문의 각주는 원문 번호를 그대로 따랐으며, 글 말미의 「역자 해설」에서 한국 관점의 의견을 따로 덧붙였습니다.

호빗과 나무수염

『반지의 제왕』의 한 곁가지 이야기에서, 두 호빗은 자신의 숲을 베어내는 군대에 맞서 싸우도록 나무수염(Treebeard)—현명하지만 굼뜬, 의식을 가진 나무—을 설득하려 한다. 문제는 나무수염이 호빗과는 전혀 다른 속도로 움직인다는 데 있다. 다른 나무에게 인사를 건네는 데만 꼬박 하루가 걸리니, 그와 그의 동료들을 충분히 빠르게 움직이게 만드는 일은 거의 불가능에 가깝다.

AI와 우리 정치 제도의 교차점은 호빗과 나무수염을 꼭 닮았다. AI는 번개 같은 속도로 발전하고 있다. 불과 4년 만에 AI 모델은 코드 한 줄을 제대로 쓰지도 못하던 수준에서 주요 AI 기업의 코드 대부분을 작성하는 수준으로 올라섰다. 생물학, 물리학, 수학, 금융, 법률, 번역 등 수많은 분야에서도 비슷한 도약이 있었다. 컴퓨팅 파워가 늘어날수록 일반적 인지 능력이 지수적으로 증가한다고 예측하는 AI의 스케일링 법칙(scaling laws)은 이제 10년 넘게 축적된 경험적 증거를 등에 업고 있다. 이 스케일링 법칙이 1~2년만 더 이어진다면, 우리는 내가 강력한 AI(Powerful AI), 혹은 "데이터센터 안의 천재들로 이루어진 나라"라 불러온 것을 손에 넣게 될 가능성이 높다.

이와 대조적으로 정책—특히 입법—은 매우 느리게 움직인다. 여기에는 합당한 이유가 있을 때가 많다. 정부는 막중한 권한을 쥐고 있으며, 그 권한이 너무 성급하게 행사되지 않는 편이 대개는 더 낫다. 그럼에도 이 시간 척도의 불일치는 무척 고통스럽다. 의회가 움직이는 데 걸리는 몇 년 사이에, AI는 재미난 장난감에서 천재들로 가득 찬 나라로 변모할 수 있기 때문이다.

AI가 주요 상업 기술로 자리 잡은 지난 몇 년 동안, 이를 책임감 있게 다루고자 했던 우리 같은 사람들은 하나의 딜레마에 직면해 왔다. 우리는 이 지수곡선이 어디로 향하는지 분명히 볼 수 있었다. 핵무기가 지정학을 다시 짠 것처럼, 산업혁명이 모든 경제·사회 문제를 근본적으로 다시 쓴 것처럼, 머지않아 AI가 정책 지형 전체를 근본적으로 재편하는 드문 기술 가운데 하나가 되리라 강하게 의심했다. 그러나 당시 AI가 할 수 있던 일만 보던 사람들에게 AI는 훨씬 평범한 기술—기껏해야 최신 소비자 앱이나 암호화폐 정도—로 보였다. 자유방임(laissez faire) 외의 다른 태도가 합당하다고 대다수 정책 입안자와 기업을 설득하기는 어려웠다. 공정하게 말하면, AI의 급진적 효과가 아직 나타나지 않았고 그것이 어떤 모습일지 정확히 알 수 없었다는 사실은, 행동할 의지가 있었다 한들 올바른 정책을 설계하기 어렵게 만들었다.

이런 상황이 부과한 한계 속에서, 앤트로픽을 비롯한 많은 안전 옹호자들은 지금까지 선택지를 보존하고, 미래의 빠른 대응을 미리 준비하며, 다가오는 것에 대한 더 나은 통찰을 세상에 제공하는 정책 행동을 옹호하는 데 집중해 왔다. 투명성 입법, 반도체 수출 통제, AI의 노동 효과에 관한 데이터 수집 같은 것들이다. 이것만으로는 충분하지 않지만, 가능한 전부처럼 느껴졌다.

Photo by Igor Omilaev on Unsplash

그러나 지난 몇 달 사이, AI의 엄청난 힘과 그에 따르는 위험의 증거가 부정할 수 없는 것이 되었다. 아마도 가장 상징적인 사례는 Claude Mythos Preview, 그리고 프런티어 모델이 사이버보안에 매우 현실적인 위험을 가한다는 발견일 것이다. 이는 금융 부문, 핵심 인프라, 국가안보를 교란할 잠재력을 만들어낸다. Mythos Preview는 전 세계 사이버보안 지형을 뒤흔들었다. 그러나 그 더 넓은 의미는, AI 모델이 이제 전 지구적·국가적 전략 차원의 도구임을 의심의 여지 없이 입증했다는 데 있다. Mythos급 모델이 제기하는 사이버 위험은 우리가 마주할 마지막 위험이 아닐 것이다. 나는 생물학적 위험이 곧 뒤따를 수 있으며, 심각한 AI 자율성 위험도 그리 멀지 않았다고 본다.^[1]

이제 우리는, 전 지구적이고 집단적으로, 여기서부터 놀랄 만큼 빠르게 복리로 불어날 위험과 기회에 대처하기 위해 느리고 삐걱대는 정책 기구를 가동해야 한다. 많은 정책 입안자가 행동에 나설 열의를 점점 더 내비치고 있으며, 우리가 지난 몇 년간 옹호해 온 것과 같은 입장에 동료들이 다가서는 모습은 고무적이었다. 좋은 일이다. 다만 이런 초기 행동들이 AI의 빠른 진보보다 적어도 1년은 뒤처져 있다는 점이 걱정스럽다. 이 에세이는 그 간극을 메우려는 시도다. 지수곡선이 지금 어디에 와 있는지, 그리고 이 순간에 부응하기 위해 필요한 집단적 행동이 무엇인지 펼쳐 보이려 한다.

나는 AI 시대에 새롭게 상상해야 할 다섯 가지 영구적 정책 영역에 초점을 맞추겠다. 규제와 공공 안전, 거시경제와 조세 정책, 과학 혁신, 국가와 사회 사이의 권력 균형, 그리고 지정학이다. 앤트로픽이 미국 기업인 만큼 주로 미국 정책의 관점에서 이야기하겠지만, 내 제언 대부분은 나머지 세계에도 똑같이 유효하다.

이 에세이와 함께 앤트로픽은 프런티어 모델 테스트에 관한 입법 제안과 일자리 대체에 관한 정책 프레임워크를 공개한다. 우리는 여기에 상당한 재정적 지원을 제공할 의향이 있다. 앞으로 훨씬 더 많은 일을 할 계획이지만, 이는 우리의 진지함을 알리는 첫걸음이라 본다.

1. 규제와 공공 안전

모든 신기술과 제품에는 이로운 쓰임과 해로운 쓰임이 함께 있으며, 따라서 혁신과 안전 사이의 딜레마를 안고 있다. 제품을 규제하면 그것이 해를 끼칠 가능성이 줄고, 이는 전 세계 사람들의 삶을 개선하는 데 중요한 역할을 해 왔다. 그러나 규제는 제품의 이점을 직접 줄이고 혁신을 간접적으로 위축시킬 수도 있다. 또한 하이에크(Hayek)적 논점, 즉 규제 당국은 복잡한 경제적 상충관계에 대해 올바른 결정을 내리는 데 필요한 정보를 갖지 못할 때가 많아 규제가 종종 비효과적이면서 동시에 부담스럽다는 지적도 있다. 이와 관련된 것이 콜링리지 딜레마(Collingridge dilemma)다. 기술의 영향은 손쓰기엔 이미 너무 늦은 시점이 되어서야 비로소 예측 가능해지는 경우가 많다는 것이다.

이런 역학은 2023~2024년 AI에서 크게 부각되었다. AI가 언젠가 수백만 명을 위협할 수 있는 생물학 무기를 만들어내거나, 극단적인 경우 인류 자체를 위협할 수도 있는 자율적 오작동을 일으킬 역량을 가질 수 있다는 점은 앤트로픽에게 분명했다. 덜 분명했던 것은 그 위험이 정확히 어떤 형태로 나타날지, 그것을 어떻게 가장 잘 시험하고 완화할지, 실제로 어떻게 전개될지였다. 따라서 미리 작성된 입법이 결국 비효과적인 것—실제 위험의 가장 결정적인 원천은 놓치면서 무의미하거나 가치 낮은 규정 준수 요건만 만들어내는 것—으로 끝날 위험이 컸다.^[2]

결국 우리는 그 시점에 옳은 접근은 투명성이라고 결론지었다. AI 모델 개발자는 자신의 안전 절차와 모델에 실행한 테스트를 공개하고, 모든 중대한 안전 사고를 보고하도록 해야 한다. 그래야 대중과 과학계가 위험이 출현하는 대로 더 잘 들여다볼 수 있다. 위험이 더 확실해지고 그 형태가 분명해질 때라야, 투명성을 통해 얻은 증거로 가장 우려되는 위험을 정밀하게 겨냥하는 현명한 입법을 설계할 수 있다. 그리하여 2025년, 앤트로픽은 투명성 입법을 지지했다. 캘리포니아의 SB 53, 뉴욕의 RAISE, (2026년 초) 일리노이의 SB 315 통과를 도왔고, 연방 차원의 투명성 표준을 옹호했다.

그러나 이제 위험은 분명히 도래했다. 투명성을 넘어 더 진지하고 구속력 있는 AI 규제로 나아갈 때다. 적어도 지수곡선의 현 단계에서 가장 적절한 비유는 자동차, 비행기, 의약품이라고 본다. 현대 경제에 필수적이지만, 설계나 운용이 잘못되면 수많은 사람을 죽일 수 있는 강력한 기술들 말이다. 그래서 나는 AI 규제를 미연방항공청(FAA) 같은 기관을 모델로 삼아야 한다고 본다. 프런티어 AI 모델은 비행기처럼 기술 시험과 감사를 거치도록 의무화해야 하며, 높은 안전 기준을 충족하지 못하면 공공 안전에 대한 위협으로 보아 출시를 차단하거나 되돌려야 한다. 트럼프 행정부의 행정명령이 AI에서 정부의 역할 확대를 향해 점진적으로 나아가는 모습은 반갑다. 다만 앤트로픽의 제안은 한 걸음 더 나아간 조치를 권고한다. 우리의 제안은 다음 요소를 포함한다.

일정 컴퓨팅 임계치를 넘는 모델은, 네 가지 특정 영역—사이버보안, 생물학 무기, AI 시스템에 대한 통제 상실, 그리고 이런 위험을 가속할 수 있는 자동화된 연구개발(R&D)—에서의 위험 수준에 대해, 자격을 갖춘 제3자의 의무적 테스트를 받아야 한다.
제3자 평가에 비추어 모델이 용납할 수 없는 위험을 제기한다고 판단되면, 정부는 해당 모델의 배포를 차단하거나 억제할 권한을 가져야 한다. 이 권한은 위 네 가지 특정 위험에 한정되어야 하며, 정치적 편애나 자의적 결정을 막는 보호 장치가 반드시 있어야 한다.
제3자 평가는 (FAA와 유사한) 정부 기관이 수행하거나, 정부가 인가·감독하여 일정 표준에 따라 모델을 평가하도록 권한을 부여받은 민간 조직군이 수행할 수 있다(이른바 "규제 시장(regulatory markets)" 접근).
고도화된 AI 모델을 개발하는 기업은 모델 가중치를 보호하는 강력한 보안 표준을 갖추고, 정기적으로 레드팀 훈련과 침투 테스트를 수행하며, 주요 위협 행위자에 대한 방어를 위해 정부와 협력해야 한다.
네 가지 핵심 영역에서의 안전 사고는 신속히 보고되어야 한다.

아마도 비교적 머지않아, 가장 강력한 AI 시스템이 비행기나 자동차보다는 무기화 가능한 핵물질에 더 가까워 보이는—단지 공공 안전이 아니라 인류 자체에 대한 위협이 되는—때가 올지 모른다. 그렇게 되면 내가 여기 제시한 것보다 더 공격적인 규제 조치가 필요할 수 있다.^[3] 그러나 지금 내가 제안하는 조치를 2024년에 겨냥하고 적용하기 어려웠던 것과 마찬가지로, 우리는 앞서 나가서는 안 된다고 본다. 오늘 출현하는 위험에 맞는 정책을 설계하되, 새로운 위험이 나타날 때 대응을 한층 더 빠르게 끌어올릴 토대를 함께 다져야 한다.

2. 거시경제와 조세 정책

정부는 오랫동안 어떻게 경제 성장을 촉진하면서 동시에 중요한 공공 서비스를 제공하고 가장 취약한 이들을 돌볼 것인가의 문제를 안고 있었다. 이 논쟁의 중요한(그리고 대체로 옳은) 전제 하나는 경제 성장은 깨지기 쉽고 달성하기 어렵다는 것이었다. 즉 불평등 완화가 중요한 이점을 줄 수 있지만, 그것은 세금 인상이나 재정적자가 가져오는 경제적 부담과 맞바꿔야 한다는 것이다.

나는 강력한 AI가 이 가정을 뒤흔들 수 있다고 본다. AI가 대부분의 인지 과제를 인간보다 훨씬 잘 해내는 능력에 도달한다면, 과학·기술·운영 효율의 가속을 통해 극도로 빠르고 견고한 경제 성장을 낳을 법하다. AI가 더 나은 AI를 스스로 만들어내는 반복적 능력은 그 성장을 한층 더 증폭할 수 있다. 그러나 바로 같은 이유로, AI는 이전 기술들보다 인간의 인지 능력을 더 폭넓게 대체하는 경제적 대체재로 작용하면서, 동시에 이전 기술들보다 훨씬 빠르게 경제를 바꿔놓을 수 있다. 따라서 AI가 이전 기술들보다 훨씬 큰—그리고 잠재적으로 훨씬 지속적인—노동시장 교란을 낳으리라 보는 것은 합리적이다. 우리는 경제적 상충관계의 다이얼이 초고속성장·초불평등 설정에 고정되고, 거기서 빠져나오기가 대단히 어려운 세계에 다다를 위험이 있다. 그런 세계에서 핵심 과제는 성장을 유인하는 것이 아니라, 모두가 그 혜택을 나눠 가질 길을 찾는 것이다.

이 에세이에서 다루는 주제 가운데 거시경제와 지속적 일자리 대체는 아마도 가장 큰 대중적 관심과 가장 많은 오해를 동시에 끌어들인 주제이므로, 두 가지 점을 분명히 해두고자 한다.

첫째, 지속적 일자리 대체는 바람직하지 않고 위험하며, 우리는 그것을 초래하기 위해서가 아니라 최소화하거나 막기 위해 할 수 있는 모든 것을 해야 한다. 내가 인터뷰와 에세이에서 일자리 대체를 경고해 온 것은 정책 입안자와 민간 부문 모두가 적응하고 대응할 최선의 기회를 갖길 바라서이지, "종말의 예언자"가 되려는 것이 아니다. 기업으로서 앤트로픽은 비용 절감(흔히 인력 감축을 뜻한다)에만 매달리기보다, 고객과 협력해 기존 인력으로 더 많은 일을 할 수 있게 하는 창의적인 신규 활용 사례와 새 수익원을 찾는 데 늘 최선을 다한다. 또한 우리는 AI 시스템이 발전하는 와중에도 인간이 가능한 한 능동적인 역할로 협업할 수 있는 새로운 상호작용 패러다임을 끊임없이 고민한다. 더 넓게 보면, 전 세계가 가능한 한 많은 새로운 방식으로 AI를 실험해 보는 것은 가치 있는 일이다. 그것이 사회가 새로운 일자리 구성을 발견하는 길이기 때문이다. 나는 AI가 다수의 새로운 경제적 기회를 열어주리라 본다. 한 사람이 10억 달러 규모 회사를 세울 수 있게 되리라 예측한 바 있고, 이미 단 몇 명으로 이루어진 팀이 수억 달러 매출의 사업을 일구는 모습을 보고 있다. 그러나 동시에, 우리의 온갖 노력에도 불구하고 AI가 여전히 상당한 지속적 일자리 손실을 초래할 가능성—그리고 이것이 기술의, 그리고 인간 인지를 폭넓게 복제하는 그 방식의 본질적 속성일 가능성—이 꽤 있음을 인정해야 한다.^[4]

둘째, AI가 추동하는 일자리 대체에 대한 어떤 대응이든 두 가지를 함께 다뤄야 한다. 모두를 경제적으로 부양할 필요, 그리고 사람들이 의미·목적·주체성을 찾을 필요다. 후자가 궁극적으로 더 중요하며, 이는 사회가 어떻게 조직되는가, 사람들이 무엇을 추구해야 하는가, 좋은 삶이란 무엇인가에 대한 깊은 물음에 달려 있다. 나는 사실, 모든 것에서 모두보다 나은 AI가 있는 세계에서도 인간이 깊은 목적을 지닌 삶을 살고 경탄을 자아내는 아름다운 것을 만들고자 분투할 수 있다는 데 매우 낙관적이다.^[5] 그러나 이것은 정책이 직접 다룰 수 있는 무언가가 아니라, 사회 전체가 함께 풀어가야 할 일이다. 정책이 가장 도움이 될 수 있는 지점은, 일자리 손실을 늦추고 영향을 받을 가능성이 큰 이들을 경제적으로 부양함으로써, 그 작업을 해낼 시간을 벌어주는 데 있다.

그런 취지에서, 도움이 될 만한 핵심 정책 개입은 다음과 같다.

측정과 추적. 단순한 데이터 수집과 분석을 문제의 규모에 비해 미흡하다고 일축하기는 쉽지만, 현장에서 무슨 일이 벌어지는지 정확히 측정하지 못하면 좋은 정책을 얻기 어렵다. 앤트로픽은 사람들이 클로드(Claude)를 어떻게 쓰는지에 대한 경제 지수(Economic Index)를 약 1년 반째 운영해 왔지만, 정부는 우리가 갖지 못한 종류의 데이터에 접근할 수 있으며, 경제 통계를 크게 확장해 AI 일자리 대체를 더 면밀히 추적할 수 있다.
고용 친화적 인센티브. 광범위한 고용 친화적 정책 인센티브가 일자리 대체를 늦추거나 줄이는 데 도움이 될 수 있다. 더 낮은 임금의 일자리로 옮겨야 할 때 보상하는 임금보험,^[6] 고용주가 해고하지 않도록 유도하는 고용 유지 세제 혜택, 인력 훈련 보조금, 노동시장 적응 속도를 높이기 위한 고용주-구직자 매칭 인프라 등이다. 어떤 개입이 최선인지는 AI가 어떤 종류의 노동 대체를 가져오느냐에 달려 있지만, 우리는 이런 정책이 수반할 수 있는 비용과 시장 비효율을 기꺼이 감수해야 한다. 특히 그 비용은 AI가 추동하는 생산성 향상으로 상쇄될 가능성이 높기 때문이다.
장기 거시경제 지원. AI가 추동하는 노동 대체가 결국 규모가 크고 노동 수요를 영구적으로 끌어내린다면, 단순한 인센티브 프로그램을 넘어 노동력의 상당 부분을 위한 장기 소득 지원이 필요해질 가능성이 높다. 보편적 기본소득(UBI) 같은 메커니즘은 관련 기업에 대한 과세나 자본이득세 인상으로 재원을 마련할 수 있다. 보편적 자본계좌(universal capital accounts)도 또 다른 수단이다. 넓게 보아, 빠른 경제 성장은 공유된 번영을 위한 과세 기반을 만들어내야 한다.

내가 언급하지 않은, AI에 대한 흔한 경제적 우려 하나는 데이터센터, 특히 그것이 에너지 가격을 끌어올릴 가능성이다. 내 견해는 AI 기업이 요금 인상분을 흡수하도록 비용을 부담해야 한다는 것이고—앤트로픽은 이미 그렇게 하겠다고 약속했다—다만 데이터센터에 대한 대중의 적대감은 상당 부분 AI에 대한 더 넓은 경제적 불안이 표출되는 상징이자 출구라고 본다. 이런 더 넓은 경제 문제에 대해 사회가 직접 대화하고 진정으로 설득력 있는 해법을 갖추는 일이 중요하다. 그러지 않으면 그 불안은 데이터센터에서 그랬듯 간접적으로 모습을 드러낼 가능성이 높다.

Photo by Getty Images on Unsplash

3. AI의 긍정적 영향 가속하기

AI 자체의 혁신과 안전 사이 균형과 씨름해야 하듯, 우리는 AI에 의해 가속될 가능성이 큰 기술들—생명의학, 에너지, 재료과학 등—에 대해서도 같은 균형과 씨름해야 한다. 다만 AI 자체가 매우 빠르게 출현하고 우리가 다뤄본 경험이 없는 새로운 도전을 제기할 가능성이 큰 반면, AI가 가속하는 다른 분야들은 매우 다른 문제에 부딪힐 가능성이 크다. 더 느린 혁신 속도에 맞춰 설계된 규제 체계가, AI가 가져올 신제품과 진보의 홍수를 감당할 준비가 되어 있지 않다는 문제다. 게다가 AI는 이런 후속 기술들을, 식품의약국(FDA) 같은 규제 기관의 회의적 가정을 무색하게 하는 방식으로 더 안전하고 예측 가능하게 만들 수도 있다.

따라서 AI 자체와 달리, AI의 후속 응용에 대해서는 규제 기구가 (변화의 속도를 감당하지 못해) 진보를 지연시키는 쪽을 나는 더 우려한다. 중요한 위험을 다루지 못하는 쪽보다 말이다. AI의 위험이 크게 어른거리는 와중에 그 혜택까지 더뎌지는 것은 우리가 가장 원치 않는 일이므로, 이 문제에 가능한 한 빨리 손쓰는 것이 중요하다.

이 문제와 해법은 과학·상업·기술의 각 영역마다 다르게 나타나므로, 한 가지 예시 영역에 집중하겠다. 바로 생명의학 혁신이다. 이는 AI가 가져올 가장 큰 인도주의적 혜택의 원천일 가능성이 크면서, 동시에 규제가 특히 복잡한 영역이기 때문이다. AI가 생명의학 혁신을 어떻게 가속할지 정확히는 알 수 없으나, 다음과 같을 가능성이 커 보인다.

새로운 후보 약물이 규제 파이프라인에 진입하는 속도를 크게 높인다.
더 나은 최적화와, 어쩌면 기저 생물학에 대한 더 나은 이해 덕분에, 신약의 효과 크기를 키우고 안전성 프로파일을 개선한다.
한 번도 성공적으로 치료된 적 없는 질환을 위한 후보 약물을 개발한다.
지난 수십 년간 항체, 펩타이드, 세포치료가 새로운 치료 범주가 된 것처럼, 완전히 새로운 형태의 치료법을 빠르게 만들어낸다.

이런 진보 가운데 일부는 구조적 변화 없이도 자연스럽게 규제 일정을 앞당길 것이다. 효과 크기가 큰 약물은 더 작고 비용이 덜 드는 임상시험으로 이어질 수 있고, 신속 승인 메커니즘을 작동시킨다. 그러나 현재 규제 체계는 후보 약물이 흔히 효과가 없고, 효과가 있더라도 흔히 심각한 안전 문제를 안고 있다는 가정 아래, 높은 수준의 검증과 여러 단계의 시험을 적용하도록 설계되어 있다. FDA와 유럽의약품청(EMA) 모두에서, 후보 약물이 규제 파이프라인을 통과하는 데 걸리는 통상적 기간은 7~8년인데, 부분적으로는 이런 비관적 가정 때문이다. 개혁이 없다면 AI는 이 체계를 그저 막히게 하거나 과부하시킬 것이다.

물론 우리는 엉터리 약물이 쏟아지거나 안전 사고가 만연하는 식으로 일을 바꾸고 싶지는 않다. 그러나 비교적 단순한 몇 가지 개혁만으로도, AI가 추동하는 빠른 과학 가속이 일어날 경우 FDA·EMA 등 유사 기관이 더 적응력 있게 대응하도록 만들 수 있다.

이전에는 비싸고 느린 실험이 필요했던 임상 과정의 많은 단계가 머지않아 AI 시뮬레이션이나 분석으로 수행될 수 있을 것이다. 규제 기관은 그런 방법을 받아들이려면 무엇이 필요한지에 대한 표준을 지금 개발하는 것을 고려해야 한다. 그래야 그 방법이 실제로 작동하게 되었을 때 빠르게 채택할 수 있고, 불필요한 시험이 계속 요구되는 긴 공백기를 피할 수 있다. 적용 가능한 영역은 다음과 같다.

AI 기반 약력학·약동학(PD/PK) 모델링
다종 동물 독성시험의 필요를 없애기 위한 독성학 예측
임상시험에서 넓은 용량 범위의 필요를 줄이는 더 정확한 용량 선택
대규모 데이터셋 분석을 통한 바이오마커 검증
더 많은 참가자 모집의 필요를 줄이는 임상시험의 합성 대조군(synthetic control arms)
대리 평가변수(surrogate endpoints) 개발 (특히 노화와 신경퇴행에서 중요)

이런 구체적 예시를 넘어, 규제 기관은 신속 승인을 위한 더 급진적이고 유연한 메커니즘도 고려해야 한다. AI에 대한 내 예측이 옳다면, 머지않아 난데없이 아주 잘 듣는 개입의 사례가 다수 나타날 것이고, 규제 체계는 과도한 회의의 태도를 취하는 대신 그것들을 진지하게 받아들일 준비가 되어 있어야 한다.

생명의학 가속은 AI의 혜택을 상당히 키우겠지만, 동시에 AI의 위험을 줄이는 데도 도움이 될 수 있음을 짚어둘 만하다. 생명의학 승인 개혁은 생물학적 방어(biodefense)에 도움이 될 수 있고, AI가 추동하는 생명의학 진보는 정신건강 개선으로도 이어져 사회에 안정화 효과를 줄 수 있다.

4. 국가와 시민적 자유

모든 통치 체제는 국가 권력과 그 한계라는 물음을 마주해야 한다. 국가는 내외부 위협으로부터 국민을 보호하는, 정당하고 때로는 실존적인 이해관계를 가진다. 그러나 국가에 너무 많은 권력을 부여하는 것은 폭정으로 가는 길이다. 현대 민주주의는 대체로 이 균형을 성공적으로 관리해 왔지만, 그것은 최선의 시기에도 불안정한 균형이다. 이를 지키는 데는 수 세기에 걸쳐 쌓아 올린 방대한 법적·헌법적 장치가 필요했다. 예컨대 미국의 수정헌법 제1조·제4조·제5조, 민병대법(Posse Comitatus Act), 해외정보감시법(FISA) 등이 그렇다.

AI는 이 균형을 뒤엎으면서 동시에 그 판돈을 극적으로 키울 위험이 있다. 그러나 우리가 빠르게 반응하여 이 순간에 부응한다면, AI를 활용해 우리가 일찍이 가져본 적 없는, 더 견고하고 지속적인 자유의 보장 그리고 위협에 대한 더 나은 방어를 갖춘 세계를 만들 수 있다.

잘못된 손에 쥐어진 강력한 AI는 독재의 궁극적 도구가 될 수 있으며, 기존의 법적·헌법적 보호 장치는 이 위협에 맞서기에 충분히 갖춰져 있지 않다. 근본적으로, 세상에서 권력으로 환산되는 지능의 막대한 수익과 AI 진보의 빠른 속도가 결합하면, 다양한 위험 행위자가 기습적으로 권력을 장악할 완벽한 폭풍(perfect storm)이 만들어진다.^[7]

이 위험은 다양한 구체적 기술적·운영적 형태를 띨 수 있지만, 그 모두에 공통된 것은 AI가 기존의 민주적 감독 메커니즘을 우회하면서 갑자기 막대한 권력을 부여할 수 있다는 발상이다. 오늘날엔 공상과학처럼 들리는 완전 자동화 드론 군대가, 미래에는 불법적 명령에 복종하여 정부가 일방적으로 권력을 고착시키도록 허용할 수 있다. 전문적으로 훈련된 인간이라면 그런 불법적 지시에 이의를 제기할 가능성이 더 높다. 감시에 초점을 맞춘 AI는 널리 공개된 정보를 막대한 규모로 분석해 모든 시민의 가장 내밀한 삶의 세부를 추론할 수 있다. 이는 현행 시민적 자유법이 상정하지 못한 기술적 능력이다. 이 모든 일이 매우 빠르게, 혹은 은밀하게 벌어질 수 있으므로, 자유와 시민적 자유에 대한 민주주의의 약속을 선제적으로 강화하는 것이 중요하다.

다음은 우리가 고려해야 할 정책 아이디어들이다.

완전 자율 무기에 대한 신뢰할 수 있는 책임 규칙을 만든다. 자율 무기, 특히 그것을 조율하거나 지휘하는 모든 자율 시스템은 명령에 맹목적으로 따르는 대신, 헌법적·지휘적 책임 메커니즘(예: 법원 명령, 입법, 인간 상급 감독자에 대한 책임)에 응답하도록 의무화되어야 한다. 이는 적절히 설계된 법적 심사 패널이나 사법부가 "정지 스위치"에 손가락을 얹고 있거나, 시스템 자체가 정당한 감독 권위를 찾아내고 그에 응답하도록 본질적으로 훈련되어 있거나, 혹은 그 둘 다를 뜻할 수 있다.
완전 자율 무기의 국내 사용을 금지한다. 외부 적대국(예: 우크라이나를 침공하는 러시아)에 맞선 방어를 위해 완전 자율 무기가 필요하다는 정당한 논거는 있지만, 미국인을 상대로 그것을 사용할 정당화는 없다. 군은 이미 국내 작전 능력에 일정한 제한을 두고 있으나, 이상적으로는 이런 무기가 법 집행에서도 금지되어야 한다.
대량 수집/데이터 브로커 허점을 막는다. 현행법상 미국인이 민간 기업(예: 인터넷 사업자)과 공유한 데이터는 구매되어 국내 감시와 법 집행을 위한 대량 분석에 쓰일 수 있다. 이 프라이버시 보호의 공백은 AI 이전부터 존재했지만, AI는 그런 데이터의 대량 분석을 과거보다 훨씬 더 많은 것을 드러내고 유용하게 만들어 판돈을 크게 키울 것이다. 이 허점은 막아야 한다.
불리한 정부 조치를 받을 때 AI 조력을 받을 공적 권리. 일반 원칙으로, 불리한 정부 조치(예: 규제·법적 조치)의 대상이 되는 모든 개인이나 조직은, 해당 조치에서 정부가 사용하도록 허용된 것만큼은 유능한 AI에 접근할 수 있어야 한다고 본다. 이는 정부에 부당한 우위를 주어 시민의 법적 권리를 사실상 약화시키지 않는다는 뜻이다. 이는 행정절차법(Administrative Procedure Act), 적법절차 보호, 혹은 수정헌법 제6조의 변호인 조력권의 확장이나 해석으로 더할 수 있다.

끝으로, AI가 추동하는 권력 장악과 관련해 경계해야 할 주체가 정부만은 아니라는 점을 짚어둘 만하다. 역사의 여러 시기(미국의 도금시대(Gilded Age)나 영국의 동인도회사)에 기업은 국가를 포획하거나 준국가적 성격을 띨 만큼 강력해진 바 있다. AI는 머지않아 너무나 유능해질 것이어서, 나는 그것을 정부 또는 기업 어느 한쪽에도 온전히 맡길 수 없다고 우려하며, 양쪽 모두에 견제와 균형이 있어야 한다.

규제는 기업을 통제하는 하나의 답이며(이에 대한 내 생각은 1절에 있다), 동시에 AI 기업이 통상적인 민간 주체보다 더 큰 권력 분립과 책임성을 갖추는 것도 중요하다. 앤트로픽의 장기편익신탁(Long-Term Benefit Trust, 회사를 그 사명에 묶어두기 위해 설계된 독립 거버넌스 기구)이 그런 구조의 하나이며, 업계는 한 걸음 더 나아가는 메커니즘을 계속 모색해야 한다. 기업과 정부 양쪽 모두가 그 권력에 의미 있는 견제를 받도록 균형을 올바로 잡는 일이 필수적이다.

5. 민주주의의 주도권 확보

새로운 기술을 지정학적으로 무역 정책의 도구로 여기는—"우리의 기술 스택을 전 세계에 확산시킨다"는 목표를 가진—태도가 흔한 본능이 되었다. 아마도 인터넷과 통신에서의 최근 경험에서 비롯된 것이리라. 그러나 AI는 훨씬 더 심대한 것, 판 전체를 다시 짜고 모든 미래 지정학 전략이 그 둘레로 형성되어야 하는 무언가—핵무기 같지만, 어쩌면 그 이상인 것—라는 게 나의 매우 강한 믿음이다.

AI가 정말로 머지않아 "데이터센터 안의 천재들로 이루어진 나라", 혹은 그에 조금이라도 가까운 것이 된다면, AI는 어느 나라에서든 군사적·경제적 권력의 지배적 원천이 될 가능성이 높다. 1억 명의 천재로 이루어진 가상의 나라에서, 1천만 명을 군사 전략에, 1천만 명을 드론 제조에, 1천만 명을 무기 R&D에, 1천만 명을 정보 수집·분석에, 1천만 명을 일반적 과학 발전에 투입할 수 있다. 강력한 AI를 가진 나라가 그것이 없는 나라—혹은 AI에서 3년 뒤처진 나라—를 마주하는 것은, 제2차 세계대전의 해병대 군대가 중세 검객 군대를 마주하는 것과 맞먹을 수 있다.

게다가 강력한 AI가 (4절에서 보았듯) 더 깊고 어쩌면 영구적인 형태의 독재적 억압을 가능케 한다면, 세계에서 가장 강력한 나라들이 민주주의여야 한다는—혹은 적어도 AI가 추동하는 억압에 맞선 강력한 보호 장치가 존재해야 한다는—점이 더없이 중요해진다. 이는 또한 집중된 지정학 전략의 긴급성을 높인다.

민주주의 국가들은 공통의 가치에 따라 AI를 구축하는 것을 중심으로 한 글로벌 연합을 형성하고, 연합 안에 있는 것을 점점 더 매력적으로, 밖에 있는 것을 점점 덜 매력적으로 만들어 나머지 세계를 반복적으로 끌어들이려 해야 한다. 이 연합은 1절부터 4절까지 논의한 AI 정책 아이디어를 조율된 형태로 국제화하는 것이어야 하며, 여기에 AI 구축에 핵심적인 공급망을 연합 안에서 공유하고 밖에는 차단함으로써 봉쇄하려는 노력을 더해야 한다. 몇 가지 원칙과 운영 목표는 다음과 같을 수 있다.

AI 공급망 관리. 신뢰 연합의 구성원들은 칩과 반도체 제조장비(SME)를 서로 자유롭게 공유하되, 적대국에는 함께 차단하도록 협력해야 한다. 프런티어 칩과 SME에 대한 미국의 대중국 수출 통제는 미국의 전반적 AI 우위에 크게 기여해 왔으며, 이 정책들은 확대·강화되고 뜻을 같이하는 다른 국가들과 조율되어야 한다. 계류 중인 MATCH와 OVERWATCH 같은 입법은 좋은 첫걸음이며, 동맹 민주주의 국가들도 유사한 조치를 고려해야 한다.
AI 위험에 대한 공조. 1절에서 기술한 생물학·사이버보안·자율성 위험에 대처하는 정책은 국제적으로 조율될 때 더 효과적이고(산업계에 덜 부담스럽다). 이는 기업이 호환되는 표준을 준수할 수 있고, 규제 당국이 이런 위험을 가장 잘 측정·완화하는 법을 서로에게서 배울 수 있다는 뜻이다. 법 집행기관과 정보기관도 테러리스트가 AI로 생물학 무기를 만들려는 시도 같은 오남용 위협을 추적·차단하는 데 더 긴밀히 협력해야 한다.
AI 혜택의 공유. 무역·규제 정책을 활용해 연합 내에서 AI의 경제적 혜택을 더 빠르게 확산시키고, 혁신 가속의 교훈을 공유할 수 있다. 이로운 배포에 대한 접근을 조율하면 AI의 혜택을 개발도상국에 전하는 데 도움이 될 수 있다. 예컨대 (위 3절에서 논의했듯) 의약품 승인 체계를 조화시키면 AI 기반 약물의 더 빠르고 나은 시험·승인으로 이어질 수 있다.
상호 방위. 연합 국가들은 AI로 서로를 방어하고 적대국의 AI로부터 서로를 지키기 위해 협력해야 한다. 연합은 AI 주도 사이버 방어, AI 구동 드론, AI 추동 제조, 기밀 AI 컴퓨팅, AI 추동 R&D의 충분한 생산을 집단적으로 보장하고, AI 추동 정보 수집을 공유해야 한다.
AI를 동원한 억압의 거부. 연합 구성원은 내가 기술의 사춘기(The Adolescence of Technology)에서 경고한, 첨단의 초억압적 AI 기반 폭정을 거부해야 하며, 위 4절에서 기술한 것과 유사한 안전장치를 갖춰야 한다.
거시경제 협력. 고용이나 일자리 안정의 위기는 여느 경제 위기와 마찬가지로 국경을 넘어 전염될 수 있다. 따라서 각국은 2절에서 기술한 것과 같은 거시경제 지원·안정화 정책을 조율해 고용 효과에 대응하는 데 상호 이해관계를 가진다.

목표는 연합 가입을 가능한 한 매력적으로 만들고, 밖에 남는 비용을 분명히 하는 것이어야 한다. 이 연합은 주권국 간 조율에 기반하며, 각 나라는 자국 문제에 대한 완전한 권한을 유지한다. 연합은 반복적으로 성장할 수 있다. 이념적으로 정렬된(따라서 자연스럽게 가입에 호의적인) 민주주의 국가에서 시작해, 자연스럽게 정렬되지는 않았으나 가입의 막대한 혜택을 대가로 연합의 표준을 충족할 준비가 된 나라들을 점진적으로 받아들이는 것이다. 이상적으로는 결국 전 세계가 가입할 것이다. 설령 그것이 불가능하더라도, 연합을 구축하면 억압에 매달리는 정권을 봉쇄하고 능가하는 데 민주주의가 가장 강력한 위치에 서게 된다.

기회의 창

AI의 지수적 진보는 정책 결정 과정이 평소 감당하기 어려운 긴급성과 변화 속도를 만들어냈다. 그러나 동시에 그것은 독특한 기회의 창도 열었다. AI 위험에 대한 명백하고 현존하는 증거, 경제적 가치 창출과 경제적 교란 양쪽에 대한 AI 잠재력의 초기 맛보기, 그리고 규제 없는 AI 접근에 대한 눈에 띄는 대중적 반발이 한데 모이면서, 정책 입안자들이 미래 지향적 행동에 유난히 열려 있는 상황이 만들어졌다. 나무수염과 그의 숲이 깨어나고 있다.

AI 업계에서는 이를 홍보(PR) 문제로 보는 시각이 유행이 되었다. AI에는 "더 나은 마케팅"이 필요하다는 것이다. 나는 이 프레임을 완전히 거부한다. 사람들이 AI를 걱정하는 것은 그 위험이 현실임을 올바르게 인식하기 때문이지, AI 경영자들이 충분히 낙관적이지(Panglossian) 못해서가 아니다. AI 리더로서 이런 위험에 대해 계속 투명하게 밝히는 것이 내 의무라고 믿으며, 그 투명성에 대한 대중의 우려는 민주적 책임성이 제대로 작동하는 것이다. 핵심 과제는 이 우려를 건설적인 해법으로 모으고, 형체 없는 분노와 폭력으로 떨어지지 않게 하는 것이다.

나는 해법을 찾는 데 낙관적이다. 일자리 대체 대응에서 모델 출시 전 테스트, 칩 수출 통제, 에너지 사용 같은 여타 AI 관련 정책 현안에 이르기까지, 이 문제들 다수가 정치적 스펙트럼을 가로질러 상식적 호소력을 지니기 때문이다. AI가 제기하는 도전에 대한 직접적 인식에 추동되어, 폭넓은 초당적 연합이 분별 있고 미래 지향적인 정책을 평소보다 훨씬 빠르게 채택하도록 이끄는—포부에 차 있으나 현실적인—미래 세계가 있다. 우리가 이를 빨리 해낼수록, 우리 모두가 AI의 놀라운 혜택을 더 빨리 나눠 가질 수 있다.

💡 한 발 더 — 역자 해설

원문을 옮기며 가장 인상 깊었던 지점은, 이 글이 "AI는 위험하다"는 경고문이 아니라 "느린 정책이 빠른 기술을 따라잡을 수 있는가"라는 속도의 문제로 정의되어 있다는 점입니다. 나무수염 비유가 그래서 영리합니다. 규제가 부족한 게 아니라 타이밍이 어긋나 있다는 것이죠. 한국 독자 입장에서 이 프레임은 곱씹어 볼 만합니다. 우리 역시 AI 기본법을 비롯한 입법 논의가 산업 속도와 한 박자씩 어긋나는 경험을 하고 있으니까요.

다만 한국 맥락에서는 5개 기둥의 무게중심이 원문과 달라질 수 있습니다. 아모데이는 미국 기업 CEO로서 1절(프런티어 모델 규제)과 5절(민주주의 연합)에 가장 큰 힘을 싣지만, 프런티어 모델을 직접 만들지 않는 한국에는 오히려 2절(일자리 대체)과 3절(후속 산업 규제 가속)이 더 직접적인 현안일 가능성이 높습니다. "성장을 유인하는 게 아니라 혜택을 나누는 게 과제가 되는 세계"라는 문장과, FDA·EMA의 7~8년짜리 승인 파이프라인이 AI 속도에 막혀버린다는 진단은, 규제 샌드박스와 의료·바이오 승인 체계를 손보는 우리 논의에 그대로 옮겨 적을 수 있습니다.

또 하나 눈여겨볼 대목은 기업 권력에 대한 자기 견제입니다. "AI를 정부에도 기업에도 온전히 맡길 수 없다"며 자사의 장기편익신탁을 사례로 든 부분은, AI 거버넌스를 정부 규제 일변도가 아니라 기업 내부 구조의 문제로도 확장합니다. AI 기업의 지배구조가 곧 공공 안전 이슈가 된다는 시각은, 국내에서 AI를 다루는 기업·기관이 거버넌스를 어떻게 설계할지에도 시사점을 줍니다.

마지막으로 톤을 짚고 싶습니다. 아모데이는 "AI에 더 나은 마케팅이 필요하다"는 업계의 통념을 정면으로 거부합니다. 대중의 불안이 PR 실패가 아니라 위험에 대한 올바른 인식이며, 그 불안이야말로 민주적 책임성이 작동하는 증거라는 것이죠. AI를 파는 사람이 "사람들이 걱정하는 게 맞다"고 말하는 이 자리바꿈이, 이 글에서 가장 번역하기 까다롭고 동시에 가장 오래 남는 문장이었습니다.

원문: Policy on the AI Exponential — Dario Amodei (2026.06)

각주

아모데이는 생물학적·자율성 위험 등을 에세이 기술의 사춘기에서 다룬다. 앤트로픽 연구소(Anthropic Institute)도 재귀적 자기개선(스스로 더 나은 모델을 만들 수 있는 모델)의 가능성에 관한 초기 내부 데이터를 When AI Builds Itself에서 공개했다. ↩
이 현상은 이론에 그치지 않는다. 우리는 책임 있는 스케일링 정책(Responsible Scaling Policy) 같은 자발적 거버넌스 프레임워크에서 이를 여러 차례 목격했다. 미래 AI 모델에 대한 고정적·경직적 안전 요건 목록을 스스로에게 부과하면, 결국 별로 중요하지 않은 요건이 규정 준수 노력의 95%를 잡아먹고, 동시에 가장 큰 위험의 일부는 애초에 그 목록에 없었음을 발견하게 될 가능성이 매우 높다. 자발적 프레임워크는 바꾸고 적응시킬 수 있지만, 입법은 그러기가 훨씬 어렵다. ↩
예컨대 정말로 심각한 생물학적 위험은 사이버 위험보다 다루기가 훨씬 어려울 수 있다. 공격자가 방어자에 비해 강한 우위를 가지며, 재앙의 심각성이 훨씬 클 수 있기 때문이다. ↩
다른 기술에서 빠른 노동시장 회복과 지속적 일자리 대체의 부재를 이끈 논리가 왜 AI에는 적용되지 않을 수 있는지, 특히 제번스의 역설(Jevons paradox)이나 비교우위 같은 통상의 적응 메커니즘이 왜 기술 속도에 압도될 수 있는지에 대한 더 자세한 분석은 기술의 사춘기를 참조하라. ↩
한 예로, 사람들은 여전히 체스나 바둑에 일생을 바치고 산을 오르며, 기계가 그 모두를 더 잘할 수 있는데도 그런 활동으로 여전히 존경받는다. ↩
이는 본질적으로, 새 일자리가 보수가 더 낮더라도 옛 급여와 새 급여의 차액을 지급함으로써, 단기적으로 고통스러울지언정 사람들이 새 직업으로 옮겨가고 새 경력 사다리를 오르기 시작하도록 추가 유인을 주는 것이다. ↩
이 주제에 대한 더 많은 내용은 기술의 사춘기를 참조하라. ↩