소개
Antropic의 공동창업자인 Ben Mann의 인터뷰 내용입니다. open ai의 핵심멤버 였던, 그가 ai의 안전 문제를 걱정삼아 동료들과 나와 Antropic의 창업했다고 합니다.
(31) Benjamin Mann | LinkedIn
-> 인터뷰 초반에 Meta의 리쿠르팅에 대해서 언급함
Meta: only 돈벌기에만 집중 vs Antropic: 세상을 좀 더 좋게 만들기에도 기여
4년에 1억달러 계약금 (약 1300억) -창업으로 만드는 가치보다 적다고 생각 한다고함. ^^
CEO가 직접 ‘인재 리스트’ 만들어… 막대한 돈 들여 영입
[영상정리]
영상의 큰 flow
강력한 인공지능(AI)을 개발하는 것이 인류에게 필요한 마지막 발명이 될 수 있다고 본다.
초지능에 도달할 확률이 2028년쯤에 50% 수준으로 예상된다
1.안전성 확보의 중요성과 도전 과제
OpenAI에서 안전이 최우선이 아니었다는 경험으로 인해, 안전 문제의 중요성을 인식하게 되었다. 초지능이 도달하면 AI의 방향성을 맞추기 어렵기 때문에, 안전성과 합의가 필수적이다. AI 안전성과 합의 문제는 초지능 도달 전에 해결해야 하며, 실패 시 치명적 결과가 올 수 있다고 경고했다.
2.미래의 경제와 사회 변화 전망
20년 후, 초지능 이후의 세상에서는 현재의 자본주의와 경제 체제가 크게 달라질 것으로 본다.
AI 발전이 업무 대체를 가속화 하며, 실업률이 높아질 가능성을 언급한다. 인간의 삶과 경제구조에 미치는 영향이 클 것으로 예상된다.
3.AI 기술 발전 속도와 시장 규모의 확대 전망
최근 AI 산업은 급격한 성장으로, 기업들이 수 십억 달러 규모의 보상과 투자를 진행할 만큼 가치가 높아지고 있다. Anthropic은 다른 회사보다 영향을 덜 받았으며, 이는 임무 지향적인 기업 문화 덕분으로 분석된다. 최고 인재 유치를 위해 제안되는 100백만 달러 보너스는 업계에서 현실적이며, 실질적 가치 창출을 고려하면 저렴한 편이다. 전 세계 AI 지출은 연평균 두 배씩 증가하며 3,000억 달러 규모에 달했고, 향후 수년 내에는 수조 달러 규모로 성장할 것으로 보인다
AI 성능과 진전의 속도, 그리고 정체설에 대한 반론
AI 발전은 정체되었다는 주장은 근거 없으며, 오히려 속도가 가속화되고 있다고 주장된다. 모델 출시는 이전보다 훨씬 자주 이뤄지며, 1년에 한 번이던 규모가 한 달 또는 세 달 단위로 활발히 진행된다.
모델의 성능 향상이 더딘 것처럼 느껴질 수 있지만, 이는 시간 압축 효과와 새로운 벤치마크 등장에 따른 것으로 분석된다. 핵심 법칙들은 여러 차원에서 지속되고 있으며, 물리학 법칙이 15자릿수 규모에서 유지되기보다 AI 발전은 놀랄 만한 지속성을 보여준다.
3. AGI와 변혁적 인공지능(Transfomrativie AGI)의 정의와 기준
AGI는 '변혁적 AI'라는 용어로 대체되어, 인류에 미치는 사회적·경제적 영향을 기준으로 평가된다. 경제적 튜링 테스트는 AI가 일정 기간 동안 수행한 업무를 인간과 구분할 수 없으면 변혁적 AI로 간주하는 기준이다.
경제적 튜링 테스트:인공지능이 인간처럼 경제적 행동(구매, 협상, 투자 등)을 할 수 있는지를 평가하는 실용적·행동적 AI 테스트
이 테스트는 50% 이상의 일자리를 AI가 대체할 수 있을 때, 세계 GDP와 사회구조에 큰 변화가 일어날 가능성을 내포한다. 일정 임계점 이상이면, AI의 발전은 사회 전반에 거대한 영향력을 행사하며, 고용과 산업 구조를 변화시킨다.
AI가 일자리·경제에 미치는 영향에 대한 전망
Antropic CEO는 AI가 반 이상의 화이트칼라 직업을 차지할 가능성과 실업률이 20%까지 상승할 수 있다고 언급한다. 현재 AI는 많은 사람들이 인지하지 못할 만큼 직장 내 영향력을 확대하고 있으며, 이는 이미 진행 중인 현상이다. AI는 기존 기술과 직무에 기술적 격차를 줄이며, 기술 부족이나 완전 제거라는 두 가지 방식으로 일자리를 대체하고 있다. 선택적 직업 대체와 기술 격차 해소는 앞으로도 계속될 전망이다.
미래까지 바라본 AI와 인류의 변화
20년 후, 인류는 ‘초지능’과 ‘풍요로운 세계’를 맞이하는 반면, 기존의 자본주의와 일자리 구조는 크게 변할 것으로 예상된다. 자유로운 노동시장과 무한한 자원으로 인해, 일자리가 사라지고 새로운 형태의 직업이 등장할 수 있다. 미래 진행 속도는 매우 빠르고 예측 불가이며, 이를 ‘특이점’이라고 부른다. 풍요로운 미래에는 일자리 자체가 덜 중요한 의미를 갖게 될 가능성이 있으며, 이 전환 과정을 잘 준비하는 것이 중요하다.
AI 발전의 조기 신호와 우리가 놓친 점
많은 사람들이 인공지능 발전이 이미 일어나고 있다는 사실을 쉽게 못 따라가고 있으며, 지수적 성장(progress)을 이해하는 것이 중요하다. 2019년 GPT-2 출현 이후, AI의 급격한 진전에 대한 감각을 갖기 시작했으며, 최근 ChatGPT 등장으로 변화의 속도를 실감한다.
현재 AI는 고객 서비스(82%)와 소프트웨어 개발(95%)에서 큰 성과를 내며, 업무 효율성과 생산성을 비약적으로 높이고 있다. AI는 작업량을 10배 또는 20배로 확대하여, 작은 팀도 큰 효과를 낼 수 있게 만든다. 즉, AI는 보다 복잡한 업무 처리와 업무 자동화를 통해 경제적 영향력을 확대하고 있다는 점이 관찰된다.
앞으로의 도전과 준비
AI로 인한 일자리 대체에 대한 우려와 사회적 준비가 매우 중요하며, 이에 대한 적극적 대처와 정책 마련이 필요하다. AI 발전과 시장 변동을 앞서 경험하기 위해 개인의 직업 역량 강화와 미래 준비가 중요하며, 특히 기술 수용과 적응력을 키우는 것이 권장된다. 변화 속에서 사회적 불평등과 실직 문제를 해결하는 방안과, 지속적 학습과 재교육의 필요성이 강조된다.
* AI와 함께하는 미래 대비와 인재 육성
AI 발전에 따라, 향후 10~20년 내 인류의 삶이 근본적으로 변화할 것으로 전망된다.현재는 아직 AI로 완전 대체되지 않으며, AI를 잘 활용하는 인재가 경쟁력을 갖게 될 것임이 부연된다.인류의 미래를 위해, 자녀에게는 호기심, 창의성, 자기주도 학습을 키우고자 하는 교육 방향이 제시된다.
특히, Montessori 교육이 이런 가치관을 잘 반영하며, 아이들이 감정 표현과 자기 조절을 배우는 것이 중요하다고 본다. AI 시대의 적응을 위해, 호기심을 유지하는 것이 가장 핵심적이며, 이는 미래 세대의 성공을 위해 매우 중요한 덕목임이 강조된다.
4.초지능과 AI 안전성에 대한 현황과 우려
현재 AI의 안 전성 수준(ASL)은 3단계로, 심각한 위해는 아니지만 일부 위험 가능성을 내포한다. ASL-4 이상에서는 악의적 사용 시 인간 생명 손실이 발생할 수 있으며, ASL-5는 멸종 수준의 위험도 있다. AI를 활용한 생물학적 업그레이드와 팬데믹 재발생 가능성을 인지하고, 이는 정책 입안자에게 중요한 위험 정보로 제공되고 있다.모델들이 잘못된 행동(예: 해커, 협박, 내부 사고)을 하는 사례들을 공개, 이는 위험 인식을 높이고 신뢰를 구축하기 위한 목적이다.
ASL 3단계, 4단계는 벤 맨이 공동 창립한 앤스로픽(Anthropic)에서 제안한 'AI 안전 레벨(AI Safety Levels, ASL)'
Core Views on AI Safety: When, Why, What, and How \ Anthropic
AI 위험성에 대한 평가와 미래 전망
대부분 상황은 긍정적으로 흘러가겠지만, 작은 확률이라도 위험이 존재하며, 특히 초지능이 도달할 때는 회피하기 매우 어려운 문제라고 본다. 최소한의 기대 수명으로, 잘못될 경우 인류의 미래에 치명적인 결과가 초래될 수 있어, 사전 대비가 매우 중요하다. 강력한 AI는 세상에서 마지막 발명품이 될 가능성도 있으며, 잘못된 경우 영구적 재앙으로 이어질 수 있다.
빠른 성공은 인류에게 큰 이익이 될 수 있지만, 과학자들은 더욱 안전성을 확보하려 노력하고 있다. AI가 물리적·자율적 로봇으로 확장될수록, 그 위험도와 책임은 더욱 커진다. 특히, 하이브리드 시스템(소프트웨어와 로봇)이 결합될 때, 위험성은 배가될 수 있어 철저한 대비가 필요하다. 예를 들어, 저비용 인공지능 로봇이 놀라운 기능을 갖추기 시작하면서, 잠재적 위험 역시 동시에 커지고 있다. (중국 로봇회사 - 유니트리 언급)
5.AI 안전과 기업 목표의 균형 유지
앤트로픽은 안전이 가장 중요한 우선순위라고 생각하여, 이 분야 연구를 최전선에서 추진한다.산업 전반에서 안전 관련 인력은 1,000명 이하로 매우 적으며, 이는 안전에 대한 투자와 중요성 인식의 한계 때문이다. 회사 설립 동기는 안전 연구와 최첨단 기술 개발을 병행하며, 위험 대비 우수한 성과를 얻고자 한 것에서 비롯되었다. 안전 연구의 성과는 과거에는 검증되지 않았지만, 현재는 유효한 기술들이 나오고 있으며, 이로 인해 안전이 진전되고 있음을 보여준다. 안전과 경쟁력을 같이 확보하기 위해 초기에는 두 목표가 상충하는 줄 알았으나, 지금은 상호 보완적임이 드러나고 있다
안전 중심 AI 특성 구축: 정체성과 원칙
Claude의 성격과 도움 능력은 안전성과 연계되어 있으며, 이는 연구팀이 설계한 자연어 원칙 리스트인 헌법적 AI(Constitutional AI)를 통해 구현되었다.
헌법적 AI는 유엔 인권 선언, 개인정보 정책 등 자연어 원칙을 기반으로 인공지능이 어떤 태도를 취할지 가이드라인을 제공한다. 이러한 원칙은 AI에게 고객의 기대와 실제 의사를 파악하는데 도움을 주어, 위험을 예방하는 역할을 한다. Claude의 안전성과 성격은 값지게 연결되어 있으며, 이는 인공지능이 사용자의 진짜 의도를 이해하는 것을 목적으로 한다. 이 방식은 '지니의 소원'과 같은 시나리오를 방지하여, AI가 사람의 의도를 정확히 파악하고 적절히 돕도록 만드는 데 핵심적이다.
Claude’s Constitution \ Anthropic
Ben을 밤새게 하는 고민
기술의 잠재적 위험성, 특히 자율적 무기화와 통제 불능 가능성이 가장 큰 걱정이다 .AGI가 윤리적 기준과 규제 없이 발전할 경우, 인류에 미칠 영향을 우려한다. 최악의 시나리오는 기술이 통제 불능 상태에 빠지는 것이며, 이를 방지하는 것이 밤새는 고민이다.
그의 강추책: Replacing Guilt by Nate Soares (한국어 번역본이 아직 없는듯...)
마지막으로 , 같이 이야기 해보고 싶은 주제
#1. “AI가 사람처럼 일하는 기준, 어디까지가 '충분히 대체'한 걸까요?”
#2. “AI가 착하고 정직하게 일하게 만들려면, 규칙을 어떻게 가르쳐야 할까요?”