최근 Open AI의 경쟁 기업인 Anthropic은 ‘안전한 AI’를 만들겠다는 사명을 중심으로 아마존, 구글과 도합 $6B(약 7.8조 원)에 상당하는 투자 협약을 맺는 등 단단한 행보를 보이고 있는데요.
Anthropic의 CEO인 Dario Amodei가 스케일링 법칙이 우리를 어디까지 발전시킬 수 있는지, AI를 개선하는 데 AI를 어떻게 사용할 수 있는지에 대해 설명한 인터뷰를 정리해봤습니다.🧵
1/ 생성 AI의 가능성을 본 결정적 순간?
나에게 있어 결정적인 순간은 2019년의 GPT-2 때였다.
GPT-2에게 영어를 프랑스어로 번역하는 5가지 예시를 제공한 후 6번째 문장을 영어로 입력했을 때 GPT-2가 영어를 프랑스어로 번역했다. GPT-2가 실제로 패턴을 이해한 것이다.
이러한 패턴의 이해는 제한 없이 계속해서 확장할 수 있는 영역이었고, 다음 단어를 예측하는 것으로는 많은 것을 해볼 수 있었기 때문에 놀라운 일의 시작점이라고 생각한다.
2/ GPT-3와 이전의 노력 간의 가장 큰 차이점?
규모 면에서 훨씬 커졌으며, 추론이 가능해졌다는 것이다.
(GPT가 하는) 파이썬 프로그래밍을 통해 모델은 추론이 불가능하다는 기존의 통념이 깨졌다. 매우 간단한 파이썬 프로그래밍을 새로운 상황에 적용하면 (GPT-3는) 깃허브 어디에도 없는 무언가(코드)를 만들어냈다.
3/ 모델 추론의 확장 가능성을 깨달은 순간?
간단한 웹 스크래핑을 통해 좋은 결과를 얻을 수 있는 충분한 파이썬 데이터를 얻었다. 살펴보니 전체 스크랩 데이터 중 0.1~1% 정도만 파이썬 데이터였다. 이는 적은 데이터와 노력으로도 (추론이) 잘 작동했다는 것이기 때문에, 더 많은 컴퓨팅과 데이터가 있다면 추론 능력을 증폭시키는 것은 시간 문제라고 생각한다.
4/ 스케일링 법칙의 가장 큰 걸림돌?
데이터, 컴퓨팅, 알고리즘 개선의 3가지 요소라고 생각한다. 허나 현재 (스케일링 법칙이 유효할 수 있는) 가장 큰 요인은 단순히 더 많은 자금을 투입하고 있다는 점이다.
알고리즘 개선 없이 지금까지 해왔던 것처럼 규모만 확장하더라도 스케일링 법칙은 계속될 것이라고 생각한다. 현재 가장 비싼 모델의 가격은 약 1억 달러이지만, 내년에는 10억 달러, 2025년에는 100억 달러에 달하는 모델을 보게 될 것이고, 스케일링 법칙이 지속된다면 엄청난 성능 향상이 있을 것이다.
5/ 절반 이상의 공동 창업자가 물리학 배경을 가진 이유?
어느 상황에서든 두 종류의 분야가 있는데, 오랜 세월의 엄청난 경험과 축적된 지식이 필요한 분야(ex. 생물학)와 아주 젊고 매우 빠르게 발전하는 분야다.
AI는 과거에도 그랬고 지금도 어느 정도는 매우 빠르게 발전하는 후자의 경우이며, 이런 경우에는 재능 있는 제너럴리스트가 해당 분야에 오랫동안 종사한 사람보다 더 뛰어난 성과를 내는 경우가 많다. 물리학자가 그러한 인재라고 생각했고, 그 예상이 적중했다.
6/ 헌법 AI(Constitutional AI) 운영 원칙?
첫째, 유엔 인권 선언, Apple 서비스 약관 등 원래의 헌법을 가져올 때 우리의 내용(content)을 적게 추가한다. ‘어린이에게 보여줘도 괜찮을 만한 콘텐츠를 제작하라’는 식의 매우 평범한 원칙만 추가하는 것이다.
여기서 단순한 핵심(core)을 바탕으로 각 분야가 가진 방향으로 운영 원칙을 전문화한다. 예를 들어, 심리 치료사와 변호사는 매우 다른 방식으로 행동할 것이다.
둘째로, 사람들이 헌법을 설계할 수 있도록 하는 일종의 심의 민주적 절차에 대한 아이디어를 검토하고 있다.
7/ 확장 속도에 대해 상충하는 두 가지 입장: 개발과 안전
AI 개발과는 별개로 AI 안전에 대해 연구하는 이론 중심의 커뮤니티는 그다지 성공적이지 않았다. 오히려 AI 안전에 AI가 더 도움이 되었다.
이는 AI가 강력해지면서 대부분의 인지 작업을 잘 수행하기 때문에 발생하는 현상이다. 이러한 인지 작업 중 하나는 AI 시스템의 안정성을 판단하는 것으로, AI 안전과 관련된 작업이다.
이는 AI가 자기 참조와 신경망 내부를 들여다 보는 해석 가능성의 요소를 가지고 있기 때문인데, 강한 AI 시스템이 약한 AI 시스템의 신경망을 해석하는 데 도움을 주거나, 모델 작동 방식을 알려주면 더 효율적인 방법을 제안하는 경우가 해당된다.
8/ 앤트로픽의 로드맵?
사람들이 깨닫기 시작했지만 여전히 과소평가되고 있는 한 가지는 ‘더욱 긴 맥락과 요소’이다.
사람들은 재무제표를 업로드하고 ‘애널리스트가 2주 전에 말한 것과 비교하여 어떤 점이 놀라운가요?’와 같이 질문할 수 있다.
이러한 모든 지식 관리와 대량의 데이터 처리는 사람들이 지금보다 훨씬 더 많은 것을 가능하게 할 수 있을 것이라고 생각한다. 이제 시작에 불과하며 특히 기대가 되는 분야이다.
9/ 무한 컨텍스트 윈도우?
컨텍스트 윈도우를 무한대로 늘리면 대부분의 컴퓨팅이 컨텍스트 윈도우에 집중되기 시작해 비용이 매우 많이 들게 될 것이다. 즉 컨텍스트 윈도우를 무한대로 늘릴 수는 없겠지만, 계속해서 확장하고 대량의 데이터와 상호 작용할 수 있는 다른 수단을 제공하는 데 관심이 많다.
[요즘AI Comment]
최근 샘 알트만이 OpenAI CEO에서 해임되었을 때, Dario Amodei에게 앤트로픽의 잠재적 합병과 함께 OpenAI CEO 제안이 왔지만 곧바로 거절했다는 내용이 돌았습니다. 인터뷰를 봐도 확신에 가득찬 어조로 답변하는 모습을 보이는데요. 그만큼 그는 앤트로픽의 확장성을 굳게 믿고, 자신이 추구하는 생성 AI의 미래를 향해 나아가려는 것 같습니다.
더욱 자세한 내용은 원문 링크를 참고하시면 됩니다. 읽어주셔서 감사합니다. 🙂
출처 : https://t.me/thesedays_ai/485
앤트로픽(Anthropic)의 공동 창업자이자 CEO인 다리오 아모데이는 AI의 규모 확장과 AI를 이용한 AI 개선 가능성에 대해 설명한다. 그는 물리학에서 출발하여 AI 분야로 전환하였으며, 오픈AI에서의 경험을 바탕으로 앤트로픽을 창립했다.
GPT-2와 GPT-3의 개발 과정에서 나타난 AI의 급진적인 성능 향상은 규모의 법칙이 계속해서 유지될 것임을 시사한다. 아모데이는 AI 모델의 규모 확장이 계속될 경우, AI의 능력이 크게 향상될 것으로 예상한다.
아모데이는 '헌법적 AI'(Constitutional AI)라는 개념을 제안한다. 이는 인간의 피드백 대신 AI 스스로가 헌법에 기반한 원칙에 따라 피드백을 제공하는 방식으로, AI 시스템의 가치와 출력을 조정하는 데 도움을 준다.