소개
레니 팟캐스트에서 추천 동영상으로 떳길래 그냥 한번 들어보았는데 몇 가지 내용은 다른 멤버들에게도 소개 하고 싶어서 글을 남기게 되었어요.
https://www.youtube.com/watch?v=WWoyWNhx2XU
흥미로웠던 점
앤트로픽 내의 법률 전문가, 재무 전문가가 Claude Code를 쓰고 있다?!
에이젠틱하게 작업을 자동화하는 것을 Claude Code로 쓰고 있다고 합니다 (1167초 부분). 터미널 Interface는 어려워서, 비개발자도 쓸 수 있는 인터페이스를 고안 중이라고 하네요.
AI 시대에 앞서가는 방법 - 용감하게 더 많이 써야 한다
용감하게 라는 표현이 좀 웃기지만, Ambitious 하게 써 봐야 한다고 합니다 (1117초). AI 모델의 한계를 계속 느낄 수 있는 그런 시도, 그리고 확률적으로 답변하는 것이기 때문에 같은 것이라도 세 번 이상은 시도해 봐야 한다는 것. 뭐가 어떤 분야에서 가능한지 계속 시도해보면서 감을 익히라는 말은 계속 여러 사람들의 입을 통해서 반복적으로 나오는 얘기 같아요.
RLAIF (AI 피드백 기반의 강화 학습)
RLHF는 많이 들어보셨을 텐데요, AI가 답변을 내면 사람이 응, 그거 아냐, 그거 맞아 하고 피드백을 해 주면서, AI를 좀 더 똑똑하게 만드는 과정이라 생각하시면 됩니다. 그런데 이걸 AI가 대신하는 것이 요즘 많이 시도되고 있습니다. 모델을 만드는 쪽이 아니라 애플리케이 션을 만드는 쪽에서는 LLM-as-a-judge라고도 하는 것 같아요.
RLAIF는 재귀적 자가 개선 방법인데요, 이걸 통해서 AI 스스로 발전할 수 있게 된다면, 더 빠른 기술 발전이 될 것이라 예상하고 있습니다. 다만, 사람들의 모니터링에서 벗어나 통제 불능 상태에 빠진 모델이 될 가능성도 있구요. RLAIF는 모델이 실제 세상을 경험할 수 있는 능력을 갖추게 되면서 재귀적 자가 개선이 급속도로 빨라질 것이라 예상하고 있습니다.
헌법적 AI
저도 AI의 정렬 문제가 이렇게 어려운 것이고, Anthropic의 미션이 왜 이것인지를 이번에 알게 되었습니다. AI 정렬 문제는, AI가 추구하는 것이 우리 인간이 추구하는 것과 일치되게 하는 작업이라고 합니다. Anthropic의 미션은 정렬 문제를 해결하면서도 최상의 성능을 제공하는 모델을 만드는 것이라고 합니다.
그걸 위해서 헌법적 AI를 만들고 있는데요, 이건 헌법을 글로 써 두고, AI가 답변을 할 때 스스로의 답변을 헌법에 비추어서 옳은지 스스로 판단한 뒤에, 옳치 않으면 다시 답변을 구성하고, 옳다면 그걸 유저에게 제공하는 재귀적 자가 개선의 일종입니다.
그리고 이 헌법을 우리 인간 사회의 제도를 통해서 계속 개선해 나가서, AI의 정렬 문제를 해결하려고 하는 것이라고 하네요.
결과와 배운 점
에이전틱한 업무 자동화를 Claude Code로 비개발자가 사용한다 -- 라는 관점이 너무 흥미로워서 이쪽을 더 알아보고 있습니다. 그리고, 조직 내에 온갖 AI 툴들을 활용해 가면서, 팀원들의 업무를 일부라도 자동화 하려는 시도를 하는 전담 인원을 둔다면, AI 시대에 그 조직이 살아 남을 수 있을 것 같다는 생각도 들었어요.
그런 분을 지피터스에서도 얼른 채용해야 겠다는 생각이 드네요.
