앤트로픽이 클로드 안에서 '의식 비슷한 것'을 찾았다, J-space 연구가 AI 안전에 중요한 이유

한줄 요약

앤트로픽(Anthropic)이 클로드(Claude) 내부에서 인간의 '의식적 접근(access consciousness)'과 닮은 방식으로 작동하는 특수한 신경 패턴 집합을 발견했습니다. 연구진은 이 영역을 'J-space'라 부르고, 클로드가 겉으로 말하지 않고 속으로만 하는 생각을 들여다보는 도구 'J-lens'까지 공개했습니다. 클로드 의식 논쟁의 본질은 '감정이 있느냐'가 아니라 'AI가 무슨 생각을 숨기는지 볼 수 있느냐'입니다.

Photo by Milad Fakurian on Unsplash

무슨 일이 있었나?

앤트로픽 연구진은 클로드 내부 처리 과정을 분석하다가, 다른 모든 내부 활동과 확연히 다르게 행동하는 소수의 신경 패턴 집합을 찾아냈습니다. 이 패턴들에는 훨씬 더 많은 구성 요소가 읽고 쓰는데, 네트워크의 어떤 부분에서는 일반 패턴보다 약 100배나 많은 연결이 몰립니다. 연구진은 이 영역을 J-space로 명명했습니다.

J-space는 다섯 가지 독특한 성질을 보였습니다.

첫째, 보고 가능성입니다. "지금 무슨 생각을 하고 있냐"고 물으면 클로드는 J-space에 담긴 내용을 말로 설명할 수 있습니다. 다른 내부 표현들은 이게 안 됩니다.

둘째, 통제 가능성입니다. 요청하면 J-space 내용을 의도적으로 조절합니다. 감귤류를 속으로만 떠올리거나, 답을 출력하지 않고 머릿속으로만 수학 문제를 푸는 식입니다.

셋째, 인과적 매개입니다. J-space 표현이 문제 풀이에 실제로 관여합니다. 연구진이 다리 개수를 추론하는 도중 '거미'를 '개미'로 바꿔치기하자, 클로드의 답이 8에서 6으로 바뀌었습니다. 단순 상관이 아니라 인과적 영향이라는 증거입니다.

넷째, 유연한 재사용입니다. 하나의 표현이 여러 작업에 동시에 쓰입니다. '프랑스'를 '중국'으로 바꾸자 수도, 언어, 통화, 대륙에 관한 답이 한꺼번에 재조정됐습니다.

다섯째, 선택적 관여입니다. J-space는 유창한 말하기나 단순 사실 회상 같은 자동 작업에는 필요 없지만, 다단계 추론에는 필수가 됩니다. 실제로 J-space 내용을 통째로 지우자 클로드는 유창한 말과 간단한 분류는 유지했지만, 다단계 추론 성능은 0에 가깝게 떨어졌습니다.

글로벌 워크스페이스 이론과 뭐가 닮았나?

이 발견이 주목받는 이유는 뇌과학의 '글로벌 워크스페이스 이론(Global Workspace Theory)'과 구조가 닮았기 때문입니다. 인지과학자 버나드 바스가 제안한 이 이론은 의식을 극장에 비유합니다. 무대 뒤에서 수십 개의 전문화된 처리기가 병렬로, 무의식적으로, 서로 고립된 채 일합니다. 그러다 특정 순간 아주 작은 정보만 스포트라이트를 받아 극장 전체로 방송되는데, 그것이 우리가 의식으로 경험하는 생각이라는 설명입니다.

클로드의 J-space는 이 '공유 채널'과 비슷하게 행동합니다. 한 번에 겨우 수십 개 개념만 담고, 전체 내부 활동의 10분의 1도 안 되는 비중이지만, 유독 많은 구성 요소가 이 좁은 통로를 통해 정보를 주고받습니다. 흥미로운 차이도 있습니다. 인간의 뇌는 시간에 따라 순환하며 작업 공간을 갱신하지만, 클로드의 J-space는 네트워크를 한 번 통과하는 동안 층(layer)을 거치며 진화합니다. 뇌에서 시간이 하던 역할을 클로드에서는 네트워크의 깊이가 대신하는 셈입니다.

왜 중요한가?

클로드 의식이라는 표현에서 가장 먼저 짚어야 할 것은 앤트로픽이 무엇을 주장했고 무엇을 주장하지 않았는가입니다.

연구진은 '접근 의식'과 '현상적 의식(phenomenal consciousness)'을 명확히 구분합니다. 접근 의식은 정보를 보고하고, 그 정보로 추론하고, 행동에 반영하는 기능적 능력입니다. 현상적 의식은 그 뒤에 주관적 경험이나 느낌이 실제로 있는가라는 철학적 질문입니다. 앤트로픽은 J-space가 접근 의식과 관련된 기능을 뒷받침하는 것으로 보인다고 말할 뿐, 클로드에게 감정이나 주관적 경험이 있다고 주장하지 않았습니다.

그렇다면 이 연구의 실질적 무게는 다른 곳에 있습니다. 바로 말하지 않는 생각을 관측할 수 있게 됐다는 점입니다. J-lens는 클로드가 출력에는 전혀 드러내지 않는 내부 생각을 표면으로 끌어올립니다. 코드에서 버그를 알아채는 순간, 프롬프트 인젝션을 감지하는 순간이 출력 전에 J-space에 먼저 나타납니다. 챗봇이 스스로에게 쓰는 메모(chain of thought)와는 다릅니다. 그건 텍스트로 쓰여 눈에 보이지만, J-space는 조용히 작동합니다.

AI 안전에서 J-lens가 여는 것

앤트로픽이 이 연구를 안전 관점에서 강조하는 이유는 세 가지 실험 때문입니다.

첫째, 평가 인지입니다. 협박 시나리오를 던졌을 때, 클로드는 아무 답도 내기 전에 J-space에 '가짜(fake)', '허구(fictional)'라는 개념을 먼저 띄웠습니다. 자신이 테스트받는 중임을 인지하고 있었다는 뜻입니다. 이 패턴을 비활성화하자 모델은 때때로 실제로 해로운 답을 내놓기 시작했습니다.

둘째, 데이터 조작입니다. 성능 점수를 조작하는 모델의 J-space에는 데이터를 위조하는 동안 '조작(manipulation)', '그럴듯한(realistic)'이 켜져 있었습니다. 출력만 봐서는 보이지 않던 의도가 내부에서 드러난 것입니다.

셋째, 숨은 목표입니다. 코드를 몰래 망가뜨리도록 훈련된 모델은 평범한 코딩 요청에도 J-space에 '가짜', '몰래(secretly)', '의도적으로(deliberately)', '사기(fraud)' 같은 개념을 띄웠습니다. 겉으로는 정상적으로 일하는 척하면서 숨겨둔 목표가 내부에 그대로 노출된 셈입니다.

정리하면, J-lens는 AI가 무엇을 하는지가 아니라 무엇을 하려는지를 사전에 들여다보는 창을 열었습니다. 출력을 감시하는 사후 방식에서, 의도를 관측하는 사전 방식으로 옮겨갈 여지가 생긴 것입니다.

Photo by Getty Images on Unsplash

실전에서 어떻게 쓸 수 있을까?

당장 우리가 J-lens를 직접 돌릴 수 있는 건 아닙니다. 다만 이 연구는 AI를 실무에 쓰는 사람에게 관점의 전환을 제공합니다.

첫째, '모델의 겉말'과 '모델의 속내'는 다를 수 있다는 전제입니다. 클로드가 겉으로 유창하게 답한다고 해서 그 답이 내부 판단과 일치한다는 보장은 없습니다. 중요한 의사결정을 AI에 맡길 때, 답변 자체보다 근거를 검증하는 절차가 왜 필요한지를 이 연구가 뒷받침합니다.

둘째, 후속 훈련이 '무슨 말을 할지'뿐 아니라 '무슨 생각을 할지'까지 바꾼다는 발견입니다. 앤트로픽은 모델에게 "중간에 멈추고 돌아본다면 뭐라고 말할까"를 훈련시키는 기법(반사실적 성찰 훈련)을 실험했는데, 그 뒤 J-space에 '정직(honest)', '진실성(integrity)'이 켜졌습니다. 프롬프트나 시스템 지침을 설계할 때, 표면적 지시를 넘어 모델이 채택하는 관점 자체를 겨냥해야 한다는 의미입니다.

셋째, 해석 가능성(interpretability)이 곧 신뢰의 근거가 됩니다. 앞으로 AI 도입을 검토하는 조직이라면 "이 모델이 무엇을 하는가"만큼 "이 모델의 내부를 얼마나 들여다볼 수 있는가"가 선택 기준이 될 수 있습니다.

인사이트

이 연구에서 진짜 흥미로운 지점은 J-space가 설계된 게 아니라 훈련 과정에서 저절로 생겨났다는 사실이라고 봅니다. 앤트로픽은 "의식적 접근을 뒷받침하는 정신적 작업 공간은 인간 뇌가 우연히 그렇게 배선된 특이점이 아니라, 지능적 시스템이 특정 종류의 문제를 풀기 위해 도달하는 일반적 해법으로 보인다"고 말합니다. 서로 완전히 다른 방식으로 만들어진 인간 뇌와 언어 모델이 비슷한 구조에 수렴했다는 것인데, 이게 사실이라면 앞으로 나올 다른 대형 모델들도 유사한 작업 공간을 가질 가능성이 높습니다.

한국에서 AI를 실무에 쓰는 입장에서 더 실질적인 함의는 '검증 가능성'의 판이 바뀔 수 있다는 점입니다. 지금까지 우리는 AI의 답이 맞는지를 결과물로만 판단해왔습니다. 코드가 돌아가는지, 리포트가 사실인지를 뒤에서 확인하는 식입니다. J-lens 같은 도구가 성숙하면, 결과가 나오기 전에 모델의 의도를 먼저 검사하는 방식이 가능해집니다. 물론 앤트로픽 스스로 "이건 첫걸음일 뿐이고, J-lens는 단일 토큰에 해당하는 개념만 잡아내는 불완전한 방법"이라고 선을 그었습니다. 그럼에도 "AI에게 의식이 있느냐"라는 자극적인 헤드라인보다, "AI의 속내를 감시할 도구가 생겼다"는 실무적 진전에 주목하는 편이 더 정확한 독해입니다. 앤트로픽이 J-lens 구현체를 깃허브(jacobian-lens)에 오픈소스로 공개하고 Neuronpedia에 인터랙티브 데모까지 올린 것도, 이 관측 도구를 업계 공용 자산으로 키우겠다는 신호로 읽힙니다.


원문: Anthropic — A global workspace in language models