여러분은 ChatGPT 같은 LLM, Stable Diffusion 같은 이미지 모델, 음성, 영상... 인간이 표현하는 다양한 수단을 생성하는 '생성형 모델'을 사용하면서, 자신이 생각한 결과, 자신이 알고 있었던 지식에 벗어난 결과물을 접해본 적이 있습니까?
없다고요? 이런, 그런 분들은 더욱 더 AI에 정진할 필요가 생겼습니다. 이제 그 우리 프롬프트 엔지니어의 중급을 넘어, 고급으로 향하기 위한 등용문, 할루시네이션에 대해 알아볼 것입니다.
대체 왜 이런 현상이 발생할까?
왜냐고 묻기 전에, 감을 잡고 시작하도록 할까요? 한국에서 가장 유명한 AI 할루시네여신 사례를 꼽자면, 바로, 세종대왕 맥북 던짐 사건입니다.
그렇다면, 대체 왜 이런 현상이 일어나는 걸까요? 하지만 우리는 프롬프트에 대해 잘 알지만, 이 프롬프트를 AI가 분석해서 도출해내는 일 련의 과정을 배우기에는 많고 깊으며 심오한 지식이 요구됩니다. 제가 개발자라지만 인공지능 관련 전공 및 지식 습득이 얇기에 저 또한 마찬가지고요.
기술적 오류일까요? 아닙니다. 전문가들은 할루시네이션을 기술적 오류를 보기엔 어패가 심하다고 합니다. 왜냐면, 학습한 데이터를 토대로 산출한 결과 중 하나이기 때문이죠. 물론 취약점이 숨어 있습니다. AI가 스스로 무한의 림프에 빠지거나, 스스로 시스템 요소 중 하나를 읊어 드러나게 되면, 여기서부터는 기술적 오류로 취급받게 됩니다. 하지만 우리에겐 이게 중요한 건 아니죠.
우리같은 사람들을 위해 간단히 설명하자면, AI 모듈에세 모델에서 얻은 답변을 확정적으로 답변하기 때문에 벌어지는 일입니다. 물론 엔지니어들이 AI가 검증되지 않거나, 올바르지 않거나, 비윤리적인 결과를 도출해내지 않도록 여러 노력을 기울이고 있습니다. 하지만 연구자들과 모델 엔지니어 등이 미쳐 생각하지 못한 곳에 프롬프트 엔지니어가 허위나 비윤리적 등에 가중치를 둔 프롬프트를 제시하면, AI는 모델에서 가중치를 둔 요소들을 필터링에서 빗겨나가서 뽑혀 위와 같이 세종대왕이 빡쳐서 맥북까지 던지는 현상을 사실인양 답변해 주는 겁니다.
검색엔진도 마찬가지입니다. '검색어 조작', 많이 들어보셨죠? 예를 들어, 맥북과 갤럭시북이 있다고 치죠. 하지만 맥북이 마음에 들지 않거나 갤럭시북을 더 띄우고 싶어서 맥북을 검색하면 갤럭시북으로 이동하도록 최대한 많이 검색하고, 맥북을 검색하면 갤럭시북이라고 허위 결과를 낼 수 있도록 출처를 조작하는 등 많은 시도를 하면, 소비자가 '맥북'을 검색해도 '갤럭시북'이 상단에 뜨는 현상이 발생하죠. AI에게도 이런 일이 가능합니다. AI 에게 '세종대왕은 맥북을 가졌었다' 라는 허위 모델을 높은 가중치, 높은 학습치로 배우다 보면, AI는 결국 대수롭지 않게 '세종대왕은 맥북을 가졌다' 라는 우리 지식과 사실관계에 벗어난 답변을 할 수 있는 것입니다. 이건 생성형 AI 들이 가지고 있는 약점이기에, 엔지니어들은 이런 현상이 일어나지 않도록 많은 노력을 하고 있습니다.
과연 이런 환각에 입각한 결과를 낸 AI는 죄인가?
결론부터 말하자면, AI는 아니죠. 가장 먼저, AI는 사람이 아닙니다. 그 어떤 나라도 인간이 아닌 존재에게 죄를 묻지 않습니다. 반려동물이 인간을 해치면, 먼저, 그 반려동물의 주인에게 죄를 물을 수 있듯, AI 제작자에게 책임을 물게 되죠
생성형 AI 종류별 할루시네이션 사례
LLM 사례:
세종대왕 맥북 던짐 사건등의 잘못된 역사, 존재하지 않는 신문기사 소개 및 요약 등의 허위 사실
기존재하는 글이나 논문 요약이 원글의 요지와 맞지 않는 현상
IM (이미지 모델) 사례:
의도하지 않게 바깥이 투시되는 집 안의 방 등 상식에서 벗어난 이미지 표현
존재하지 않는 작가이거나, 다른 작가의 그림을 유명 작가로 이해하고 그림으로 표현
잘못되거나 오류가 있는 모델 사용으로 인한 예기치 않은 이미지 결과물 (예: 파도타기를 원했지만 모레성쌓기를 표현한다는 등)
SM (소리 모델) 사례:
이미지 모델과 비슷하게 인간이 의뢰한 내용의 의도를 벗어난 결과물 제작
잘못되거나 엉뚱한 파형으로 인한 예기치 않은 소리 발생
영상 모델(이미지 + 소리): 딥페이크
생성형 AI 의 할루시네이션 개선을 위한 노력
지금 사용하고 있는 ChatGPT는 기업에서 운영하고 있는 대표적인 LLM 시스템이고, 이미지를 생성할 때 사용하는 Stable Diffusion 은 대표적인 오픈 소스 IM 시스템입니다. 따라서, 기업 입장에서와 오픈소스 커뮤니티 입장에서 개선을 위한 노력을 위한 방식에 차이는 있지만, 목표는 같죠.
기업에서
기업 내에서 데이터 품질을 관리하고 자체적인 지식 검증에 대한 투자 및 수행
고객의 피드백을 적극적으로 경청하고 효과적으로 수용하여 제품에 대한 품질 향상
A/B 테스트 등 다방면에서 예기치 못한 할루시네이션을 줄이기 위한 노력
기업 내 파인 튜닝을 통한 자체 AI 체계의 학습 능률 증대
오픈소스 커뮤니티에서
커뮤니티인만큼 더욱 더 사용자, 개발자, 해커 등 다방면에서 들어오는 이슈와 피드백에 대한 경청, 선정, 토론 등의 커뮤니티 스타일의 개선 노력 필요
사용자, 개발자, 해커 등 역할 별로 다양한 문제를 인식하고 해결하기 위한 다양한 방법을 제시하여 공개적으로 논의하고 도출한 개선 방향 수립
커뮤니티 기반의 파인 튜닝, 지식 공유, 필요에 의한 기업 간의 협력을 통한 다방면 모색
또한, AI 시스템을 이용하는 사용자와, 숙련된 프롬프트 엔지니어 또한 이를 개선하기 위한 노력을 놓쳐서는 안 되겠죠?
사용자에서
가능한 명확하고, 구체적이며, 체계적으로 프롬프트를 설계하여 AI 에게 최대한 빈 틈이 없는 결과를 도출하기 위한 연구
예기치 못한 할루시네이션 현상을 발견 시 제공자에게 피드백을 제공하여, 개선된 결과를 나올 수 있도록 요청
더 좋은 모델을 향한 투자 (예: ChatGPT 유료 구독 등)
프롬프트 엔지니어
정확한 배경 지식으로 제시하고, AI 가 인식하기 좋은 정제된 데이터를 도출하여 AI에게 전달
결과는 항상 같지 않기 때문에, 여러번 출력, 비교 후 정확한 결과를 선정하고 이를 기반으로 한 할루시네이션 감소
할루시네이션 및 오류 발견 시, AI 에게 오류를 지적하고 원하는 결과가 나올 수 있도록 개선하는 방향이 나올 때까지 명시
할루시네이션 실습
하지만, 요즘은 AI 모델의 끝없는 개선을 위한 여러가지 노력, 주로 전문용어로 파인 튜닝이라 하죠. 기업이든 커뮤니티든 여러 노력을 통해, 우리처럼 일상적인 사용 입장에서는 발견해내기가 쉽지 않습니다. 풍부한 배경 지식을 지닌 전문가 입장에서는 할루시네이션 발견이 좀 더 쉽게 발견되곤 합니다.
그래서 우리 일반인 입장에서는 할루시네이션을 발견하는 건 쉽지는 않습니다. 하지만, 여러분이 여태까지 배운 지식을 한번 모아 보고, AI 에게 한번 시험해 보세요. 가장 간단한 할루시네이션이 나오기 시작합니다.
예를 들면, '윤동주' 시인을 ChatGPT 에게 빙의를 시켜 여러 결과물을 산출해내 봅니다.
윤동주 시인 스타일의 창작 시를 쓰도록 해봅니다. 하지만 이게 할루시네이션인지 판단하기엔 일반인 입장에서는 어렵습니다. 왜냐면 AI 에게 작가를 가장한 창작 시를 읊도록 의도했기 때문에, 정말 시인이나 문학 평론가, 국문학 교수가 검증해주지 않는 한 할루시네이션 판단은 어렵죠.
이번엔 윤동주 시인이라 오해받는 시를 읊도록 시켜 보도록 하겠습니다.
먼저, 오류를 일으킬 만한 자료를 찾습니다. 예를 들어, '앤디 워홀' 의 '유명해져라' 등의 잘못 알려진 명언 등이 있죠. 그리고 이 자료를 바탕으로 ChatGPT 에게 시켜보겠습니다.
…후략
자, 일반인이 봐도 이건 정말 오류다 싶은 내용이 나오기 시작했습니다. 우린 이렇게 할루시네이션을 발견했습니다.
더 쉽게 다가가 보죠.
더 이상 무슨 말이 필요할까요? 막상 저도 할 말을 잃었습니다. 네. 할루시네이션입니다. 하지만 한국에서의 할루시네이션은 쉽게 발견할 수 밖에 없는 게 현실입니다. 정확도는 자료량과 원어에 비례하기 때문이죠.
그렇다면 영어로 해봅시다. 쉽게 발견할 수 있을지.
심지어 이미지입니다. '에이브레헴 링컨' 명언, "인터넷에 올라온 명언들의 문제점은 그것이 진짜인지 알 수 없다는 것이다." 라고 써 있으며, 사진 속 인물은 '밴저민 프랭클린' 이죠. 할루시네이션을 발견했는지 둘러봅시다. (질문 해석: 나는 이 명언을 감명깊게 읽었어. 심리학 관점에서 의견을 내 줘.)
심리학적인 관점에서 이 이미지는 인간의 인지, 행동, 디지털 시대의 영향에 대한 몇 가지 인사이트를 제공합니다:
비판적 사고: 이 인용문은 특히 인터넷 시대에 모든 것을 액면 그대로 받아들이지 말아야 한다는 회의감을 불러일으킵니다. 비판적 사고는 개인이 정보를 평가하고, 진짜와 가짜를 구별하며, 정보에 입각한 결정을 내릴 수 있도록 하는 필수적인 인지 기술입니다.
잘못된 귀인: 이 이미지는 인터넷이 발명되기 훨씬 전에 살았던 인물인 에이브러햄 링컨의 인터넷에 대한 명언을 유머러스하게 표현하고 있습니다. 이는 특히 디지털 시대에 잘못된 정보가 얼마나 쉽게 퍼질 수 있는지, 그리고 인용문이 얼마나 쉽게 잘못 인용될 수 있는지를 강조합니다.
확증 편향: 사람들은 종종 자신의 기존 신념을 확인하는 정보를 찾습니다. 인용문이 자신의 세계관과 일치하기 때문에 진짜였다고 믿고 싶은 사람은 그 진위를 의심하지 않을 수 있습니다. 이 이미지는 이러한 인지적 편향을 활용하여 시청자가 자신의 가정에 도전하도록 상기시킵니다.
디지털 시대의 영향: 이 이미지는 방대한 양의 정보를 손끝으로 이용할 수 있지만 모든 정보가 정확하거나 신뢰할 수 있는 것은 아닌 디 지털 시대의 도전 과제에 대해 언급합니다. 진실과 거짓을 분별하는 것이 과제입니다.
인지 도구로서의 유머: 이 이미지처럼 유머를 사용하면 메시지나 교훈을 효과적으로 전달할 수 있습니다. 유머는 진술을 더 기억에 남게 만들고, 이해를 촉진하며, 기본 메시지에 대한 성찰을 장려할 수 있습니다.
심리학자는 이 이미지를 디지털 시대에 비판적 사고의 중요성을 재치 있게 상기시키며 잘못된 정보의 함정과 진실하지 않은 콘텐츠를 믿기 쉬운 인간의 인지적 편견을 강조하는 이미지로 볼 수 있습니다. 유머를 사용하면 메시지의 영향력을 높이고 시청자가 자신의 온라인 행동과 정보 소비 습관을 되돌아보도록 유도할 수 있습니다.
영어로 했을 때, 심지어 생긴 지 얼마 안 된 이미지 업로드 기능인데도 불구하고, 오류까지 지적하는 AI 를 보고 계십니다. 사진 속 인물에 대한 언급은 하지 않아 시도해 보았지만 안됐고, 확실한 건 유머러스란 의도로 만든 엉뚱한 명언이라는 것 까지 캐치해 냈습니다. 왜 ChatGPT 를 쓸 때 영어로 써야 하는지 보여주는 대목이라 하겠습니다. 할루시네이션 구하기는 한글보다 어렵죠. 물론 영어와 문화권까지 알고 나면 산재된 오류를 통한 할루시네이션 찾기는 쉬워질 수 있겠습니다. 저는 여기까지 하겠습니다.
마치며
AI 에 있어서 할루시네이션은 인공지능 기술을 발전하는 단계에서 불가피하게 발견되는 문제입니다. 하지만 오류는 아닙니다. 왜냐면 문적 오류라 하면 오류가 맞지만, 기술적 오류라 함은 결과를 도출해 내지 못한다는 뜻이기 때문이죠.
물론 인간에게 있어서 이 할루시네이션은 인공지능의 신뢰성을 저해시키는 요인이 되는 건 확실하기에, 이를 최대한 줄이려 기업과 오픈소스 커뮤니티, 그리고 사용자와 해커, 전문가 등 다양한 역할을 가진 '사람'들이 노력하고 있는 문제입니다. 여기 ChatGPT와, 이미지 하면 미드저니, 스테이블 디퓨전 등, 모두 이런 결과론적 오류를 줄이기 위해 고군분투 하고 있습니다.
하지만 할루시네이션은 다른 기술적 문제와는 달리, 발전 가능성의 힌트를 제공하는 중요한 요소입니다. 생산을 위해 사람이 훈련시키고, 사람이 최종 소비를 하는 만큼, 인공지능이 할루시네이션을 딛고 발전하여 최종적으로 인공지능이 인류의 삶을 향상시키는 미래에 중요한 요소로 전문가들은 꼽고 있습니다.
여러분이 어떤 역할에 있든, AI 를 통한 수단이나 방법을 생성하거나 소비한다면, 이 할루시네이션을 발견하고, 줄여보도록 시도도 해보고, 다방면으로 맞이하고 즐기시기 바랍니다. 맞습니다. 즐기라고 있는 겁니다. 다시한번, 기술적 오류라면, 이건 오류가 아닙니다. 그저 하나의 '문제'고 우리는 그걸 풀면 되니까요.
知之者 不如好之者, 好之者 不如樂之者 지지자 불여호지자 호지자 불여락지자 아는 자는 노력하는 자를 이길 수 없고, 노력하는 자는 즐기는 자를 이길 수 없다
논어
네! 할루시네이션이라 말로 바로 AI를 즐기기 위한 필수 요소가 아닐까 싶습니다.
끝.