저는 AI 관련 전공과 무관한 비전공자입니다. 깊은 지식도 없는 평범한 학부생입니다. ML, 딥러닝, LLM, NLP 아무것도 깊게 공부하지 않았습니다. ChatGPT가 나온 이후 미천하고 부족한 지식으로 알음알음 공부해가고 있지만 많이 부족합니다. 그냥 재미로 읽어주셨으면 좋겠습니다. 잘못된 부분에 대한 지적은 언제든 환영합니다.
1. ChatGPT에 대한 환상
ChatGPT는 신이 아니다. ChatGPT는 무엇이든 할 수 있지만, 무엇이든 완벽하게 해내는 것은 아니다. ( 아마 내가 원하는 정도로 무엇이든 완벽하게 척척해냈다면, 이미 그건 특이점일 것이다. )
ChatGPT는 단어 간의 대응관계를 분석하여 '가장 어울리는 단어'를 조합한다. 인간처럼 말하게 만들기 위해 그 방식을 고도화하여, 매우 큰 데이터와 매우 많은 파라미터를 갖도록 했다. 결과적으로 LLM은 인간처럼 말하는 인공지능 ChatGPT를 탄생시켰다. 하지만 ChatGPT는 근본적으로 말 생성기이다. 말을 따라하는 친구다.
어느 병원에 의사와 그 의사의 쌍둥이 동생이 있다고 해보자. 이 병원에는 매일매일 똑같은 증상을 호소하는 감기환자들이 온다. 의사 선생님은 매일매일 똑같은 환자들에게 똑같은 처방을 내리고, 똑같은 말을 한다.
어느 날, 의사가 잠시 자리를 비웠다. 그래서 쌍둥이 동생이 의사를 대신해 진료를 봤다. 똑같은 처방을 내렸고, 똑같은 말을 했다. 그리고 아무 문제도 일어나지 않았다.
환자의 입장에서 한번 보자. 나는 매번 증상이 같았고, 똑같이 생긴 의사선생님이 똑같은 말을 했다. 아무런 문제도 보이지 않았다. 그렇다면 의사와 쌍둥이 동생은 같은 일을 한걸까? 한쪽은 감기라는 질병에 걸렸을 때, 사람의 몸에서 일어날 수 있는 여러 생물학적 변수들을 고려해 제일 적합한 해답을 내놓은 것이고, 다른 한쪽은 그 해답을 단순 모방한 것이다. 다만, 쌍둥이 동생이 너무 똑똑해서, 일어날 수 있는 모든 처방에 대해 가장 통계적으로 적합한 대답을 익혀버린 것일 뿐...
이 차이가 단적으로 보여지는것이 수학이다. 우리가 어떠한 식을 증명할 때, 논리적으로 자명하지 않으면 그것을 폐기한다. 하지만 ChatGPT한테 Yes or No는 없다. [0.00....1 ~ 99.99....9] 만 존재한다. ChatGPT가 증명을 하지 못하는 근본적인 이유이다. 이 친구는 폐기해내지 못한다. 다시 말해, 수학과 같은 경험과 무관하게 자명한 지식에 대해 이해하지 못한다. 경험적 지식에 대해서는 어느 누구보다 뛰어나지만, 그 반대의 영역인 선험적 지식에 대해서는 전혀 기능하지 못하는 특이한 녀석이다. ( 간혹 선험적 지식을 잘 해내는 것처럼 보일지라도, 경험적 지식으로 선험적 지식을 때려맞추는 것이다 )