이런 경우가 있습니다. 로봇 키트를 사용해서 무언가 결과물을 만들어 낼 때 로봇에 대한 이론을 알고 있는 전문가 보다 오히려 어린 아이들이 더 좋은 결과를 만들어 내기도 합니다. 개발자가 의도하지 못한 결과물이 탄생하는 경우죠. 플랫폼이라는 것이 가진 특징 자체가 그렇기도 하니 말입니다. 한데 언어 모델은 그보다 훨씬 자유도가 높고, 인간의 결과물임에도 아직 밝혀내지 못한 부분이 많으니 경험적으로 얻어낼 수 있는 게 무궁무진하다고 생각합니다.
그럼에도 학술적인 부분에 대한 내용을 더 자세히 알면 감을 잡는 데 좋을 것 같다는 생각이 들더라고요. 경험이라는 게 그만큼 투자된 시간에 비하면 의미 없는 노가다 시간이 소비되기도 하는거니까요. 다들 여유 있게 할 수 있으면 좋지만 요즘 세상에 여유가 어디있나요. 영혼에 나마 여유를 둘 수 있으면 정신 승리 한 거 아니겠습니까.
그래서, 입력과 출력이 있고, 그 사이에 언어모델이라는 블랙 박스가 있는데, 조금이나마 블랙박스를 예측하거나 분석 또는 추측이나 어떤 직관적인 느낌을 가질 수 있다면 좋겠다고 생각했습니다. 언어모델을 학습시키는 데 사용된 이론이라도 이해하고 있으면 프롬프팅을 예측하는 데 시간을 줄일 수 있다고 생각한 거지요. 한데, 언어 모델 개발에만 사용되는 줄 알았던 이론들이 프롬프팅에도 똑같은 이름으로 사용되고 있더라고요. 왜 이렇게 검색해보진 않았을까라는 약간의 자책과 함께 흥미롭게 읽어 봤습니다.
생각의 사슬과 같은 내용은 워낙 유명한 프롬프팅 방법이니 대부분 아실거고. 제로샷, 퓨샷 같은 기법은 언어 모델의 학습에만 사용된다고 생각하고 있었는데 프롬프팅에도 사용되고 있었네요.
많은 분들이 이미 사용하고 있는 프롬프팅 방법도 있긴 한데, 그것에 학술적인 이름이 있고, 어떤 기술적인 개념을 가지고 있다는 점에서 프롬프팅 결과를 직관적으로 예측하는데 매우 도움이 되는 것 같습니다.
어쨌거나 잘 정리되어 있는 사이트를 하나 소개해 보겠습니다. ㅎㅎ 매번 제 블로그를 올렸는데, 제 블로그에 다시 정리해서 올리려니 시간이 안되겠네요.
[Techniques] 카테고리에 학술적인 내용들이 잘 정리되어 있습니다.
