요즘 대부분의 AI가 딥러닝을 사용합니다. 다른 방법보다 결과가 좋아서 그런것 같습니다.
딥러닝의 실제 내부 계산은 컴퓨터에서 이산적으로 진행되지만, 딥러닝은 수많은(수백억) 가중치가 연결되는 작업들은 수많은 작은 근거가 모여 서로 영향을 미치기 때문에 전체적으로 봤을 때, 거의 생활속 물리적인 현상처럼 연속적으로 동작하는것처럼 느껴집니다.
정확한 근거와 규칙에 의해 동작하기보단, 매우 다양한 것이 영향을 미칠 수 있는 시스템이기 때문에, 좋은 결과를 이끌어내보는 다양한 경험(감)이 많이 필요한 것 같습니다. (마치 운동선수가 다양한 훈련을 하면서 좋은 결과를 낼 수 있는 시도(연습)를 많이 해보는것과 비슷한것 같습니다)
그리고 이런 경험들은 AI시대에 적어도 초반까지는 쉽게 대체되기 어려운 노하우라고 생각합니다. 요즘 좋은 프롬프트 전략들도 많이 있지만 그것들은 현재 시점까지 전략들중에서 좋은 결과를 도출하기 때문에 쓰이는 전략들입니다. 언어모델인 경우에는 특히, 성능의 판단 근거가 문제 풀기와 같은 논리적인 부분에서도 중요하지만, 사람의 판단(생각)이 많은 부분을 차지하므로, 많은 사람들이 공감하는 좋은 새로운 프롬프트 전략이 나오면 그것이 또 다시 가장 좋은 결과를 도출하는 전략이 될 것이라고 생각합니다. 이렇듯 AI분야중에서도 언어쪽은 다양한 각도에서의 접근이 많이 열려있고 동시도 계속 찾아가는것이 필요할 것 같습니다.
하지만 AI모델의 전체적인 결과는 기본적인 모델 설계도와 관련이 있으므로, 사용중인 딥러닝 모델의 원리를 아는것도 도움이 된다고 생각합니다. 그래서 기본적인 예측이 가능한 감(경험)에만 의존하는것보다는 가끔 GPT의 동작들을 세부적인것까지는 아니더라도 모델의 원리와 함께 생각해보는것도 좋다고 생각합니다.