Chain of thought는 언어모델의 추론능력을 향상시키는 훌륭한 기법입니다.
특히, 언어모델의 부족한 수학적 능력을 향상시킬 수 있는 방법으로 주목받아 저도 오래전부터 적용해보고 수업에서도 활용해보고 있는데요
논문에 제시된 형태의 연립방정식 형태의 대수 문항에는 큰 효과를 보이곤 하는데
유독 확률 문항에서는 아직도 고전을 면치 못하는 모습이 보입니다..
수학에서 학생 지도에 많이 활용되는 문제해결 사고기법 중 하나로 폴리아의 문제해결 4단계란 것이 있습니다.
Chain of Thought 와 유사한 면이 있어, 수업 시간에 학생들과 전략적 문제해결 습관을 지도할 때, 많이 활용하고 있으며 gpt에도 적용한 수업을 진행해본 적도 있습니다
그런데 이것 역시도 확률문제만 접하면 멍텅구리가 되는 것은 도긴개긴입니다.
Chain of thought 프롬프트나 폴리아의 문제해결 4단계나, 답변에 대한 피드백 절차가 담겨 있어 풀이과정을 점검하는 과정은 포함하고 있습니다. 하지만 반복하더라도 올바른 정답을 찾아내기보단 사람이 쉽게 하기 쉬운 실수-중복되는 사건을 놓치거나, 중요한 조건을 간과하거나-를 반복하는 경우가 확인됩니다.
그런데, 이즈음 문득, 노말 프롬프트로 물어보면 어떨까? 하는 궁금증이 생깁니다.
바로 정답을 뽑아냅니다..ㅎㅎ
사실 교사 입장에서는 프롬프트 자체의 성능보다는
프롬프트를 작성하는 사고 훈련 과정에서 얻게 되는 인지적 성장이 훨씬 중요한 가치를 지니는게 사실입니다.
그런 의미에서 chain of thought는 큰 메리트를 지닌 접근전략인 것은 틀림이 없습니다 :)