배경 및 목적
지난번 o1-preview와 GPT-4o로 추리 문제를 풀게 한 뒤 비교해 보았던 베스트 사례 발표 당시, 줌 채팅으로 재미와의미연구소 홍영일 님께서 다음과 같이 말씀해주셨는데요!
"새로운 시도를 하나 더 해보시면 좋을 것 같은게.... o1 모델을 발표하면서 오픈AI가 이제는 생각사슬(Chain of Thought) 프롬프팅 기법을 쓰지 말라고 하거든요. 이번에는 o1-preview 모델에서 (1) 단서들만 한번에 다 주고, (2) 사건의 정황을 알려줘 라고만 해보시면 어떨지요? 지금 보여주신 사례는 일반적인 Chain of Thought 프롬프팅 기법을 성실하게 반영하셨는데, 오픈AI는 그렇게 하면 오히려 o1이 더 잘 추론할 수 있는데 방해가 된다고 했거든요"
그래서 이번에는 정말 간단하지만, 프롬프트 없이 문제를 풀게 해보았습니다. 😊
실행 과정
홍영일 님께서 말씀하신 대로, "사건의 정황을 알려줘." 라고 한 뒤, 냅다 (1)제로의 미스터리 추리 퀴즈 본문과 (2)사진을 텍스트로 변환한 설명, 그리고 (3)탐정의 힌트 텍스트를 집어넣었습니다.
(*전체 프롬프트를 확인하려면 여기를 클릭해주세요!)
결과 및 인사이트
그러자 GPT는...
18초 동안 이런 생각의 과정을 거쳐,
이런 결과 요약을 뽑아내어 주었답니다!
추리 퀴즈의 정답을 확인해 보았을 때도, 흠 잡을 데 없는 추론능력을 보여주었습니다.
즉,
(1) 재미와의미연구소 홍영일 님의 말씀대로, o1은 생각 사슬 프롬프팅 기법 없이도 한 번에 정답을 뽑아낸다.
(2) 그리고, o1이 가진 추론능력이라는 것은 결국, 문제를 제시했을 때, 'n초동안 생각' 이라는 생각 과정 안에서 스스로 어떤 단계를 거쳐 문제를 풀어나갈지 말 그대로 스스로 생각의 사슬을 만들어 내고 있다는 것을 실감하게 되었습니다 😄
(오프 더 레코드)
이번 게시글의 결과는 프롬프트 딱 한 번으로 만들어낸 거라, 시간이 많이 들지 않았는데요.
사실은 o1으로 다른 추리 문제들을 풀 게 해 보다가 리미트에 걸리게 되었답니다 😅
그런데 실험을 해보면서 느낀 것은,
제로를 로제로 바꿔서 멋지게 추리해낸 o1이 거짓말같이 느껴질 정도로 특정 추리문제에는 매우 약하더라고요.
그래서 스터디 오픈 카톡방에서 "왜 어떤 추론은 잘 해내고 어떤 추론은 너무 못 할까요?" 라고 한탄했더니,
https://yozm.wishket.com/magazine/detail/2784/
이런 게시글을 추천받았습니다.
(*기사 출처: https://yozm.wishket.com/magazine/detail/2784/)
통찰력이 필요한 추리에는 여전히 실패하고 있는 o1...
하지만 o1이 강한 부분과 약한 부분을 조금 더 구체적으로 실감하고자 앞으로 몇 번 더 실험을 해보게 될 것 같습니다 😍
