GPTers 스터디 5기 대학생방의 MJ입니다.
😯 지난주에는 Plugin AskYourPDF를 사용해 특별한 형식 없이 기록한 회의록을 요약해 보았습니다.
https://www.gpters.org/hello/post/summarize-meeting-minutes-using-CbmxNGSIeL4l8kb
당시에는 결과가 성에 안 찼는데 제가 넣었던 회의록 파일을 열어서 문장 상태를 확인해 보니 GPT는 나름 최선을 다했었음을 깨달았습니다.. 그 회의에 참석한 사람이었어도 헷갈릴 만큼, 제가 너무 난잡하게 적어놓았더라구요 ㅎㅎ… transformer model의 특성을 고려하면 제가 지시한 대로 처리하기 불가능한 파일이었다고 생각합니다.
그래서 이번에는 transformer model의 작동 원리를 고려하여, 좋은 결과를 얻기 위해 좀 더 순서를 잘 지켜서 프롬프트&자연어 데이터를 넣어 보자고 생각하면서 IRB approval을 위한 연구계획서 작성에 ChatGPT를 사용해 보았습니다.
첫 시도: 글의 흐름을 제시하고, 참고할 논문의 링크를 여러 개 제시하여 알아서 잘 넣어 달라고 하기 → Fail
첫 번째 시도입니다. 먼저 스터디에서 배운 것을 참고하여 최대한 GPT가 절 도와주게끔 가스라이팅하는 custom instructions를 넣었습니다.
아래는 제가 넣은 프롬프트와 GPT의 대답입니다. 가린 부분은 연구에 직접적으로 관련된 부분입니다.
먼저 맥락 제시를 위해 논문의 introduction을 작성해야 하는 제 현재 상황을 설명하고, 연구계획서의 introduction 부분을 작성해 달라고 했습니다. 작업을 위해 글을 어떻게 구성하면 될지 ‘simple flow’를 주고, 그 흐름에 맞게 글을 생성하되 아래 link의 논문을 읽고 내용을 파악한 후 적재적소에 맞게 배치해 달라고 했습니다. (지금 생각하면 말이 안되는 일을 시켰네요…)
그런데 이상하게 이 대답을 할 때 자꾸 error 메시지가 뜨더라구요.. 이것도 와이파이 껐켰을 이용해 오프라인 상태에서 간신히 캡처한 거고, 온라인 상태로 들어가면 지금도 해당 페이지에 접근이 불가능합니다. 왜인지는 잘 모르겠네요..
일단 이유 모를 error가 계속 떠서 더이상 대화가 불가능한데다, 간신히 캡처한 대답은 제가 준 링크 8개 중 1개만 사용해서 퀄리티가 만족스럽지 않았습니다. 그래서 어떻게 할지 고민하다가
🔥 춘배님께 SOS
쳤습니다. 역시 생각은 짧고 행동은 빠를수록 좋았습니다. 아무것도 모르면서 혼자 끙끙거리며 찾아보기보다는 똑똑한 사람한테 물어보는 게 짱이니까요.. 아래는 제 프롬프팅에 대한 춘배님의 피드백을 노션에 정리해 둔 것입니다.
더불어 친절한 춘배님께서 스터디 강의에 사용하셨던 ppt를 공유하시면서 제게 필요한 부분을 다시 설명해 주셨습니다. 제가 사정상 듣지 못했던 앞부분 강의 내용이더라구요… 다시 한 번 감사드립니다 ^-^
그래서 춘배님의 피드백을 반영하여, GPT를 사용해 연구계획서의 introduction을 쓰기 위한 작업 순서를 구체적으로 써 보았습니다. 사실 위의 피드백이랑 거의 비슷합니다.
새로 계획한 작업 순서에 따라, Logic tree를 먼저 구성해 보기로 했습니다.
그전에 먼저 제가 따온 flow와 GPT가 학습해서 알고 있는 introduction의 flow를 비교하기 위해, GPT에게 introduction의 logic tree를 짜 달라고 해 봤습니다. Plugin ShowMeDiagrams를 이용했습니다.
Logic Tree 작성
처음에 나온 게 너무 간단해서, ‘더 구체적으로 그려 줘’, ‘생각해 보고 답변해 줘’라고 했더니 좀 더 구체적으로 답변해 줬습니다. 제가 제시한 flow와 크게 다르지는 않았지만 해당 diagram을 참고해 제 flow를 조금 더 정교화했습니다.
그리고 나서 가장 시간이 오래 걸린 과정인…
찾아둔 논문 다 읽고 따올만한 내용 정리
글 전체 구성 짜기
2에서 구성한 글에 1의 내용을 적당한 곳에 배치
는 직접 했습니다. 논문 찾고 읽는 과정에서는 Elicit, Scispace, DeepL을 이용했습니다.
글의 구성을 짤 때, GPT가 인지하는 내용을 기반으로 정교화한 flow를 이용했고, GPT에 넣어줄 땐 flow의 각 부분을 다 하나로 합쳐서 넣어주었습니다.
🔮 두 번째 시도: 내가 설계한 글을 해당 글의 목적에 맞게 고쳐 달라고 하기
아래는 새로 작성한 custom instructions입니다. 첫 번째 시도에서는 GPT에게 글의 작성 단계부터 맡겼기 때문에 다소 모호하게 적었었는데, 두 번째 시도에서는 주어진 글을 개선하는 것만 시킬 예정이었으므로 instruction을 좀 더 한정적으로 구체화해 적었습니다.
아래는 제가 주는 글을 IRB 연구계획서에 넣을 만하게 수정해 달라고 한 프롬프트입니다. 이번에는 춘배님의 피드백을 반영하여 숫자를 이용해 작업 순서를 알려주었습니다.
내용이 살짝 길었는지 중간에 한번 잘려서, keep going 이라고 넣었더니 해당 부분 이후로 끊김 없이 적어주었습니다.
결과물은, 주관적인 점수를 주자면 70점 정도였습니다. 아무래도 참고문헌이 들어가는 문장에서, 나중에 제가 직접 넣을 거라고 생각하고 “어떤 논문에서는”으로만 표시해 놓았더니, 해당 부분의 문장 앞뒤 연결이 조금 아쉬웠습니다. 그래서 혹시 프롬프트 수정으로 개선할 수 있지 않을까 싶어 Plugin PromptPerfect를 사용해 보았습니다.
내 목적을 이룰 만한 프롬프트를 알려 달라고 했는데, Prompt Perfect가 아니라 Perfect Prompt라고 잘못 입력했는데도 잘 알아듣고 사용해 주었습니다.
GPT가 내놓은 답을 그대로 다시 프롬프트에 넣고, 다시 생각한 뒤 단계별로 지시를 고려하여 다시 글을 수정해 달라고 했습니다. 결과물은 개인적으로 80점 정도로 주고 싶네요! 문장 연결이 개선되었고 단어 선택도 좀 더 나아졌습니다.
결론
이제 남은 과정은 제가 좀 더 수정하고 GPT한테 다듬어 달라고 하고 참고문헌을 끼워 넣으면 되는 부분이라 생략하겠습니다. 추가 수정할 때는 다른 분들의 프롬프트를 참고해 보면서 시키려고 합니다.
이번 시도에서는 GPT에게 시켜야 할 일과 시킬 수 없는 일을 구분하는 연습을 했다고 생각합니다. 강의를 들으며 배워도, 막상 혼자서 실제로 적용해 보려니 고려해야 할 게 많네요.
(저처럼) 작업을 위해 정확한 GPT 사용 방법이 필요한, 또는 효율적인 GPT 사용 방법이 궁금하신 대학생 분들이 계시다면, 스터디에서 진행하는 💚김욱영, 나춘배, 브라이언, Ditto💛 님께서 만들어 주신 “대학생을 위한 ChatGPt 솔루션“ 강의 추천드려요!! 👍 학생들끼리 서로 경험 나누면서 같이 발전하면 좋겠습니다.