안녕하세요, 스터디 5기 대학생방에 등록한 MJ입니다.
제가 스터디를 하면서 이번에 공부해 보려던 내용은 플러그인 사용, 파이썬 응용, API 사용 입니다.
첫 주는 플러그인을 사용해 보기로 하고, 그동안 지피터스 강의/오픈카톡방에서 많이 본 익숙한 플러그인으로 시작했습니다.
그래서 오전에 교수님들과 미팅을 하면서 제가 작성한 회의록을 GPT4 + Plugin AskYourPDF를 이용해 요약해 보았습니다.
AI를 이용해 회의록을 작성하려 했는데 깜박하고 있다가 뒤늦게 적기 시작해서 급한 마음에 삼성노트로 직접 적었네요 ㅎㅎ… 다음 미팅에선 정신차리길..🙏
GPT4 + Plugin AskYourPDF
제가 작성한 회의록의 특징은 아래와 같습니다.
교수 2 + 학생 2 의 미팅 내용
화자가 표시된 부분도 있고 아닌 부분도 있음
말을 그대로 옮겨적은 것이라 문장이 정제되지 않음, 전부 적지는 못해 불완전한 문장이 많음
총 6p, font size 11
PDF를 업로드하는 법을 몰라서 우선 그것부터 물어봤네요… 친절하게 가르쳐 줬습니다. 무슨 버튼을 말하는 건가 했더니 저 큰 하얀 네모가 버튼이더라구요 ㅎㅎ 누르니까 바로 Ask Your PDF 사이트로 연결되었습니다.
AskYourPDF 사이트에서 받은 doc_id를 넣어 주었습니다.
태현님 강의에서 배운 대로 ““를 사용해 doc_id를 따로 넣었습니다.
PDF의 내용이 줌 미팅 중 교수님께 받은 피드백임을 설 명하고, 이 피드백을 내 프로토콜에 적용해야 하는데, 피드백 내용을 IRB 프로토콜의 챕터에 따라 분류하고 요약해 달라고 했습니다. 그리고 강의에서 배운 대로 “step by step”을 적용해 보았습니다.
그렇게 하니 GPT가 우선 IRB 프로토콜 순서를 가져오네요. 요약 내용만 달라고 했는데, 아마 프롬프트에 step by step을 넣어서 그런 것 같아요.
그 다음엔 자기가 가져온 프로토콜 챕터 순서대로 내용을 요약해 줍니다. 중간중간에 Used AskYourPDF 를 사용했다는 것을 알려줍니다. 플러그인을 한번 쓰고 쭉 가져올거라고 생각했는데 챕터마다 매번 사용하네요. 연구와 관련된 부분은 블러처리 하였으니 양해 부탁드립니다. 중간의 각 챕터마다 요약해 준 부분은 너무 길어서 잘랐습니다.
결론 단계까지 전부 요 약을 해 주었습니다. 그런데 conclusion 내용을 보면, 굉장히 일반적인 내용입니다. 저런 내용은 피드백에 포함되어 있지 않았습니다. 즉 GPT4가 혼자 생성한 부분입니다. 플러그인을 사용해도 할루시네이션이 상당히 많이 발생한 것을 확인할 수 있습니다.
우선 기타 설명은 빼고 피드백을 요약한 부분만 추출해 번역해 달라고 했습니다. 그런데 전체를 안해주고 결론 부분만 해줬네요..
그래서 다시 해 달라고 했습니다.
파일 전체에 대해 해 달라고 하니 이번엔 잘 해줬습니다. 번역된 부분만 달라고 했었어야 했는데 그걸 제가 깜박해서 영어까지 줬네요. 그런데 아까 요약한 부분을 그대로 주지 않고 요약을 요약해서 주었습니다. 그래서 너무 요약된 나머지 퀄리티가 떨어졌습니다. GPT3.5를 사용한 경 험상, 이전 단계로 돌아가긴 어렵다는걸 알고 일단 계속 진행하기로 했습니다.
최종적으로 한국어 번역 부분만 추출했습니다.
사용하면서 느낀 점
생각보다 요약은 잘 해줬습니다. 회의록 내용이 굉장히 정보가 산발적으로 뿌려져 있고 문장이 완성되지 않은 것이 많아서 걱정되었는데, 첫 번째 요약은 좋았습니다.
그런데 요약을 요약하면서 퀄리티가 급격하게 떨어졌습니다. 이 부분은 제가 프롬프팅을 좀 더 정교하게 했다면 개선될 수 있을 것 같습니다.
그리고 프로토콜 챕터마다 해 달라고 했더니 해당 내용이 없는 챕터에선 자기 맘대로 내용을 생성했습니다. 해당 내용이 없으면 그냥 넘어가라고 프롬프트에 추가했으면 좀 달라졌을까 싶어요.
총평
GPT4를 이용해 정리한 최종 결과물을 바로 제 report에 적용하긴 어려웠습니다. 다만, 제가 직접 피드백을 반영하기 전 오늘 피드백이 어떤 내용이었는지 리마인드하고 생각 정리를 하는 데 도움을 받았습니다. 앞으로 연구에서 사용하기 위해, 프롬프팅을 좀 더 정확하게 할 수 있도록 연습을 많이 해야겠습니다.