제주에서 열린 경영정보 학술대회를 다녀왔다.
지난 글: ChatGPTers 스터디 1기의 결실 - 논문 발표
우리 팀이 발표한 것은 Large Language Model인 ChatGPT가 자기소개서 평가 도구로 활용될 수 있는지에 대한 질문에서부터 시작된 연구.
연구제목
ChatGPT를 활용한 자기소개서 평가 성능에 대한 경험적 연구
(An Empirical Analysis of ChatGPT's Performance in Evaluating Cover Letters)
앞선 연구들..
공인 전문직 및 학술시험에 있어 ChatGPT의 성능을 검토한 연구(OpenAI, 2023)
학부 및 대학원 수업내, 객관식 시험에 대한 ChatGPT의 성능(Newton, 2023)
텍스트 라벨링 작업에 대한 ChatGPT의 성능(Gilardi et al., 2023)
우리가 던진 질문들
ChatGPT는 제공된 평가표에 기초하여, 인간평가자가 평가하는 방식과 유사하게 평가 과업을 성공적으로 수행할 수 있다.
ChatGPT가 도출한 평가점수는 인간평가자의 점수와 유의미한 양의 상관 관계를 나타낼 것이다.
그래서 하고자 한 것은?
실제 기업에서 활용된 자기소개서(84개 data)를 통해 사람 평가자와 ChatGPT의 평가 결과를 비교.
명확한 루브릭을 정해서 평가할 수 있도록 Prompt를 입력하고..
ChatGPT의 답변을 받아 분석에 활용한다.
결과는 다음 시간에..
Reference
윤욱지, 구요한, 장훌 (2023). ChatGPT를 활용한 자기소개서 평가 성능에 대한 경험적 연구. 2023 경영정보 관련 학회 춘계통합학술대회 자료집.
OpenAI. (2023). GPT-4 Technical Report [Technical report]. arXiv:2303.08774v3.
Newton, P. M. (2023, February 21). ChatGPT performance on MCQ-based exams.
Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks. arXiv preprint arXiv:2303.15056