본문으로 건너뛰기

ChatGPT로 자소서 평가하기 Part 1 - CMDS Research #1

구요한

2023.06.13

ChatGPT로 자소서 평가하기 Part 1 - CMDS Research #1 본문 이미지

제주에서 열린 경영정보 학술대회를 다녀왔다.

지난 글: ChatGPTers 스터디 1기의 결실 - 논문 발표

우리 팀이 발표한 것은 Large Language Model인 ChatGPT가 자기소개서 평가 도구로 활용될 수 있는지에 대한 질문에서부터 시작된 연구.

연구제목

ChatGPT를 활용한 자기소개서 평가 성능에 대한 경험적 연구
(An Empirical Analysis of ChatGPT's Performance in Evaluating Cover Letters)

앞선 연구들..

  • 공인 전문직 및 학술시험에 있어 ChatGPT의 성능을 검토한 연구(OpenAI, 2023)

  • 학부 및 대학원 수업내, 객관식 시험에 대한 ChatGPT의 성능(Newton, 2023)

  • 텍스트 라벨링 작업에 대한 ChatGPT의 성능(Gilardi et al., 2023)

우리가 던진 질문들

  • ChatGPT는 제공된 평가표에 기초하여, 인간평가자가 평가하는 방식과 유사하게 평가 과업을 성공적으로 수행할 수 있다.

  • ChatGPT가 도출한 평가점수는 인간평가자의 점수와 유의미한 양의 상관 관계를 나타낼 것이다.

그래서 하고자 한 것은?

실제 기업에서 활용된 자기소개서(84개 data)를 통해 사람 평가자와 ChatGPT의 평가 결과를 비교.

명확한 루브릭을 정해서 평가할 수 있도록 Prompt를 입력하고..

ChatGPT의 답변을 받아 분석에 활용한다.

결과는 다음 시간에..

Reference

  • 윤욱지, 구요한, 장훌 (2023). ChatGPT를 활용한 자기소개서 평가 성능에 대한 경험적 연구. 2023 경영정보 관련 학회 춘계통합학술대회 자료집.

  • OpenAI. (2023). GPT-4 Technical Report [Technical report]. arXiv:2303.08774v3.

  • Newton, P. M. (2023, February 21). ChatGPT performance on MCQ-based exams.

  • Gilardi, F., Alizadeh, M., & Kubli, M. (2023). ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks. arXiv preprint arXiv:2303.15056

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

구요한 프로필 이미지
구요한2023.06.14
3.5, 4 함께 사용했어요! ㅋ
정준섭(나춘배) 프로필 이미지
요한님 gpt4 api 사용하신건가요!? 너무 멋집니다!!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기