본문으로 건너뛰기

데이터 분석가 멘토링2 - 데이터 분석가 직무 시뮬레이션 역량 평가 신뢰도 높이기

김영우

2023.04.24

안녕하세요? 김영우입니다.

지난 시도(https://www.chatgpters.org/c/language/chatgpt-f25052)에 이어서 데이터 분석가 업무 시뮬레이션, 업무 역량 평가를 해봤습니다.
역량 평가 점수가 바뀌는 문제를 해결하기 위해 여러 시도를 해봤습니다.

1.역량 평가 문항 만들기
https://sharegpt.com/c/ZphVfqt

2.구체적인 평가 기준 제시하고 역량 평가하기
https://sharegpt.com/c/b8HMPhm

3.응답할 때 마다 각각 점수 매기는 방식 적용
https://sharegpt.com/c/X1cZS5g

4. 사수, 평가자 역할 동시 요청
https://sharegpt.com/c/9lQ8gTc

5.GPT4로 역량 평가하기
https://sharegpt.com/c/j6kSN9o

- 구체적인 평가 기준을 제시하니 점수 변동이 줄기는 했지만 여전히 변동이 있습니다.
- 특히 고/저성과자 점수 차이가 타당하지 않습니다.
- 역량 평가 문항을 개발하는 용도로는 훌륭합니다.
- 정성 평가는 훌륭하게 수행합니다.
- 코칭,학습용으로는 좋지만 중요한 인사 결정 근거로 사용하기는 어렵습니다.
4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

김
김영우2023.05.01
 알려주신 대로 API로 하고 Temperature 낮춰서 변동을 낮추는 데는 성공했습니다. Temperature를 0으로 하면 항상 같은 응답을 하네요. 알려주셔서 감사합니다.

타당성 문제는 아직 해결하지 못했습니다. 아무래도 루브릭 개발이 선행되어야 할 듯합니다.
김
김영우2023.05.01
 엇, 여기서 뵙네요. 반갑습니다. 월요일 스터디 모임에서 발표했던 내용입니다. :)
이재은 프로필 이미지
이재은2023.05.01
김영우 선생님 최고예요! 페북과 이메일 통해서 R도 도움 많이 받았는데, 항상 감사합니다.
구요한 프로필 이미지
구요한2023.04.24
API로 하고 Temp. 낮추면 괜찮더라구요!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

이런 사례도 있어요

사례 전체 보기