본문으로 건너뛰기

데이터 분석가 멘토링2 - 데이터 분석가 직무 시뮬레이션 역량 평가 신뢰도 높이기

김영우

2023.04.24

안녕하세요? 김영우입니다.

지난 시도(https://www.chatgpters.org/c/language/chatgpt-f25052)에 이어서 데이터 분석가 업무 시뮬레이션, 업무 역량 평가를 해봤습니다.
역량 평가 점수가 바뀌는 문제를 해결하기 위해 여러 시도를 해봤습니다.

1.역량 평가 문항 만들기
https://sharegpt.com/c/ZphVfqt

2.구체적인 평가 기준 제시하고 역량 평가하기
https://sharegpt.com/c/b8HMPhm

3.응답할 때 마다 각각 점수 매기는 방식 적용
https://sharegpt.com/c/X1cZS5g

4. 사수, 평가자 역할 동시 요청
https://sharegpt.com/c/9lQ8gTc

5.GPT4로 역량 평가하기
https://sharegpt.com/c/j6kSN9o

- 구체적인 평가 기준을 제시하니 점수 변동이 줄기는 했지만 여전히 변동이 있습니다.
- 특히 고/저성과자 점수 차이가 타당하지 않습니다.
- 역량 평가 문항을 개발하는 용도로는 훌륭합니다.
- 정성 평가는 훌륭하게 수행합니다.
- 코칭,학습용으로는 좋지만 중요한 인사 결정 근거로 사용하기는 어렵습니다.
4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

구요한 프로필 이미지
구요한2023.04.24
API로 하고 Temp. 낮추면 괜찮더라구요!
이재은 프로필 이미지
이재은2023.05.01
김영우 선생님 최고예요! 페북과 이메일 통해서 R도 도움 많이 받았는데, 항상 감사합니다.
김
김영우2023.05.01
 엇, 여기서 뵙네요. 반갑습니다. 월요일 스터디 모임에서 발표했던 내용입니다. :)
김
김영우2023.05.01
 알려주신 대로 API로 하고 Temperature 낮춰서 변동을 낮추는 데는 성공했습니다. Temperature를 0으로 하면 항상 같은 응답을 하네요. 알려주셔서 감사합니다.

타당성 문제는 아직 해결하지 못했습니다. 아무래도 루브릭 개발이 선행되어야 할 듯합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

이런 사례도 있어요

사례 전체 보기