데이터 분석가 멘토링2 - 데이터 분석가 직무 시뮬레이션 역량 평가 신뢰도 높이기
김영우
2023.04.24
안녕하세요? 김영우입니다.
지난 시도(https://www.chatgpters.org/c/language/chatgpt-f25052)에 이어서 데이터 분석가 업무 시뮬레이션, 업무 역량 평가를 해봤습니다.
역량 평가 점수가 바뀌는 문제를 해결하기 위해 여러 시도를 해봤습니다.
1.역량 평가 문항 만들기
https://sharegpt.com/c/ZphVfqt
2.구체적인 평가 기준 제시하고 역량 평가하기
https://sharegpt.com/c/b8HMPhm
3.응답할 때 마다 각각 점수 매기는 방식 적용
https://sharegpt.com/c/X1cZS5g
4. 사수, 평가자 역할 동시 요청
https://sharegpt.com/c/9lQ8gTc
5.GPT4로 역량 평가하기
https://sharegpt.com/c/j6kSN9o
- 구체적인 평가 기준을 제시하니 점수 변동이 줄기는 했지만 여전히 변동이 있습니다.
- 특히 고/저성과자 점수 차이가 타당하지 않습니다.
- 역량 평가 문항을 개발하는 용도로는 훌륭합니다.
- 정성 평가는 훌륭하게 수행합니다.
- 코칭,학습용으로는 좋지만 중요한 인사 결정 근거로 사용하기는 어렵습니다.
지난 시도(https://www.chatgpters.org/c/language/chatgpt-f25052)에 이어서 데이터 분석가 업무 시뮬레이션, 업무 역량 평가를 해봤습니다.
역량 평가 점수가 바뀌는 문제를 해결하기 위해 여러 시도를 해봤습니다.
1.역량 평가 문항 만들기
https://sharegpt.com/c/ZphVfqt
2.구체적인 평가 기준 제시하고 역량 평가하기
https://sharegpt.com/c/b8HMPhm
3.응답할 때 마다 각각 점수 매기는 방식 적용
https://sharegpt.com/c/X1cZS5g
4. 사수, 평가자 역할 동시 요청
https://sharegpt.com/c/9lQ8gTc
5.GPT4로 역량 평가하기
https://sharegpt.com/c/j6kSN9o
- 구체적인 평가 기준을 제시하니 점수 변동이 줄기는 했지만 여전히 변동이 있습니다.
- 특히 고/저성과자 점수 차이가 타당하지 않습니다.
- 역량 평가 문항을 개발하는 용도로는 훌륭합니다.
- 정성 평가는 훌륭하게 수행합니다.
- 코칭,학습용으로는 좋지만 중요한 인사 결정 근거로 사용하기는 어렵습니다.
로그인하고 댓글을 남겨 주세요
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.




타당성 문제는 아직 해결하지 못했습니다. 아무래도 루브릭 개발이 선행되어야 할 듯합니다.