며칠 전에 AI로 만든 결과물 한 무더기를 평가할 일이 생겼어요. 스무 개 넘는 결과물을 아이디어 혁신성과 기술 완성도 두 항목으로 채점하고, 100점 만점에 코멘트까지 달아서 하루 안에 끝내야 했죠.
대부분 실제로 배포된 웹사이트였고, 보고서랑 발표자료도 같이 있었어요. 사이트 하나하나 들어가 작동을 확인하고, 문서 읽고, 점수 매기고, 코멘트까지 다는 걸 스무 번 가까이 반복해야 했어요. 사람이 다 하면 뒤로 갈수록 집중이 흐려질 게 뻔해서, 처음부터 AI한테 맡길 생각이었어요. 그런데 맡기는 방식에서 한 번 크게 헛다리를 짚었고, 그게 오히려 이 글의 핵심이 됐어요.
처음엔 그냥 "다 보고 순위 매겨" 하면 되는 줄 알았어요
제일 단순한 생각은 이거였어요. AI한테 자료를 통째로 주고 한 번에 채점시키는 거죠.
이 결과물들을 다 보고, 혁신성이랑 완성도로 점수 매겨서 순위 매겨줘그런데 이게 생각보다 최악이었습니다. 한 대화창에 자료를 전부 밀어넣으니 두 가지가 어긋나더라고요.
"AI 심사위원이 많이 보다 보면 지쳐서 대충 하나?" 그럴 리가요. AI는 지치지 않습니다. ㅎㅎ
진짜 이유는 따로 있어요. 맥락(Context) 과부하 때문입니다.
앞 작품 정보가 한 대화창에 잔뜩 쌓인 상태로 뒷 작품을 보면, AI가 새로운 데이터에 온전히 몰입하지 못하고 정보를 흘리기 시작합니다. 뒤에 평가한 작품일수록 점수가 듬성듬성해지는 본질적인 이유죠.
먼저 본 작품이 뒤 작품 점수를 끌고 가는 것도 같은 맥락입니다. 앞에서 90점짜리를 보고 나면, 대화창에 남아있는 그 맥락에 휩쓸려 그다음 작품을 볼 때도 저울질하게 되거든요. 체력 문제가 아니라, 한 대화가 너무 길어지면서 이전 맥락이 다음 평가를 오염시킨 탓입니다.
그래서 심사관을 결과물 수만큼 따로 띄웠어요
방향을 바꾼 계기는 단순했어요. 사람이 줄 세우기 어려우면, 심사위원을 여러 명 두고 각자 한 작품씩 맡기잖아요. 그걸 그대로 했어요.
그래서 결과물 하나당 AI한테 빈 대화창을 따로 열어줬어요. 깨끗한 대화창을 결과물 수만큼 각각 연 거죠. 각 창은 자기 작품 하나만 보고, 다른 창에서 무슨 점수가 오갔는지 전혀 몰라요. 깨끗한 상태로 한 작품에만 집중하니 뒤로 갈수록 흐려질 일도, 앞 작품에 끌려갈 일도 없고요. 게다가 한꺼번에 돌리니 빠르고요.
각 심사관한테는 똑같은 지시를 줬어요. 이게 공정성의 핵심이에요. 같은 채점표를 쥐여줘야 전부 한 기준으로 줄을 서거든요.
이 작품 하나만 평가해줘.
1. 보고서랑 발표자료를 읽고
2. 실제 배포된 사이트에 직접 들어가서 (로그인까지) 진짜 작동하는지 확인하고
3. 혁신성이랑 완성도를 각각 0~100점으로, 근거랑 같이 매겨줘여기까지만 해도 한 번에 줄 세우는 것보다 훨씬 나았어요. 그런데 한 가지가 더 걸렸어요.
진짜 중요한 건, 한 명이 채점하면 그 한 명의 변덕이 점수가 돼요
작품마다 심사관이 한 명이면, 그 심사관이 그날 조금 후하게 보면 그게 그냥 점수가 돼요. 견제가 없어요. 사람도 심사위원 한 명한테만 맡기지 않잖아요.
그래서 작품마다 심사관을 3명으로 늘렸어요. 세 명이 서로의 점수도, 앞선 평가도 모르는 상태에서 각자 독립으로 채점하고, 그 평균을 최종 점수로 썼어요. 솔직히 같은 AI를 세 번 부른 거라, 셋이 똑같이 속는 함정까지 막아주진 못해요. 평균이 깎아주는 건 그날그날의 변덕이지, 셋 다 빠지는 함정은 아니거든요. 그래서 더 중요한 건 평균값이 아니라, 세 명 점수가 갈리는 순간이에요.
실제로 대부분은 세 명 점수가 한 자릿수 차이로 거의 붙었어요. 그런데 두어 개는 20점 넘게 벌어졌어요. 어떤 작품은 한 명이 82점, 다른 한 명이 62점을 줬고요. 점수가 갈리면 "AI라 들쭉날쭉하네" 하고 넘기기 쉬운데, 그 갈린 것들을 직접 열어보니 아니었어요.
한 작품은 화면이 화려한데, 한 심사관이 뜯어보니 그 화면은 사람이 손으로 만든 거였고 실제 AI가 돌아간 결과물은 엉성했어요. 다른 두 명은 거기까지 안 파서 점수가 높았던 거고요. 점수가 갈렸다는 건 "이건 겉과 속이 다를 수 있으니 사람이 봐라"는 신호였던 셈이에요. 세 명한테 안 시켰으면 이 작품은 그냥 평균에 묻혀 넘어갔겠죠.
그래서 점수가 갈리는 건 결함이 아니라, 여러 명한테 시키는 이유 그 자체예요. 한 명이면 그 변덕이 묻혔을 텐데, 여러 명이라 드러난 거죠.
진짜 소득은 점수를 믿게 된 거예요
마지막엔 세 명 점수를 모아서 점수표로 정리했어요. 항목 가중치를 슬라이더로 바꾸면 순위가 바로 다시 계산되고, 점수가 갈린 작품에는 표시가 붙어서 어디를 직접 봐야 할지 한눈에 보여요. 공유용으로는 순위랑 한줄평만 담은 한 장짜리 PDF로 따로 뽑았고요.
항목
처음 방식
바꾼 뒤
채점 방식
AI 한 번에 통째로 줄 세우기
작품마다 독립 심사관 3명이 교차채점
뒤쪽 작품 평가
점점 두루뭉술
작품마다 깨끗한 상태로 동일
점수 신뢰도
한 번의 판단에 의존
세 명 평균, 변덕이 깎임
사람이 볼 작품
다 다시 봐야 하나 감이 안 옴
점수 갈린 작품만 콕 집어줌
한 명한테 맡겼을 땐 점수가 미덥지 않았는데, 세 명 교차로 바꾸니, 점수가 갈린 몇 개만 제 눈으로 보면 되니 편하더라고요.
이 방식이 통하는 다른 일들
이건 한 번만 쓰고 말 얘기가 아니에요. 지원서 검토, 과제 채점, 제안서 비교처럼 여러 개를 같은 기준으로 평가해야 하는 일이라면 다 같은 방식이 통해요. 핵심은 두 가지예요. 하나, 여러 개를 한 번에 주지 말고 하나씩 따로 보게 할 것. 둘, 한 번 채점하고 끝내지 말고 여러 번 독립으로 채점해서 갈리는 걸 찾을 것.
저는 이걸 매번 다시 만들기 싫어서 아예 재사용할 수 있게 정리해뒀어요. 평가 항목도 혁신성·완성도 두 개로 고정하지 않고, 필요하면 실무 적용성 같은 항목을 더 넣고 가중치를 조절할 수 있게요.
바로 쓸 수 있는 프롬프트
여러 개를 교차채점할 때, 심사관마다 이 지시를 똑같이 주고 여러 명을 동시에 띄우면 돼요.
너는 [대회/평가 이름]의 독립 심사위원이야. 다른 심사관의 의견은 모른 채, 아래 [작품/제출물] 하나만 직접 보고 독립적으로 채점해줘.
[평가 대상]: [이름 / 자료 위치 / 사이트 주소·로그인 정보]
제출 자료(문 서·발표·코드)를 최대한 읽어줘.
사이트 주소가 있으면 직접 접속해서 진짜 작동하는지 확인해줘. 로그인이 필요해서 못 본 부분은 "미확인"이라고 솔직히 적어줘.
다음 항목을 각각 0~100점으로, 점수 근거와 함께 매겨줘: [항목1 기준] / [항목2 기준]
근거는 추측이 아니라 자료에서 확인한 사실로만 써줘.
결과는 점수랑 한두 문장 근거만 짧게 줘.
[대괄호] 부분만 본인 상황에 맞게 바꾸면 돼요. 같은 작품에 이 지시로 3명을 띄우고 점수를 평균 내면, 갈리는 작품이 자연스럽게 드러나요.
