본문으로 건너뛰기

AI 심사위원을 3명 고용했더니 생긴 일 (feat. 이틀 일 반나절 만에 끝내기)

꿀호떡

2026.06.26

며칠 전에 AI로 만든 결과물 한 무더기를 평가할 일이 생겼어요. 스무 개 넘는 결과물을 아이디어 혁신성과 기술 완성도 두 항목으로 채점하고, 100점 만점에 코멘트까지 달아서 하루 안에 끝내야 했죠.

대부분 실제로 배포된 웹사이트였고, 보고서랑 발표자료도 같이 있었어요. 사이트 하나하나 들어가 작동을 확인하고, 문서 읽고, 점수 매기고, 코멘트까지 다는 걸 스무 번 가까이 반복해야 했어요. 사람이 다 하면 뒤로 갈수록 집중이 흐려질 게 뻔해서, 처음부터 AI한테 맡길 생각이었어요. 그런데 맡기는 방식에서 한 번 크게 헛다리를 짚었고, 그게 오히려 이 글의 핵심이 됐어요.


처음엔 그냥 "다 보고 순위 매겨" 하면 되는 줄 알았어요

제일 단순한 생각은 이거였어요. AI한테 자료를 통째로 주고 한 번에 채점시키는 거죠.

이 결과물들을 다 보고, 혁신성이랑 완성도로 점수 매겨서 순위 매겨줘

그런데 이게 생각보다 최악이었습니다. 한 대화창에 자료를 전부 밀어넣으니 두 가지가 어긋나더라고요.

"AI 심사위원이 많이 보다 보면 지쳐서 대충 하나?" 그럴 리가요. AI는 지치지 않습니다. ㅎㅎ

진짜 이유는 따로 있어요. 맥락(Context) 과부하 때문입니다.

앞 작품 정보가 한 대화창에 잔뜩 쌓인 상태로 뒷 작품을 보면, AI가 새로운 데이터에 온전히 몰입하지 못하고 정보를 흘리기 시작합니다. 뒤에 평가한 작품일수록 점수가 듬성듬성해지는 본질적인 이유죠.

먼저 본 작품이 뒤 작품 점수를 끌고 가는 것도 같은 맥락입니다. 앞에서 90점짜리를 보고 나면, 대화창에 남아있는 그 맥락에 휩쓸려 그다음 작품을 볼 때도 저울질하게 되거든요. 체력 문제가 아니라, 한 대화가 너무 길어지면서 이전 맥락이 다음 평가를 오염시킨 탓입니다.


그래서 심사관을 결과물 수만큼 따로 띄웠어요

방향을 바꾼 계기는 단순했어요. 사람이 줄 세우기 어려우면, 심사위원을 여러 명 두고 각자 한 작품씩 맡기잖아요. 그걸 그대로 했어요.

그래서 결과물 하나당 AI한테 빈 대화창을 따로 열어줬어요. 깨끗한 대화창을 결과물 수만큼 각각 연 거죠. 각 창은 자기 작품 하나만 보고, 다른 창에서 무슨 점수가 오갔는지 전혀 몰라요. 깨끗한 상태로 한 작품에만 집중하니 뒤로 갈수록 흐려질 일도, 앞 작품에 끌려갈 일도 없고요. 게다가 한꺼번에 돌리니 빠르고요.

각 심사관한테는 똑같은 지시를 줬어요. 이게 공정성의 핵심이에요. 같은 채점표를 쥐여줘야 전부 한 기준으로 줄을 서거든요.

이 작품 하나만 평가해줘.
1. 보고서랑 발표자료를 읽고
2. 실제 배포된 사이트에 직접 들어가서 (로그인까지) 진짜 작동하는지 확인하고
3. 혁신성이랑 완성도를 각각 0~100점으로, 근거랑 같이 매겨줘

여기까지만 해도 한 번에 줄 세우는 것보다 훨씬 나았어요. 그런데 한 가지가 더 걸렸어요.

한국어 버전 웹사이트의 스크린샷


진짜 중요한 건, 한 명이 채점하면 그 한 명의 변덕이 점수가 돼요

작품마다 심사관이 한 명이면, 그 심사관이 그날 조금 후하게 보면 그게 그냥 점수가 돼요. 견제가 없어요. 사람도 심사위원 한 명한테만 맡기지 않잖아요.

그래서 작품마다 심사관을 3명으로 늘렸어요. 세 명이 서로의 점수도, 앞선 평가도 모르는 상태에서 각자 독립으로 채점하고, 그 평균을 최종 점수로 썼어요. 솔직히 같은 AI를 세 번 부른 거라, 셋이 똑같이 속는 함정까지 막아주진 못해요. 평균이 깎아주는 건 그날그날의 변덕이지, 셋 다 빠지는 함정은 아니거든요. 그래서 더 중요한 건 평균값이 아니라, 세 명 점수가 갈리는 순간이에요.

실제로 대부분은 세 명 점수가 한 자릿수 차이로 거의 붙었어요. 그런데 두어 개는 20점 넘게 벌어졌어요. 어떤 작품은 한 명이 82점, 다른 한 명이 62점을 줬고요. 점수가 갈리면 "AI라 들쭉날쭉하네" 하고 넘기기 쉬운데, 그 갈린 것들을 직접 열어보니 아니었어요.

한 작품은 화면이 화려한데, 한 심사관이 뜯어보니 그 화면은 사람이 손으로 만든 거였고 실제 AI가 돌아간 결과물은 엉성했어요. 다른 두 명은 거기까지 안 파서 점수가 높았던 거고요. 점수가 갈렸다는 건 "이건 겉과 속이 다를 수 있으니 사람이 봐라"는 신호였던 셈이에요. 세 명한테 안 시켰으면 이 작품은 그냥 평균에 묻혀 넘어갔겠죠.

그래서 점수가 갈리는 건 결함이 아니라, 여러 명한테 시키는 이유 그 자체예요. 한 명이면 그 변덕이 묻혔을 텐데, 여러 명이라 드러난 거죠.

한국어 웹사이트를 만드는 과정을 보여주는 다이어그램


진짜 소득은 점수를 믿게 된 거예요

마지막엔 세 명 점수를 모아서 점수표로 정리했어요. 항목 가중치를 슬라이더로 바꾸면 순위가 바로 다시 계산되고, 점수가 갈린 작품에는 표시가 붙어서 어디를 직접 봐야 할지 한눈에 보여요. 공유용으로는 순위랑 한줄평만 담은 한 장짜리 PDF로 따로 뽑았고요.

항목

처음 방식

바꾼 뒤

채점 방식

AI 한 번에 통째로 줄 세우기

작품마다 독립 심사관 3명이 교차채점

뒤쪽 작품 평가

점점 두루뭉술

작품마다 깨끗한 상태로 동일

점수 신뢰도

한 번의 판단에 의존

세 명 평균, 변덕이 깎임

사람이 볼 작품

다 다시 봐야 하나 감이 안 옴

점수 갈린 작품만 콕 집어줌

한 명한테 맡겼을 땐 점수가 미덥지 않았는데, 세 명 교차로 바꾸니, 점수가 갈린 몇 개만 제 눈으로 보면 되니 편하더라고요.

한국어 페이지 스크린샷

이 방식이 통하는 다른 일들

이건 한 번만 쓰고 말 얘기가 아니에요. 지원서 검토, 과제 채점, 제안서 비교처럼 여러 개를 같은 기준으로 평가해야 하는 일이라면 다 같은 방식이 통해요. 핵심은 두 가지예요. 하나, 여러 개를 한 번에 주지 말고 하나씩 따로 보게 할 것. 둘, 한 번 채점하고 끝내지 말고 여러 번 독립으로 채점해서 갈리는 걸 찾을 것.

저는 이걸 매번 다시 만들기 싫어서 아예 재사용할 수 있게 정리해뒀어요. 평가 항목도 혁신성·완성도 두 개로 고정하지 않고, 필요하면 실무 적용성 같은 항목을 더 넣고 가중치를 조절할 수 있게요.

바로 쓸 수 있는 프롬프트

여러 개를 교차채점할 때, 심사관마다 이 지시를 똑같이 주고 여러 명을 동시에 띄우면 돼요.

너는 [대회/평가 이름]의 독립 심사위원이야. 다른 심사관의 의견은 모른 채, 아래 [작품/제출물] 하나만 직접 보고 독립적으로 채점해줘.

[평가 대상]: [이름 / 자료 위치 / 사이트 주소·로그인 정보]

  1. 제출 자료(문서·발표·코드)를 최대한 읽어줘.

  2. 사이트 주소가 있으면 직접 접속해서 진짜 작동하는지 확인해줘. 로그인이 필요해서 못 본 부분은 "미확인"이라고 솔직히 적어줘.

  3. 다음 항목을 각각 0~100점으로, 점수 근거와 함께 매겨줘: [항목1 기준] / [항목2 기준]

  4. 근거는 추측이 아니라 자료에서 확인한 사실로만 써줘.

결과는 점수랑 한두 문장 근거만 짧게 줘.

[대괄호] 부분만 본인 상황에 맞게 바꾸면 돼요. 같은 작품에 이 지시로 3명을 띄우고 점수를 평균 내면, 갈리는 작품이 자연스럽게 드러나요.

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

윤누리 프로필 이미지
윤누리2026.06.26

심사위원 3명의 점수를 교차로 받는거 정말 좋은 방식이네요. 사실 사람들도 면접볼 때 면접관 여러명 들어가는 것처럼...
한 가지 궁금한건 AI에게 평가 기준과 방법을 조금 더 구체화하면 조금 더 일관적인 점수가 나왔을 수도 있을 것 같은데 어떻게 생각하시는지 궁금합니다.

뽀짝이 프로필 이미지
뽀짝이2026.06.26

맥락 과부하라는 표현이 정확하게 꽂혔어요. 한 대화창에 20개를 줄 세우면 뒤로 갈수록 평가가 흐려진다는 게 감으로만 알고 있었는데, 왜 그런 건지 이 글 보면서 처음 정리됐어요.

82점 vs 62점 갈린 작품에서 직접 들어가 보니 화면은 화려하지만 실제 AI 결과물은 엉성했다는 부분이 인상적이에요. 평균만 냈으면 묻혀갔을 신호를 분산 채점이 잡아낸 거잖아요. "점수가 갈리는 건 결함이 아니라, 여러 명한테 시키는 이유 그 자체"라는 문장이 이 글의 핵심이에요.

프롬프트까지 재사용 가능하게 정리해주셔서 바로 써볼 수 있겠네요. 고롱고롱… 이런 사례 보면 기분이 좋아져요 🐈‍⬛

시선180 프로필 이미지
시선1802026.06.26

꿀호떡님, 스스로 만든 모델 너무 놀라워요! 😂👍 결국은 이런 채점들을 어떤식으로 하는가,하는 신뢰도 높은 모델을 가져와서 앞단에 적용하고 AI를 통해 구현하면 되겠네요. AI한테 요청하면 이것도 알아서 믿을만한걸 가져다 줄까요?

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

우리 회사에도 이런 자동화를 도입하고 싶다면

회사 업무에 맞춘 AI 교육을 함께 설계해요.

기업교육 문의하기

함께 읽어보세요

AX 현장 전체 보기