안녕하세요!
매주 "AI 인재를 찾는 기업"을 손으로 뒤지고 정리하던 일을, 이번에 로나(RONA)를 활용해서 AI가 알아서 찾고 스스로 합격/불합격까지 판정하는 반복 시스템(루프)으로 바꿔봤어요.
거창한 코딩 얘기가 아니라, "매주 똑같이 반복하는 일 하나를 어떻게 AI에게 안심하고 맡길 수 있을까"에 대한 경험담이에요. (다음 주부터는 명령어 한 줄이면 돌아가요).
## 처음엔 "그냥 리 스트만 뽑아주면 되는 거 아냐?" 했어요
이번에 목표를 잡아본 건 이거였어요.
AI 인재를 뽑을 만한 기업을 채용공고·기사·인터뷰에서 찾고,
컨택할 이메일까지 정리해서 리스트를 만드는 것
루프를 통해 리스트를 뽑기 전에, "무엇을 합격으로 칠지"부터 정하기로 했어요. "관심 있어 보이는 기업" 같은 애매한 기준은 매번 판정이 달라져서 못 쓰기 때문에, 대신 예/아니오로 딱 갈리는 질문으로 바꿔야 했어요.
기업이 AI인재에 관심 있을 것으로 추정되고, 컨택 가능한 메일주소가 있는 것
이 애매한 문장을, AI와 같이 이렇게 쪼갰어요.
인터뷰·기사·공고에 AI 키워드(AI네이티브, AI인재 채용, AX 등)가 있는가?
출처 링크와 날짜가 기록됐는가?
적합한 컨택 메일주소가 있는가?
기존 리스트와 중복이 아닌가?
전부 "있다/없다"로 갈리죠.
이렇게 해두니 사람이 매번 눈으로 볼 필요 없이 스크립트가 자동으로 채점할 수 있게 됐어요.
## 진짜 배운 건 "만든 AI한테 채점까지 시키면 안 된다"였어요
여기서 제일 인상 깊었던 개념이 굿하트 법칙이었어요.
"측정이 목표가 되는 순간, 시스템은 진짜 목표 대신 그 숫자만 맞추는 지름길을 찾는다"는 거예요. 예를 들어 "매주 10곳"이라는 숫자를 목표로 걸면, AI가 겨우 걸치는 기업으로 머릿수만 채우려 하거든요. 😂
(로나가 알려줬어요👀)
그래서 만드는 역할(Maker)과 채점하는 역할(Checker)을 분리했어요. 만든 쪽이 스스로 채점하면 무의식적으로 기준을 슬쩍 낮추니까요. 채점 기준은 아예 파일로 잠가두고, AI는 그걸 못 건드리게 했어요.
흐름은 이렇게 잡았어요.
만들기 — AI가 정해진 범위(공고·기사·인터뷰, 주당 10곳)에서 기업을 찾아 행을 채움
검사 — 채점 스크립트가 4가지 기준으로 행마다 합격/불합격 판정
고치기 — 불합격한 행만 다시 보완 (메일 못 찾았으면 다시 찾기)
그리고 "컨택할 가치가 있나" 같은 의미 판단만 제가 직접 표본으로 확인하기로 했어요.
기계가 볼 건 기계가 보고, 사람만 아는 건 사람이 보고.
## 실제로 한 바퀴 돌려보니, 예상 못 한 게 걸렸어요
표본으로 먼저 돌려보고, 진짜 리서치로 12개 기업을 모아서 검사를 돌렸어요.
그랬더니:
1차 검사에서 12곳 중 7곳이 탈락 (같은 기업 중복 2곳, 이메일 못 찾은 곳 5곳)
보완해서 다시 돌리니 6곳 통과
여기서 진짜 재미있는 게 있었어요. 검사를 다시 돌리다 보니 채점 스크립트 자체에 구멍이 있더라고요 — 아직 검증 안 된 후보 이메일을 합격으로 착각하는 거예요. "기준은 만들면 반드시 뚫린다"는 걸 제 눈으로 본 순간이었어요. 그 자리에서 파일을 나눠서 구멍을 막았어요.
그리고 마지막에 제가 눈으로 보다가 하나 걸렀어요. 비즈니스상 컨택할 대상이 아닌 곳이 걸려서, 기계 검사는 통과시켰지만, 이런 건 사람만 알죠. 그래서 제거하고 "이 유형에 해당하는 기업은 제외"라는 기준을 새로 새겨넣었어요. 다음 주부터는 AI가 알아서 걸러요.
## 결과
매주 반복 리서치 - 루프 도입 전후
항목
Before
After
기준
매주 흔들림 ("이 정도면 됐지")
예/아니오로 고정, 스크립트가 채점
검수
전체를 매번 눈으로
사람은 "컨택 가치"만 표본으로
다음 주
처음부터 다시
명령어 한 줄 ("이번 주 루프 돌려줘")
발송 사고
실수로 잘못 보낼 위험
발송 직전 항상 사람 승인에서 멈춤
수치보다 더 크게 달라진 건 마음가짐이었어요.
예전엔 "이 리스트 믿어도 되나?" 불안했는데, 이제는 "기계가 거른 것 + 내가 표본으로 본 것"이라 근거가 남아요. 그리고 이번처럼 새로 걸러낸 판단(특정휴형 기업 제외)을 기준에 새겨넣으면, 루프가 한 바퀴 돌 때마다 조금씩 똑똑해져요.
## AI 활용 팁! 🐾
반복 업무를 AI에게 맡길 때 첫 단추는 프롬프트가 아니라 "무엇을 합격으로 칠지" 정하는 거예요. 이게 흐리면 결과가 좋아졌는지조차 알 수 없어요.
"넓고 주관적인 일"(예: 전략 짜기)로 시작하면 실패해요. 반복되고 증거가 남는 운영 업무부터 시작하세요.
외부로 나가는 행동(메일 발송 등)은 반드시 사람 승인에서 멈추게 해두세요. 되돌리기 어려운 건 자동화하지 않는 게 안전해요.
### 바로 쓸 수 있는 프롬프트
제가 매주 반복하는 [업무 이름]을 검증 가능한 루프로 만들고 싶어요.
먼저 "무엇을 합격으로 칠지"를 예/아니오로 갈리는 이진 질문 3~4개로 같이 정하고,
그중 기계가 자동 판정할 수 있는 것과 사람이 봐야 하는 것을 나눠주세요.
그다음 만드는 역할과 채점하는 역할을 분리하고, 채점 기준은 못 바꾸게 잠가주세요.
마지막에 실제 입력으로 한 바퀴 돌리되, 외부 발송 직전에서 멈춰주세요.
[업무 이름]은 본인 상황에 맞게 바꾸세요.
