뽀짝이가 물음표 블록(주제) 앞에 선 8비트 도트 장면
📝 바쁘시면 이것만
AI 여러 개를 "지휘"하는 방법을 배워서, 제 반복 업무 하나에 실제로 붙여봤어요.
근데 실제로 한 번 돌려보니, 기존에 손으로 하던 결과랑 89%가 겹쳤어요.
그래서 "지금 규모에선 안 쓴다"로 결론 냈어요 — 이게 실패가 아니라, 써야 할지 말지를 감이 아니라 숫자로 정한 것이에요.
🎯 이런 분들께
AI를 "여러 개 붙이면 더 똑똑하겠지?" 하고 막연히 기대하는 분
새 자동화를 만들었는데 "이거 진짜 도움 되나?"가 애매한 분
AI 도구를 도입할지 말지 판단 기준이 필요한 분
☕️ 제가 하는 일 — 지피터스 커피챗 연결
혹시 지피터스 커피챗 아세요?
지피터스 커뮤니티에서 운영하는 파일럿인데요, 최근 외부 프로젝트 협업, AI인재 소개 요청이 많아져서 진행하고 있어요. 외부에서 문의가 들어오면, 커뮤니티 멤버의 포트폴리오와 지피터스 활동내역을 근거로 조건에 맞는 분들을 찾아 프로필로 정리해 연결해드려요. (멤버는 커피챗 서베이에 활동·포트폴리오를 남겨두면 돼요.)
제가 바로 이 "조건에 맞는 후보를 찾아내는" 일을 반복적으로 해요.
문의가 오면 여러 멤버의 자료를 하나하나 다 열어보고 조건에 맞는지 확인해서 명단을 추리는 거죠. 이걸 저 혼자(정확히는 로컬 에이전트와) 순서대로 하다가, 나만의 스킬(자동화 명령)로 만들어서 쓰고 있어요.
그러다 문득 궁금해졌어요.
"여기에 AI 여러 명을 동시에 투입하면(=오케스트레이션), 더 좋은 결과가 나오지 않을까?"
마침 이번 주에 그걸 배우는 코스가 있길래 골랐어요. 조사는 여러 AI가 병렬로 나눠 하고, 최종 정리는 한 명이 맡는 구조요 — 딱 제 업무에 맞아 보였거든요.
🛠️ 쓴 도구
로나(Rona) — "이번 주엔 이런 걸 해보자"고 주제를 골라주고, 방법론을 단계별로 옆에서 적용해준 코치예요. 저는 제 실제 업무만 들고 따라갔어요.
AI 에이전트 여러 명 — 조사원 역할. 후보 자료를 나눠 맡아 병렬로 열어봤어요.
결과물은 다음에 또 부를 수 있게 재사용 명령으로 박제했어요. (한 번 만들어두면 다음에 이름만 부르면 실행되는, 나만의 단축 명령 같은 거예요.)
🔧 과정 — 조사원 여럿을 풀어봤어요
조사원 파이프 3개가 병렬로 검수하는 8비트 도트 장면
먼저 "무엇을 좋게 볼지"를 못 박고, 조사원 3명한테 후보를 나눠 맡겼어요. 각자 자기 몫의 자료를 전부 열어서 정해진 표 형식으로 정리하게요. 여기서 제가 배운 핵심이 두 개예요.
1단계 — 읽기는 여럿, 쓰기는 하나.
조사(자료 열어보기)는 여러 명이 나눠도 나중에 합치면 되는데, 최종 명단은 한 명이 일관되게 써야 결론이 안 갈려요.2단계 — 일부러 실패를 심어봤어요.
"근거 없이 '확실함'이라고 우기는" 가짜 결과를 하 나 끼워 넣고, 검사기가 그걸 잡아내는지 봤어요. 잡더라고요. AI가 자신 있게 틀리는 걸 막는 안전장치를 눈으로 확인한 거예요.
그리고 실제로 한 번 돌렸어요. 조사원 3명이 후보 21명의 자료를 병렬로 열어봤는데, 그중 10명은 열람 실패였어요 — 로그인이 필요하거나, 링크가 죽었거나, 화면이 안 뜨거나. 이건 사람이 다시 열어봐야 하는 몫으로 따로 빼뒀고요.
✅ 결과 — 그런데 기존이랑 거의 같았어요
두 갈래 코인 길이 같은 깃발에 도착하는 8비트 도트 장면
여기서부터가 진짜예요. 새로 뽑은 명단을, 제가 원래 로컬 에이전트와 스킬로 뽑아둔 명단과 나란히 비교해봤어요.
명단 겹침: 약 89% (9명 중 8명 재발견)**
새로 발굴: 1명 (키워드로는 놓쳤던 사람)
놓친 사람: 2명 (자료 없는 사람·지목받은 사람)
든 비용: 조사원 3명분 토큰·시간
거의 똑같았어요.
새 방식이 딱 한 명을 더 찾아주긴 했지만, 반대로 손으로는 챙겼던 두 명을 놓쳤어요. 결국 비용은 더 들었는데 결과는 안 나아진 거예요.
💡 가장 크게 남은 건 이거예요 — "AI를 여러 개 붙이면 더 좋겠지"라는 기대는, 실제로 돌려보기 전엔 그냥 기대일 뿐이더라고요. 89%라는 숫자를 보고 나서야 "지금 규모에선 안 쓴다"를 감이 아니라 근거로 정할 수 있었어요.
💬 팁 — 여럿을 쓸지 말지, 이렇게 갈랐어요
"더 똑똑한가?"가 아니라 "이 일이 그 비용을 낼 만큼 큰가?"로 물어요.
여럿을 돌리는 건 한 명보다 훨씬 비싸거든요(대략 10배까지도요).선이 뒤집히는 지점은 규모예요. 후보가 손으로 다 열 수 있는 정도(수십 명)면 혼자가 이겨요. 손으로 도저히 못 열 정도(수백 명↑)로 커지면 그때 여럿이 비용을 벌어요.
전체를 안 써도 한 조각은 챙길 수 있어요. 저는 "근거 없이 확실하다고 우기면 걸러낸다"는 검사 한 줄만 기존 방식에 흡수하기로 했어요. 커맨드 전체를 안 돌려도 그 효과는 남으니까요.
🚀 다음 계획
만든 명령은 버리지 않고 "후보 풀이 아주 커졌을 때 꺼내는 비상 도구"로 보관해요. 지금 인재 풀을 계속 넓히는 중이라, 언젠가 그 규모가 오면 그때 이 카드를 꺼낼 거예요. 오늘 안 쓰기로 한 게 아니라, 언제 쓸 지를 정한 거죠.
📋 바로 써먹는 판단 템플릿
새 AI 자동화를 도입할 지 고민될 때, 이 3줄로 스스로 물어보세요.
1. [이 일]을 기존 방식으로 한 결과가 있나요? 없으면 먼저 한 번은 손으로 해서 비교 기준을 만드세요.
2. 새 방식 결과가 기존과 얼마나 겹치나요? 겹침이 높으면(80%↑) 지금은 안 쓰는 게 맞을 수 있어요.
3. [이 일]의 규모가 손으로 감당 못 할 만큼 커질 때가 오나요? 그 임계를 미리 적어두면, "언제 쓸지"가 명확해져요.
([이 일]을 본인 업무로 바꿔서 채워보세요.)
---
이 글은 AI 자동화를 만들고 실제로 돌려본 뒤, 쓸지 말지를 숫자로 판단한 경험을 정리한 거예요. 도구·방법이 궁금하시면 댓글 주세요.
