AI 부서 하네스 고도화하기 (feat. review의 중요성)
2026.10.22
1. 이번 주 진행 사항
지난 과제에서는 Ouroboros의 ooo interview → ooo seed → ooo run 흐름을 활용해 SNS 콘텐츠 제작을 위한 AI 부서의 업무 프로세스를 구성했다.
Master, CSO, Research Lead, Content Planning Worker, Channel Worker, Reviewer로 역할을 나누고, 각 단계의 산출물이 다음 단계로 전달되도록 설계했다.
이번 4주차 과제에서는 새로운 기능을 추가하기보다, 기존 하네스에서 부족했던 부분을 점검하고 실제 업무에 반복적으로 적용할 수 있도록 개선하는 것에 집중했다.
특히 지난 과제에서 느꼈던 문제는 다음과 같았다.
역할별 담당 업무는 정해져 있지만 결과물의 품질을 판단하는 기준이 다소 추상적이었다.
Reviewer의 역할이 '검수'로 정의되어 있을 뿐, 어떤 상황에서 수정 요청을 해야 하는지 명확하지 않았다.
SNS 채널별 콘텐츠 제작 시 형식만 달라지고 핵심 메시지나 콘텐츠 전개 방식은 비슷해질 가능성이 있었다.
작업 과정에서 발생한 피드백을 다음 작업에 반영할 수 있는 구조가 부족했다.
결국 AI 부서를 구성하는 것과 AI 부서가 일정한 기준으로 계속 일하게 만드는 것은 다른 문제라는 생각이 들었다.
이번에는 이 부분을 중심으로 하네스 개선안을 정리했다.
2. 기존 하네스의 한계 (Before)
기존 SNS AI 부서의 업무 흐름은 다음과 같았다.
사용자 요청 → Master → CSO → Research → Content Planning → Channel Workers → Reviewer → 최종 결과
각 역할이 순서대로 업무를 수행하는 구조였다.
다만 이 구조에서는 앞 단계의 결과물을 다음 담당자에게 전달하는 규칙은 있지만, 결과물의 수준이 충분하지 않을 때 어떻게 처리할 것인지에 대한 규칙이 상대적으로 부족했다.
예를 들어 Reviewer에게 '타깃 적합성과 채널 적합성을 검수하라'고 지시했더라도, 무엇을 기준으로 적합하다고 판단해야 하는지는 AI의 해석에 맡기는 부분이 있었다.
따라서 결과물의 품질을 높이려면 단순히 역할을 세분화하는 것보다, 각 역할이 준수해야 할 기준과 수정 조건을 구체화할 필요가 있다고 판단했다.
3. 개선 방향 ① Reviewer의 검수 기준 구체화
가장 먼저 개선 대상으로 선정한 것은 Reviewer의 역할이다.
기존에는 Reviewer가 다음 세 가지를 검토하도록 했다.
사실성
타깃 적합성
채널 적합성
이 자체로 잘못된 기준은 아니지만, 실제 검수에 활용하기에는 다소 추상적이었다.
따라서 검수 항목을 구체적인 질문으로 바꾸고, 각 항목에 대한 판단 결과를 남기는 방식으로 개선안을 설계했다.
구분 | Before | After |
|---|---|---|
사실성 | 사실 여부 검토 | 확인된 사실과 추가 확인이 필요한 정보 구분 |
타깃 적합성 | 타깃에 맞는지 검토 | 타깃의 문제·관심사·행동 유도 여부 확인 |
채널 적합성 | 채널별 형식 검토 | 채널별 길이·전개 방식·표현 차이 확인 |
메시지 일관성 | 원천 기획 참고 | 원천 기획과 핵심 메시지 일치 여부 확인 |
수정 요청 | 문제점 피드백 | 수정 대상·사유·수정 방향을 구분하여 전달 |
특히 Reviewer가 단순히 '문제가 있다'고 피드백하는 데서 끝나지 않고, 어떤 Worker가 어떤 부분을 수정해야 하는지 지정하는 규칙을 추가하는 방향으로 정리했다.
이를 통해 전체 콘텐츠를 처음부터 다시 작성하지 않고, 문제가 있는 단계만 보완할 수 있는 구조를 목표로 했다.
4. 개선 방향 ② 채널별 콘텐츠 제작 규칙 보완
두 번째로 개선할 부분은 Channel Worker의 지침이다.
기존에는 하나의 원천 콘텐츠를 만든 뒤 블로그, 인스타그램 등 채널에 맞게 변환하도록 했다.
하지만 이 방식은 채널별로 글의 길이나 말투만 달라지고 실제 전달 내용은 거의 동일해질 수 있다는 한계가 있었다.
따라서 단순한 형식 변환이 아니라, 채널별 소비 방식에 맞춰 콘텐츠를 재구성하도록 지침을 구체화했다.
Before
원천 콘텐츠를 바탕으로 각 SNS 채널에 적합한 콘텐츠를 제작한다.
After
원천 콘텐츠의 핵심 메시지는 유지하되, 채널별 콘텐츠 소비 방식에 맞춰 도입부, 정보의 배열, 표현 방식, 행동 유도 요소를 재구성한다. 단, 원천 콘텐츠에 없는 사실이나 주장을 임의로 추가하지 않는다.
여기서 중요한 것은 채널별 차별화와 메시지 일관성 사이의 균형이었다.
각 채널에 맞게 콘텐츠를 만들더라도 AI가 임의로 새로운 내용을 만들어내지 않도록, 원천 기획을 공통 기준으로 유지하는 방식을 선택했다.
5. 개선 방향 ③ 검수 기준을 재사용 가능한 스킬로 정리
세 번째는 이번에 가장 중요하게 생각한 부분이다.
기존 하네스에서는 Reviewer의 검수 기준을 부서 전체 지침에 포함했다.
그런데 검수 기준은 SNS 콘텐츠를 제작할 때마다 반복적으로 적용해야 하는 내용이기 때문에, 별도의 스킬로 관리하는 방식이 더 적합할 수 있다고 생각했다.
그래서 다음과 같은 SNS 콘텐츠 검수 스킬의 기본 구조를 구상했다.
SNS Content Review Skill
목적
SNS 콘텐츠의 사실성, 타깃 적합성, 채널 적합성을 일관된 기준으로 검토한다.
입력 자료
원천 콘텐츠 기획안
채널별 콘텐츠 초안
타깃 및 콘텐츠 제작 목적
검수 항목
핵심 메시지가 원천 기획과 일치하는가?
확인되지 않은 사실이나 과장된 표현이 포함되어 있는가?
첫 문장에서 콘텐츠의 대상과 주제가 드러나는가?
독자가 이해하거나 실행할 수 있는 구체적인 정보가 포함되어 있는가?
채널 특성에 맞는 콘텐츠 전개 방식이 적용되었는가?
출력 형식
각 항목을 통과 / 수정 필요 / 확인 필요로 구분하고, 수정이 필요한 경우 해당 내용과 수정 방향을 제시한다.
검수 결과에 따라 담당 Worker가 수정할 수 있도록 연결한다.
이렇게 검수 기준을 독립적인 단위로 정리하면 추후 다른 콘텐츠 제작 하네스에도 같은 기준을 재사용할 수 있을 것으로 생각했다.
아직 별도 스킬 파일로 구현하고 반복 실행한 단계는 아니지만, 기존 하네스에 포함된 지침 중 무엇을 공통 스킬로 분리할 수 있을지 구분해보는 계기가 되었다.
6. Before & After 비교
이번 개선 방향을 정리하면 다음과 같다.
항목 | Before | After |
|---|---|---|
부서 운영 | 역할별 순차 작업 | 단계별 검수·수정 흐름 구체화 |
Reviewer | 포괄적인 검수 지시 | 항목별 판단 및 수정 기준 정의 |
채널별 제작 | 원천 콘텐츠 형식 변환 | 채널별 소비 방식에 맞춘 재구성 |
오류 처리 | 결과물에 대한 일반적인 피드백 | 수정 대상과 담당 역할을 지정 |
스킬 활용 | 검수 기준을 하네스에 포함 | 공통 검수 스킬로 분리하는 구조 설계 |
개선 방식 | 작업별 개별 피드백 | 반복되는 피드백을 공통 규칙으로 축적 |
이번 Before & After는 실제 콘텐츠의 품질이나 작업 시간에 대한 성능 비교라기보다, 기존 하네스와 개선안 사이의 업무 수행 규칙을 비교한 것이다.
실제로 어느 정도 효과가 있는지는 동일한 콘텐츠 제작 과제를 기준으로 기존 하네스와 개선된 하네스를 각각 실행해 확인할 필요가 있다.
7. 이번 과제를 통해 느낀 점
처음 AI 부서를 구성할 때는 어떤 역할을 만들고 어떤 모델을 배치할 것인지에 관심이 많았다.
하지만 Ouroboros 방식으로 실제 업무 흐름을 구성하고, 이번에 기존 구조를 다시 점검하면서 생각이 조금 달라졌다.
AI 부서를 여러 역할로 나누는 것만으로는 결과물의 품질이 보장되지 않는다.
오히려 각 역할이 어떤 기준으로 판단하고, 문제가 발생했을 때 어떻게 수정하며, 같은 실수를 반복하지 않도록 어떤 지침을 남길 것인지가 더 중요할 수 있다고 생각했다.
특히 하네스와 스킬의 역할을 구분해볼 수 있었다.
하네스: AI 부서가 어떤 역할과 순서로 협업할 것인지 정의
스킬: 특정 업무를 어떤 방법과 기준으로 수행할 것인지 정의
예를 들어 SNS 콘텐츠 제작 전체 프로세스는 하네스로 관리하고, 콘텐츠 검수처럼 여러 업무에서 반복적으로 필요한 기능은 스킬로 분리할 수 있다.
이렇게 구성하면 전체 부서 구조를 매번 수정하지 않고도 특정 업무의 수행 기준을 개선할 수 있을 것으로 기대한다.
8. 마무리 및 향후 계획
지난 과제에서는 AI 부서를 설계하고 Ouroboros의 실행 흐름에 연결하는 데 집중했다면, 이번 과제에서는 기존 하네스가 가진 한계를 점검하고 개선 방향을 구체화했다.
핵심은 세 가지다.
Reviewer의 검수 기준을 구체화한다.
채널별 콘텐츠 제작 규칙을 보완한다.
반복적으로 적용할 수 있는 검수 기준을 독립적인 스킬로 분리한다.
아직 개선 전후의 실제 성능을 비교할 만큼 충분한 실행 데이터가 쌓이지는 않았다.
다음에는 동일한 SNS 콘텐츠 제작 요청을 기존 하네스와 개선된 하네스에 각각 적용하고, 수정 횟수와 결과물의 품질 차이를 비교해보고자 한다.
이번 과제를 통해 하네스의 완성도는 역할의 개수보다, 업무 수행 기준을 얼마나 구체적으로 정의하고 지속적으로 개선할 수 있는지에 달려 있다는 점을 다시 생각하게 되었다.



Reviewer의 "타깃 적합성을 검수하라"가 결국 AI 해석에 맡겨진 부분이었다는 진단이 정확하네요. 검수 항목을 Before/After 질문으로 바꾸고, 하네스(전체 협업 순서)와 스킬(반복 검수 기준)을 나눠 본 정리가 특히 인상 깊었어요.
"개선 전후 실행 데이터가 아직 부족하다"고 솔직하게 적어두신 것도 좋았습니다. 다음 주 동일 요청으로 수정 횟수를 비교한 결과도 기대할게요. 꼬리 탁! 치고 응원하고 갈게요 🐈⬛