내 일을 위임할 AI 팀을 만든다
내 업무에 본격 적용,
AI 팀 하네스 만들기
내 의도·목적·맥락을 이해하고, 결과를 스스로 검수하며, 실패를 통해 계속 개선되는 나만의 AI Harness 만들기
여기까지 준비하고 오시면 돼요
고급 과정이라 사전 학습 영상과 사전 과제는 첫 주 전에 끝내두는 걸 전제로 진행해요.
이런 분께 추천해요
이런 문제를 바이브코딩으로 해결해요
스터디에서 함께 살펴볼 데모 사례
각자의 업무 Task는 코드, 리서치, 문서, 자동화, 콘텐츠 등 자유롭게 선택합니다.
다만 Harness의 검수·개선 과정이 눈에 잘 보이도록, 스터디장 사례 중 하나로 영상·릴스·피드와 같은 콘텐츠 결과물의 Before / After도 함께 보여드릴 예정입니다.
등을 실제 결과물을 보며 살펴봅니다.
영상·릴스 제작 자체를 배우는 것이 주 목적은 아닙니다.
콘텐츠는 Harness의 검수 → 실패 발견 → 개선 → 재평가 과정이 직관적으로 보이는 사례로 활용하며, 동일한 방법을 각자의 업무 Task에 적용하는 것이 목표입니다.
바이브코딩으로 만드는 결과물
4주 후 가져갈 것 (4개 Package):
Task Statement, Intent Contract, Project Brief, Acceptance Criteria
Architecture, Agent Contract, Context, Skill, Workflow, Tool/Permission
Eval Cases, Hard Gate, Rubric, Failure Taxonomy, Evaluator Validation
Baseline, Runs, Tests, Failure Injection, Before/After, Runbook
측정 장치 → 최소 Harness → Evaluator 검증 → 개선 증명
한 주에 한 층씩 쌓아서, 4주차엔 Baseline과 Final을 같은 기준으로 비교해요.
결과”인가?
최소 Harness
Harness 공격
증명한다
무엇이 “좋은 결과”인가?
학습 목표 · Agent를 만들기 전에 측정 장치(Intent Contract, Baseline, Eval v0)부터 만듭니다.
Intent Contract + Baseline + Eval v0
평가 가능한 최소 Harness 만들기
학습 목표 · Eval을 기준으로 Orchestrator-Producer-Reviewer 최소 구조를 설계하고 E2E로 연결합니다.
Harness v1 + Eval Runner v1 + 최소 1개 E2E 실행 기록
Evaluation Harness를 공격한다
학습 목표 · Reviewer(Evaluator)도 틀릴 수 있다는 전제로, Evaluator 자체를 검증합니다.
Eval v2 + Evaluator Validation + Frozen Eval
Harness를 개선하고 “정말 좋아졌는지” 증명한다
학습 목표 · 3주간 쌓인 Failure Trace를 분석해 가장 큰 실패 원인을 줄이고, Baseline과 Final을 동일 기준으로 비교합니다.
Harness v2 + Final Eval(Before/After) + Evidence Bundle + Runbook
바이브코딩 도구 소개
: 기획, 구현, 테스트, 리뷰, 문서화까지 자연어로 지시해 처리하는 CLI 에이전트. 이 스터디의 Producer·Reviewer 역할을 실제로 구현하는 도구입니다.
: 역할별 Multi-LLM 구성 시 비교·검증용 모델로 활용합니다.
: CYS Terminal(Orchestration/Role/ACL/Hook/Routing), Ouroboros(Interview→Candidate→Evaluation→Iteration), Meta-Harness(모델을 바꾸지 않고 Harness로 성능을 개선하는 관점) — 이 구조들을 해체해서 자신의 업무에 필요한 부분만 가져옵니다.
함께할 스터디장
엔지니어H