본문으로 건너뛰기
종료
24기

내 일을 위임할 AI 팀을 만든다

4주 마감 온라인 (Zoom) 모집 마감 2026. 9. 21.
개발 & 에이전트 고급

내 업무에 본격 적용,
AI 팀 하네스 만들기

내 의도·목적·맥락을 이해하고, 결과를 스스로 검수하며, 실패를 통해 계속 개선되는 나만의 AI Harness 만들기

기간
4주 · 목요일
도구
Claude Code · Codex · Grok
스터디장
엔지니어H
📅 스터디 일정 (목요일 9PM~11PM)
10/1 10/8 10/15 10/22
한눈에 보기
카테고리
개발 & 에이전트
난이도
고급
기간
4주
도구
Claude Code, Codex, Grok
참고 구조
CYS Terminal, Ouroboros
결과물
자신의 실제 업무에 적용 가능한 AI Harness + Evaluation Harness + Evidence Bundle
핵심 질문
“내 AI가 잘했다는 것을 무엇으로 증명할 것인가?”
참여 조건 (필수)

여기까지 준비하고 오시면 돼요

고급 과정이라 사전 학습 영상과 사전 과제는 첫 주 전에 끝내두는 걸 전제로 진행해요.

📹 사전 학습 영상
📚 선수지식
✓ Claude Code, Codex 등 Agentic AI 도구를 실무에 활용해본 경험
✓ 터미널에서 파일 이동·명령 실행·로그 확인 가능
✓ 4주간 개선할 실제 업무(반복 업무, 리서치, 코드, 콘텐츠 등) 하나를 정할 수 있는 상태
✓ 아래 사전 과제를 미리 작성해 옵니다.
📝 사전 과제 6문항
1 . 내가 반복해서 AI에게 맡기는 일은 무엇인가?
2 . 현재 가장 자주 발생하는 실패는 무엇인가?
3 . 나는 어떤 순간에 결과가 “좋다”고 판단하는가?
4 . 어떤 실패는 절대로 허용하면 안 되는가?
5 . AI가 스스로 판단하지 말고 나에게 다시 질문해야 하는 상황은 무엇인가?
6 . 4주 뒤 지금보다 좋아졌다는 것을 무엇으로 보여주고 싶은가?
⚠️ 위 조건을 충족해야 스터디 참여가 가능합니다.
이런 분께

이런 분께 추천해요

✓ Claude Code, Codex 등 Agentic AI를 이미 사용하지만 결과 품질이 들쭉날쭉한 분
✓ “프롬프트를 더 잘 써보자”를 넘어 시스템적으로 결과를 개선하고 싶은 분
✓ 자신의 업무에 맞는 Agent Harness를 만들고 싶은 분
✓ LLM-as-a-Judge를 쓰지만 그 판정을 얼마나 믿어도 되는지 고민하는 분
✓ AI 결과물에 테스트·루브릭·Evidence를 연결하고 싶은 분
✓ 업무 실패 사례를 데이터로 쌓아 Agent를 계속 개선하고 싶은 분
이렇게 바뀌어요

이런 문제를 바이브코딩으로 해결해요

BEFORE
01
!

AI Agent를 늘려도 결과가 안 좋아짐

AFTER
✓

Agent 숫자가 아니라 무엇을 맡기고, 무엇을 측정하고, 언제 멈출지를 설계하는 Harness 문제로 재정의

BEFORE
02
!

Producer가 자기 결과를 스스로 평가함

AFTER
✓

Producer와 Evaluator를 분리하고, 독립성 수준(L0~L5)을 스스로 판단해 적용

BEFORE
03
!

“좋아졌다”고 믿지만 비교 기준이 없음

AFTER
✓

Baseline을 먼저 저장하고, 동일한 Frozen Eval로 Baseline vs Final을 비교

BEFORE
04
!

Reviewer(Evaluator)의 판정을 무조건 신뢰함

AFTER
✓

Known Good/Bad, Failure Injection으로 Evaluator 자체를 검증

BEFORE
05
!

e.g., 영상·릴스는 “예뻐 보인다”로만 평가됨

AFTER
✓

세부 검수 기준으로 분리해 평가

데모 사례

스터디에서 함께 살펴볼 데모 사례

각자의 업무 Task는 코드, 리서치, 문서, 자동화, 콘텐츠 등 자유롭게 선택합니다.

다만 Harness의 검수·개선 과정이 눈에 잘 보이도록, 스터디장 사례 중 하나로 영상·릴스·피드와 같은 콘텐츠 결과물의 Before / After도 함께 보여드릴 예정입니다.

예를 들어,
QReviewer를 붙이기 전 / 후 결과는 어떻게 달라지는가?
Q“영상이 별로다”라는 피드백을 어떤 평가 기준으로 구체화할 수 있는가?
Q피드 글의 사실성·구성·톤을 Reviewer가 어떻게 검수할 수 있는가?
Q반복되는 실패를 기록한 뒤 Harness를 수정하면 결과가 실제로 좋아지는가?

등을 실제 결과물을 보며 살펴봅니다.

영상·릴스 제작 자체를 배우는 것이 주 목적은 아닙니다.

콘텐츠는 Harness의 검수 → 실패 발견 → 개선 → 재평가 과정이 직관적으로 보이는 사례로 활용하며, 동일한 방법을 각자의 업무 Task에 적용하는 것이 목표입니다.

4주 뒤 남는 것

바이브코딩으로 만드는 결과물

4주 후 가져갈 것 (4개 Package):

1 . SPEC

Task Statement, Intent Contract, Project Brief, Acceptance Criteria

2 . HARNESS

Architecture, Agent Contract, Context, Skill, Workflow, Tool/Permission

3 . EVAL

Eval Cases, Hard Gate, Rubric, Failure Taxonomy, Evaluator Validation

4 . EVIDENCE

Baseline, Runs, Tests, Failure Injection, Before/After, Runbook

↓
🧰
자신의 실제 업무에 적용 가능한 AI Harness + Evaluation Harness + Evidence Bundle
4주 커리큘럼

측정 장치 → 최소 Harness → Evaluator 검증 → 개선 증명

한 주에 한 층씩 쌓아서, 4주차엔 Baseline과 Final을 같은 기준으로 비교해요.

1
WEEK 1
무엇이 “좋은
결과”인가?
2
WEEK 2
평가 가능한
최소 Harness
3
WEEK 3
Evaluation
Harness 공격
🚩
WEEK 4
개선하고
증명한다
WEEK 1

무엇이 “좋은 결과”인가?

학습 목표 · Agent를 만들기 전에 측정 장치(Intent Contract, Baseline, Eval v0)부터 만듭니다.

주요 내용
•Task Selection과 Intent Interview (Goal, Audience, Must-have/not, Trade-off)
•Baseline Run — 현재 방식 그대로 3~5개 실제 입력 실행·저장
•Failure Taxonomy로 실패를 관찰 가능한 항목으로 분류
•Eval Set v0 (Hard Gate / Quality Score / Diagnostic Label) 작성 + Peer Red Team
📝 스터디장 지식공유 · “내 업무에서 좋은 결과란 무엇인가 — Baseline과 Failure Taxonomy로 실패를 관찰한 기록”
💡 사례 공유 · 영상·릴스·피드 등 눈으로 비교하기 쉬운 결과물을 예시로, “뭔가 별로다”라는 판단을 HOOK_WEAK, FACT_ERROR처럼 관찰 가능한 평가 기준과 실패 유형으로 바꾸는 과정을 함께 살펴봅니다.
📋 멤버 과제 · 자신의 Task 하나를 선택해 Baseline 3~5개 실행 결과와 Eval Set v0(5~10개)를 만들어 2주차에 공유
결과물

Intent Contract + Baseline + Eval v0

WEEK 2

평가 가능한 최소 Harness 만들기

학습 목표 · Eval을 기준으로 Orchestrator-Producer-Reviewer 최소 구조를 설계하고 E2E로 연결합니다.

주요 내용
•Intent Gate (CLEAR→EXECUTE, AMBIGUOUS→NEED_INFO, UNSAFE→BLOCK)
•Agent Contract (Input/Responsibility/Tool/Forbidden/Output/Gate/Reviewer)
•Context Engineering (Always/Task/Retrieved Context 구분)
•CYS Terminal 구조 분석 후 필요한 부분만 가져오기
•Producer → Reviewer E2E 흐름 최소 1회 연결
📝 스터디장 지식공유 · “최소 Harness로 Producer-Reviewer E2E를 연결하며 겪은 것”
💡 사례 공유 · 콘텐츠 생성 사례를 통해 Producer → Reviewer → Feedback → Revise가 실제 결과물을 어떻게 변화시키는지 Before/After로 확인합니다.
📋 멤버 과제 · 자신의 Harness v1(Orchestrator-Producer-Reviewer)로 최소 1회 E2E를 실행하고 Verdict(PASS/REVISE/BLOCK 등) 기록해와 3주차에 발표
결과물

Harness v1 + Eval Runner v1 + 최소 1개 E2E 실행 기록

WEEK 3

Evaluation Harness를 공격한다

학습 목표 · Reviewer(Evaluator)도 틀릴 수 있다는 전제로, Evaluator 자체를 검증합니다.

주요 내용
•Known Good/Bad, Edge Case, Adversarial Case 데이터셋 구성
•Failure Injection (코드/리서치/UI/자동화/콘텐츠별 결함 주입)
•Blind Review와 Judge Disagreement 분석
•DEV Eval과 최종 비교용 Frozen(Held-out) Eval 분리
📝 스터디장 지식공유 · “내 Reviewer를 믿을 수 있는가” — 영상이나 피드 결과물에 일부러 잘못된 정보, 부적절한 문장, 약한 Hook, 내용과 맞지 않는 장면, 톤 불일치 등의 결함을 넣고, Reviewer가 실제로 이를 발견하는지 비교하는 Failure Injection 사례도 살펴봅니다.
💡 사례 공유 · 이를 통해 “Reviewer Agent가 있으니 검수가 된다”가 아니라, 그 Reviewer 자체를 어떻게 검증해야 하는가를 확인합니다.
📋 멤버 과제 · 자신의 Eval에 Known Good/Bad + Failure Injection을 수행하고, Evaluator가 실제로 결함을 잡아내는지 결과를 정리해와 4주차에 발표
결과물

Eval v2 + Evaluator Validation + Frozen Eval

WEEK 4

Harness를 개선하고 “정말 좋아졌는지” 증명한다

학습 목표 · 3주간 쌓인 Failure Trace를 분석해 가장 큰 실패 원인을 줄이고, Baseline과 Final을 동일 기준으로 비교합니다.

주요 내용
•Failure Clustering → Root Cause 분석
•Harness Modification (Prompt/Context/Skill/Workflow/Tool/Routing/Gate 중 선택)
•최소 2회 반복 개선 (Harness v1 → v1.1 → v2)
•Frozen Eval로 Baseline vs Final 비교, Evidence Bundle 정리
📝 스터디장 지식공유 · “Harness를 바꿨더니 정말 좋아졌는가 — Frozen Eval로 Before/After 증명하기”
💡 사례 공유 · 4주 동안 사용한 콘텐츠 사례 역시 같은 Frozen Eval로 다시 평가해, Baseline → Reviewer 추가 → Harness 개선 → Final 과정에서 결과가 실제로 어떻게 달라졌는지 Before / After로 살펴봅니다. 영상·릴스·피드처럼 변화가 직관적인 사례를 통해 개선 과정을 확인한 뒤, 각자 자신의 코드·리서치·문서·자동화 Task에서도 동일한 방식으로 “좋아졌다는 증거”를 남깁니다.
📋 멤버 과제 · 없음 (마무리 주 — 최종 발표 준비: Baseline vs Final 비교 결과와 Evidence Bundle 완성)
결과물

Harness v2 + Final Eval(Before/After) + Evidence Bundle + Runbook

도구 소개

바이브코딩 도구 소개

⭐ Claude Code / Codex

: 기획, 구현, 테스트, 리뷰, 문서화까지 자연어로 지시해 처리하는 CLI 에이전트. 이 스터디의 Producer·Reviewer 역할을 실제로 구현하는 도구입니다.

🔍 Grok (Build)

: 역할별 Multi-LLM 구성 시 비교·검증용 모델로 활용합니다.

🧩 참고 구조 (복제 대상이 아닌 분석 대상)

: CYS Terminal(Orchestration/Role/ACL/Hook/Routing), Ouroboros(Interview→Candidate→Evaluation→Iteration), Meta-Harness(모델을 바꾸지 않고 Harness로 성능을 개선하는 관점) — 이 구조들을 해체해서 자신의 업무에 필요한 부분만 가져옵니다.

스터디장

함께할 스터디장

엔

엔지니어H

●지피터스 22기 리서치 하네스 스터디장
●지피터스 23기 AI 결과물 검수 스터디장
●SK AX, IBK 기업은행 현업 프로젝트 경험
●UNIST AI 대학원 졸업
●컴퓨터 비전 및 의료 AI 연구·논문 경험
●모두의연구소 풀잎스쿨 퍼실리테이터 3회