만들어져 있는 Agent와 Skill, 인터뷰 시뮬레이션으로 스킬 수정하고 최적화 하기

소개

시도하고자 했던 것: Claude Code로 Agent 6개, Skill 12개를 만들어서 운영하고 있는데, 이걸 더 잘 만들 수 있는 방법이 없을까 고민했습니다.

안상영님에게 제공받은 자동화 파이프라인 설계 자료(automation-pipeline-design-eduv)에 인터뷰 → 워크시트 → 설계 → 도구 연결의 체계적인 파이프라인이 있었고, 이걸 기존 Agent/Skill 점검과 스킬 수정에 활용해보기로 했습니다.

이유:

  • 기존에 설계를 통해 Skill을 만들었으나, 실제로 동작시켜보니 부족한 부분이 발견되었습니다

  • 체계적인 인터뷰 프레임워크로 다시 점검하면 빠진 부분을 구조적으로 찾을 수 있을 것이라 판단했습니다

  • 안상영님 제공 자료에 인터뷰 기반 파이프라인이 있었으나 21개 파일이 흩어져 있어서, 먼저 인덱스로 정리한 뒤 활용 방법을 찾아야 했습니다


진행 방법

1단계: 학습 자료를 인덱스 페이지로 정리

21개 파일을 폴더별로 번호를 매기고, 각 파일을 실제로 읽어서 용도를 한 줄로 요약했습니다. VS Code 마크다운 미리보기에서 클릭하면 원본 파일이 열리도록 상대 경로 링크를 걸었습니다.

사용 프롬프트:

아래 경로의 폴더/파일 구조를 스캔하여 문서 인덱스 페이지를 만들어줘.

[대상 경로]
드라이브명\automation-pipeline-design-eduv

[저장 경로]
드라이브명\cobot_automation_hub\90-archive\legacy\index_automation-pipeline-design-eduv.md

[작업 순서]
1. 대상 경로의 전체 폴더/파일 구조를 먼저 확인한다
2. 폴더별로 번호를 매긴다 (루트=0, 첫 번째 하위 폴더=1, ...)
3. 각 폴더 안의 파일에 소수점 번호를 매긴다 (1.1, 1.2, ...)
4. 모든 파일을 읽고 한 줄 용도 설명을 작성한다
5. 파일 간 관계를 분석하여 활용 가이드를 작성한다
6. 마크다운 테이블로 정리하여 저장한다

[출력 형식]
- 제목: `# {폴더명} 문서 리스트`
- 원본 경로 표시
- 활용 가이드 테이블: 파일들의 조합으로 달성할 수 있는 목적별 사용 경로를 정리
- 섹션별 테이블: `| 번호 | 파일명 | 용도 | 비고 | 활용 |`
- 파일명에 상대 경로 링크를 건다 (VS Code 마크다운 미리보기에서 클릭 가능하도록)
- 파일명에 공백이 있으면 `%20`으로 인코딩한다
- 용도는 한 줄로 간결하게 쓴다 (파일을 실제로 읽고 핵심 역할을 요약)
- 비고에는 파일의 역할 키워드, 활용에는 활용 가이드 번호(A~F)를 표시한다

[참고 예시]

## 활용 가이드
| 목적 | 사용 파일 | 설명 |
|------|-----------|------|
| **새 Agent 생성** | 4.1 → 4.2 → 4.3 → 4.4 → 4.5 → 4.6 → 4.7 | 풀 파이프라인 순서대로 진행 |

## 1. references
| 번호 | 파일명 | 용도 | 비고 |
|------|--------|------|------|
| 1.1 | [01_stage-map.md](상대경로) | 6단계 흐름 정의, 단계별 게이트 조건 및 산출물 명세 | 운영 규칙 |
한국사이트 스크린샷

2단계: 활용 가이드로 목적별 레시피 만들기

인덱스를 만들고 보니, 파일 목록만으로는 "뭘 어떻게 쓰지?"가 안 보였습니다. 위 프롬프트를 이용하면 파일들의 관계를 분석해서 목적별 사용 경로가 정리됩니다.

#

목적

사용 파일

설명

A

새 Agent 생성

4.1 → 4.2 → 4.3 → 4.4 → 4.5 → 4.6 → 4.7

인터뷰부터 Agent 파일 생성까지 풀 파이프라인

B

새 Skill 생성

4.2 → 4.3 → 4.4 → 4.5

인터뷰 → 워크시트 → 설계 → 도구 연결

C

기존 Agent 시뮬레이션

4.5 → 4.6

기존 정의 파일로 도구 연결 점검 + 드라이런

이렇게 정리하니 한 줄 프롬프트로 파이프라인을 실행할 수 있게 되었습니다:

활용가이드 B로 스킬을 생성할 겁니다. 시뮬레이션 해주세요.
활용가이드 B로 "카카오톡 파싱" 스킬을 생성할 겁니다. 시뮬레이션 해주세요.
활용가이드 C로 doc-manager agent를 시뮬레이션 해주세요.

3단계: 인터뷰 시뮬레이션으로 새 스킬 설계

활용가이드 B로 "특허 도면 분석" 스킬을 시뮬레이션했습니다. 프롬프트 한 줄로 4단계가 진행되었습니다:

4.2 인터뷰 (1문 1답, 14개 질문) — 직접 답변

인터뷰 프레임워크가 수혜자 → 현재 고통 → 자동화 범위 → 시작 조건 → 입력 → 출력 → 처리 흐름 → 예외 → 검토 지점 순서로 빠짐없이 질문했습니다. 이 단계에서는 제가 직접 1문 1답으로 답변했습니다. 핵심 발견:

  • "KIPRIS로 특허 검색은 하는데 청구항별 도면을 같이 볼 수 없다"는 고통이 명확해졌습니다

  • 이 스킬은 researcher agent 안에서 호출되는 것이지, 독립 스킬이 아님을 인터뷰 중 확인했습니다

  • 도면 이미지 저장 위치를 인터뷰에서 미리 결정했습니다.

4.3 워크시트 → 4.4 자동화 설계 → 4.5 도구 연결 — 자동 분석

인터뷰가 끝난 이후에는 제가 별도로 답변할 필요 없이, AI가 인터뷰 결과를 기반으로 자동으로 분석하고 보고해줬습니다:

  • 4.3 워크시트: 인터뷰 답변을 시작 조건·입력·처리 흐름·출력·예외로 자동 구조화

  • 4.4 자동화 설계: 4단계 처리 흐름을 자동 설계 (Google Patents PDF 검색 → 도면 추출 → 청구항 매핑 → 리포트 생성)

  • 4.5 도구 연결: 현재 작업공간의 실제 스킬/도구와 자동 매칭. Step 1, 3, 4는 즉시 가능, Step 2(PDF 도면 추출)는 그레이 영역으로 식별되었고 "Google Patents 웹페이지에서 이미지 직접 다운로드"라는 대안까지 제시되었습니다.

한국 컴퓨터 화면의 스크린샷

시뮬레이션이 완료된 후 바로 스킬을 만들지 않고, 먼저 설계서를 만들어달라고 요청했습니다. 설계서로 전체 구조를 확인한 뒤 스킬 구현은 별도로 진행할 예정입니다.

한국어가 포함된 웹페이지 스크린샷


결과와 배운 점

배운 점

  • 인터뷰가 설계를 바꿉니다: "도면 분석 스킬 만들어줘"로 바로 코딩했으면 KIPRIS 검색까지 넣었을 겁니다. 인터뷰에서 "KIPRIS 검색은 researcher agent가 한다"가 나오면서 스킬 범위가 정확해졌습니다

  • 그레이 영역이 코딩 전에 드러납니다: 도구 연결 단계에서 "PDF 도면 추출" 기능이 없다는 것을 발견하고, 대안(웹페이지 이미지 직접 다운로드)까지 정리되었습니다. 코딩 중에 발견했으면 시간 낭비였을 겁니다

  • 인덱스 + 활용 가이드 = 재사용 가능한 도구입니다: 한번 정리해두면 "활용가이드 C로 doc-manager 시뮬레이션 해줘"로 기존 Agent도 점검할 수 있습니다

꿀팁

  • VS Code 마크다운 미리보기에서 상대 경로 링크를 쓰면 외부 폴더 파일도 클릭으로 열 수 있습니다 (절대 경로는 보안 제한으로 안 됩니다)

  • 인덱스 프롬프트를 템플릿으로 저장해두면 다른 폴더에도 재사용할 수 있습니다

  • 스킬명을 모를 때는 이름 없이 시뮬레이션을 시작하면 인터뷰에서 자연스럽게 정의됩니다. 스킬명을 알면 명시해서 바로 진행할 수 있습니다

시행착오

  • 처음에 절대 경로로 링크를 걸었더니 VS Code에서 클릭이 안 되었습니다 → 상대 경로로 변경하여 해결했습니다

  • 인덱스에 번호와 파일명만 있으면 "이걸 왜 쓰지?"가 안 보입니다 → 모든 파일을 실제로 읽고 한 줄 용도를 작성해야 의미가 있습니다

  • 활용 가이드 없이 비고만 있으면 목적별 사용법이 흩어집니다 → 상단에 활용 가이드 테이블 + 사용 예시를 추가하여 해결했습니다

앞으로의 계획

  • 활용가이드로 기존 Agent 6개를 순차 시뮬레이션하여 현재 설계의 빈틈을 발견하고 최적화할 예정입니다

  • 같은 방법으로 다른 스킬도 인터뷰 시뮬레이션 후 리팩토링할 계획입니다


도움 받은 글

  • 안상영님 제공 자료: automation-pipeline-design-eduv (중급 자동화 파이프라인 설계 스킬 문서 번들)

4
2개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요