본문으로 건너뛰기

[2주차 과제] 워크스페이스에 PKM 구축해보기

박태진

2026.08.05

# PKM 구축 — 과제 제출본

법인세 세무조정 조서를 리뷰하는 스킬을 만드는 프로젝트에 PKM 을 적용해 봤습니다.

2026년 8월 4일에 만들고 5일에 한 번 갱신했습니다.

먼저 결론부터 말씀드리면, PKM 을 아주 작게 만들었습니다.

문서 23개에 코드 한 파일이 전부이고, 새로 도입한 도구는 없습니다.

작게 만든 이유가 있습니다. 이 프로젝트의 지식은 대부분 이미 갈 곳이 있었습니다.

판정 규칙은 rules.json 에, 설계 결론은 스펙 문서에, 상시 지켜야 할 제약은 CLAUDE.md 에,

검증 수치는 회귀 테스트에 들어 있었습니다.

여기에 PKM 을 통째로 얹으면 같은 내용을 두 군데서 관리하게 되고, 언젠가는 둘이 갈립니다.

그래서 어디에도 안 남는 것 딱 하나만 담기로 했습니다.

왜 그렇게 판단했는지, 그리고 무엇이 나중에 뒤집혔는지입니다.

---

## 1단계. 나는 어떻게 판단하는 사람인가

스스로 "나는 이런 사람이다" 하고 적는 대신, 이 프로젝트에서 실제로 내린 결정들을 되짚어서 뽑았습니다.

공유받은 산출물을 그대로 정답으로 받지 않는 편이었습니다.

기존 스킬이 있었지만 "저게 항상 맞는 건 아니다"라는 전제로 검증 하네스를 구현보다 먼저 만들었습니다.

숫자도 마찬가지여서, accuracy 84.1% 라는 그럴듯한 수치를 기각하고 기준선 대비 향상폭을 지표로 바꿨습니다.

결과물보다 구조를 봤습니다. 어떤 기존 스킬을 배제한 이유도 성능이 아니라

"좌표가 전부 절대주소라 한 회사 조서의 스냅샷일 뿐"이라는 구조 판단이었습니다.

그리고 일을 크게 벌이지 않으려고 했습니다. 계정과목을 17종에서 13종으로 줄였고,

세법 판단 보고 범위도 "확정된 오류만"으로 좁혔습니다.

이 성향이 PKM 설계에 그대로 반영됐습니다.

"일단 다 적어 두자"는 방식과는 잘 안 맞아서,

사람이 검수하기 전에는 검색에 아예 나오지 않는 상태 모델을 넣었습니다.

---

## 2단계. 도입 전에는 지식이 어디로 갔나

조서 89개를 분석해서 판단을 내리고 구현까지 했는데, 그 판단의 근거가 어디에도 안 남았습니다.

리포트는 만들어졌지만 .gitignore 대상이라 버전관리도 안 됐습니다.

실제로 확인해 봤습니다.

```

$ git grep -l "등록면허세" → 0건

$ git grep -l "취득세" → 0건

```

조서 89개를 훑어서 얻은 판단 근거가 리포지토리에 한 글자도 없었습니다.

대화 기록과 세션 임시폴더에만 있었는데 둘 다 휘발합니다.

다음 세션의 저는 같은 조서를 처음부터 다시 스캔해야 하는 상황이었습니다.

도입 후에는 판단을 내리고 구현해서 회귀 테스트로 고정한 다음,

그 판단의 근거를 knowledge/ 에 적재하고 검색해서 다시 쓰는 흐름이 됐습니다.

---

## 3단계. 무엇을 해결하려는 건가

한 줄로 정리하면 이렇습니다.

> 조서 89개에서 한 번 알아낸 것을 다음 세션의 내가 다시 알아내지 않게 한다.

> 다만 틀린 것이 그런 식으로 퍼지는 건 막는다.

뒤 문장이 중요합니다. 지식을 재사용하게 만들면 틀린 지식도 같이 재사용됩니다.

그래서 처음부터 "틀린 걸로 밝혀졌을 때 어떻게 할 것인가"를 설계에 넣었습니다.

---

## 4단계. 어떻게 만들었나

폴더는 두 개뿐입니다. 결론이 난 판단은 decisions/ 에, 아직 결론이 없는 쟁점은 open/ 에 둡니다.

메타데이터는 여섯 개만 씁니다. 필드가 많으면 아무도 안 채우기 때문입니다.

문서 하나는 이렇게 생겼습니다.

```yaml

id: D-020

title: 행을 삽입하지 않는다 — row_dimensions 가 함께 밀리지 않는다

type: decision

status: approved

date: 2026-08-05

tags: [축1, 기입, 무해성, 실측]

```

이 중에서 status 가 검색에 나올지 말지를 결정합니다.

검수 전 추론(`draft`)과 대체된 판단(`superseded`)은 감추고,

결론이 난 것(`approved`)과 아직 결론이 없는 쟁점(`open`)은 보여줍니다.

open 을 보여주는 게 이 설계의 핵심입니다.

"아직 모른다"는 것 자체가 유용한 답이기 때문입니다.

검수 안 된 추측과는 성격이 완전히 다릅니다.

사실 처음에는 둘을 같이 묶어 뒀다가, 실제로 질문해 보고 나서야 갈랐습니다(8단계에서 설명드립니다).

그리고 모든 문서에 「이 판단이 바뀌려면」 이라는 절을 하나씩 넣었습니다.

무엇이 관찰되면 이 결론을 버려야 하는지를 미리 적어 두는 겁니다.

다음 사람은 그 조건만 확인하면 됩니다.

---

## 5단계. 도구는 무엇을 썼나

새로 도입한 도구가 없습니다. 이미 쓰고 있던 Claude Code 리포지토리에

마크다운으로 적고 Git 으로 이력을 남깁니다. 검색은 표준 라이브러리만 쓰는 파이썬 한 파일입니다.

Obsidian 은 보류했습니다. Claude Code 가 마크다운을 이미 읽기 때문에 순증이 됩니다.

Notion 이나 SharePoint 는 아예 뺐는데, 고객 자료가 섞여 올라갈 위험이 있어서입니다.

벡터 DB 도 23건에는 과잉이고, 임베딩 과정에서 고객 정보가 외부로 나갈 여지가 있어 제외했습니다.

이 규모에서는 도구를 늘리면 관리 비용만 늡니다.

---

## 6단계. 어떤 흐름으로 쌓고 꺼내나

판단을 내리고 구현해서 회귀 테스트로 고정한 다음,

사람 검수와 익명화 확인 두 관문을 거쳐야 적재됩니다.

이 두 관문 이전에는 아무것도 넣지 않습니다.

"분석 중에 알게 된 걸 일단 적어 두자"를 일부러 금지했는데,

검수 안 된 추론이 사실처럼 굳는 경로가 바로 거기이기 때문입니다.

갱신할 때는 덮어쓰지 않습니다.

판단이 바뀌면 새 문서를 만들고 옛 문서를 superseded 로 돌립니다.

틀린 판단도 남아 있어야 같은 실수를 반복하지 않습니다.

---

## 7단계. 잘 돌아가는지 어떻게 재나

| 재는 것 | 기준 | 8/4 | 8/5 |

|---|---|---|---|

| 질문하면 맞는 문서가 1위로 나오나 | 전부 | 8/8 | 11/11 |

| 검수 안 된 지식이 새 나오나 | 0건 | 0 | 0 |

| 대체된 지식이 감춰지나 | 0건 | 0 | 0 (실제로 1건 발생) |

| 미해결이 [open] 으로 표시되나 | 100% | 100% | 100% |

| 1위와 2위 점수 차이 | 2배 이상 | 4.0배 | 1.1 ~ 8.0배 |

| 문서 수 | 20개 이하 | 12 | 23 |

| 검색 회귀 테스트 | 통과 | 14개 | 26개 |

절반은 pytest 가 자동으로 지켜 줍니다.

아래 두 개는 기준을 못 맞췄는데, 감추지 않고 그대로 적었습니다.

다만 들여다보니 둘 다 지표 쪽이 잘못 잡혀 있었습니다.

점수 차이가 1.1배까지 떨어진 건 24점과 22점으로 붙은 두 문서가

실제로 둘 다 관련이 있어서였습니다.

지표가 "인접한 정답 두 개"와 "정답 하나 + 노이즈 하나"를 구분하지 못합니다.

문서 수도 마찬가지입니다. 관리 부담의 실체는 개수가 아니라 낡는 속도였습니다.

이 문서가 하루 만에 낡아서 손으로 고쳐야 했던 게 그 증거입니다.

---

## 8단계. 써 보고 나서 고친 것들

만들자마자 몇 번 질문해 봤는데 결함이 바로 두 개 나왔습니다.

취득세 라고 물었더니 정작 취득세를 다룬 Q-001 이 안 나왔습니다.

draft 로 묶여 있어서 필터에 걸린 거였습니다.

검수 안 된 추측과 결론이 없다고 확인된 쟁점은 다른 건데 한 상태로 묶은 게 잘못이었습니다.

#N/A 를 침묵시켜도 되나 라고 물었더니 무관한 문서가 같은 점수로 올라왔습니다.

#N/A 가 N 과 A 로 쪼개졌던 겁니다.

엑셀 오류코드를 한 덩어리로 처리하고 한 글자짜리 토큰을 버리니 50대 50이 24대 6으로 갈렸습니다.

여기서 배운 게 있습니다.

지식베이스는 만든 직후에 반드시 몇 번 물어봐야 합니다.

두 결함 다 설계 단계에서는 전혀 안 보였고, 세 번 질문하자마자 나왔습니다.

하루 더 쓰고 나서 세 개가 더 나왔습니다.

첫째로 이 제출 문서 자체가 낡았습니다.

지식 목록을 손으로 베껴 놓았더니 하루 만에 12건이 23건이 되면서 거짓이 됐습니다.

같은 검토를 반복하지 않으려고 만든 PKM 인데, 그 PKM 의 문서가 바로 그 반복을 요구한 셈입니다.

둘째로 지식이 바뀐 걸 테스트가 먼저 알려 줬습니다.

리뷰 지적을 어디에 쓰나 의 답이 D-004 에서 D-021 로 옮겨가면서 테스트가 깨졌습니다.

확인해 보니 검색이 맞고 기대값이 낡은 것이었습니다.

이건 결함이 아니라 설계대로 동작한 거라고 봅니다.

지식이 조용히 바뀌면 아무도 모르기 때문에 회귀 테스트를 걸어 둔 것이니까요.

셋째로 도구가 실무 환경에서 죽었습니다.

검색 CLI 를 실제로 돌렸더니 UnicodeEncodeError 가 났습니다.

Windows 콘솔이 cp949 인데 출력에 — 문자가 있었던 겁니다.

개발할 때는 제가 PYTHONIOENCODING=utf-8 을 붙여서 돌리고 있어서 못 봤습니다.

환경변수로 우회한 건 고친 게 아니라는 걸 이때 알았습니다. 도구가 알아서 처리하도록 바꾸고 회귀 테스트를 걸었습니다.

다음에 고칠 것 중 가장 급한 건 문서를 자동으로 생성하는 것입니다.

손으로 벤 목록은 반드시 낡습니다.

그다음은 리뷰 스킬의 오탐 이력을 적재하는 건데,

실무자 피드백이 들어오기 시작하면 그게 이 프로젝트에서 가장 중요한 지식이 될 것 같습니다.

벡터 DB 는 수백 건이 되기 전까지는 하지 않을 생각입니다.

## 마무리하며

이 과제에서 가장 잘한 판단은 PKM 을 크게 만들지 않은 것이라고 생각합니다.

원안대로 계정과목 13종에 문서 7종씩 91개를 만들었다면 관리 비용만 남았을 겁니다.

그 대신 "이 지식이 이미 갈 곳이 있는가"를 하나씩 다 따졌고,

남은 공백이 「판단의 근거와 번복 이력」 하나뿐이라는 걸 확인한 다음에 만들었습니다.

다만 하루 써 보고 나서 생각이 좀 바뀐 부분이 있습니다.

작게 만든 판단 자체는 유지됐는데, 작은 것과 낡지 않는 것은 다른 문제였습니다.

23건은 관리할 만했지만, 그 목록을 손으로 베껴 놓은 이 문서가 부담이 됐습니다.

그래서 다음에 던질 질문은 "무엇을 담지 않을 것인가"가 아니라

"무엇을 손으로 쓰지 않을 것인가" 가 될 것 같습니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.05

"이미 갈 곳이 있는 지식은 담지 않는다"는 원칙이 인상 깊었어요. rules.json·스펙 문서·CLAUDE.md·회귀 테스트가 각자 역할을 하고 있으니, 거기에도 없는 것—판단의 근거와 번복 이력—만 PKM에 담기로 한 결정이요. git grep -l "등록면허세" → 0건으로 공백을 실측해서 확인한 접근도 좋았어요. "이 판단이 바뀌려면" 절을 모든 문서에 미리 적어둔 것도요. "작게 만든 것과 낡지 않는 것은 다른 문제"라는 마지막 결론이 하루 써본 뒤에 나온 말이라 더 와닿았어요. 기지개 한 번 펴고 다음 글도 기다릴게요 🐾

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기