스터디 들으면서 맨날 하는 말이 있다. LLM위키든 온톨로지든 옵시디언이든 개념은 아는데 그래서 어떻게 쓰라는건지를 모르겠다고. 강의 듣고 남들 사례글 봐도 개념만
쌓이고 정작 안 하게 된다. 그래서 이번주는 남들 사례 그만 보고 내 거에 한 번 써보는게 목표였다.
진행 방법 (어떤 도구를 사용했고, 어떻게)
거창한 새 도구를 깔지 않았다. 그냥 내가 이미 돌리고 있는 server.js랑 app/knowledge 폴더를 열어봤다.
열어보니 app/knowledge 폴더에 마크다운이 이미 두 개 있었다. dashboard-finance.md랑 workwith-operations.md. server.js를 보니까 질문이 들어오면 분류해서 그
마크다운을 모델한테 넣어주고 있었다.
질문 → classifyQuestion(question) → 매칭되면 그 카테고리의 .md 불러서 → 프롬프트에 삽입 → 답변
이게 내가 "모르겠다"던 LLM위키였다. 이미 쓰고 있었는데 이름을 몰랐다. 심지어 dashboard-finance.md 안에 "4대보험 미반영 마진율은 참고치로만 안내한다"는 문장이
있었는데, 예전에 손익을 자꾸 부풀려서 내가 직접 고쳐넣은거였다. 한번 해봤는데 까먹고 못한다고 생각하고 있었다.
그래서 이번엔 실제로 한 군데 고쳤다. "어느 현장 적자야" 같은 현장별 손익을 두루뭉술하게 답하길래, dashboard-finance.md에 기준을 적었다.
현장별 손익
특정 현장이 적자인지 흑자인지 물 으면, 그 현장 청구액에서 해당 현장
투입자 인건비(임금 + 4대보험 사업자분 + 퇴직충당)를 뺀 값으로 본다.
본사 간접비가 현장별로 배분되기 전이면 "잠정 적자/흑자"로 표현하고,
전사 기준 손익과 다를 수 있음을 명시한다.
현장 단위 청구액·원가가 데이터에 분리되어 있지 않으면 임의로 나누지
말고, 전사 기준으로만 답한 뒤 한계를 밝힌다.
(캡처 자리 — md 수정한 화면이나, 챗봇 답이 바뀐 화면 한 장)
다음에 같은걸 물으면 이 기준으로 답한다.
결과와 배운 점
내가 "어떻게 쓰냐"고 했던건 뭔가 거창한 세팅이 따로 있는줄 알아서였다. 근데 없었다. 물어보고, 답 이상하면 그 마크다운 한 군데 고치고, 다시 물어보면 반영된다.
이게 쓰는 법의 전부였다. 옵시디언도 폴더에 든 마크다운이고 온톨로지도 그 지식 분류해놓은거고, 결국 텍스트파일에 적는거였다.
(시행착오) 강의랑 남들 사례글 아무리 봐도 개념만 쌓였다. 개념은 봐도 손이 안 움직이더라. 직접 한 줄 고쳐보고 나서야 "아 이거였구나"가 됐다.
(아직 못한거 / 도움 필요) 지금 내 건 SQL 만드는 모델이랑 그걸 고치는 모델이 같다. 자기가 만든걸 자기가 채점하는 꼴이라 그럴듯하게 틀린 답이 그냥 통과될 수 있다.
유피테르님 사례글에서 본 "지식요건해당성 → 정합성 → 확증가능성" 3단계 검증을, 생성 모델이랑 채점 모델 나눠서 붙이는걸 다음에 해보려고 한다. 아직 코드엔 없고
메모만 했다. 혹시 생성/채점 모델 분리해서 검증 게이트 붙여본 분 있으면 어떻게 했는지 듣고 싶다.
도움 받은 글
- 유피테르님, 정보가 지식으로서 LLM Wiki에 편 입되기 위한 3단계 검증 요건
- 이생강님, 칼날 LLM Wiki (분석을 거꾸로 재생성해서 검증하는 방법)
