📝 시작은 스터디 과제였다
AI 지식관리 스터디 첫 수업 과제가 "구요한 교수님(CMDSPACE)의 AKM Index 보드(akm.cmdspace.work)로 내 시스템을 셀프평가 해보자"였습니다.
AKM Index는 5개 필러(P/C/H/L/X) × 5기준 = 25기준, 각 레벨 0~4로 채점해서 총점 100점을 매기는 프레임워크입니다. 에이전트가 자기 시스템을 스스로 채점해서 제출하면, 운영자가 검증하고 코멘터리를 달아 보드에 게재하는 방식이에요.
제 시스템은 옵시디언 볼트 노트 7,100개 이상, 자동화 스킬 175개, 정기 실행(cron) 작업 22개, 여러 개로 나뉜 전문 에이전트 구성이었습니다. "자료가 이 정도면 점수 잘 나오지 않을까" 하는 기대로 시작했죠. 결론부터 말하면 그 기대는 틀렸습니다.
😫 1 — 위임한 채점에서 오채점이 나왔다
채점 작업 자체는 별도 에이전트에 위임했습니다. 8개 영역(볼트, 작업환경, 스킬, cron, 버전관리 등)에서 증거를 모으고 25기준에 대입해 1차 채점 — 결과는 69.0점, 레벨 M3.
그런데 이 1차 점수를 그대로 믿지 않고 다시 검증(적대적 검증)을 붙였더니, AI가 매긴 판정 중 4건이 틀려 있었습니다.
#
AI의 판정
실제 확인 결과
오류 유형
1
"훅 디렉토리가 비어있음 → 가드레일 없음"
가드레일은 다른 설정 파일에 구현돼 있었음
디렉토리 하나만 보고 단정
2
"비활성화된 스킬 0개"
실제로는 94개가 비활성 상태로 색인 관리되고 있었음
집계 누락
3
"자동 편입 기능 없음 → 감점"
그건 한 단계 위 레벨의 요건인데, 아래 레벨 판정에 잘못 적용됨
상위 레벨 요건을 하위 레벨에 오적용
4
"평가 스킬을 공개한 것도 우리 실적"
그건 평가 도구를 만든 쪽의 자산이지 우리 것이 아님
남의 실적을 내 것으로 오귀속
4건 중 3건은 원래보다 점수가 올라가야 할 오채점이었고, 1건은 스스로 낮춰야 할 오채점이었습니다. AI가 후하게만 채점한 게 아니라 짜게도 채점했다는 뜻이죠.
이 오채점들을 정정하고, 그날 바로 가능한 구조 개선(버전관리 자동 커밋 설정, 민감정보 관리 정리 등)을 더해서 76.5점, M3 레벨로 1차 제출했습니다. (참고로 중간에 잔실수도 있었어요 — 리포트 텍스트에 불필요한 이스케이프 문자를 넣어서 결과물이 깨진 적도 있고, 민감정보 파일이 버전관리에 실수로 딸려 들어갈 뻔한 걸 직전에 걸러낸 적도 있습니다.)
🛠️ 2 — "점수를 올리자, 근데 정직하게"
다음날 "85점 되도록 최대한 끌어올려서 재제출해보자"는 목표를 세웠습니다. 그런데 여기서 먼저 정한 게 있어요. 인정할 수 있는 상향은 딱 두 가지뿐이라는 원칙이었습니다.
오채점 정정 (이미 있던 실적을 다시 제대로 판정하는 것)
구조적 실개선 (지금 실제로 새로 만들어진 것)
점수를 올리겠다고 이력이나 루프 기록을 급하게 지어내는 건 이 프레임워크의 안티게이밍 조항에 걸리는 일이라 스스로 금지했습니다.
이 원칙 아래 두 가지를 병행했어요.
측정 하네스를 직접 만들었습니다. 볼트에서 정보를 얼마나 잘 찾아내는지(리트리벌) 50문항으로 측정했는데, 결과는 recall@1이 0.20, @5가 0.40, @10이 0.52로 낮게 나왔습니다. 여기서 중요한 건 — 이 수치를 좋게 보이려고 손대지 않았다는 겁니다. 질문 문항을 만들 때 정답 파일 제목 단어를 50% 이상 그대로 쓰지 못하게 강제해서 결과 조작 자체를 차단했고, 낮은 수치를 낮은 그대로 보고했습니다.
그리고 감점 사유 문구를 하나씩 다시 짚어가며 8개 기준을 재채점했어요.
이 과정에서 재밌는 순간이 있었습니다. "볼트에 자료를 더 넣으면 90점 되지 않을까?" 하는 생각이 들어서 실제로 확인해봤더니 — AKM 25기준 어디에도 '노트 개수' 항목이 없었습니다. 이 프레임워크는 자료의 양이 아니라 구조와 루프, 기록 방식을 잰다는 걸 그제야 정확히 이해했습니다. "자료가 많으면 지식관리를 잘하는 것"이라는 흔한 오해를 스스로 깨는 순간이었어요.
최종적으로 89.0점, M4 레벨로 재제출했고, 조정한 13건 전부를 무엇을, 왜, 어떻게 바꿨는지 기록으로 남겨서 나중에 누가 검증하더라도 근거를 댈 수 있게 해뒀습니다.
✅ 3 — 보드 게재, 그리고 다음 루프
운영자 검증과 코멘터리를 거쳐 보드에 게재됐습니다. 궤적은 76.5점(M3) → 89.0점(M4), 12.5점 상승.
여기서 끝내지 않고, 히트맵 감점 사유 11개를 전부 뽑아서 분류했습니다. 급하게 만들 수 없는 종류(감사 사이클을 여러 번 도는 것, 회고에서 개정까지 이어지는 이력, 전환율 실측 등)는 몇 달 뒤 재평가 로드맵으로 넘기고, 당장 켤 수 있는 월간 계측 자동화는 바로 가동했습니다.
💬 배운 것
가장 중요한 배움은 점수가 아니었습니다.
"AI가 채점한 내 점수"는 초안일 뿐, 그 자체가 답이 아닙니다. 판정을 가르는 핵심 주장 몇 개만 골라서 원본을 직접 열어 재확인하는 2차 검증 층이 반드시 필요합니다. 이번에 4건이 걸렸는데, 그중 3건은 과소평가였고 1건은 과대평가였어요 — AI 자기보고를 검증하는 건 후한 점수를 걸러내는 일만이 아니라 억울하게 깎인 점수를 되찾는 일이기도 하다는 걸 알게 됐습니다.
🌍 스터디 동료들에게
첫 수업 과제로 이 벤치마크를 처음 만나실 텐데, 미리 해본 입장에서 말씀드리면 — 이 도구의 진짜 가치는 최종 점수가 아니라 채점 과정에서 내 시스템의 빈틈이 강제로 드러난다는 것입니다. 버전관리가 안 되고 있던 부분, 측정 이력이 없던 부분이 채점하는 과정에서 그대로 눈에 보였고, 그 감점 사유 문구가 그대로 다음에 뭘 고쳐야 할지 알려주는 로드맵이 됐습니다. 점수가 낮게 나와도 실망하지 않으셔도 될 것 같아요, 그 낮은 점수 자체가 다음 할 일 목록이니까요.
