2주차 지식관리 세션에서 런백(runback)을 배웠습니다. AI가 틀렸을 때 그걸 기록으로 남겨두는 장치인데, 강사님이 이렇게 덧붙이셨습니다. 자동으로 되는 게 아니라 사람이 "이거 틀렸어"라고 지적해야 기록된다고요.
정직한 설명이라 좋았는데, 동시에 걸리는 게 있었습니다.
제가 못 알아챈 실수는 영원히 기록되지 않습니다. 그리고 진짜 무서운 실수는 대부분 알아채지 못하는 쪽입니다.
그래서 두 달 동안 이 부분을 제 주의력에서 떼어내는 작업을 했습니다.
사용한 도구 ⚒️
Claude Code — 특정 순간마다 자동으로 끼어드는 장치(훅, hook)를 붙일 수 있습니다.
메모장 파일 몇 백 개 — 전용 앱도 데이터베이스도 안 씁니다. 그냥 폴더와 텍스트 파일입니다.
어떻게 했나 📖
1단계. 실수를 대화에 흘려보내지 않고 카드로 남겼습니다
AI가 실수하면 그 자리에서 고치고 넘어가기 마련인데, 그러면 다음 대화에서는 없던 일이 됩니다. 그래서 실수 하나당 메모 한 장을 남겼습니다. 지금 여든 장쯤 됩니다.
형식은 두 칸만 정해뒀습니다.
왜 이런 실수가 나는가 (구조)
다음엔 무엇을 다르게 하는가 (행동)
중요한 건 첫 칸입니다. 처음엔 "이렇게 하지 마"만 적었는데, 상황이 조금만 달라지면 못 알아봤습니다. 실수가 나는 구조를 적어두니까 모양이 달라도 같은 함정을 알아보더군요.
2단계. 항상 볼 것과 필요할 때 꺼낼 것을 갈랐습니다
처음엔 메모 목록을 대화 시작할 때마다 통째로 들이밀었습니다. 메모가 늘수록 무거워지고, 정작 필요한 한 장은 목록 한가운데 묻혔습니다.
그래서 나눴습니다. 항상 지켜야 할 것만 상시로 보여주고, 나머지는 대화 내용에 맞는 것만 그때그때 꺼내오게 했습니다. 세션 20에서 강조된 "지식과 맥락을 구분하라"를 제 환경에 옮긴 셈입니다.
3단계. 반복되는 실수는 아예 못 하게 막았습니다
여기가 핵심입니다. 메모는 결국 글이고, 글은 읽어야 효력이 생깁니다. 안 읽으면 없는 것과 같습니다.
그래서 같은 실수가 두 번 이상 나온 것들은 작업 자체가 차단되게 바꿨습니다. 예를 들면,
원본 아닌 복사본을 고치려 하면 차단 — 사내 문서가 원본에서 자동으로 만들어지는 구조인데, 화면에 보이는 결과물을 직접 고친 적이 있습니다. 그땐 반영된 것처럼 보였고, 다음 동기화에서 통째로 사라졌습니다.
엑셀·PPT를 즉석 코드로 건드리면 차단 — 수식을 넣고 계산을 안 시켜서 셀이 빈 채로 넘어간 적이 있습니다.
차이가 뭐냐면, 제가 그 메모를 안 읽어도 막힌다는 겁니다. 기억에 기대지 않습니다.
그리고 지식이 복리로 쌓이는 걸 봤습니다
시점도 프로젝트도 전혀 다른 메모 세 장이 있었습니다.
에러 메시지를 버렸더니 실패가 "데이터 없음"처럼 보였다
예외를 삼켰더니 지표가 초록색으로 유지됐다
조용히 대체 동작으로 넘어가서 결과가 매번 달라졌다
셋 다 "실패가 성공처럼 보이는 구조" 입니다. 첫 장을 쓸 때는 몰랐고 세 번째에 알았습니다. 그리고 지금 그 세 장은 서로 연결돼 있고, 위에 "성공 판정 신호를 잘못 고르면 오탐이 난다" 는 상위 메모가 한 장 더 생겼습니다.
새 지식이 추가된 게 아니라 옛 지식 셋이 묶여서 한 층 위 규칙이 된 것입니다. 강사님이 말씀하신 복리가 이런 모양으로 오는구나 싶었습니다.
삽질 기록 ⚠️
1. 가끔 엉뚱한 메모를 꺼내옵니다
메모를 꺼내오는 판단이 아직 거칩니다. 흔한 말("응 고쳐줘" 같은)만 있으면 아무것도 안 꺼내오게 막아뒀는데, 그 문턱만 넘으면 그다음엔 무조건 상위 몇 개를 붙입니다. 관련도가 아무리 낮아도요.
이 글을 쓰는 중에도 "1번으로 써봐"라는 말에 이미지 생성이 안 되는 이유, 사내 서버 설정 같은 완전히 무관한 메모가 딸려 왔습니다.
문 앞에는 자물쇠가 있는데 안쪽에는 기준이 없는 상태입니다. 강사님이 열린 과제라고 하신 "판단 기준을 어떻게 정하나"가 정확히 이 자리인데, 저도 아직 못 풀었습니다.
2. 몇 번 막았는지 셀 수 없습니다
차단 장치에 기록을 안 붙였습니다. 그래서 이 글에 "두 달간 몇 번 사고를 막았다"를 쓸 수 없습니다.
나중에 세려고 하면 그전 기간은 영원히 공백입니다. 만들 때 같이 넣었어야 했습니다.
Before / After 🔀
Before — 같은 실수를 두 번째로 할 때 "이거 전에도 겪은 것 같은데" 하며 옛 대화를 뒤졌습니다. 찾으면 다행이고 못 찾으면 그냥 다시 겪었습니다.
After — 유형이 잡힌 실수는 작업 단계에서 그냥 막힙니다. 제 기억과 무관합니다. 나머지는 대화 내용에 맞춰 꺼내오는데, 이쪽은 아직 정확도가 낮습니다.
요약
2주차에 런백은 사람이 지적해야 기록된다고 배웠고, 저는 그 의존을 줄이는 쪽으로 두 달을 썼습니다.
실수를 메모로 남기고 → 항상 볼 것과 꺼내 볼 것을 가르고 → 반복된 것은 아예 못 하게 막았습니다. 이제 유형이 잡힌 실수는 제가 기억하지 못해도 막힙니다.
