런백 자동화 적용기
2026.08.06
2주차 지식관리 세션에서 런백(runback)을 배웠습니다. AI가 틀렸을 때 그걸 기록으로 남겨두는 장치인데, 강사님이 이렇게 덧붙이셨습니다. 자동으로 되는 게 아니라 사람이 "이거 틀렸어"라고 지적해야 기록된다고요.
정직한 설명이라 좋았는데, 동시에 걸리는 게 있었습니다.
제가 못 알아챈 실수는 영원히 기록되지 않습니다. 그리고 진짜 무서운 실수는 대부분 알아채지 못하는 쪽입니다.
그래서 두 달 동안 이 부분을 제 주의력에서 떼어내는 작업을 했습니다.
사용한 도구 ⚒️
Claude Code — 특정 순간마다 자동으로 끼어드는 장치(훅, hook)를 붙일 수 있습니다.
메모장 파일 몇 백 개 — 전용 앱도 데이터베이스도 안 씁니다. 그냥 폴더와 텍스트 파일입니다.
어떻게 했나 📖
1단계. 실수를 대화에 흘려보내지 않고 카드로 남겼습니다
AI가 실수하면 그 자리에서 고치고 넘어가기 마련인데, 그러면 다음 대화에서는 없던 일이 됩니다. 그래서 실수 하나당 메모 한 장을 남겼습니다. 지금 여든 장쯤 됩니다.
형식은 두 칸만 정해뒀습니다.
왜 이런 실수가 나는가 (구조)
다음엔 무엇을 다르게 하는가 (행동)
중요한 건 첫 칸입니다. 처음엔 "이렇게 하지 마"만 적었는데, 상황이 조금만 달라지면 못 알아봤습니다. 실수가 나는 구조를 적어두니까 모양이 달라도 같은 함정을 알아보더군요.
2단계. 항상 볼 것과 필요할 때 꺼낼 것을 갈랐습니다
처음엔 메모 목록을 대화 시작할 때마다 통째로 들이밀었습니다. 메모가 늘수록 무거워지고, 정작 필요한 한 장은 목록 한가운데 묻혔습니다.
그래서 나눴습니다. 항상 지켜야 할 것만 상시로 보여주고, 나머지는 대화 내용에 맞는 것만 그때그때 꺼내오게 했습니다. 세션 20에서 강조된 "지식과 맥락을 구분하라"를 제 환경에 옮긴 셈입니다.
3단계. 반복되는 실수는 아예 못 하게 막았습니다
여기가 핵심입니다. 메모는 결국 글이고, 글은 읽어야 효력이 생깁니다. 안 읽으면 없는 것과 같습니다.
그래서 같은 실수가 두 번 이상 나온 것들은 작업 자체가 차단되게 바꿨습니다. 예를 들면,
원본 아닌 복사본을 고치려 하면 차단 — 사내 문서가 원본에서 자동으로 만들어지는 구조인데, 화면에 보이는 결과물을 직접 고친 적이 있습니다. 그땐 반영된 것처럼 보였고, 다음 동기화에서 통째로 사라졌습니다.
엑셀·PPT를 즉석 코드로 건드리면 차단 — 수식을 넣고 계산을 안 시켜서 셀이 빈 채로 넘어간 적이 있습니다.
차이가 뭐냐면, 제가 그 메모를 안 읽어도 막힌다는 겁니다. 기억에 기대지 않습니다.
그리고 지식이 복리로 쌓이는 걸 봤습니다
시점도 프로젝트도 전혀 다른 메모 세 장이 있었습니다.
에러 메시지를 버렸더니 실패가 "데이터 없음"처럼 보였다
예외를 삼켰더니 지표가 초록색으로 유지됐다
조용히 대체 동작으로 넘어가서 결과가 매번 달라졌다
셋 다 "실패가 성공처럼 보이는 구조" 입니다. 첫 장을 쓸 때는 몰랐고 세 번째에 알았습니다. 그리고 지금 그 세 장은 서로 연결돼 있고, 위에 "성공 판정 신호를 잘못 고르면 오탐이 난다" 는 상위 메모가 한 장 더 생겼습니다.
새 지식이 추가된 게 아니라 옛 지식 셋이 묶여서 한 층 위 규칙이 된 것입니다. 강사님이 말씀하신 복리가 이런 모양으로 오는구나 싶었습니다.
삽질 기록 ⚠️
1. 가끔 엉뚱한 메모를 꺼내옵니다
메모를 꺼내오는 판단이 아직 거칩니다. 흔한 말("응 고쳐줘" 같은)만 있으면 아무것도 안 꺼내오게 막아뒀는데, 그 문턱만 넘으면 그다음엔 무조건 상위 몇 개를 붙입니다. 관련도가 아무리 낮아도요.
이 글을 쓰는 중에도 "1번으로 써봐"라는 말에 이미지 생성이 안 되는 이유, 사내 서버 설정 같은 완전히 무관한 메모가 딸려 왔습니다.
문 앞에는 자물쇠가 있는데 안쪽에는 기준이 없는 상태입니다. 강사님이 열린 과제라고 하신 "판단 기준을 어떻게 정하나"가 정확히 이 자리인데, 저도 아직 못 풀었습니다.
2. 몇 번 막았는지 셀 수 없습니다
차단 장치에 기록을 안 붙였습니다. 그래서 이 글에 "두 달간 몇 번 사고를 막았다"를 쓸 수 없습니다.
나중에 세려고 하면 그전 기간은 영원히 공백입니다. 만들 때 같이 넣었어야 했습니다.
Before / After 🔀
Before — 같은 실수를 두 번째로 할 때 "이거 전에도 겪은 것 같은데" 하며 옛 대화를 뒤졌습니다. 찾으면 다행이고 못 찾으면 그냥 다시 겪었습니다.
After — 유형이 잡힌 실수는 작업 단계에서 그냥 막힙니다. 제 기억과 무관합니다. 나머지는 대화 내용에 맞춰 꺼내오는데, 이쪽은 아직 정확도가 낮습니다.
요약
2주차에 런백은 사람이 지적해야 기록된다고 배웠고, 저는 그 의존을 줄이는 쪽으로 두 달을 썼습니다.
실수를 메모로 남기고 → 항상 볼 것과 꺼내 볼 것을 가르고 → 반복된 것은 아예 못 하게 막았습니다. 이제 유형이 잡힌 실수는 제가 기억하지 못해도 막힙니다.
로그인하고 댓글을 남겨 주세요
에러 메시지 폐기, 예외 삼킴, 조용한 대체 동작을 한데 놓으니 모두 실패를 성공처럼 보이게 하는 일이었습니다. 실수 이름만 외우는 대신 공통 원인을 남기니, 비슷한 일이 두 번 나오면 작업 자체를 막는 기준도 생겼겠지요. 이 차단이 처음 사고를 막아 낸 기록이 궁금해집니다.
런백을 배우고 나서 멈추지 않고, 그 장치가 사람의 주의력에 의존한다는 점까지 파고드신 흐름이 눈에 띄었습니다. 못 알아챈 실수는 영원히 기록되지 않고, 진짜 무서운 실수는 대부분 알아채지 못하는 쪽이라는 문장이 이 글 전체의 출발점을 잘 잡아주는 것 같습니다. 거기서 두 달을 그 의존을 줄이는 작업에 쓰셨다는 점이 이 글의 무게라고 느꼈습니다.
메모 형식을 왜 이런 실수가 나는가(구조)와 다음엔 무엇을 다르게 하는가(행동) 두 칸으로만 정하신 점, 그리고 처음엔 하지 말라는 지시만 적었더니 상황이 조금 달라지면 못 알아봤다는 회고가 특히 참고가 됐습니다. 구조를 적어두면 모양이 달라도 같은 함정을 알아본다는 관찰은 여든 장을 직접 쌓아본 분만 쓸 수 있는 이야기 같습니다.
2단계의 상시로 볼 것과 필요할 때 꺼낼 것을 가른 결정에도 공감합니다. 목록을 통째로 들이밀면 무거워지기만 하고 정작 필요한 한 장이 가운데 묻힌다는 지적, 그리고 세션에서 배운 지식과 맥락의 구분을 본인 환경으로 옮겼다는 설명이 명확했습니다. 3단계에서 두 번 이상 반복된 실수는 읽지 않아도 작업 자체가 막히게 바꾸셨다는 부분이 이 글의 핵심으로 보였습니다. 원본이 아닌 복사본을 고쳐서 다음 동기화에 통째로 사라진 일, 수식만 넣고 계산을 시키지 않아 셀이 빈 채로 넘어간 일처럼 실제 사례가 붙어 있어 설득력 있었습니다.
복리를 설명하신 대목이 가장 인상 깊었습니다. 에러 메시지를 버려서 실패가 데이터 없음처럼 보인 일, 예외를 삼켜 지표가 초록색으로 유지된 일, 조용히 대체 동작으로 넘어가 결과가 매번 달라진 일. 시점도 프로젝트도 다른 세 장이 "실패가 성공처럼 보이는 구조"로 묶이고, 그 위에 성공 판정 신호를 잘못 고르면 오탐이 난다는 상위 메모가 한 장 더 생겼다는 전개가 좋았습니다. 새 지식이 늘어난 게 아니라 옛 지식 셋이 한 층 위로 올라갔다는 정의가 복리를 가장 잘 설명해 주는 것 같습니다.
삽질 기록을 덮지 않으신 것도 좋았습니다. 문턱만 넘으면 관련도와 무관하게 상위 몇 개를 붙인다는 점, 글을 쓰는 중에도 무관한 메모가 딸려 왔다는 실황, 문 앞에는 자물쇠가 있는데 안쪽에는 기준이 없다는 비유가 꺼내오기 정확도 문제를 정확히 요약해 줍니다. 차단 장치에 기록을 붙이지 않아 두 달치가 공백으로 남았다는 반성은 저도 바로 적어둘 만한 교훈이었습니다. 판단 기준을 어떻게 정할지에 대한 답과 차단 횟수 로그가 붙은 다음 편을 기대하며 응원하겠습니다!


실수를 기록하는 데서 끝내지 않고, 반복되는 실수는 아예 못 하게 막아버린다는 부분에서 무릎을 탁! 쳤습니다.
특히 실수의 ‘결과’가 아니라 왜 이런 실수가 생기는지 구조를 기록해야 비슷한 함정을 다시 알아볼 수 있다는 부분도 정말 와닿았어요.
서로 다른 실패 기록들이 연결되면서 한 단계 위의 규칙으로 발전하는 과정이 바로 ‘지식의 복리’구나 싶네요.
저도 하나씩 적용해 보면서 제 시스템을 더 단단하게 키워봐야겠습니다. 덕분에 오늘도 한 수 배워갑니다~