AI로 Linear 자동화를 만들며 배운 것: 코드보다 오래 걸린 세 번의 검수
2026.11.12
코드를 최대한 많이 쓰라고 했더니, 사람이 읽기 어려운 보고서가 나왔습니다. 클로드 코드(Claude Code)와 코덱스(Codex)로 Linear 자동화를 만들며 가상의 3주 운영과 사람 검수를 세 번 반복했어요. 제 체감으로는 구현보다 Eval에 시간이 더 들었습니다.
코드는 늘었는데, 보고서는 읽기 어려워졌어요
팀원이 지난주 업무를 알려주면 AI가 Linear에 성과와 다음 계획을 작성하는 oob-linear 스킬을 만들고 있어요.
기준은 OOB라는 팀 운영 문서입니다. 목표를 정하고, 어떤 일을 할지 고르고, 예상 성과·실제 성과·비용을 비교하는 방법을 담았어요. 스킬은 이 문서에 맞춰 목표와 프로젝트, 주간 기록을 작성합니다.
저는 지피터스를 운영하는 지니파이 대표 김태현입니다.
처음에는 가능한 부분을 코드로 많이 만들자고 했어요. AI는 문구를 조립하고 숫자를 이어 붙이는 작업까지 코드로 작성했습니다.
그 결과 보고서에는 비용만1회요약 같은 문구가 들어갔어요. 여러 핵심 결과(KR)의 예상과 실제를 한 줄에 붙이고, 날짜·담당·관찰 정보를 매주 반복하기도 했습니다.

숫자가 빠짐없이 들어가도 지난주에 무슨 일을 했는지 읽기 어려웠어요. 코드가 만들어 낸 문장을 제가 다시 읽고 고쳐야 했습니다.
가상의 3주를 세 번 돌리니, 고칠 것이 계속 늘었어요
가상 업무 보고를 만들고 AI에게 실제 스킬을 실행하게 했어요. Linear에 목표·프로젝트를 만들고, 주별 결과와 다음 계획을 저장하게 했습니다. 저는 결과를 읽고 OOB 문서와 맞는지 봤어요.
이 과정을 세 번 반복했습니다. 여기서 Eval은 테스트 코드 실행뿐 아니라, 사람이 결과를 보고 업무에 맞는지 판단하는 작업까지 포함해요.

해보니 OOB 문서 자체에 빠진 기준과 충돌하는 내용이 많았습니다. 한 부분을 고치면 다른 예시도 바꿔야 했고, 실제로 운영해야 드러나는 예외도 나왔어요.
직접 기여하지 않아도 먼저 해야 하는 일이 있었어요
어떤 프로젝트는 KR을 직접 올리지 않아도, 다른 프로젝트를 진행하기 위해 꼭 필요할 수 있잖아요. 그런데 기여가 0으로 보이니 다음 주 할 일에서 우선순위가 밀렸어요.
준비 작업이 어느 프로젝트를 가능하게 하는지 연결하고, 두 작업의 비용을 함께 비교하도록 고쳤습니다. 준비 작업에 성과를 따로 붙여 같은 결과를 두 번 세지 않게 했어요.
여러 KR의 기여를 어떻게 비교할지도 정해야 했어요
한 프로젝트가 매출과 문의 수에 함께 기여하면 어느 쪽을 기준으로 골라야 할까요? 서로 단위가 다른 값을 한 점수로 더할 수는 없었습니다.
KR마다 목표까지 남은 격차를 보고, 그 격차를 메우는 프로젝트 조합을 고르게 했어요. 표가 넓어지자 효율과 기여값을 한 칸에 함께 쓰는 형식도 만들었습니다.
주중에 일이 바뀌면 예상 비용도 바뀌어야 했어요
처음 OOB 문서는 계획을 세운 뒤 예상값을 고치지 못하게 했습니다. 결과를 보고 예측을 맞춰 버리지 않으려는 규칙이었어요.
그런데 스프린트 도중 급한 일이 생기거나 프로젝트를 추가·제외하면 실제로 할 일과 투입할 비용이 바뀝니다. 이때도 예상을 고정하면 현재 계획을 제대로 보여주지 못했어요.
그래서 실행이 바뀌면 예상값을 고치고 변경일·값·이유를 남기도록 문서를 바꿨습니다. 실행은 같은데 전망만 달라지면 최초 예상은 유지하고 새 전망을 따로 적기로 했어요.
이런 기준을 정하고 다시 시험하는 데 시간이 들었습니다. 오류를 고치는 동안 제가 원하는 업무 방식도 더 구체적으로 정하고 있었어요.

가상 보고에는 답이 있었지만, 실제 업무 자료는 흩어져 있었어요
가상 시나리오에서는 AI에게 지난주에 한 일과 결과를 바로 줄 수 있었습니다. 별도로 자료를 찾지 않아도 주간 기록을 만들었어요.
실제 팀원이 쓸 때는 달랐습니다. Slack 대화, Notion 문서, Linear 기록, b2b-erp의 업무 데이터를 가져와야 했어요. b2b-erp는 회사의 영업·교육 업무를 기록하는 시스템입니다.

그래서 자료를 모으고, 어떤 프로젝트의 근거인지 확인하고, 빠진 내용은 담당자에게 묻는 단계를 추가 구현했습니다.
한 일과 성과물, KR에 기여한 값도 나눠 봐야 했어요. 일을 많이 했다는 기록이 곧 목표에 기여했다는 근거는 아니니까요. 2026년 11월 13일 현재 구현을 보완했고, 실제 팀원 업무로 수집 품질을 확인할 일이 남았습니다.
기획 문서는 손으로 고치기보다, 전체 일관성을 함께 봐야 했어요
기획 문서를 정말 꼼꼼히 만들어야겠다고 느꼈습니다. AI가 구현을 빨리 해주니 기획의 빈칸도 빨리 드러났어요.
중간에는 제가 Notion 문서를 손으로 고쳤습니다. 원하는 예시 한 곳을 바꾸고 보니 다른 장의 규칙과 충돌하거나, 지웠던 설명이 뒤에 남아 있었어요.
이런 수정은 에이전트에게 맡기고 관련 규칙과 예시를 함께 점검하게 했어야 했습니다. 긴 문서는 한 문장을 잘 고치는 것만으로 일관성이 유지되지 않더라고요.
가독성도 별도 작업이었습니다. 내용을 맞추고 나서도 문장을 어떻게 쓰고, 불릿을 어디서 끊고, 어느 설명을 하위로 내릴지 계속 고쳤어요. 테이블이 넓어지면 정보를 유지하면서 칼럼을 줄이는 방법도 찾아야 했습니다.
이 기준은 이번 스킬에만 필요한 것이 아니에요. 다음 자동화를 만들 때도 다시 쓸 수 있도록 문장·불릿·표의 작성 기준과 예시를 남겨야겠다고 생각했습니다.
컨텍스트를 알면, AI가 저보다 판단을 잘하는 것 같았어요
가상 운영을 보면서는 AI의 판단이 꽤 좋다고 느꼈습니다. 어떤 프로젝트를 계속하고, 무엇을 멈추고, 다음에 무엇을 할지 판단하는 모습을 봤어요.
AI CEO가 저보다 훨 나은 것 같다는 생각도 들었습니다. 컨텍스트만 제대로 다 안다면요.
그래서 AI-Native에서는 메모리 관리가 큰 축이라는 생각이 더 들었어요. 목표와 판단 기준, 이전 결정과 그 이유를 다음 작업에서도 제대로 알고 있어야 하니까요.
바이브 코딩을 제대로 다시 배우고 싶어졌어요
구현은 쉬웠고 Eval은 더 오래 걸렸습니다. 적어도 이번 작업에서 제가 느낀 건 그랬어요.
예전에 사람과 티키타카하듯 AI와 대화하고, 원하는 결과가 나올 때까지 다시 시키던 방식으로 복잡한 로직을 만들려니 시간이 더 걸린 것 같습니다. 바이브 코딩을 제대로 배우고 싶어졌어요. ㅜ
다음에는 구현을 시작하기 전에 더 준비하려 합니다.
상세한 기획과 예시를 쓰고 누락·충돌을 먼저 찾기
결과를 검증할 검사기와 평가 기준을 미리 준비하기
구현·검수 등 필요한 부분에 여러 모델을 써서 서로 보완하기
코드를 더 빨리 만드는 법과 함께, 제가 결과를 읽고 평가하는 시간을 줄이는 법도 배우고 싶습니다.
앞으로는 인간이 참여하는 루프를 완성하려고 해요
이니셔티브와 프로젝트를 업데이트하는 스킬을 개인이 매번 실행할 필요가 있을까요? 팀 단위로 매주 자동 실행하고, 빠지거나 잘못된 부분을 사람이 수정하는 방식으로 운영하려고 합니다.
팀에서 매주 자동으로 업데이트하기
이니셔티브와 프로젝트의 주간 기록을 자동으로 작성하고, 사람이 결과를 읽고 보완해요.사람의 수정 내용을 모아 스킬 고치기
어떤 데이터 소스를 더 활용해야 하는지, 어떤 예외를 처리하지 못했는지 찾아 스킬에 반영하려고 해요.매주 자체 평가와 검증하기
스킬을 고친 뒤 이전에 잘되던 결과가 나빠지는 회귀(regression)가 없는지 확인하는 검사를 추가할 계획입니다.
자가 개선까지는 아니지만, 사람의 피드백으로 계속 개선되는 루프를 만들고 싶습니다. 이전에 잘하던 일도 유지하는지 확인하면서요.
로그인하고 댓글을 남겨 주세요
구현보다 Eval에 시간이 더 든다는 거 정말 공감합니다.. 저도 ERP에 한 일은 열심히 남기는데 그게 어느 KR에 기여했는지는 한 번도 적은 적이 없더라고요 ㅎㅎ 실제 팀원 업무로 수집 품질 확인하실 때 제 기록은 얼마나 잡히는지도 궁금하네요 !
우리 회사에도 이런 자동화를 도입하고 싶다면
회사 업무에 맞춘 AI 교육을 함께 설계해요.




AI CEO가 사내 에이전트들을 주도해서 관리하는 것도 해볼만한 시도인 것 같습니다. 물론 맥락의 문제가 계속 남아있지만요ㅎㅎ