AI workflow를 개선할 때, 먼저 “무엇이 반복되는가”부터 기록한 이유
2026.08.12
한 줄 결론
AI workflow를 고칠 때는 바로 손대기보다, 먼저 무엇이 반복되는지 기록하고 작은 Patch 하나만 같은 기준으로 확인하는 편이 안전합니다.
이번에 남긴 것은 큰 기능이 아닙니다. 완료된 기록을 다시 읽어 반복 신호를 찾고, 기존 연구 내용은 건드리지 않은 채 다음 실행에서도 쓸 수 있는 strict 기준선 하나를 만들었습니다.
PASS라는 말만으로는 부족했던 이유
Research Navigator에는 처음부터 여러 검증 장치가 있었습니다.
Proof: 검증한 뒤 산출물이 바뀌지 않았는지 확인하는 기록
Gate: 사람이 승인한 행동 범위와 입력을 묶어 두는 장치
Snapshot: 마지막으로 정상이라고 확인한 상태를 남기는 장치
Validator: 산출물 구조가 약속한 형식을 지키는지 검사하는 도구
이런 장치가 있으면 workflow는 안전해 보입니다. 테스트가 통과하고, 기록이 완료 상태라면 더더욱 그렇습니다.
그런데 완료된 기록을 다시 확인했을 때 조금 다른 장면이 보였습니다. 기존 legacy run 두 개는 필수 산출물이 있어서 validator상 ok: true였습니다. 다만 최신 strict Artifact Contract 1.1이 요구하는 JSON envelope 메타데이터는 빠져 있었고, 그에 따른 경고가 두 run에서 공통으로 나왔습니다.
이 차이는 작아 보이지만 중요합니다.
“기존 기록이 정상적으로 끝났다”와
“현재 strict 기준으로도 증거가 완전하다”는
같은 말이 아니기 때문입니다.
기존 기록을 부정할 이유는 없었습니다. 그 기록은 당시의 규칙과 증거 안에서 완료된 legacy 기록입니다. 그렇다고 나중에 Proof나 새 메타데이터를 덧붙여서 과거가 처음부터 strict run이었던 것처럼 보이게 만드는 것도 적절하지 않았습니다.
그래서 질문을 바꿨습니다.
과거 기록을 고칠 것인가가 아니라, 지금의 strict 규칙으로 최소 정상 경로를 새로 한 번 증명할 수 있는가?
이 질문이 이번 기본과제의 출발점이었습니다.
사람은 문제를 고르고, AI는 근거를 대조했다
AI에게 “경고를 다 없애 줘”라고 말하는 건 쉽습니다. 대신 범위가 흐려집니다. 기존 run을 바꿔야 하는지, 새 규칙만 확인하면 되는지, 연구자료를 다시 읽어야 하는지까지 한 요청 안에 섞이기 때문입니다.
이번에는 역할을 분명히 나눴습니다.
사람이 결정한 것
사람이 먼저 정한 것은 세 가지였습니다.
무엇을 보존할 것인가
기존 legacy run과 연구계획을 수정하지 않는다.
과거 기록을 새 형식처럼 포장하지 않는다.
이번에 하지 않을 일은 무엇인가
연구 원자료를 읽지 않는다.
외부 검색, 전송, 연락, 예약, 결제, 제출을 하지 않는다.
ingestion 다음 단계인 profile을 임의로 완료시키지 않는다.
어디까지를 성공으로 볼 것인가
strict 형식의
manifest.json하나가 contract를 지킨다.Proof, scoped approval, Snapshot, validator가 같은 입력에 대해 실제로 통과한다.
다음 실행 때 똑같이 확인할 수 있는 Repeat 장치를 남긴다.
AI가 맡은 것
AI는 이 경계 안에서 실제 상태를 읽고 비교했습니다.
완료된 legacy run 두 개의 validator 결과를 확인
반복되는 strict contract 경고를 Log로 정리
문제를
RN-STRICT-001Backlog 카드로 구조화새 strict run을 만들고 metadata-only manifest 작성
proof, gate, snapshot, validator를 순서대로 실행
Before/After와 다음 실행용 Repeat 기준을 파일로 기록
AI가 많은 것을 스스로 판단한 것처럼 보일 수 있습니다. 실제로는 사람이 정한 범위·금지 사항·성공 기준 안에서 증거를 모으고 확인했습니다.
AI는 빠르게 실행할 수 있습니다. 그래도 어떤 기록을 보존할지, 어디까지를 이번 작업의 끝으로 볼지는 사람이 정합니다.
강의의 여섯 질문을 실제 작업으로 옮기다
이번 작업은 강의에서 제시한 기본과제 구조를 그대로 따랐습니다.
Log → Backlog → Review → Patch → Verify → Repeat
이 여섯 단어는 단순한 순서표가 아닙니다. 개선이 감이나 기분으로 끝나지 않도록 만드는 질문입니다.
단계 | 이번에 던진 질문 | 실제로 한 일 |
|---|---|---|
Log | 무엇이 반복됐는가? | 두 legacy run에서 strict metadata 경고가 반복되는지 확인 |
Backlog | 그중 무엇을 고칠 가치가 있는가? |
|
Review | 이번에는 무엇을 고칠 것인가? | strict ingestion 최소 기준선만 만들기로 범위 제한 |
Patch | 어떻게 바꿀 것인가? | 새 strict run과 metadata-only manifest 생성 |
Verify | 정말 나아졌는가? | 같은 validator 기준으로 Before/After 비교 |
Repeat | 다음에도 유지되는가? | 다음 strict ingestion용 명령·합격 기준·복구 경로 기록 |
1. Log: 무엇이 반복됐는가
먼저 완료된 run을 읽기 전용으로 확인했습니다. 둘 다 validator 오류는 없었지만, strict 형식에서 요구하는 메타데이터 관련 경고가 반복됐습니다.
이 단계에서 바로 고치지 않은 이유가 있습니다. 어떤 경고는 단순한 출력 문제일 수 있고, 어떤 경고는 오래된 기록을 보존해야 한다는 신호일 수도 있기 때문입니다. Log는 해결책을 적는 곳이 아니라, 무슨 일이 반복되고 있는지 사실로 남기는 곳입니다.
2. Backlog: 무엇을 고칠 가치가 있는가
반복 신호는 RN-STRICT-001 카드가 됐습니다.
카드에 적은 핵심은 다음과 같습니다.
legacy run은 통과로 읽히지만 strict 1.1 기준선은 현재 산출물만으로 증명되지 않는다.
이 문제를 해결하려고 기존 기록을 바꾸면 과거 실행 사실이 달라질 수 있다.
대신 새 strict run에서 최소 정상 경로를 증명하면, 기존 기록을 보존하면서도 다음 기준을 만들 수 있다.
Backlog가 필요한 이유는 “뭔가 찜찜하다”를 바로 수정으로 연결하지 않기 위해서입니다. 문제의 출처, 영향, 해결 후보, 되돌릴 수 있는 범위를 분리해 두면 다음 단계에서 과한 Patch를 피할 수 있습니다.
3. Review: 이번에는 어디까지 할 것인가
Review 단계에서는 이번 Patch의 크기를 의도적으로 줄였습니다.
기존 연구계획과 legacy run은 수정하지 않는다.
연구 원자료를 읽지 않는다.
외부 검색과 전송을 하지 않는다.
ingestion 한 단계에서 strict contract, proof, approval, snapshot을 확인한다.
이 제한은 일을 덜 하려는 선택이 아닙니다. 무엇이 좋아졌는지 분명하게 보려는 선택입니다.
연구자료를 다시 읽고 profile까지 만들었다면, validator 경고가 사라진 이유가 새 자료 때문인지 새 contract 때문인지, 아니면 profile 생성 과정에서 형식이 우연히 보완됐기 때문인지 알기 어렵습니다. metadata-only ingestion만 다루면 검증 대상이 선명해집니다.
고친 것은 연구 내용이 아니라 확인 방식이었다
새 strict run에는 연구 사실을 담지 않았습니다. metadata-only manifest.json 하나만 넣었습니다. 이 파일은 실제 연구 자료 목록이 아니라, strict Artifact Contract 1.1이 요구하는 구조를 지키는 최소 ingestion 산출물입니다.
그 다음 다음 순서로 진행했습니다.
strict manifest
→ proof create / verify
→ scoped approval
→ ingestion advance
→ snapshot
Proof: 파일이 바뀌지 않았다는 확인
Proof는 “이 파일을 검증했다”는 말만 남기지 않습니다. 검증 시점의 파일 hash를 기록합니다. 나중에 파일 내용이 바뀌면 같은 proof로는 통과할 수 없습니다.
여기서 hash는 파일의 내용 지문입니다. 이번 작업에서는 manifest.json의 SHA-256 값을 기록했고, 이후 live manifest와 snapshot manifest의 지문이 같은지 확인했습니다. 지문이 같다는 것은 두 파일의 내용이 바이트 단위로 동일하다는 뜻입니다.
Scoped approval: 승인도 범위를 가져야 한다
승인은 “계속 진행해도 된다”는 넓은 허가가 아니라, 어떤 입력을 대상으로 어떤 행동만 허용하는지 남기는 기록으로 다뤘습니다.
이번 approval은 새 strict run 안에서 다음만 허용했습니다.
manifest contract 검증
proof와 snapshot 생성
ingestion을 다음 상태로 전환
반대로 다음 행동은 명시적으로 제외했습니다.
연구 원자료 읽기
외부 모델 호출과 외부 검색
업로드·전송
연락·예약·결제·제출
이렇게 승인 범위를 좁히면, 이전 단계에서 받은 허가가 다음 단계의 다른 행동까지 자동으로 덮는 일을 막을 수 있습니다.
Snapshot: 마지막 정상 상태를 남기다
ingestion을 완료한 뒤에는 last-known-good snapshot이 생성됐습니다. 이는 문제가 생기면 무조건 되돌린다는 뜻은 아닙니다. 무엇이 정상 상태였는지, 현재 상태와 어떤 차이가 있는지 비교할 기준을 남긴다는 뜻입니다.
이번에는 snapshot을 복원하지 않았습니다. 단지 snapshot의 manifest와 live manifest가 같은 SHA-256 값을 갖는지 확인했습니다. 즉, “되돌릴 준비”보다 먼저 “정상 상태가 무엇이었는지”를 증명한 것입니다.
같은 입력으로 다시 비교했다
Patch 뒤에는 새로운 설명을 덧붙이거나 기준을 낮추지 않았습니다. 처음과 같은 validator 기준으로 legacy run과 새 strict baseline을 비교했습니다.
구분 | 관측 결과 |
|---|---|
기존 legacy 기록 | validator 통과, strict 형식 경고 다수 |
새 strict 기준선 |
|
Proof | manifest hash 검증 통과 |
Gate | 승인 범위와 입력 fingerprint 검증 통과 |
Snapshot | 마지막 정상 상태와 현재 manifest hash 일치 |
또한 변경 범위만 확인하는 임시 verifier를 따로 실행했습니다. 이 verifier는 다음을 점검했습니다.
strict envelope 필수 필드 존재
strict run 상태와 ingestion 완료 상태
scoped approval의 입력 범위
proof에 기록된 manifest hash
snapshot manifest와 live manifest의 hash 일치
이 검증은 전체 프로젝트 테스트 스위트가 아닙니다. 이번 strict ingestion manifest와 그 주변 증거가 서로 맞물리는지 확인한 ad-hoc 검증입니다. 그래서 전체 시스템까지 검증됐다고 쓰지 않고, 확인한 범위만 남겼습니다.
Repeat: 다음에도 같은 방식으로 확인할 수 있어야 한다
한 번 잘 됐다는 기록만 남기면 다음 실행에서는 다시 감으로 판단하게 됩니다. 그래서 이번 작업에서 가장 오래 남는 결과는 새 run 자체보다 Repeat 장치입니다.
다음 strict ingestion을 실행하기 전에는 아래 순서를 다시 확인하도록 기록했습니다.
python3 "$S/rn_validate.py" "$RUN_DIR"
python3 "$S/rn_proof.py" create "$RUN_DIR" --stage ingestion
python3 "$S/rn_proof.py" verify "$RUN_DIR" --stage ingestion
python3 "$S/rn_state.py" check-gate "$RUN_DIR" material_scope
그리고 합격 기준도 함께 남겼습니다.
validator는
strict: true, errors/warnings 없음proof verify는 통과
material scope gate는 현재 입력 fingerprint와 일치
이 조건을 만족한 뒤에만 ingestion을 다음 단계로 전환
실패했을 때의 경로도 작게 유지합니다.
실패 신호 | 돌아갈 owner | 다음 행동 |
|---|---|---|
envelope 필드 누락 |
|
|
approval scope stale | Human Gate | 범위와 입력을 다시 검토하고 새 승인 |
proof hash 불일치 |
| manifest 확정 뒤 새 proof 생성 |
이후 stage의 문서가 불완전 | 해당 stage owner | downstream을 임의로 보정하지 않고 원인 stage부터 재검증 |
핵심은 경고를 보이지 않게 만드는 것이 아닙니다. 다음에도 같은 문제를 만나면 어디로 돌아가서 무엇을 다시 확인해야 하는지를 남기는 것입니다.
이번에 확인한 운영 원칙
1. PASS와 경고 없음은 다르다
통과한 기록이라도, 어떤 기준에서 통과했는지 분리해 읽어야 합니다. legacy run의 완료와 strict run의 완료는 같은 이름을 쓴다고 해서 같은 증거를 뜻하지 않습니다.
2. 작은 Patch가 판단을 선명하게 한다
연구 내용, 문서 형식, 외부 검색, 다음 stage를 한꺼번에 바꾸면 무엇 때문에 결과가 달라졌는지 알기 어렵습니다. 이번에는 metadata-only ingestion 하나로 범위를 제한했기 때문에 contract, proof, approval, snapshot의 정상 경로만 분명하게 볼 수 있었습니다.
3. 사람은 경계와 성공 기준을 정한다
AI는 파일 구조를 확인하고 명령을 실행하고 hash를 비교하는 데 강합니다. 하지만 어떤 기록을 수정하지 않을지, 어떤 외부 행동을 금지할지, 어디에서 멈출지를 결정하는 것은 사람의 역할입니다.
4. Repeat 장치가 있어야 한 번의 개선이 습관이 된다
개선은 결과 파일 하나가 아니라 다음에도 수행할 수 있는 확인 절차까지 남을 때 지속됩니다. Repeat는 “다음에도 기억하자”는 다짐이 아니라, 실제 명령·합격 기준·복구 경로를 남기는 일입니다.
5. 정직한 중단도 workflow의 결과다
이번 새 run은 ingestion까지만 완료됐고 profile은 active 상태로 남아 있습니다. 이것은 미완성이라서 숨겨야 할 일이 아닙니다. 다음 단계에는 다른 입력과 profile_confirmed 승인이라는 새로운 조건이 필요하기 때문입니다.
증거가 없는 단계를 완료로 바꾸지 않는 것, 이전 approval을 다음 단계에 재사용하지 않는 것, 필요한 입력이 생길 때까지 멈추는 것이 이 workflow가 지키려는 안전성입니다.
마무리
이번 사례에서 AI가 workflow를 완성한 것은 아닙니다. 사람은 무엇을 보존하고, 무엇을 하지 않으며, 어디까지를 성공으로 볼지 정했습니다. AI는 그 선택을 파일과 검증 결과로 연결했습니다.
결과는 작습니다. metadata-only strict ingestion 기준선 하나입니다.
하지만 이 작은 기준선에는 다음이 함께 남았습니다.
반복 신호를 고른 이유
과하게 고치지 않기 위한 비목표
실제로 적용한 Patch
같은 입력에서의 Before/After
proof·approval·snapshot의 검증 근거
다음 실행 때 다시 사용할 Repeat 절차
그래서 이번 결과는 metadata-only strict ingestion이라는 제한된 범위의 완료입니다. 실제 연구 성과, 시설 접근, 외부 승인, 제출 가능성을 뜻하지 않습니다. 그 한계를 남긴 채 한 바퀴를 마친 것이 이번 작업의 핵심입니다.



과거 run에 새 metadata를 덧대 ‘처음부터 strict였다’고 만들지 않은 선택이 가장 좋았습니다. legacy PASS를 당시 기준의 완료로 존중하면서도, 현재 Contract 1.1의 증거 완전성과는 별개라고 분리해 새 metadata-only ingestion을 만들었기 때문에 기록의 역사와 새 기준선을 둘 다 지켰어요.
사람이 보존 대상·금지 행동·성공 범위를 먼저 정하고, AI는 그 안에서 Log→Backlog→Review→Patch→Verify→Repeat를 파일과 명령으로 연결한 역할 분리도 선명했습니다. 특히 approval을 manifest contract·proof·snapshot·ingestion 전환에만 묶고, 연구 원자료 읽기나 외부 행동, profile 완료를 제외한 덕분에 작은 Patch의 원인이 흐려지지 않았습니다.
마지막에 profile을 active로 남긴 것이 미완료를 숨긴 것이 아니라 새 입력과 새 승인이 필요하다는 사실을 보존한 장면으로 읽혔어요. 독자는 PASS를 무조건 최신 기준의 완전성으로 해석하지 않고, 승인 범위와 증거가 바뀌면 다시 멈춰야 한다는 운영 원칙을 가져갈 수 있습니다.
과거를 고쳐 쓰지 않고 새 기준선만 작게 증명한 절제가 인상 깊었습니다. 무엇을 하지 않았는지까지 완료 기록에 포함한 덕분에, 제한된 범위의 성공이 오히려 더 정확하게 남았습니다.