본문으로 건너뛰기

도구는 "성공"이라고 했지만, 스킬의 실제 산출물이 빠져 있었습니다

리히토

2026.07.30

자동화 도구의 한계와 문제점

논문 한 편을 자동으로 정리해주는 도구가 작업을 마치고 "성공"이라고 보고했습니다. 그런데 실제로 만들어진 표 파일을 열어보니 제목줄만 있고 표는 한 개도 없었습니다. 논문에는 표가 분명히 있었습니다. 고치는 데 코드 42줄이 들었고, 정작 어려웠던 건 "무엇을 고쳐야 하는지 정하는 일"이었습니다.

자동화 도구 사용 시 주의사항

  • AI에게 작업을 맡기고 결과 요약만 받아보는 분. "다 됐습니다"를 어디까지 믿어야 할지 애매하셨다면

  • 자동화를 조금 만들어봤는데, 잘 돌아가는 것 같은데도 어딘가 찜찜한 분

  • 검사 장치(테스트, 점검 스크립트)를 붙여뒀는데도 문제가 새는 경험을 하신 분

  • 반대로 이런 분께는 별로입니다: 특정 도구의 사용법을 찾고 계신 분. 이 글은 도구 소개가 아니라 판단 실수 하나를 해부하는 글입니다.

문제의 원인 분석

저는 논문을 읽고 정리하는 작업을 반쯤 자동화해두고 씁니다. 논문 주소를 하나 넣으면 도구가 출판사 웹사이트에서 논문을 받아와, 본문·표·참고문헌을 각각 다른 파일로 쪼개 저장합니다. 나중에 이 파일들을 제 개인 위키에 넣어 검색해서 씁니다.

용어 하나만 정하고 시작하겠습니다. 이 글에서 "표"는 논문 안에 실린 표를 말합니다. "Table 1. 환자 특성" 같은 식으로 숫자를 정리해둔 그 표입니다. 논문에서 수치를 찾을 때 실제로 보는 게 대개 이 표라서, 저에게는 본문만큼 중요합니다. (아래에서 설명하려고 제가 그린 표와는 다릅니다.)

그날 논문 한 편을 넣고 결과를 봤습니다. 도구는 작업이 끝났다는 보고서를 한 줄 뱉는데, 거기 적힌 상태값이 extract_ok, 우리 말로 "추출 성공"이었습니다. 경고도 세 건 있었지만 전부 참고문헌 보강에 관한 것이었고, 표 이야기는 한 줄도 없었습니다.

그래서 만들어진 파일들을 열어봤습니다. 크기가 이렇게 나왔습니다.

body.md          35.5K   ← 논문 본문
references.yaml  38.4K   ← 참고문헌
tables.md          182B  ← 표
figures/                 ← 그림

표 파일이 182바이트였습니다. 옆의 본문 파일이 35,500바이트인데요. 열어보니 이랬습니다.

---
schema_version: l0-tables-v1
type: source-tables
layer: L0
doc_id: chen2026ExplainableImagingclinicalBiomarker
citekey: chen2026ExplainableImagingclinicalBiomarker
---

# Tables

위쪽 여섯 줄은 이 파일이 무슨 파일인지 적어두는 꼬리표이고, 마지막 # Tables는 제목입니다. 즉 파일은 만들어졌고, 내용은 없었습니다. 그런데 논문 원문에는 표가 하나 있었습니다.

이게 왜 무서운 실패인지가 핵심입니다. 도구가 "실패했다"고 말했다면 저는 다시 돌렸을 겁니다. 그런데 도구는 성공했다고 말했고, 그러면 저는 파일을 열어볼 이유가 없습니다. 이 논문은 앞으로 제 위키에서 "표가 없는 논문"으로 살게 됩니다. 나중에 이 논문의 수치를 찾으러 갔다가 못 찾으면, 저는 도구를 의심하는 대신 "이 논문엔 그 표가 없었나 보다"라고 생각하게 됩니다.

문제 발견의 경로

솔직히 말하면 이걸 발견한 경로가 좀 부끄럽습니다. 표를 확인하려고 열어본 게 아니었습니다.

저는 그 며칠 전에 "스킬 구조를 검토해주는 스킬"을 하나 만들었습니다. AI에게 시킬 작업 절차를 문서로 정리해둔 것을 스킬이라고 부르는데, 제가 예전에 나름 잘 엮었다고 생각한 묶음이 다시 보니 주먹구구로 붙여둔 것 같았습니다. 그래서 그걸 점검하는 렌즈를 따로 만들어 제 것에 들이대보는 중이었습니다.

렌즈가 지적한 항목들을 고치고 나서, 정말 고쳐졌는지 확인하려고 도구를 한 번 실제로 돌려본 겁니다. 그 확인 사격에서 표 파일이 걸렸습니다. 표를 의심해서 본 게 아니라, 다른 걸 점검하다가 우연히 산출물을 열어봤습니다.

우연이 아니었으면 못 잡았을 겁니다. 이 사실이 뒤에 나올 이야기의 무게를 정합니다. 자동 장치가 잡아줬어야 하는데 안 잡아줬으니까요.

검사기의 역할과 한계

여기서 제 첫 짐작이 틀렸습니다. 저는 "검사가 없어서 샜구나, 검사를 붙이자"고 생각했습니다. 그런데 확인해보니 검사는 이미 돌고 있었습니다. 파일을 만든 직후에 규격 검사기(정해진 형식을 지켰는지 확인하는 점검 스크립트)가 자동으로 실행되고, 그날도 통과했습니다.

그 검사기가 무엇을 보는지 정리하면 이렇습니다.

검사기가 확인하는 것

182바이트 표 파일은?

목록에 적힌 파일이 실제로 있는가

있습니다

파일 크기가 기록과 같은가

같습니다

파일 내용의 지문(체크섬)이 기록과 같은가

같습니다

참고문헌 파일의 형식이 규격에 맞는가

표 파일은 해당 없음

빈 표 파일은 이 항목들을 전부 만족합니다. 파일로서 아무 문제가 없으니까요. 검사기는 고장 난 게 아니라, 자기가 맡은 일을 정확히 했을 뿐입니다.

그러니 "검사를 하나 더 붙이자"는 처방은 이번 문제에 안 듣습니다. 여기서 검사를 두 종류로 갈라야 합니다. 하나는 형식 검사입니다. 파일이 규격에 맞는지 보는 것이고, 위 표가 그것입니다. 이미 있었고 통과했으니, 같은 종류를 하나 더 붙여도 결과는 똑같습니다. 다른 하나는 기대치 대조입니다. "몇 개여야 하는데 몇 개 왔나"를 보는 것이지요. 이쪽이 아예 없었습니다.

뒤에서 제가 붙인 것도 결국 검사이긴 합니다. 다만 형식을 보는 검사가 아니라, 앞 단계가 세어둔 숫자를 뒤 단계까지 실어 보내 맞춰보는 검사입니다. 이번 사고는 검사가 없어서 난 게 아니라 있는 검사가 그 숫자를 몰라서 났습니다. 물론 검사가 아예 없어서 새는 경우도 있습니다. 이번은 그게 아니었다는 뜻입니다.

그러면 그 "몇 개여야 하는지"는 어디서 오는 걸까요. 이게 다음 함정이었습니다.

기대치 대조의 중요성

도구는 두 단계로 일합니다. 앞 단계가 출판사 사이트에서 논문을 받아오고, 뒤 단계가 그걸 파일로 쪼갭니다. 앞 단계는 일을 마치면 자기가 뭘 봤는지 기록을 남깁니다. 그 기록에서 표에 관한 부분만 꺼내면 이렇습니다.

{
  "counts": {
    "headings": 55,
    "tables": 0,
    "figures": 19
  },
  "springer_tables": {
    "total": 1,
    "fetched": 0,
    "failed": 1
  }
}

표 개수를 말하는 칸이 두 개고, 값이 다릅니다. 위쪽은 표가 0개라고 하고, 아래쪽은 1개 중 0개를 받아왔고 1개 실패했다고 합니다.

둘 다 맞습니다. 이 출판사는 표를 본문 안에 넣지 않고 별도 팝업 창으로 빼놓습니다. 그래서 본문만 세는 위쪽 칸은 정상적으로 0입니다. 표를 팝업까지 따라가 세는 아래쪽 칸이 진짜 기대치입니다.

여기가 이 작업에서 제일 아찔했던 지점입니다. 만약 제가 "표 개수 확인하면 되겠네" 하고 위쪽 칸을 기준으로 검사를 붙였다면 어떻게 됐을까요. 0개를 기대했고 0개가 왔으니 정상입니다. 검사를 붙이고, 통과하고, 저는 안심하고, 표는 계속 사라집니다. 검사를 붙이기 전과 정확히 같은 상태인데 안심만 추가된 셈입니다.

기준이 되는 숫자를 어디서 가져오느냐가 작업의 성패를 갈랐습니다. 이건 다음에 이어받는 작업이 다시 논의하지 않도록 인계 문서에 확정으로 적어뒀습니다. "기대치는 아래쪽 칸이다, 위쪽 칸을 쓰지 말 것, 이유는 이것"이라고요.

문제 해결을 위한 조치

여기까지를 한 장으로 놓으면 이렇습니다.

[1단계] 출판사 사이트에서 논문 받아오기
        │  이 단계는 자기가 뭘 봤는지 기록을 남깁니다. 표에 관한 칸이 두 개:
        │
        │     counts.tables   = 0                 ← 본문에 들어 있는 표만 셈
        │                            (이 출판사는 표를 팝업으로 빼므로 0이 정상)
        │     springer_tables = 총 1 / 받아옴 0 / 실패 1  ← 팝업 표까지 센 진짜 기대치
        ▼
[2단계] 받은 것을 파일로 쪼개기 → tables.md 에 표 0개 (182바이트)
        │  이 단계는 위 기록을 읽고 "표가 덜 왔다"고 경고를 냈습니다.
        │  그런데 그 경고를 보조 출구로 내보냈고, 받는 쪽 코드가 그걸 버렸습니다. ✗
        ▼
[3단계] 규격 검사 → 통과 (파일 있나·크기 맞나·지문 맞나 → 전부 예)
        ▼
[4단계] 최종 보고 "추출 성공"  ← 표 이야기는 한 줄도 없음

그림으로 보면 문제가 한 곳에 모입니다. 1단계는 답을 이미 알고 있었습니다. "표가 1개 있는데 0개밖에 못 받아왔다"까지 세어서 적어뒀습니다. 그런데 그 숫자가 4단계까지 가지 못했습니다. 2단계는 읽고 경고까지 냈지만 아무도 안 듣는 곳에 냈고, 3단계와 4단계는 그 기록을 아예 열어보지 않았습니다.

원인을 따라가 보니 이랬습니다. 뒤 단계 프로그램은 표를 못 받아온 걸 알고 있었고 경고도 내보내고 있었습니다. 다만 그 경고를 프로그램이 보조 출구로 내보냈고, 그걸 받는 쪽 코드가 주 출구만 읽고 보조 출구는 그대로 버렸습니다. 경고는 매번 발생했고, 매번 아무도 안 듣는 곳에 떨어졌습니다.

그러니 필요한 건 형식을 보는 검사기가 아니라 이미 있는 숫자를 최종 보고서까지 실어 보내는 배관이었습니다. 앞에서 갈라둔 두 종류 중 뒤쪽, 기대치 대조에 해당합니다.

여기서부터는 구현을 AI(Claude Code)에게 맡기고, 저는 방향과 판정 기준을 정하는 역할을 했습니다. 방향으로는 한 가지를 못 하게 막았습니다. 버려지고 있던 그 경고 문장을 주워 읽는 방식은 쓰지 말라고요. 문장 표현이 조금만 바뀌면 조용히 깨지니까요. 대신 앞 단계가 남긴 기록에서 기대치(total: 1)를 직접 읽고, 실제로 만들어진 표 파일의 표 개수를 세서 대조하게 했습니다.

고친 뒤 같은 논문 데이터로 확인한 결과가 이렇습니다.

springer_tables_incomplete: expected 1 table(s) (verify.springer_tables.total),
tables.md has 0 (fetched 0, failed 1) — re-run fetch_html.mjs for this DOI to retry

"표 1개를 기대했는데 파일에는 0개, 다시 받아오려면 이 명령을 돌려라"입니다. 이제 이 문장이 도구의 최종 보고서에 실려 나옵니다. 표가 없는 논문은요? 기대치가 애초에 0이므로 경고가 뜨지 않습니다. 이것도 따로 확인했습니다.

확인 방식에도 조건을 하나 걸었습니다. 경고가 뜨는 것만 확인하면 부족하고, 안 떠야 할 때 조용한지도 확인해야 합니다.

AI가 상황을 세 가지 일부러 만들어 돌렸습니다. 실제 논문을 처리한 결과가 아니라, 조건을 짜서 장치만 시험했습니다.

일부러 만든 상황

장치가 어떻게 해야 맞나

실제로는

논문에 표 1개가 있는데 파일에는 0개(유실된 경우)

경고를 띄워야 합니다

띄웠습니다

논문에 표가 아예 없는 경우

조용해야 합니다. 없는 표를 잃었다고 하면 오탐입니다

조용했습니다

논문에 표 2개, 파일에도 2개(정상인 경우)

조용해야 합니다

조용했습니다

두 번째와 세 번째가 없으면 시험이 시험이 아닙니다. 첫 번째만 보고 넘어가면, 모든 논문에 "표가 없어졌다"고 외치는 고장 난 장치도 합격하기 때문입니다.

여기에 실제 파일로도 한 번 더 대조하게 했습니다. 표가 5개인 다른 논문 파일을 가져와 "5개 기대"로 재보니 조용하고, "6개 기대"로 바꾸니 경고가 떴습니다. 표 개수를 세는 코드가 진짜로 세고 있다는 확인입니다.

원래 있던 자동 점검도 전부 다시 돌려, 예전에 통과하던 것이 그대로 통과하는지 확인했습니다.

결과와 개선점

Before와 After를 한 줄로 놓으면 이렇습니다.

고치기 전

고친 후

도구의 최종 보고

"추출 성공", 표 언급 없음

"추출 성공" + 표 1개 기대인데 0개

표 유실을 알아채는 방법

사람이 파일을 열어봄

보고서를 읽으면 보임

표가 없는 논문

구별 안 됨

조용함(경고 없음)

고친 것은 파일 두 개입니다. 기존 파일에 기대치와 실제 표 개수를 맞춰보는 대목을 넣고, 그게 제대로 도는지 확인하는 시험 파일을 하나 새로 만들었습니다.

여전히 안 고친 것도 적어둡니다. 표를 다시 받아오는 일은 자동으로 안 합니다. 이 작업의 목표는 유실을 사람 눈에 보이게 만드는 것까지였고, 다시 받아올지는 사람이 판단합니다. 자동 재시도는 별개 작업이고, 지금 손대면 두 문제가 섞입니다.

자동화 도구 사용에서 배운 점

"0건"을 성공으로 치려면, 0건이 정답인지 아닌지를 미리 확인했어야 합니다. 검색 결과 0건, 오류 0건, 표 0개. 이런 숫자는 그 자체로는 좋은 소식도 나쁜 소식도 아닙니다. 기대치가 있어야 판정이 됩니다.

그리고 기대치가 필요할 때, 그 숫자를 새로 세려 하지 말고 앞 단계가 이미 세어둔 게 있는지 먼저 보는 게 좋습니다. 이번 경우 앞 단계는 "표 1개"를 이미 알고 있었습니다. 그 숫자가 다음 단계로 넘어가지 않은 것뿐입니다.

기억에 남는 장면으로 닫자면, 저는 두 칸 중에 하나를 고르는 갈림길에 서 있었고 위쪽 칸이 더 눈에 잘 띄는 자리에 있었습니다. 그걸 골랐다면 검사기를 만들고, 통과 표시를 보고, 안심했을 겁니다. 표는 계속 사라진 채로요. 검사를 붙였다는 사실이 검사가 옳다는 증거는 아닙니다.

자동화 도구의 실전 적용

자동화를 만들어두고 "잘 돌아가는 것 같은데 찜찜한" 상태라면, 아래를 AI에게 그대로 넣어보시면 됩니다. 코드가 아니어도 됩니다. 자료 수집이나 파일 정리, 메일 분류처럼 "여러 개를 처리하는" 작업이면 다 해당합니다.

제가 만든 이 작업 흐름을 봐주세요: <여기에 무슨 작업인지 2~3줄로>

제가 확인하고 싶은 것은 "결과가 0건일 때, 그게 정상인지 실패인지 구별되나"입니다.
아래 순서로 봐주세요.

1. 이 흐름에서 "몇 개가 나와야 하는지"를 아는 지점이 어디인가요?
   그 숫자가 최종 결과 보고까지 전달되나요, 중간에 사라지나요?
2. 개수를 세는 곳이 두 군데 이상이면 각각 무엇을 세는지 구분해주세요.
   값이 다를 수 있는 경우가 있다면 그 경우를 알려주세요.
3. 지금 이 흐름에서 "결과물이 통째로 비었는데 성공으로 보고되는" 경로가 있나요?
   있으면 그 경로를 재현하는 방법을 알려주세요.

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.03

‘논문에 표가 아예 없는 경우에는 조용해야 한다’는 두 번째 시험이 저는 가장 좋았어요. 표 1개가 사라졌을 때 경고를 띄우는 것만 확인했다면, 모든 논문을 실패로 부르는 장치도 합격할 수 있었겠죠. 유실·정상 0건·정상 일치 세 상황을 나란히 둔 덕분에 이번 수정은 ‘경고를 추가했다’가 아니라 기대치와 실제값의 관계를 판정하는 계약이 됐습니다.

처음에는 검사가 없어서 샜다고 짐작했지만, 기존 규격 검사기는 파일 존재·크기·체크섬이라는 자기 일을 정확히 하고 있었습니다. 문제는 본문 표 0개를 세는 `counts.tables`와 팝업까지 본 `springer_tables.total=1`이 다른 의미라는 점, 그리고 뒤 단계가 이미 낸 경고가 보조 출구에서 버려졌다는 점이었죠. ‘검사를 더 붙이기’에서 ‘어느 단계가 정답을 알고 있으며 그 숫자가 최종 보고까지 살아남는가’로 질문을 바꾼 순간이 이 글의 진짜 발전으로 보였어요.

같은 논문 데이터에서는 expected 1·actual 0·fetched 0·failed 1과 재실행 명령이 최종 보고에 나타났고, 표가 5개인 실제 파일은 기대치 5일 때 조용하고 6으로 바꾸면 경고가 떴다고 기록돼 있어요. 경고 문구를 파싱하는 취약한 수리 대신 앞 단계의 구조화 기록을 직접 읽은 선택도 단단합니다. 더구나 표를 자동으로 다시 받는 일은 섞지 않고, 이번 범위를 ‘유실을 사람이 보게 만드는 것’까지로 닫았죠. 탐지와 복구를 분리했기 때문에 42줄의 수정이 어디까지 책임지는지도 분명합니다.

다음 새 논문을 처리할 때는 최종 보고의 expected·actual 값과 생성된 tables.md의 표 수를 한 화면에서 함께 읽어보면 좋겠어요. 불일치면 보고서가 구체적인 경고를 남기고, 0=0이나 n=n이면 조용한 상태가 성공 신호입니다. 이 글은 ‘0건’을 곧 성공이나 실패로 읽지 말고, upstream이 이미 알고 있는 기대치를 끝까지 운반하라는 재사용 가능한 원칙을 줍니다. 자료 수집뿐 아니라 메일 분류·파일 정리·검색 자동화에도 그대로 옮길 수 있는 좋은 실패 해부예요.

자연어회계처리 프로필 이미지

형식 검사만 믿으면 안 되고 원래 데이터 개수와 대조하는 '기대치 검사'가 빠졌다는 분석!! 이거 진짜 중요한거같아요

뽀짝이 프로필 이미지
뽀짝이2026.07.30

"추출 성공"이라는 보고를 받았는데 표 파일이 182바이트였던 상황이 생생하게 와닿았어요. 특히 기대치의 출처를 잘못 고르면 — counts.tables(본문 기준 0)가 아니라 springer_tables(팝업까지 추적한 1)가 진짜 기준이라는 걸 놓치면 — 검사를 붙여도 표는 계속 사라지고 안심만 늘어났을 거라는 지점이 날카로웠어요. "검사를 붙였다는 사실이 검사가 옳다는 증거는 아니다"라는 결론이 특히 오래 남고요. 경고가 매번 발생했지만 아무도 안 듣는 보조 출구로 빠지고 있었다는 원인까지 파고든 과정도 인상적이었습니다. 고롱고롱... 이런 글 보면 기분 좋아져요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기