AI에게 맡길 일과 코드에 맡길 일 — 반복 서류 정리 자동화 사례

이번 주는 업무 과정에서 몇십개의 서류가 병합되어 있는 몇백페이지의 pdf를 각 서류별로 분할하여 나누기 위해서 클로드에서 저만의 스킬을 만들어보았습니다.

우선 클로드 코드 이용해서 스킬을 만들어 달라고했더니, 간단한 버전은 잘 수행하더라구요.

이후 이 스킬대로 별도의 프로그램을 만들면 어떨지 생각 중이에요...!

1. “스킬”이 뭔가요

AI에게 “이 일은 이렇게 하는 거야”를 적어둔 설명서입니다. 한 번 적어두면 다음부터는 처음부터 설명할 필요가 없습니다.

구성은 단순합니다. 설명서 한 장 + 작은 프로그램 몇 개. 설명서에는 순서와 함정을 적고, 프로그램에는 사람이나 AI가 하면 실수하는 일을 맡깁니다.

2. 풀려던 문제

수백 쪽짜리 스캔 PDF를 문서 단위로 잘라내는 일이었습니다.

목록에는 “3번 문서는 10쪽부터”라고 적혀 있습니다. 그런데 PDF를 열면 그게 몇 번째 장인지 알 수 없습니다. 종이에는 손으로 쓴 쪽번호가 있는데 흐리고, 수백 장을 눈으로 넘겨야 합니다.

3. 첫 시도와 실패

“OCR 돌리면 되겠네” 하고 무료 OCR(테서랙트)을 붙였습니다. 16쪽 시도, 0쪽 성공.

OCR은 인쇄된 글자를 읽도록 만들어진 도구라 손글씨를 못 읽습니다.

그런데 같은 이미지를 AI에게 보여주니 15쪽 중 15쪽을 읽었습니다.

교훈 1. 전통 도구가 못 하는 걸 AI가 하는 영역이 있습니다. 안 된다고 포기하기 전에 도구를 바꿔 보세요.

4. 그럼 AI에게 다 시키면 될까요 — 아닙니다

읽는 건 잘합니다. 그런데 “읽은 숫자 스무 개로 나머지 위치를 계산해” 하면 틀립니다. 사람이 암산하는 것과 똑같이 실수합니다.

그래서 역할을 갈랐습니다.

교훈 2. AI에게는 눈을 맡기고, 손은 프로그램에 맡깁니다.

5. AI가 잘못 읽으면 어떻게 잡나

이 작업에는 절대 깨지지 않는 규칙이 하나 있었습니다. 어떤 값이 절대 줄어들 수 없다는 것이었죠. 종이는 순서대로 넘어가니까요.

그래서 프로그램에 이렇게 넣었습니다. 줄어드는 값이 나오면 = 누군가 잘못 읽은 것 → 멈춘다.

실제로 작동했습니다. 어떤 숫자가 299인지 399인지 애매했는데, 299로 넣자 프로그램이 거부했습니다. 옆 페이지를 읽어보니 399가 맞았습니다.

교훈 3. AI 결과를 그냥 믿지 말고, 검산할 수 있는 규칙을 하나 찾아 걸어두세요. 그게 없으면 틀려도 모릅니다.

6. 모르는 걸 모른다고 말하게 만들기

결과마다 확신도를 붙였습니다.

확정      직접 읽어서 확인함
추정      앞뒤로 계산한 값
확인필요  자신 없음, 사람이 봐야 함
복사

사람은 「확인필요」만 보면 됩니다. 나머지는 넘어가도 됩니다.

교훈 4. AI에게 전부 맞히라고 하지 말고, 어디가 불확실한지 알려달라고 하세요. 훨씬 쓸모 있습니다.

7. 실패를 없애려 하지 말고 우회로를 만들기

번호가 아예 안 적힌 페이지가 실제로 있었습니다. 아무리 잘 읽어도 없는 건 못 읽습니다.

그래서 찍지 말고 ?로 넘기게 했습니다. 그러면 프로그램이 옆 페이지를 대신 읽으라고 알려줍니다. 옆 페이지에서도 같은 정보를 얻을 수 있거든요.

교훈 5. 실패를 0으로 만들려 하면 오히려 찍어서 틀립니다. 실패를 인정하고 돌아가는 길을 만드세요.

8. 가장 크게 배운 것 — 일을 잘못 시키고 있었다

처음엔 문서를 처음부터 끝까지 고르게 훑었습니다. 5쪽, 10쪽, 15쪽… 이런 식으로요. 오래 걸렸습니다.

그러다 깨달았습니다. 제가 알아야 하는 건 문서 31개의 시작 위치 31개뿐이었습니다. 나머지 페이지는 볼 필요가 없었습니다.

필요한 곳만 찍어서 보게 바꾸니 왕복이 절반으로 줄었습니다.

교훈 6. 자동화가 느리면 도구를 의심하기 전에 “내가 무엇을 묻고 있는가”를 의심하세요. 대개 질문이 잘못돼 있습니다.

마무리

스킬은 거창한 게 아닙니다. “AI에게 무엇을 시키고 무엇을 시키지 않을지”를 적어둔 문서입니다.

이번 사례에서 그 경계는 이렇게 정리됐습니다.

• 눈으로 봐야 아는 것 → AI

• 틀리면 안 되는 계산 → 프로그램

• 애매하면 → 찍지 말고 사람에게

이 세 줄이 전부입니다.