본문으로 건너뛰기

40줄이 다 맞는데, 글이 하나 빠져 있었습니다

엔지니어H

2026.08.11

무결성 검사 편 · 지식베이스 시리즈 중 하나입니다.

⚠ 먼저 밝혀둡니다. 이 글은 "검사를 통과했다"는 성공담이 아닙니다. 오히려 약한 검사가 유실을 통과시킨 세 가지 방식과, 그것을 잡기까지 검사를 세 번 올린 기록입니다. 검사기 자신도 검사 대상이라, 일부러 결함을 심어 실제로 잡는지 확인한 절차까지 적습니다. 모든 수치는 2026-08-11 검사 출력에서 왔습니다.


1. 시작은 "40줄이니 완료"라는 안심이었습니다

분류를 40건씩 수백 번에 나눠 처리하니, 각 묶음이 옳게 끝났는지 확인해야 했습니다. 처음 쓴 검사는 누구나 떠올리는 것이었습니다. 입력이 40건이었으니 출력도 40줄이면 완료다.

이 검사가 편했지만, 곧 그 아래로 데이터가 새는 것을 봤습니다. 한 묶음이 정확히 40줄인데, 그 안의 한 글이 분류를 못 받고 있었습니다. 같은 글이 두 번 들어가 있었기 때문입니다. 줄 수는 40이 맞으니 이 유실은 아무 신호도 남기지 않았습니다. "40줄이니 완료"라는 안심이 바로 그 순간 가장 위험했습니다.

2. 그래서 이번에 정한 질문 하나

"검사를 몇 개 더 추가할까"가 아니었습니다. 질문은 이것이었습니다. 줄 수가 맞는데도 데이터가 빠졌다면, 무엇을 세어야 그 빠짐이 드러나는가. 세는 대상을 바꾸지 않으면, 검사를 아무리 많이 추가해도 같은 것을 놓칩니다.

3. 사용한 개념과 도구 — 검사의 세 층

밖에서 보면 이 시스템에 들어오는 것은 원본 목록과 분류 결과 두 벌이고, 나가는 것은 "둘이 1:1로 맞는가"라는 판정 하나입니다. 그 판정을 세 층의 검사가 지탱합니다. 아래로 갈수록 강하고, 위의 두 층은 각각 실제로 유실을 통과시킨 전력이 있습니다.

줄 수      원본 40건       → 출력 줄 수 세기      → 40인가          → 중복이 있으면 통과
중복       출력 목록       → 같은 식별자 찾기     → 중복이 있는가    → 오타 식별자는 통과
완전일치   원본·출력 목록  → 식별자 개수·집합·순서 → 세 축이 같은가   → 여기서 다 잡힌다

정본은 세 번째 층입니다. 위의 두 층은 조기 선별일 뿐이고, 최종 판정은 원본과 출력의 식별자 목록이 개수도 집합도 순서도 모두 같은지 보는 것입니다.

4. 실제로 만든 것 — 기능 세 개와, 그 기능이 막는 실패

① 식별자 목록을 통째로 대조했다 — 40줄인데 글이 빠지던 것을 막는다

줄 수만 세면 같은 글이 두 번 들어가고 다른 글이 빠져도 40줄이라 통과합니다. 그래서 원본과 출력의 글 식별자 목록을 개수·집합·순서까지 통째로 맞춰봤습니다. 하나라도 어긋나면 어느 글이 빠졌는지, 어느 식별자가 원본에 없는지, 어느 것이 중복인지를 갈라 보고합니다. 이 완전 대조가 없었다면, 40줄 뒤에 숨은 유실을 끝까지 몰랐을 것입니다.

② 입력과 병합과 탈락을 함께 셌다 — 라벨 오류로 조용히 탈락하던 것을 막는다

분류를 합칠 때, 되돌릴 수 없는 라벨이 붙은 글은 병합에서 빠집니다. 이 빠짐이 "결함 몇 건"이라는 경고로만 뜨고, 실제로 몇 글이 병합에서 사라졌는지는 보이지 않았습니다. 그래서 입력 총수와 병합 수와 탈락 수를 한 줄로 함께 세게 했습니다. 병합과 탈락을 더한 값이 입력과 다르면 경고가 뜹니다. 이 계수 대조가 라벨 오류로 인한 조용한 탈락을 드러냅니다.

③ 검사기에 결함을 일부러 심어봤다 — 거부한 적 없는 검사가 배치되던 것을 막는다

검사기도 하나의 프로그램이라 틀릴 수 있습니다. 거부한 적이 없는 검사는 검사가 아니라 통과 도장입니다. 그래서 검사기를 배치하기 전에, 정상 데이터의 식별자 한 글자를 일부러 망가뜨려 넣고 검사기가 그것을 잡는지 확인했습니다. 잡으면 원래대로 되돌립니다. 이 자기공격을 통과한 검사기만 실전에 걸었습니다.

5. 지금까지 관찰된 결과 (실측 · 명령을 같이 적습니다)

약한 검사가 통과시킨 유실들입니다. 각 층이 어떤 결함을 놓쳤는지 실측했습니다.

검사 층통과시킨 유실실측
줄 수 40식별자 중복 → 다른 글 빠짐2건
+ 중복 검출식별자 한 글자 손상다수
+ 완전일치(없음)여기서 다 잡힘

계수 대조가 잡은 것과, 자기공격 결과입니다.

항목값어떻게 확인했나
무증상 탈락6건 (라벨 오류)계수 대조 경고
최종 대조입력 22,019 = 병합 22,019계수 한 줄 출력
완전일치 검사551조각 결함 0목록 대조 전수 (wc -l 로 조각 수 확인)
자기공격결함 주입 → 위치까지 검출 → 복구 → 통과재현 확인

가장 교묘했던 것은 식별자 한 글자 손상이었습니다. 분류는 올바른 글에 대해 됐는데 식별자 문자열만 한 글자 어긋난 경우입니다. 줄 수도 40이고 중복도 없어서, 앞의 두 층을 모두 빠져나갔습니다. 완전일치 검사만이 "원본에 없는 식별자"로 이것을 잡았습니다. 다행히 나머지 서른아홉 글이 순서까지 맞아서, 어긋난 자리의 글이 무엇인지 확정할 수 있었고, 분류를 다시 하지 않고 식별자만 되돌려 고쳤습니다.

6. 따라 해보고 싶으시면 — 가장 작은 형태부터

데이터가 조용히 새는 것을 막는 최소 형태는 이렇습니다.

  1. 줄 수가 아니라 식별자 목록을 세십시오. 개수만이 아니라 집합과 순서까지 봅니다. 줄 수가 맞아도 식별자가 다르면 무언가 바뀐 것입니다.
  2. 입력과 출력과 버린 것을 함께 세십시오. 세 값을 더해 맞춰보면, 조용히 사라진 것이 드러납니다. 버린 것을 세지 않으면 그 자리가 무증상이 됩니다.
  3. 검사기에 일부러 결함을 넣어보십시오. 잡으면 되돌립니다. 거부한 적 없는 검사는 믿을 수 없습니다.

7. 판정은 네 가지로 나누십시오 (두 가지로는 부족합니다)

무결성을 "맞다/틀리다"로만 보면, 줄 수만 맞는 유실이 "맞다"로 넘어갑니다.

PASS            식별자 목록이 개수·집합·순서까지 원본과 같다
PASS_WITH_NOTE  꼬리 묶음이라 건수가 40이 아니나 원본과 일치 (예: 마지막 19건)
HOLD            차이가 있으나 원인을 특정 못 함
FAIL            식별자가 어긋나고 빠진 글을 특정

특히 두 번째 줄을 조심하십시오. 마지막 묶음은 40건이 아니라 19건이 정상인데, 40을 못 박은 검사는 이 정상 완료본을 틀렸다고 오판합니다.

8. 한계와 대가 (얻은 것 옆에 잃은 것)

빈틈을 막은 대신 분명히 치른 것이 있습니다.

완전일치 검사는 전수라 느립니다. 목록을 통째로 비교하니 조각이 많을수록 시간이 붙습니다. 조기 선별용으로 줄 수와 중복 검사를 앞에 두어 완화했지만, 정본 검사는 결국 전수를 다 돌아야 합니다.

식별자 손상의 복구는 어긋난 자리가 하나일 때만 안전합니다. 두 곳 이상 어긋나면 어느 글이 어느 자리인지 확정할 수 없어, 되돌리지 않고 다시 분류하는 대상으로 남깁니다. 이 조건을 무시하고 고치면 엉뚱한 글에 식별자를 붙일 위험이 있습니다.

그리고 줄 수 검사를 정본으로 쓰던 설계를 버렸습니다. 처음에는 40줄이면 완료로 봤다가, 그 아래로 두 종류의 유실이 새는 것을 확인하고 버렸습니다. "중복 검출까지만 하면 충분하다"는 가정도 버렸습니다. 한 글자 손상은 중복도 아니어서 그 검사를 빠져나갔기 때문입니다. 버린 가정마다 실제로 통과한 유실을 근거로 쥐고 있었습니다.

한 가지 자랑하지 않겠습니다. 이 검사기가 잡는 것은 데이터의 형태 유실이지, 분류가 내용상 맞는지가 아닙니다. 사람이 봐도 옳은 분류인지는 이 검사기의 범위 밖이고, 사람 합치도 대조는 아직 미실행입니다.

9. 결론 — 가져가실 규칙 세 개

첫째, 무엇을 세는지가 무엇을 놓치는지를 정합니다. 줄 수를 세면 줄 수만 맞으면 통과합니다. 세는 대상을 식별자 목록으로 바꾸지 않으면, 검사를 아무리 늘려도 같은 유실을 놓칩니다.

둘째, 버린 것을 세십시오. 병합에서 빠진 것을 세지 않으면 그 자리가 무증상이 됩니다. 입력과 출력과 버린 것을 더해 맞춰보는 것만으로, 조용히 사라진 데이터가 드러납니다.

셋째, 검사기를 자기공격으로 검증하고 배치하십시오. 결함을 일부러 심어 잡는지 보십시오. 거부한 적 없는 검사는 검사가 아니라 통과 도장입니다. 규칙을 고칠 때마다 이 음성 대조를 다시 돌려야 합니다.

10. 참고

이 글에서 "식별자 목록을 개수·집합·순서까지 대조한다"는 방식은 데이터 정합성 검사의 기본 형태입니다. 입력·출력·폐기의 합을 맞춰보는 계수 대조는 회계의 조정과 같은 발상이며, 빠진 자리를 무증상으로 두지 않기 위한 것입니다.

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기