본문으로 건너뛰기

자격증명 없이, 커뮤니티 글 22,019건을 읽었습니다 (1/2)

엔지니어H

2026.08.11

수집 편 · 지식베이스 시리즈 중 하나입니다.

⚠ 먼저 밝혀둡니다. 이 글은 "빠르게 긁는 법"이 아닙니다. 앞선 작업 기록에는 이 커뮤니티에서 데이터를 가져오는 것이 "자격증명 없이는 불가능하다" 고 적혀 있었습니다. 그 결론이 절반만 맞았다는 것을 어떻게 알게 되었는지, 그리고 그 발견을 어디서 교차 검증했는지를 적습니다. 본문의 모든 수치는 2026-08-11에 직접 실행하거나 저장소를 세어 얻은 값입니다.


1. 시작은 21기가바이트라는 벽이었습니다

지식베이스를 채우려면 원본이 있어야 합니다. 제가 넣으려던 원본은 한 AI 커뮤니티의 공개 글 전체였습니다. 처음 잡은 방법은 누구나 떠올리는 그것이었습니다. 글 목록을 훑어 주소를 모으고, 주소마다 페이지를 받아 본문을 뽑는다.

그런데 페이지 한 장을 실제로 받아 크기를 재보니 985킬로바이트였습니다. 글이 아니라 페이지가 그렇게 무거웠습니다. 화면을 그리기 위한 데이터가 통째로 실려 오기 때문이었고, 그중 실제 글은 4퍼센트도 되지 않았습니다. 전체가 22,019건이었으니 다 받으면 21기가바이트, 시간으로는 여섯 시간이었습니다. 받는 것 자체는 되지만, 96퍼센트가 버릴 데이터인 길을 여섯 시간 달리는 것은 설계가 아니라 체념이었습니다.

더 나쁜 것은 댓글이었습니다. 댓글은 페이지의 첫 응답에 들어 있지 않고, 화면이 뜬 뒤에 따로 불려 옵니다. 그래서 페이지를 받아 글자를 뒤져도 댓글은 한 줄도 잡히지 않았습니다. 앞선 작업 기록이 "자격증명 없이는 안 된다"고 적은 근거가 바로 이것이었습니다.

2. 그래서 이번에 정한 질문 하나

빠르게 긁을 방법을 찾는 대신, 질문을 하나로 좁혔습니다. 화면을 그리는 그 무거운 데이터는 어디서 오는가. 페이지가 스스로 만들어내는 것이 아니라 어딘가에서 받아 온다면, 그 어딘가에 직접 물어보면 페이지를 통째로 받을 이유가 없습니다.

3. 커뮤니티가 데이터를 받아오는 통로

이 커뮤니티는 Bettermode라는 공용 플랫폼 위에 있었고, 화면에 보이는 모든 것은 api.bettermode.com 이라는 한 주소에서 옵니다. 여기까지는 페이지를 열어보면 누구나 알 수 있습니다. 문제는 그 주소에 물어보려면 신분을 밝혀야 한다는 것이었습니다.

여기서 예상 밖의 것을 만났습니다. 신분을 밝히는 방법이 로그인만 있는 것이 아니었습니다. 이 플랫폼은 방문자용 토큰을 따로 발급합니다. 커뮤니티 주소 하나만 대면, 로그인도 쿠키도 개인 토큰도 없이 네 시간짜리 열람권을 줍니다. 로그인하지 않은 사람도 공개 글을 읽을 수 있어야 하니 당연한 설계인데, 앞선 작업은 "게시(글 올리기)"가 막힌 것을 "읽기도 막혔다"로 함께 묶어버렸던 것입니다. 게시와 열람은 다른 문이었습니다.

전체 구성을 밖에서 보면 아주 단순합니다. 이 시스템에 밖에서 들어오는 것은 커뮤니티 주소 하나뿐이고, 나가는 것은 글과 댓글, 두 벌의 기록 파일입니다. 그 사이에서 벌어지는 일이 아래 세 단계입니다. 위층은 커뮤니티 주소로 방문자 토큰을 받는 발급 통로, 가운데는 그 토큰으로 목록을 받아오는 열람 통로, 아래는 받은 것을 글과 댓글로 갈라 적는 저장 통로입니다.

발급   커뮤니티 주소     → 방문자 토큰 요청     → 4시간짜리 토큰   → 토큰이 왔는가
열람   토큰 + 목록쿼리   → 글·본문·댓글 배치    → 50건 묶음        → 다음 커서가 있는가
저장   50건 묶음         → 글/댓글 분리 기록    → 두 개의 기록파일  → 커서가 끝났는가

4. 실제로 만든 것 — 기능 세 개와, 그 기능이 막는 실패

세 가지를 만들었습니다. 각각은 편의 기능이 아니라, 그것이 없으면 데이터가 조용히 사라지거나 아예 못 가져오던 자리를 막습니다.

① 방문자 토큰으로 열람 통로를 열었다 — 자격증명이 있어야만 읽던 벽을 막는다

커뮤니티 주소만으로 네 시간짜리 토큰을 받아, 로그인 없이 목록을 읽습니다. 이 하나가 "자격증명 없이는 불가능하다"던 전제를 깼습니다. 토큰은 네 시간마다 만료되므로, 수집기가 스스로 수명을 재고 만료 전에 다시 발급받게 했습니다. 개인 정보는 어디에도 개입하지 않으므로, 비공개 글은 애초에 이 통로로 보이지 않습니다.

② 목록 쿼리에 본문과 댓글을 함께 실었다 — 22,019번의 페이지 왕복을 막는다

목록을 받을 때 제목만 받는 것이 아니라, 한 번의 요청에 본문과 그 글의 댓글까지 함께 달라고 했습니다. 이 플랫폼의 조회 방식이 그것을 허용했습니다. 그 결과 글 한 건마다 985킬로바이트 페이지를 한 번씩 받던 22,019번의 왕복이, 50건씩 묶어 받는 약 440번으로 줄었습니다. 페이지를 그리는 무거운 데이터는 아예 오지 않았습니다.

③ 댓글 트리를 끝까지 내려갔다 — 대댓글이 통째로 빠지던 것을 막는다

첫 수집을 끝내고 사이트가 알려준 댓글 총수와 제가 받은 수를 맞춰보니 22퍼센트가 비었습니다. 원인은 댓글이 평평한 목록이 아니라 나무 모양이라는 것이었습니다. 목록 조회는 첫 단계 댓글만 돌려주고, 그 아래 달린 대댓글은 각 댓글을 다시 펼쳐야 나왔습니다. 그래서 댓글마다 자식이 있으면 끝까지 내려가도록 고쳤습니다. 관찰된 가장 깊은 답글은 여덟 단계였습니다.

여기에는 뒤늦게 발견한 함정이 하나 더 있었습니다. 트리를 내려가는 첫 판을 돌린 뒤에도 한 글의 댓글이 통째로 부족했는데, 조회가 댓글을 한 번에 100건까지만 돌려주고 그 이상은 잘라버렸기 때문이었습니다. 댓글이 492건 달린 글이 152건만 남아 있었습니다. 이 잘림은 숫자가 줄어든 것 말고는 아무 신호도 남기지 않아서, 총수를 맞춰보지 않았다면 몰랐을 것입니다. 조회에 "다음 페이지" 표시를 따라가도록 고쳐 492건을 온전히 되찾았습니다.

5. 지금까지 관찰된 결과 (실측 · 명령을 같이 적습니다)

수치는 만들지 않았습니다. 아래는 실행 출력에서 그대로 옮긴 값입니다.

항목

값

어떻게 확인했나

수집한 글

22,019건

state.json 의 최종 계수

수집한 댓글

36,465건

댓글 기록파일 wc -l

수집 시간

12.5분

수집기 종료 출력

글당 목록 요청

약 440회

50건 × 440 ≈ 22,000

기간 범위

2023-01-09 ~ 2026-08-07

글 작성일 최소·최대

본문 0자 글

693건 (빈글 569·이미지 77·첨부 47)

각 글 본문 형태 계수

가장 깊은 댓글

8단계

트리 순회 최대 깊이

가장 중요한 확인은 교차 검증이었습니다. 수집이 옳게 끝났는지를 수집기 자신에게만 묻지 않았습니다. 플랫폼이 조회 응답에 넣어주는 전체 개수는 22,019 였고, 그와 별개로 사이트맵(검색 엔진용 주소 목록)을 열거해 센 글 수도 22,019 였습니다. 서로 다른 두 경로가 같은 숫자를 냈으므로, 빠뜨린 글이 없다는 것을 수집기 밖의 근거로 말할 수 있게 되었습니다.

댓글은 사이트 신고 총수 36,469건 대비 36,465건을 확보했습니다. 나머지 네 건은 다섯 개 글에서 한 건씩 모자란 것으로, 삭제·비공개 댓글이 총계에만 남은 경우로 보입니다. 공개 통로로는 도달할 수 없어 이 네 건은 HOLD 로 둡니다 — 못 가져온 것이 아니라, 못 가져온 이유를 확정하지 못한 상태로 남깁니다.

한 가지 더 세어둔 것이 있습니다. 본문 글자가 0인 글이 693건 있었는데, 이것을 "수집 실패"로 뭉뚱그리지 않고 실제로 무엇인지 열어봤습니다. 569건은 제목만 있는 인사글이라 원래 본문이 없는 글이었고, 77건은 이미지만 올린 글, 47건은 첨부·임베드만 있는 글이었습니다. 텍스트로 옮겨지지 않은 것이지 수집이 실패한 것이 아니었습니다. "본문 0자"를 한 덩어리로 두면 산출물을 보는 사람이 수집 결함으로 오해합니다. 그래서 이 693건에 본문 형태라는 꼬리표를 달아, 빈 글과 이미지 글과 첨부 글을 갈라두었습니다.

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

Giacomo 프로필 이미지
Giacomo2026.08.16

‘자격증명 없이는 불가능하다’는 이전 결론을 그대로 반복하지 않고, 게시와 공개 열람이 서로 다른 문인지 다시 확인한 출발이 좋았습니다. 985KB짜리 페이지를 22,019번 받는 대신 방문자 토큰과 목록 쿼리로 본문·댓글을 50건씩 받아 약 440회로 줄인 과정은 속도 개선이면서 동시에 시스템 경계를 다시 읽은 기록이에요.

첫 수집에서 신고 댓글의 22%가 비었을 때 댓글 트리를 끝까지 내려 관찰된 최대 깊이 8을 반영했고, 100건 제한으로 492건 글이 152건만 남은 문제는 다음 페이지를 따라가 492건을 되찾았습니다. 숫자가 줄었다는 것 외에는 신호가 없던 잘림을 총수 대조로 발견했다는 점이 특히 중요합니다.

완료 판정도 수집기 자기보고에 맡기지 않았습니다. 플랫폼 전체 개수와 사이트맵 열거가 각각 22,019건으로 맞았고, 댓글은 36,469건 중 공개 통로로 도달한 36,465건만 확보했다고 적었습니다. 남은 네 건은 삭제·비공개로 단정하지 않고 이유 미확정인 `HOLD`로 뒀죠.

본문 0자 693건을 수집 실패로 합치지 않고 빈글 569·이미지 77·첨부 47로 다시 분류한 장면도 독자에게 유용합니다. 결손처럼 보이는 수치를 데이터 형태와 수집 오류로 나눠 보게 해 주기 때문입니다.

큰 수집량보다 빠진 댓글과 0자 본문의 이유를 끝까지 분리한 작업이 인상 깊었습니다. 닿지 못한 네 건을 억지로 완성 처리하지 않은 판단 덕분에 이 수집본은 규모와 한계를 함께 읽을 수 있는 기록으로 남았어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기