[Claude Code] AI가 홈페이지를 크롤링해서 원고 초안을 보강한 과정 — 카톡 8만줄에서 첫 번째 챕터까지

소개

📝 한줄 요약

카톡 8만줄에서 에피소드를 추출한 뒤, 부족한 맥락을 제공하고, AI가 외부 홈페이지까지 크롤링해서 보강하는 방식으로 E-book 첫 번째 챕터 초안 4,500자를 완성했다.

진행 방법

🛠️ 사용한 도구

  • Claude Code (CLI)

  • 모델: Claude Opus 4.6

  • 특이사항: Plan Mode로 소재 정리 → 초안 작성 프로세스 설계, MCP로 Slack/Notion/Gmail 연동, WebFetch로 외부 홈페이지 크롤링

    작업 과정

    어디서부터 쓸까 — "목차는 있는데, 원고는 백지"

    지난주에 목차 17챕터를 완성했다. 카톡 10만줄을 분석해서 만든 목차였으니, 뼈대는 튼튼했다. 그런데 막상 원고를 쓰려고 하니 막막했다. 첫 줄을 어떻게 시작해야 할지, 어떤 톤으로 써야 할지, 한 챕터에 얼마나 써야 할지. 목차가 있다고 글이 저절로 써지는 건 아니었다.

    그래서 AI에게 물었다.

    이제 원고 초안을 작성해보려고 해. 내가 연결해줬던 데이터(슬랙, 카카오톡, 노션) 기록 기반으로, 특히 내가 쓴 메세지 중점으로 해서 스토리를 작성할 거야. 함께 원고를 작성하려고 하는데, 어떤 방식으로 작업하면 좋을까?

    AI가 작업 방식부터 제안했다. 어떤 챕터부터 시작할지, 문체는 어떤 톤으로 할지, 분량은 얼마로 잡을지, 소재 정리를 먼저 하고 초안을 쓸지. 나는 Ch01 "일곱 명의 술친구"부터, 4,000~5,000자, 소재 정리 후 함께 초안 작성하는 방식을 골랐다.

    글쓰기 전에 "어떻게 쓸 것인가"를 먼저 정하는 과정이 생각보다 중요했다. AI가 프로세스를 제안해주니 백지 상태의 막막함이 줄었다.


    카톡에서 에피소드 추출 — "8만줄에서 진짜 쓸 것만 뽑아줘"

    Ch01의 범위를 "Being & Doing 모임에서 만남 → 와인바로 결정하기까지"로 잡았다. AI가 Plan Mode로 소재 수집 계획을 세우고, 카카오톡 83,000줄에서 Ch01과 관련된 에피소드를 추출하기 시작했다.

    결과가 꽤 인상적이었다. AI가 찾아낸 것들:

    • A씨가 '십분의 일을 냅니다' 책을 단톡방에 공유한 시점

    • "우리도 해볼까?" 같은 초기 대화

    • 소주바/맥주/위스키바를 검토하다 와인바로 결정한 흐름

    • 처음 10명에서 8명, 다시 7명으로 줄어든 과정

    83,000줄을 내가 직접 읽었으면 며칠은 걸렸을 텐데, AI가 키워드 기반으로 관련 대화를 골라냈다. 내가 까먹고 있던 디테일도 있었다.

    이 순간이 가장 인상적이었다. 5년 전 카톡을 AI가 검색해서 "이런 대화가 있었는데요"라고 보여주는데, "아 맞다 이런 이야기 했었지" 하는 순간이 여러 번 있었다.


    내가 직접 이야기를 들려주다 — "카톡에 없는 맥락은 내가 채워야 했다"

    그런데 카톡에서 추출한 에피소드만으로는 부족했다. 우리가 왜 모였는지, Being & Doing이 어떤 모임인지, 코로나 때 어떤 분위기였는지 — 이런 배경 맥락은 카톡 대화에 없었다. 우리가 이미 다 아는 사이니까 굳이 카톡에서 설명할 필요가 없었던 것들.

    그래서 나는 AI에게 직접 이야기를 들려줬다.

    우선 카톡방엔 우리가 처음 모이게 된 계기의 내용이 없는 것 같아. A씨가 한 10명 정도 되는 인원을 갑자기 초대하고는, '십분의 일을 냅니다' 책을 보내줬어. 우리는 Being & Doing이라는 자기계발 모임을 5년 가까이 하면서 서로 술도 먹고, 모임도 하던 사이였어.
    2020년 초였던 거 같아. 막 코로나가 터지기 시작한 이후로, 우리는 코로나가 메르스처럼 지나갈 줄 알았거든. 코로나 터지고 나서 '권리금 0원'으로 가게가 쏟아진다는 기사가 막 나오던 때였어서, 그걸 토대로 우리가 싸게 가게를 할 수 있겠다! 하면서 아이디어가 시작됐어.

    AI가 이 맥락을 받아서 초안에 반영했다. 카톡 데이터에서 뽑은 팩트 + 내가 제공한 배경 이야기가 합쳐지니, 비로소 "우리 이야기"처럼 읽히는 글이 됐다.

    배운 것: AI에게 데이터를 주는 것과, 맥락을 들려주는 것은 다르다. 데이터는 "무슨 일이 있었는지"를 알려주고, 맥락은 "왜 그랬는지"를 알려준다. 둘 다 있어야 글이 된다.


    홈페이지 크롤링으로 보강 — "빙두 홈페이지에 다 있더라"

    초안이 어느 정도 나온 뒤, Being & Doing 모임에 대한 설명이 너무 일반적이라는 느낌이 들었다. "자기계발 모임이었다" 정도로만 쓰면, 독자 입장에서는 그냥 평범한 동아리처럼 읽힐 수 있었다.

    빙두에 대한 내용을 좀 더 리서치해서 넣는 게 좋을 것 같아. 빙두 홈페이지에 보면 나를 포함한 다양한 크루들의 소개가 있을 거야.

    AI가 Being & Doing 홈페이지(beingndoing.info)를 크롤링했다. 그리고 찾아낸 것들:

    • 모임의 취지: "내가 원하고 바라는 대로 인생을 살아가기 위해"

    • 멤버별 참여 횟수: B씨 3회, C씨 8회, E씨 6회 등

    • E씨의 소감: "BD는 내 목표 달성의 전부"

    • 리더 역할의 공식 명칭이 "Chair"라는 것 (내가 까먹고 있었다)

    • 지원서를 내고 선발되는 프로세스

    • BD Talk(BD표 TED), Closing(졸업파티) 등 모임 고유 용어

    이 정보들을 초안에 반영하니 빙두 설명이 확 구체적으로 변했다.

    보강 전:

    Being & Doing, 줄여서 '빙두'라고 불렀던 자기계발 모임이다.

    보강 후:

    Being & Doing. 우리는 줄여서 '빙두'라고 불렀다. 내가 원하고 바라는 대로 인생을 살아가기 위해, 4개월 단위로 목표를 설정하고 성취해 나가는 자기계발 모임이었다. (...) 시즌이 끝나면 Closing이라는 졸업파티에서 맥주를 마시며 새벽까지 이야기했다.

    멤버 소개도 단순한 이름 나열에서, 각자의 빙두 경험이 담긴 소개로 바뀌었다.

    외부 홈페이지 크롤링이 이렇게 유용할 줄 몰랐다. 내가 기억 못 하는 디테일(참여 횟수, 공식 용어)을 AI가 찾아서 채워줬다.


결과와 배운 점

Before vs After

항목

Before

After

원고 상태

목차만 있고 원고 백지

Ch01 초안 4,500자 완성

빙두 설명

"자기계발 모임" 한 줄

취지, 구조, 용어, 멤버 프로필까지 구체적

소재 출처

머릿속 기억

카톡 8만줄 + 유저 맥락 + 홈페이지 크롤링

효과적이었던 것

  1. "데이터 + 맥락" 투트랙 방식 — AI가 카톡에서 팩트를 뽑고, 내가 배경 이야기를 들려주는 역할 분담이 잘 맞았다. 어느 한쪽만으로는 글이 안 된다.

  2. 외부 리서치로 디테일 보강 — 내가 기억 못 하는 정보(참여 횟수, 공식 용어)를 AI가 홈페이지에서 찾아 채워줬다. "Chair"라는 용어도 AI가 크롤링해서 알려줬다.

  3. Plan Mode로 프로세스 설계 — 바로 글을 쓰는 게 아니라, "소재 수집 → 정리 → 초안 → 수정" 순서를 먼저 잡고 시작하니 체계적이었다.

이렇게 하면 안 돼요

  1. AI에게 "그냥 써줘"라고 하기 — 데이터만 주고 쓰라고 하면 밋밋한 글이 나온다. 내가 기억하는 이야기를 직접 들려줘야 "우리 이야기"가 된다.

  2. 카톡 데이터만 믿기 — 카톡에는 이미 서로 아는 맥락이 생략되어 있다. 배경 설명은 내가 직접 채워야 한다.


🌍 다른 업무에 적용한다면?

이 방법은 기존 자료를 기반으로 글을 써야 하는 모든 상황에 적용할 수 있다:

  • 프로젝트 회고록: Slack/Jira 데이터에서 에피소드 추출 + 팀원 맥락 보강

  • 사내 뉴스레터: 업무 기록에서 하이라이트 뽑기 + 담당자 인터뷰로 맥락 추가

  • 포트폴리오 작성: 커밋 히스토리/PR에서 작업 추출 + 의사결정 배경 보충

핵심은 동일하다: AI가 데이터에서 팩트를 뽑고, 사람이 맥락을 채운다.

🚀 앞으로의 계획

Ch01 초안의 품질을 더 다듬을 예정이다. 톤과 문체를 확정하고, 실제 카톡 대화 인용을 더 넣어서 생동감을 높이려고 한다. Ch01의 톤이 확정되면 이후 챕터도 같은 방식으로 진행할 계획이다.

📋 재사용 가능한 프롬프트

프롬프트 1: 데이터 기반 초안 작성 시작

이제 원고 초안을 작성해보려고 해. [데이터 소스]를 기반으로, 특히 내가 쓴 메시지 중심으로 해서 스토리를 작성할 거야.
[챕터/섹션명]의 범위는 [시작점] ~ [끝점]까지야.
우선 관련 에피소드를 데이터에서 추출해줘.

프롬프트 2: 외부 리서치로 초안 보강

[주제]에 대한 내용을 좀 더 리서치해서 넣는 게 좋을 것 같아.
[URL]에 접근해서 [찾아야 할 정보]를 확인하고, 초안에 반영해줘.

1
1개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요