[Claude Code] 기존 코드를 참고해서 30분 만에 식약처 수집기를 만들기

📝 한줄 요약

FDA Collector 코드를 Claude Code에게 보여주고 "식약처에서도 같은 걸 만들 수 있어?"라고 물었더니, 웹사이트 구조를 분석하고 30분 만에 동작하는 식약처 수집기를 완성했습니다.

🎯 이런 분들께 도움돼요

• 기존 코드를 참고해 유사한 프로젝트를 빠르게 만들고 싶은 분

• "코드를 처음부터 다 만들어야 하나?" 고민하는 분

• Claude Code의 웹사이트 분석 능력이 궁금한 분

• gpters 20기 동기들 (자동화 2개째 도전!)

😫 문제 상황 (Before)

FDA Collector는 만들었는데...

첫 번째 자동화로 FDA Guideline Collector를 완성했습니다. 그런데 한국 식약처(MFDS)도 같은 방식으로 자동화하고 싶었습니다.

고민:

• FDA Collector 코드를 처음부터 다시 만들어야 하나?

• 식약처 웹사이트 구조가 다를 텐데 어떻게 하지?

• 코드를 복사해서 수정하면 되나?

수동으로 식약처 문서 찾기

기존에는 식약처 웹사이트에서 수동으로 문서를 검색했습니다:

• 고시 게시판 방문 → 스크롤 → 관련 문서 찾기

• 민원인안내서 게시판 방문 → 스크롤 → 관련 문서 찾기

• 매번 10-20분 소요

🛠️ 사용한 도구

• Claude Code: 기존 코드 분석 + 새 코드 작성

• Selenium: 동적 웹페이지 크롤링

• BeautifulSoup: HTML 파싱

• pandas: Excel 저장

🔧 작업 과정

"FDA Collector 처럼 만들 수 있어?"

기존 FDA Collector 코드가 있는 상태에서 Claude에게 물어봤습니다.

FDA collector 처럼 식약처에서 같은 기능을 하는 것을 만들 수 있을까?

Claude는 바로 작업을 시작했습니다:

1. 기존 FDA Collector 구조 분석 (main.py, collector.py, config.py)

2. 식약처 웹사이트 구조 분석

3. 두 사이트 비교 분석표 생성

Claude가 만든 비교표:

Claude가 먼저 물어봤다

코드를 작성하기 전에 Claude가 질문을 던졌습니다:

1. 식약처 collector를 어디에 만들까요?

   • 기존 폴더에 추가 vs 별도 폴더 생성 → 별도 폴더 생성 선택

2. 어떤 게시판을 수집할까요?

   • 고시만 vs 민원인안내서만 vs 둘 다 → 둘 다 선택

3. 필터링할 키워드가 있나요? → FDA와 동일 (유전자치료, 첨단바이오 등)

인상 깊었던 점:

Claude가 먼저 선택지를 제시하고, 제 의도를 확인한 후 작업했습니다. 덕분에 재작업 없이 원하는 결과물을 얻었습니다.

첫 실행에서 오류 발생

코드가 완성되고 실행했는데 오류가 났습니다.

"게시물을 찾을 수 없습니다"

Claude의 대응:

1. 디버그 스크립트를 만들어서 실제 HTML 구조 저장

2. 저장된 HTML을 분석해서 정확한 선택자 찾기

3. 코드 수정

문제 원인:

• 예상한 구조: ul.list > li

• 실제 구조: div.bbs_list01 > ul > li (공지사항 제외 처리 필요)

Claude가 실제 HTML을 보고 정확한 구조를 파악해서 수정했습니다.

30분 만에 완성

오류 수정 후 다시 실행하니 정상 동작했습니다.

수집 결과:

찾은 문서들:

1. 유전자가위 기술을 적용한 체외진단 제품의 개발 및 허가심사 시 고려사항

2. 형질 전환 동물에서 생산되는 유전자재조합의약품의 품질 평가 가이드라인

3. 첨단바이오의약품 제조 및 품질관리기준 가이드라인

4. 「첨단재생바이오법」자주묻는 질의응답집

✅ 결과 (After)

Before vs After

생성된 파일

mfds_collector/
├── config.py          # 설정 (URL, 키워드)
├── collector.py       # 크롤링 로직
├── main.py           # 실행 파일
├── requirements.txt  # 의존성
└── output/           # Excel 결과물

ALT

한국어로 된 스프레드시트 스크린샷

gpters 20기 목표 현황

• 자동화 #1: FDA Collector ✅

• 자동화 #2: MFDS Collector ✅ ← 이번에 완성!

• 자동화 #3: (예정)

💬 이 과정에서 배운 AI 활용 팁

효과적이었던 것

1. 기존 코드를 참고하게 하라

   • "처음부터 만들어줘" 대신 "이 코드처럼 만들어줘"

   • Claude가 구조를 이해하고 일관된 스타일로 작성

2. Claude의 웹 분석 능력 활용

   • 웹사이트 구조를 직접 분석해서 알려줌

   • 디버깅용 스크립트도 자동 생성

3. 선택지를 받으면 명확하게 대답

   • Claude가 "A vs B?" 물으면 바로 선택

   • 모호하게 답하면 재작업 필요

이렇게 하면 안 돼요

1. 처음부터 완벽한 코드를 기대하지 마라

   • 첫 실행에서 오류 나는 건 정상

   • 디버깅 과정도 Claude와 함께

2. 웹사이트 구조를 추측하지 마라

   • 실제 HTML을 보게 해야 정확한 코드 작성 가능

🌍 다른 업무에 적용한다면?

"기존 코드 참고해서 새로 만들기" 패턴은 다양하게 활용 가능:

• 다른 정부 기관 사이트: 식품안전나라, 특허청, 관세청 등

• 다른 규제 기관: EMA(유럽), PMDA(일본) 수집기

• 사내 시스템: 기존 리포트 코드를 참고해 새 리포트 생성

핵심: "이 코드처럼 만들어줘"라고 하면 Claude가 구조를 파악해서 일관된 스타일로 만들어줌

🚀 앞으로의 계획

즉시 진행

1. PMDA Collector 구현 (일본 규제기관) → 자동화 #3

2. EMA Collector 구현 (유럽 규제기관) → 자동화 #4

중기 계획

3. 4개 기관 통합 대시보드

   • FDA + MFDS + PMDA + EMA 결과를 한눈에

   • 새 문서 알림 기능

📋 재사용 가능한 프롬프트

프롬프트 1: 기존 코드 기반 확장

[기존 프로젝트] 처럼 [새로운 대상]에서 같은 기능을 하는 것을 만들 수 있을까?

사용법: 기존에 동작하는 코드가 있을 때 유사한 프로젝트 만들기

프롬프트 2: 웹 크롤러 디버깅

[URL]에서 게시물을 찾을 수 없다고 나와. 실제 HTML 구조를 확인해서 정확한 CSS 선택자를 찾아줘.

사용법: 크롤러가 동작하지 않을 때 디버깅 요청

프롬프트 3: 웹사이트 구조 분석

[URL] 페이지의 구조를 분석해줘. 게시물 목록 형태, 페이지네이션 방식, 각 컬럼을 파악해줘.

사용법: 새 웹사이트 크롤링 전 구조 파악

핵심 메시지:

처음부터 각각 구조가 많이 다른 4개 웹페이지 클롤링은 생각보다 복잡하고 구현하는데 시간이 많이 걸립니다. 초보자에겐 단순한 플랜의 구현부터 시작하는게 좋다고 느꼇습니다. 그리고 이미 비슷한 플랜으로 작업한 코드가 있으면 처음부터 코드를 다 만들 필요 없습니다. 기존에 동작하는 코드가 있으면 "이것처럼 만들어줘"라고 하세요. Claude가 구조를 파악하고 일관된 스타일로 새 코드를 만들어줍니다. 30분이면 충분합니다.

작성 날짜: 2026-01-24 소요 시간: 약 30분 (구조 분석 10분 + 코드 작성 10분 + 디버깅 10분) 사용 모델: Claude Opus 4.5