[Fivemonkeys_공공] 취업공고 크롤러 - Skill로 패키징
송주환
2026.05.25
![[Fivemonkeys_공공] 취업공고 크롤러 - Skill로 패키징 본문 이미지](/_next/image?url=https%3A%2F%2Fcdn.gpters.org%2Fexternal%2F016c6898296a359809bcab86.jpg&w=3840&q=75)
## 📝 한줄 요약
원티드·점핏·잡코리아·사람인 동시에 긁어오는 크롤러, GitHub 스킬 배포
**바쁘시면 이것만 읽어도 돼요:**
- 멀티 플랫폼 취업공고 크롤러, Excel로 자동 저장
- CLI 명령어 한 줄로 설치되는 "스킬"로 패키징해 GitHub 배포
- 단순 크롤러가 아닌 5단계 대화를 통해 커스텀 가능
## 🎯 이런 분들께 도움돼요
- 특정 키워드 공고를 여러 플랫폼에서 한 번에 모아보고 싶은 구직자
- 작업 내용을 Skill로 만들고 싶은 분
## 😫 문제 상황 (Before)
매번 원티드, 점핏, 잡코리아를 따로따로 열어서 키워드 검색
사이트마다 UI도 다름
같은 공고가 중복
마감일이 지난 공고까지 섞여 나와서 매번 필터를 수동으로 걸러야 했음
북마크 폴더가 난장판 됨, 탭을 수십 개 열어두다 실수로 닫아버리는 일이 반복
## 🛠️ 사용한 도구
- **도구**: Claude Code,
- **모델**: Claude Sonnet 4.6
- **결과물**: [github.com/jootang2/job-crawler](https://github.com/jootang2/job-crawler)
---
## 🔧 작업 과정
### "어떤 사이트 크롤링할까요?" — 기획부터 AI랑 같이
혼자 시작하면 막막한 게 기획이다. 그냥 "취업공고 크롤러 만들어줘"라고 하면 AI가 알아서 만들어주긴 하지만, 내가 진짜 원하는 게 뭔지를 먼저 정리해야 했다.
Claude Code가 먼저 질문을 던졌다:
```
어떤 직종/분야 공고를 수집하려고 하시나요?
크롤링 방식으로 어떤 걸 선호하시나요?
수집한 공고를 어떻게 저장/활용하실 계획인가요?
```
"AX관련 포지션, 둘 다 혼용, 엑셀 파일"로 답하자 바로 설계가 나왔다. 원티드는 공식 JSON API가 있어서 깔끔하게, 점핏과 잡코리아는 JavaScript로 렌더링되는 페이지라 Playwright(가상 브라우저)로, 사람인은 API 키가 필요하니 나중에 연결하기로.
---
### 실행했더니 오류가 폭발했다
```
사람인 API키는 추후에 따로 등록해놓을게, 나머지 4개 사이트 작동해볼래
```
실제로 돌려보니 오류가 쏟아졌다. AI랑 개발할 때 자주 겪는 현실이다 — 이론상 완벽해 보이는 코드도 실제 사이트에 붙으면 다 달라진다.
**맞닥뜨린 문제들:**
- 잡코리아가 일반 요청을 아예 차단 → Playwright로 전환
- 점핏 HTML 구조가 바뀌어 있어서 선택자가 안 맞음 → 라이브 HTML 직접 분석 후 수정
- 로켓펀치는 CloudFront 봇 차단에 걸려서 → 비활성화 처리
- Windows에서 한글 em dash(`—`) 출력 시 인코딩 오류 → 문자 교체로 해결
이걸 혼자 했다면 각 사이트 개발자 도구 열고 하나씩 분석하는 데 몇 시간이 걸렸을 것이다. AI와 함께하니 "이 오류 왜 나는지 확인해줘"라고 말하면 라이브 HTML을 분석해서 바뀐 선택자를 찾아냈다.
---
### 2주 이내 공고만, 클릭하면 바로 이동
```
나는 2주 이내 공고만 보고싶어, 그리고 엑셀 파일에 링크를 걸어줘서 누르면 이동할 수 있게
```
각 사이트마다 마감일 표시 방식이 달랐다. 점핏은 `D-7` 형식, 잡코리아는 `05/25(일)` 형식, 원티드는 `2026-05-25` 형식. 이걸 통합 파싱해서 14일 이내 공고만 필터링하는 로직을 만들었다.
엑셀 출력 시 공고 제목에 하이퍼링크를 걸어서 클릭하면 바로 공고 페이지로 이동하게 했다. 파일명에 타임스탬프를 붙인 것도 이 단계에서 추가했는데 — 엑셀을 열어둔 채로 다시 실행하면 `PermissionError`가 뜨기 때문이다.
---
### "다른 AI 도구들도 쓸 수 있게 스킬로 만들자"
```
우리가 방금 한 작업을 codex나 다른 모델들도 쓸 수 있게 skill로 만들고싶은데 어떻게 해야할까?
```
크롤러 자체는 완성됐는데, 매번 터미널에 긴 명령어를 치는 건 불편했다. 그래서 Claude Code의 "스킬" 기능을 활용하기로 했다. 스킬을 만들면 `~/.claude/skills/` 폴더에 설치되고, `/job-crawler`라고 입력하기만 해도 실행된다.
이때 자연스럽게 나온 아이디어가 **5단계 대화형 설정**이다:
```
지금은 AX로만 되어있잖아, 우리는 사용자가 커스텀할 수 있는 선택지를 줄거야
먼저 어떤 키워드로 할지, 어떤 플랫폼을 사용할건지, 최근 얼마 이내 공고를 크롤링 할 건지...
계획부터 같이 세워줘
```
또 한 번 Claude Code가 질문을 던졌다:
```
아래 항목 중 사용자에게 추가로 물어볼 것들을 골라주세요.
```
"정렬 기준, 결과 미리보기, 파일 자동 열기" 세 가지를 모두 선택했다.
이렇게 해서 완성된 흐름:
1. 어떤 키워드로 검색할까요?
2. 어떤 플랫폼에서 검색할까요?
3. 마감일 기준을 선택해주세요.
4. 결과를 어떤 기준으로 정렬할까요?
5. 추가 옵션을 선택해주세요.
단순 CLI 도구가 대화형 앱이 됐다.
---
### GitHub에 올려서 누구나 설치할 수 있게
```
이거를 github에 올려서 사용법이랑 소개하는 글도 작성하고싶어,
그래서 사람들이 명령어 한 줄이면 스킬이 추가되고, 이 작업을 실행할 수 있게
```
레포 이름(`job-crawler`), README 언어(영어+한국어), 설치 방식(설치 스크립트)을 결정하고 바로 작업에 들어갔다.
Mac/Linux용 `install.sh`와 Windows용 `install.ps1`을 만들어서 아래 명령어 한 줄로 설치되게 했다:
```
# Mac/Linux
curl -fsSL https://raw.githubusercontent.com/jootang2/job-crawler/main/install.sh | bash
# Windows
irm https://raw.githubusercontent.com/jootang2/job-crawler/main/install.ps1 | iex
```
설치하면 자동으로 Python 패키지랑 브라우저까지 설치되고, Claude Code를 재시작하면 `/job-crawler` 명령어를 바로 쓸 수 있다.
---
### "AX로 한정하지 마, 그냥 공고 크롤러야"
```
이거 디스크립션이 AX로 한정되어 있는데 README도 AX로 한정되어있는지 다시 검토해줘,
나는 AX로 한정짓지 않고, 모든 포지션에 열려있게 선택사항도 추가했었잖아!
```
처음 출발은 "AX 공고 크롤러"였지만, 이미 만든 기능 자체는 어떤 키워드든 다 된다. README와 스킬 설명이 AX로 한정되어 있었던 걸 발견하고 바로 수정했다. 이런 세부 사항을 직접 챙기는 게 AI와 협업할 때 사용자가 해야 할 일이다.
---
## ✅ 결과 (After)
### Before vs After
| 항목 | Before | After |
|------|--------|-------|
| 공고 수집 방법 | 사이트별 수동 검색 + 복붙 | `/job-crawler` 입력 → 자동 수집 |
| 결과 형태 | 탭 수십 개 또는 즐겨찾기 난장판 | 클릭 가능한 링크가 담긴 Excel 파일 |
| 설치 방법 | - | 명령어 한 줄 |
| 다른 사람 공유 | 불가 | GitHub 링크 하나로 공유 |
### 결과물
- GitHub: [github.com/jootang2/job-crawler](https://github.com/jootang2/job-crawler)
- 지원 플랫폼: 원티드, 점핏, 잡코리아, 사람인
- 출력: `jobs_YYYYMMDD_HHMM.xlsx` (하이퍼링크 포함)
## 💬 이 과정에서 배운 AI 활용 팁
### 효과적이었던 것
1. **"계획부터 같이 세워줘"** — 구현 전에 설계를 먼저 논의하면 방향이 안 흔들린다
2. **오류 메시지를 그대로 붙여넣기** — 설명하려 하지 말고 오류 내용 자체를 공유하면 AI가 바로 원인을 찾는다
3. **"다른 사람도 쓸 수 있게"라는 관점 추가** — 나만 쓰는 스크립트와 배포 가능한 도구 사이의 차이를 AI가 채워줬다
### 이렇게 하면 안 돼요
1. **완성된 코드를 한 번에 요청하기** — 단계별로 만들고 실행해보면서 진행해야 오류 범위가 좁다
2. **결과물만 확인하고 넘어가기** — 설명 텍스트, README, 스킬 설명 등 세부 내용도 직접 검토해야 한다 (AX 한정 표현처럼 놓치는 게 생긴다)
## 🌍 다른 업무에 적용한다면?
- 특정 키워드로 뉴스 기사 수집 → 일간 브리핑 자동화
- 경쟁사 채용 공고 모니터링 → 시장 동향 파악
- 학술 논문 검색 결과 수집 → 리서치 자동화
이 크롤러의 구조 자체는 "사이트 → 파싱 → 필터링 → Excel 출력" 이고, 대상 사이트만 바꾸면 다른 용도로 재활용할 수 있다.
## 🚀 앞으로의 계획
- 사람인 API 키 연결해서 4개 플랫폼 풀가동
- Slack/이메일로 새 공고 알림 자동 발송
## 📋 재사용 가능한 프롬프트
### 프롬프트 1: 크롤러 기획 시작
> [수집 대상]을 크롤링하는 도구를 만들고 싶어.
> 어떤 사이트들을 대상으로 할지, 어떻게 저장할지, 어떤 언어로 만들면 좋을지 — 먼저 옵션을 알려줘.
### 프롬프트 2: 오류 해결 요청
> 아래 오류가 발생했어. 원인이 뭔지 분석하고 수정해줘.
> [오류 메시지 붙여넣기]
### 프롬프트 3: 배포용 도구로 업그레이드
> 지금 만든 스크립트를 다른 사람도 쉽게 설치해서 쓸 수 있게 패키징하고 싶어.
> 설치 스크립트, README, [플랫폼] 배포까지 계획 세워줘.
로그인하고 댓글을 남겨 주세요




엄청 유용한 스킬이네요. 앞으로 스터디장 하실 날이 기대됩니다.!