본문으로 건너뛰기

[Fivemonkeys_공공] 취업공고 크롤러 - Skill로 패키징

송주환

2026.05.25

[Fivemonkeys_공공] 취업공고 크롤러 - Skill로 패키징 본문 이미지

## 📝 한줄 요약

원티드·점핏·잡코리아·사람인 동시에 긁어오는 크롤러, GitHub 스킬 배포

**바쁘시면 이것만 읽어도 돼요:**
- 멀티 플랫폼 취업공고 크롤러, Excel로 자동 저장
- CLI 명령어 한 줄로 설치되는 "스킬"로 패키징해 GitHub 배포
- 단순 크롤러가 아닌 5단계 대화를 통해 커스텀 가능

## 🎯 이런 분들께 도움돼요
- 특정 키워드 공고를 여러 플랫폼에서 한 번에 모아보고 싶은 구직자
- 작업 내용을 Skill로 만들고 싶은 분

## 😫 문제 상황 (Before)

매번 원티드, 점핏, 잡코리아를 따로따로 열어서 키워드 검색
사이트마다 UI도 다름
같은 공고가 중복
마감일이 지난 공고까지 섞여 나와서 매번 필터를 수동으로 걸러야 했음

북마크 폴더가 난장판 됨, 탭을 수십 개 열어두다 실수로 닫아버리는 일이 반복

## 🛠️ 사용한 도구
- **도구**: Claude Code, 
- **모델**: Claude Sonnet 4.6
- **결과물**: [github.com/jootang2/job-crawler](https://github.com/jootang2/job-crawler)

---

## 🔧 작업 과정

### "어떤 사이트 크롤링할까요?" — 기획부터 AI랑 같이

혼자 시작하면 막막한 게 기획이다. 그냥 "취업공고 크롤러 만들어줘"라고 하면 AI가 알아서 만들어주긴 하지만, 내가 진짜 원하는 게 뭔지를 먼저 정리해야 했다.

Claude Code가 먼저 질문을 던졌다:

```
어떤 직종/분야 공고를 수집하려고 하시나요?
크롤링 방식으로 어떤 걸 선호하시나요?
수집한 공고를 어떻게 저장/활용하실 계획인가요?
```

"AX관련 포지션, 둘 다 혼용, 엑셀 파일"로 답하자 바로 설계가 나왔다. 원티드는 공식 JSON API가 있어서 깔끔하게, 점핏과 잡코리아는 JavaScript로 렌더링되는 페이지라 Playwright(가상 브라우저)로, 사람인은 API 키가 필요하니 나중에 연결하기로.

---

### 실행했더니 오류가 폭발했다

```
사람인 API키는 추후에 따로 등록해놓을게, 나머지 4개 사이트 작동해볼래
```

실제로 돌려보니 오류가 쏟아졌다. AI랑 개발할 때 자주 겪는 현실이다 — 이론상 완벽해 보이는 코드도 실제 사이트에 붙으면 다 달라진다.

**맞닥뜨린 문제들:**

- 잡코리아가 일반 요청을 아예 차단 → Playwright로 전환
- 점핏 HTML 구조가 바뀌어 있어서 선택자가 안 맞음 → 라이브 HTML 직접 분석 후 수정
- 로켓펀치는 CloudFront 봇 차단에 걸려서 → 비활성화 처리
- Windows에서 한글 em dash(`—`) 출력 시 인코딩 오류 → 문자 교체로 해결

이걸 혼자 했다면 각 사이트 개발자 도구 열고 하나씩 분석하는 데 몇 시간이 걸렸을 것이다. AI와 함께하니 "이 오류 왜 나는지 확인해줘"라고 말하면 라이브 HTML을 분석해서 바뀐 선택자를 찾아냈다.

---

### 2주 이내 공고만, 클릭하면 바로 이동

```
나는 2주 이내 공고만 보고싶어, 그리고 엑셀 파일에 링크를 걸어줘서 누르면 이동할 수 있게
```

각 사이트마다 마감일 표시 방식이 달랐다. 점핏은 `D-7` 형식, 잡코리아는 `05/25(일)` 형식, 원티드는 `2026-05-25` 형식. 이걸 통합 파싱해서 14일 이내 공고만 필터링하는 로직을 만들었다.

엑셀 출력 시 공고 제목에 하이퍼링크를 걸어서 클릭하면 바로 공고 페이지로 이동하게 했다. 파일명에 타임스탬프를 붙인 것도 이 단계에서 추가했는데 — 엑셀을 열어둔 채로 다시 실행하면 `PermissionError`가 뜨기 때문이다.

---

### "다른 AI 도구들도 쓸 수 있게 스킬로 만들자"

```
우리가 방금 한 작업을 codex나 다른 모델들도 쓸 수 있게 skill로 만들고싶은데 어떻게 해야할까?
```

크롤러 자체는 완성됐는데, 매번 터미널에 긴 명령어를 치는 건 불편했다. 그래서 Claude Code의 "스킬" 기능을 활용하기로 했다. 스킬을 만들면 `~/.claude/skills/` 폴더에 설치되고, `/job-crawler`라고 입력하기만 해도 실행된다.

이때 자연스럽게 나온 아이디어가 **5단계 대화형 설정**이다:

```
지금은 AX로만 되어있잖아, 우리는 사용자가 커스텀할 수 있는 선택지를 줄거야
먼저 어떤 키워드로 할지, 어떤 플랫폼을 사용할건지, 최근 얼마 이내 공고를 크롤링 할 건지...
계획부터 같이 세워줘
```

또 한 번 Claude Code가 질문을 던졌다:

```
아래 항목 중 사용자에게 추가로 물어볼 것들을 골라주세요.
```

"정렬 기준, 결과 미리보기, 파일 자동 열기" 세 가지를 모두 선택했다.

이렇게 해서 완성된 흐름:
1. 어떤 키워드로 검색할까요?
2. 어떤 플랫폼에서 검색할까요?
3. 마감일 기준을 선택해주세요.
4. 결과를 어떤 기준으로 정렬할까요?
5. 추가 옵션을 선택해주세요.

단순 CLI 도구가 대화형 앱이 됐다.

---

### GitHub에 올려서 누구나 설치할 수 있게

```
이거를 github에 올려서 사용법이랑 소개하는 글도 작성하고싶어,
그래서 사람들이 명령어 한 줄이면 스킬이 추가되고, 이 작업을 실행할 수 있게
```

레포 이름(`job-crawler`), README 언어(영어+한국어), 설치 방식(설치 스크립트)을 결정하고 바로 작업에 들어갔다.

Mac/Linux용 `install.sh`와 Windows용 `install.ps1`을 만들어서 아래 명령어 한 줄로 설치되게 했다:

```
# Mac/Linux
curl -fsSL https://raw.githubusercontent.com/jootang2/job-crawler/main/install.sh | bash

# Windows
irm https://raw.githubusercontent.com/jootang2/job-crawler/main/install.ps1 | iex
```

설치하면 자동으로 Python 패키지랑 브라우저까지 설치되고, Claude Code를 재시작하면 `/job-crawler` 명령어를 바로 쓸 수 있다.

---

### "AX로 한정하지 마, 그냥 공고 크롤러야"

```
이거 디스크립션이 AX로 한정되어 있는데 README도 AX로 한정되어있는지 다시 검토해줘,
나는 AX로 한정짓지 않고, 모든 포지션에 열려있게 선택사항도 추가했었잖아!
```

처음 출발은 "AX 공고 크롤러"였지만, 이미 만든 기능 자체는 어떤 키워드든 다 된다. README와 스킬 설명이 AX로 한정되어 있었던 걸 발견하고 바로 수정했다. 이런 세부 사항을 직접 챙기는 게 AI와 협업할 때 사용자가 해야 할 일이다.

---

## ✅ 결과 (After)

### Before vs After
| 항목 | Before | After |
|------|--------|-------|
| 공고 수집 방법 | 사이트별 수동 검색 + 복붙 | `/job-crawler` 입력 → 자동 수집 |
| 결과 형태 | 탭 수십 개 또는 즐겨찾기 난장판 | 클릭 가능한 링크가 담긴 Excel 파일 |
| 설치 방법 | - | 명령어 한 줄 |
| 다른 사람 공유 | 불가 | GitHub 링크 하나로 공유 |

### 결과물
- GitHub: [github.com/jootang2/job-crawler](https://github.com/jootang2/job-crawler)

- 지원 플랫폼: 원티드, 점핏, 잡코리아, 사람인
- 출력: `jobs_YYYYMMDD_HHMM.xlsx` (하이퍼링크 포함)

## 💬 이 과정에서 배운 AI 활용 팁

### 효과적이었던 것
1. **"계획부터 같이 세워줘"** — 구현 전에 설계를 먼저 논의하면 방향이 안 흔들린다
2. **오류 메시지를 그대로 붙여넣기** — 설명하려 하지 말고 오류 내용 자체를 공유하면 AI가 바로 원인을 찾는다
3. **"다른 사람도 쓸 수 있게"라는 관점 추가** — 나만 쓰는 스크립트와 배포 가능한 도구 사이의 차이를 AI가 채워줬다

### 이렇게 하면 안 돼요
1. **완성된 코드를 한 번에 요청하기** — 단계별로 만들고 실행해보면서 진행해야 오류 범위가 좁다
2. **결과물만 확인하고 넘어가기** — 설명 텍스트, README, 스킬 설명 등 세부 내용도 직접 검토해야 한다 (AX 한정 표현처럼 놓치는 게 생긴다)

## 🌍 다른 업무에 적용한다면?
- 특정 키워드로 뉴스 기사 수집 → 일간 브리핑 자동화
- 경쟁사 채용 공고 모니터링 → 시장 동향 파악
- 학술 논문 검색 결과 수집 → 리서치 자동화

이 크롤러의 구조 자체는 "사이트 → 파싱 → 필터링 → Excel 출력" 이고, 대상 사이트만 바꾸면 다른 용도로 재활용할 수 있다.

## 🚀 앞으로의 계획
- 사람인 API 키 연결해서 4개 플랫폼 풀가동
- Slack/이메일로 새 공고 알림 자동 발송

## 📋 재사용 가능한 프롬프트

### 프롬프트 1: 크롤러 기획 시작
> [수집 대상]을 크롤링하는 도구를 만들고 싶어.
> 어떤 사이트들을 대상으로 할지, 어떻게 저장할지, 어떤 언어로 만들면 좋을지 — 먼저 옵션을 알려줘.

### 프롬프트 2: 오류 해결 요청
> 아래 오류가 발생했어. 원인이 뭔지 분석하고 수정해줘.
> [오류 메시지 붙여넣기]

### 프롬프트 3: 배포용 도구로 업그레이드
> 지금 만든 스크립트를 다른 사람도 쉽게 설치해서 쓸 수 있게 패키징하고 싶어.
> 설치 스크립트, README, [플랫폼] 배포까지 계획 세워줘.
3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

라면 프로필 이미지
라면2026.06.01

엄청 유용한 스킬이네요. 앞으로 스터디장 하실 날이 기대됩니다.!

oneshot 프로필 이미지
oneshot2026.06.01

비서를 다섯명이나 채용하셨군요. 대단하시네요. 저도 비서를 고용해 봐야겠네요

윤스케어 프로필 이미지
윤스케어2026.05.27

4개 플랫폼을 한 번에 긁고 Excel로 저장하는 것까지 가신 것도 좋은데, "5단계 대화로 커스텀 가능한 스킬"로 패키징하신 게 진짜 핵심이네요. 잡코리아 차단, 점핏 HTML 변경, em dash 인코딩 같은 시행착오를 솔직하게 정리해주신 점이 따라하시는 분들에게 큰 도움될 것 같아요. 저도 따라해봐야겠습니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기