한줄 요약
암환자 일자리 매칭 서비스를 위해 당근알바 크롤러를 Claude Code로 만들었습니다. 크롤러 구현은 놀라울 정도로 쉬웠지만, "전국 커버"라는 기획 문제에서 막혀 고민 중입니다.
이런 분들께 도움돼요
크롤러를 처음 만들어보고 싶은 비개발자
AI로 자동화를 시도하다가 "기획의 벽"을 만난 분
당근마켓/당근알바 데이터 수집에 관심 있는 분
소개: 시도하고자 했던 것과 그 이유
문제 상황 (Before)
암을 경험한 분들이 일자리를 찾기가 정말 어렵습니다. 체력적 한계로 풀타임이 힘들고, 유연한 근무시간이나 단기 계약이 필요한데, 이런 조건의 일자리를 일일이 찾아다니는 건 현실적으로 불가능해요.
당근알바는 동네 기반 단기 일자리가 많아서 딱 맞는 플랫폼인데, 매일 앱을 열어서 확인하는 건 너무 비효율적이었습니다.
시작하게 된 계기
"암환자 분들이 유연한 일자리를 찾기 어려우니, 당근알바 공고를 자동으로 모아서 전달해주면 어떨까?"
이 생각으로 Fresh Work 프로젝트를 시작했습니다. 첫 번째 자동화 대상으로 당근알바 크롤러를 선택했어요.
진행 방법: 어떤 도구를 사용했고, 어떻게 활용했나요?
사용한 도구
도구명: Claude Code (VSCode 확장)
모델: Claude Opus 4.5
기술 스택: Python, Selenium, BeautifulSoup, SQLite
AI와 협업한 과정
1. 크롤러 기본 구조 만들기
상황: 당근알바 페이지를 크롤링하고 싶은데, 웹 크롤링 경험이 거의 없었어요.
이렇게 요청했어요:
당근알바 페이지(https://www.daangn.com/kr/jobs/)를 크롤링해서 공고 정보를 수집하고 싶어. 이 URL로 접속해서 웹 구조를 분석하고, 크롤러를 만들어줘.
결과: Claude가 알아서 페이지 구조를 분석하고, Selenium으로 동적 로딩을 처리하는 크롤러를 만들어줬어요. 제목, 급여, 근무시간, 위치, 심지어 매너온도까지 18개 필드를 자동 추출하는 코드가 완성됐습니다.
Test 수집 데이터 요약본:
Test 수집 데이터 상세본:
느낀 점: "이게 이렇게 쉽게 된다고?" 싶었어요. URL만 던져주면 알아서 웹 구조를 파악하고 코드를 짜주니까요.
2. 전국 크롤링 시도 (여기서 문제 발생)
상황: 특정 지역이 아니라 전국의 당근알바를 모두 수집하고 싶었어요.
이렇게 요청했어요:
전국의 모든 당근알바를 크롤링하고 싶어. 지역별로 순회하면서 수집할 수 있게 해줘.
결과: