소개
부동산 매매나 임대를 빠른 시간 안에 진행하려면 조금 더 많은 중개소에 연락하는 것이 때로 필요합니다. 하지만 부동산중개소에 한꺼번에 연락하려면 사무실 전화번호가 아닌 핸드폰 문자메세지가 유용합니다. 핸드폰 번호를 수기로 수집하기에는 많은 시간이 소모되기 때문에, 수집을 자동화 할 수 없을까 고민하는 중, Cursor + 바이브코딩 방식으로 크롤링을 알려주셔서 자동화를 시도하였습니다.
진행 방법
샘호트만님의 Vibe Coding GPT로 PRD, IA, Usecase, Design 문서 자동 생성하였습니다.
한방부동산의 중개사무소찾기 사이트에서 자동으로 중개사사무소 상호, 대표자, 주소, 전화번호, 핸드폰번호 등을 수집하는 파이썬 프로그램을 커서로 만들려고 해. 이 사이트는 지역별 중개사무소를 검색하여 그 지역의 중개사무소 정보를 한꺼번에 볼 수 있게 해놨어 #url: https://karhanbang.com/office/?topM=09 cursor를 통해 바이브코딩으로 정보수집용 파이썬 프로그램을 만들고 싶어. Cursor가 순서대로 해야하는 과정은 다음과 같아. 1. 중개사무소 정보를 수집하고 싶은 지역을 선택한다. 예를 들어, 전북특별자치도 전주시덕진구 송천동2가의 지역을 선택할 수 있다. 2. 검색하기 버튼을 누른다. 3. 검색하고자 했던 지역의 중개사무소 리스트가 뜬다. 예를 들어, 전북특별자치도 전주시 덕진구 송천동2가에 등록된 중개사무소 리스트가 한페이지당 10개씩 뜬다. 리스트가 많으면 2페이지 이상 있으며 더 많을 경우 5페이지 이상은 페이지버튼 옆의 다음버튼을 눌러 열 수 있다. 4. 각페이지의 부동산중개사무소 상호를 클릭하면 상세정보가 있는 페이지로 연결된다. 5. 페이지로부터 중개사사무소의 상호, 대표자, 주소, 전화번호1, 전화번호2 (010으로 시작하는 휴대폰번호)를 수집하여 엑셀파일로 정리한다. 6. 1페이지를 넘겨 정보가 있으면 자동으로 2페이지로 가서 수집한다. 7. 5페이지 이상 정보가 있으면 자동으로 다음버튼을 눌러 다음 페이지로 이동하여 나머지 페이지의 정보들을 마지막까지 수집한다. 8. 이 과정을 백그라운드에서 자동으로 실행할 수 있도록 멋진 GUI와 exe파일을 만든다.생성된 프롬프트 문서들을 각각
.md파일로 만들어 다운받은 후 Cursor에 이 파일들을 참고하여 파이썬 파일을 만들라고 하였습니다.그러나 이러한 문서들만으로는 cursor가 데이터 수집을 못하므로, 정보에 접근하는 방식으로 위의 순서대로 웹페이지의 각 요소들을 찾아 cursor에게 수집 작업의 진행순서를 알려주는 과정이 필요했습니다.
즉, 한방부동산 사이트의 중개사무소찾기 메뉴를 통해 원하는 지역의 중개소 리스트를 찾고, 상세정보가 담긴 페이지까지 접근해야 중개사님들의 핸드폰 번호까지 볼 수 있는데, 이 과정을 cursor와 대화하면서 파이썬 코드를 만들도록 하였습니다.
이러한 과정에서 스터디장님의 반복적인 설명과 자료, 강의패턴이 매우 큰 도움이 되었습니다.
나중에 GUI를 만들고 파이썬으로 실행파일(.exe)까지 생성하게 하여 데스크탑에서 실행시킬 수 있는 결과물이 나와서 좋았습니다.
Tip: 활용 이미지나 캡처 화면을 꼭 남겨주세요.
실행 시작 전 유의사항을 띄우도록 하였습니다.
시도, 구군, 동 등의 지역정보 입력하면 수집이 되며 진행사항이 보이도록 하였습니다.
선택한 지역내 부동산중개사무소의 상호명, 대표자, 주소, 전화번호, 핸드폰번호가 엑셀에 하나의 파일로 정리되어 수집되게 하였습니다.
결과와 배운 점
전체과정을 염두에 두고 핵심기능이나 중요한 부분을 짚어가며 기획할 수 있는 PRD 등의 문서를 GPT를 통해 먼저 만들고 시작하는 것이 효율적이라고 느꼈습니다.
1. 만들고 싶은 서비스는 무엇이고, 왜 만들고 싶으신가요? 지역별 부동산 중개사무소 정보를 자동 수집하여 데이터로 정리하고, 분석·활용하기 위해 2. 주요 타겟 사용자는 누구인가요? 일반 소비자, 부동산 종사자, 데이터 분석가, B2B 업체 등 3. 핵심 기능은 무엇인가요? 수집하고자 하는 지역 선택. 선택된 지역의 중개사사무소 상호, 대표자, 주소, 전화번호, 핸드폰번호 수집. 첫페이지 이후의 정보를 수집하려면 페이지 넘김 기능이 있어야 그 지역에 있는 모든 중개사사무소의 정보를 수집할 수 있음. 수집된 정보는 엑셀에 각 항목별로 분류하여 정리하여 저장하고 수집이 완료되면 엑셀파일이 자동으로 열리도록 함. 한 지역을 검색한 후 새로운 지역을 검색할 때는 새로운 엑셀파일로 저장. 파일이름은 지역이름을 기반으로 저장되도록 함. 4. 어떤 플랫폼으로 생각하고 계신가요? 데스크탑에 exe파일로 설치하여 사용. 5. 데이터 저장이 필요한가요? 로컬 저장만 필요.지역 설정이 어려웠으며, 상세정보까지 접근하여 핸드폰 번호를 수집하는 과정이 길어 어려웠습니다.
사용자의 가장 첫 관문인 지역 선택시 전국의 모든 구와 동을 원하는 지역으로 선택할 수 없게 되어 있어. 현재 전 국 광역단위에서 3개만 선택가능하고 그 이하 구와 동 단위에서도 3개 이하로만 선택하게 되어 있는데 사용자에게 전국의 어느 지역이든 선택하여 정보를 수집할 수 있게 선택가능 지역을 전국 단위 모든 지역 단위로 해줘.과정 중에 시행착오를 겪는 과정에서 일단 무료버전으로 시도해 보았으나 cursor 무료버전은 좀 답답하게 진행되는 느낌이 있었습니다.
여러 데이터 수집 자동화 프로그램을 만들어 볼 수 있겠다는 자신감이 생겼고, 개인적인 필요에 의한 자료수집에 잘 활용하겠습니다.
스터디장 필군님의 꼼꼼한 강의자료와 반복적인 패턴의 설명, 친절함이 큰 도움이 되었습니다. 감사합니다.