부동산 매물 시세 비교 자동화, Gumloop + Puppeteer로 빠르게 만들기
소개
최근 부동산에 관심이 생기면서 네이버 부동산에서 다양한 매물 정보를 확인하고 있었어요. 그런데 시세의 변경, 신규 매물 등록, 실거래가 갱신 여부, 교통 정보 확인 등 모든 것이 너무 불편했습니다. 특히 시세 조회나 단지 정보 비교는 일일이 클릭하고 찾아야 하고 모아서 봐야해서 상당히 비효율적이라는 생각이 들었어요.
처음엔 '나만 이렇게 불편한가?' 생각했죠. 그런데 월급쟁이 부자들 커뮤니티와 부동산 경매 강의를 들으면서, 그분들이 부동산에 대한 인사이트는 많지만 시세를 파악하는 데 비효율적인 방식으로 많은 시간을 쓰고 있다는 걸 느꼈어요. 그래서 "차라리 내가 자동화해서 써보자!"는 마음으로, 시세 비교 자동화를 시작하게 되었습니다.
진행 방법
사용한 도구들
Gumloop: Make와 N8N과 같은 노코드 틀로 크롬 익스텐션 노드와, 익스텐션 기능을 제공 초기에 빠르게 적용 가능했고, Selenium 없이도 가볍게, 원하는 정보 수집 가능
Next.js + V0: 자동화된 데이터 시각화를 위한 프론트엔드 구성. 간단한 백엔드는 Next.js의 API Routes 기능으로 처리
Airtable: 수집한 데이터를 저장하고 관리하는 데 활용
Node.js + Puppeteer: 추후 더 세밀한 크롤링 및 자동화 확장성을 위해 고려 중, Puppeteer는 Javascript 기반이라서 편했습니다!
구현 포인트
초기에는 Selenium도 고려했지만, 브라우저 실행 오버헤드를 피하기 위해 Gumloop 중심으로 설계
Gumloop 크롬 익스텐션을 활용해 원하는 단지의 시세 정보, 실거래가 등을 자동으로 수집
네이버 부동산은 개발자 도구 접근이 제한되어 있어, 우회 방법을 찾아야 했음 😅 (여러 번 시도 끝에 결국 열림)
결과와 배운 점
Gumloop만으로도 초반 스크랩핑이 쉬웠음
내가 실제로 필요해서 만든 프로젝트라 그런지 개발 자체가 훨씬 재미있었고, 개발에 대한 권태로움도 해소됨
만들고 싶은 기능들이 너무 많음
기존 업계에서 일반적으로 사용하던 방식보다 훨씬 빠르고 효율적으로 매물 정보를 파악할 수 있었음
추가적으로 개발, AI 도메인에서 벗어나 새로운 도메인(부동산)을 공부하다보니, 오랜만에 새로운 아이디어도 떠오르고, 그 동안 사람들이 불편하더라도 어쩔 수 없이 사용했겠구나 하는 포인트들이 보여서 새로운 시각으로 바라볼 수 있었음