소개
평소 부동산 시장 분석을 위해 광범위한 데이터를 수집하고 있습니다. API, 크롤링, RSS 등 여러가지 방법으로 수집할 수 있을텐데, 이번 글에서는 API로 수집할 수 있는 정보를 공유합니다.
진행 방법
아래 링크에서 데이터 수집이 가능합니다. API Key가 필요하니 신청은 필요합니다.
데이터 수집은 아주 쉽습니다. 그저 AI한테 API Key 알려주면서 수집 요청하면 됩니다. API Key는 .env에 저장해주세요. 예전에는 은근히 번거로운 작업이었는데, 이제는 너무 쉽네요. ㅎㅎ
단, 수집된 데이터는 내가 원하는 형태인지 직접 눈으로 확인하고, 나의 분석에 필요한 형태로 되어 있는지 여부에 따라 전처리가 필요합니다.
수집된 데이터를 어디에 저장할지는 각자의 목적과 용도에 따라 다르겠지만, 로컬로 사용하실 분들이라면 DuckDB를 사용해보셔도 좋을 것 같습니다.
설치도 간단하고 빨라서 여러모로 장점이 있습니다. 혹시 서비스를 원하신다면 다른 DB를 선택해도 되고 아니면 MotherDuck으로 마이그레이션 하면 됩니다.
