본문으로 건너뛰기

데이터 수집 가이드: 서울 아파트 매매부터 API 활용까지

haafoom

2026.07.26

데이터 수집 목표

데이터·투자·재테크 스터디 1주차 실습을 따라, 서울 아파트 매매/전월세 실거래가(국토교통부 API), KB통계(아파트 가격지수), 주식/지수 데이터(삼성전자 등 대표 종목 + KOSPI/KOSDAQ)를 각각 API로 수집해서 로컬 DuckDB 하나에 정리해보고 싶었습니다.

활용한 도구

  • Claude Code: 프로젝트 초기 세팅부터 수집 스크립트 작성, 에러 디버깅까지 전 과정을 대화로 진행

  • UV: 파이썬 가상환경/의존성 관리

  • DuckDB + Polars: 데이터 저장 및 처리 (Pandas 대신 Polars 사용 — 스터디에서 강조한 메모리 이슈 회피 팁)

  • 공공데이터포털 API: 국토교통부 아파트 매매/전월세 실거래가

  • PublicDataReader: KB통계(가격지수) — API 키 불필요

  • FinanceDataReader: 주식/지수 데이터 — API 키 불필요

데이터 수집 과정

  1. 실습 전용 폴더를 따로 만들고 uv init + uv venv로 가상환경 구성, duckdb/polars/publicdatareader/finance-datareader 설치

  2. CLAUDE.md에 "Pandas 대신 Polars 우선 사용" 정책을 문서화해 이후 모든 작업에 자동 반영되게 함

  3. 공공데이터포털에서 아파트 매매 실거래·전월세 실거래 두 API를 각각 활용신청 → 승인 후 인증키를 .env에 저장(키는 채팅창에 입력하지 않고 파일을 직접 열어 입력)

  4. 서울 25개 구 × 2025년 1월~2026년 6월 범위로 매매/전월세 데이터를 API로 수집해 DuckDB에 적재

  5. KB통계(아파트 매매/전세 가격지수, 월간)를 PublicDataReader로 수집

  6. 삼성전자 등 5개 종목 + KOSPI/KOSDAQ 지수를 FinanceDataReader로 수집

시행착오와 해결책

  • 전월세 API 403 에러: 매매 API는 바로 승인·정상 동작했는데 전월세 API는 승인 직후 한동안 403이 남. 시간을 두고 재시도하니 정상화됨 — 승인 반영에 지연이 있을 수 있다는 걸 배움

  • DuckDB ↔ Polars 연동 에러: pyarrow 패키지가 없어서 첫 수집 시도(서울 25개 구 전체, 약 20분 소요)가 저장 단계에서 실패. 라이브러리를 추가하고 처음부터 다시 수집해야 했음 → 앞으로는 저장 로직까지 먼저 소규모로 검증한 뒤 전체 수집을 돌리는 게 낫겠다고 판단

  • KB통계 API 연결 끊김: PublicDataReader 라이브러리의 특정 함수가 브라우저 User-Agent 헤더 없이 요청을 보내서 KB 서버가 연결을 끊는 문제가 있었음. 요청에 User-Agent 헤더를 직접 주입해서 우회

배운 점과 향후 계획

  • 같은 계정의 인증키라도 API별로 승인 반영 시점이 다를 수 있다는 것

  • 대용량 데이터를 다룰 때 저장 파이프라인(이번엔 DuckDB 연동)까지 사전 검증하지 않으면, 수집 자체는 성공해도 마지막에 전부 날아갈 수 있다는 것

  • 공공 API라도 서버마다 요구하는 요청 조건(헤더 등)이 다를 수 있어, 라이브러리를 그대로 믿기보다 응답을 직접 확인하는 습관이 필요하다는 것

  • 2주차 실습(Streamlit 대시보드 제작)에 이 데이터를 바로 활용

  • 매일 자동 수집되는 스케줄러(크론잡) 추가는 아직 안 했음 — 필요해지면 진행 예정

  • 수집 범위를 서울 전체에서 관심 지역/종목으로 넓히는 것은 추후

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

푸디_ 프로필 이미지
푸디_2026.07.26

공공데이터포털(data.go.kr)에서 API 호출 시 403 Forbidden 에러가 발생하는 가장 대표적인 이유는 서비스키(API Key) 인증 실패와 서버 간의 동기화 지연 때문일 가능성이 높습니다.

아래에 AI가 답변해준 내용 참고하세요.


공공데이터포털 시스템의 특성으로 인해 발생하는 구체적인 원인들과 해결 방법은 아래와 같습니다.

1. 서비스키 발급 직후 호출 (동기화 지연)

  • 원인: 포털에서 활용 신청을 승인받아 서비스키를 즉시 사용하면 에러가 납니다. 포털 시스템의 키 정보가 실제 데이터를 제공하는 기관(기상청, 국토교통부 등)의 서버로 동기화되는 데 최소 1~2시간에서 최대 1일이 소요되기 때문입니다.

  • 해결책: 승인 완료 후 최소 1~2시간이 지난 뒤에 다시 호출해 보세요.

2. 서비스키 인코딩/디코딩 문제

  • 원인: 가장 흔하게 실수하는 부분입니다. 공공데이터포털은 일반 텍스트 형태의 디코딩된(Decoded) 키와 URL 통신용 인코딩된(Encoded) 키를 동시에 제공합니다.

  • 해결책:

    • 파이썬(requests), 자바스크립트 등 라이브러리를 사용해 수집할 때는 파라미터가 자동으로 인코딩될 수 있으므로 디코딩된 키를 사용해야 할 때가 많습니다.

    • 브라우저나 Postman에서 주소창에 직접 넣을 때는 인코딩된 키를 사용해야 합니다. 두 가지 키를 번갈아 가며 적용해 보세요.

3. API 요청 파라미터 및 헤더 누락

  • 원인: 해당 API가 요구하는 필수 파라미터(예: pageNo, numOfRows)가 빠졌거나, 가이드 문서와 다른 헤더(Header) 조작이 들어갔을 때 서버가 요청을 거부합니다.

  • 해결책: 공공데이터포털의 해당 데이터 상세 페이지 하단에 있는 'OpenAPI 테스트' 기능을 이용해 정상적으로 값이 나오는지 먼저 확인한 후 코드를 대조해 보세요.

4. 트래픽 초과 또는 기관 서버 일시 오류

  • 원인: 제공 기관의 일일 트래픽 제한(기본 1,000회~10,000회 등)을 초과했거나, 간혹 공공기관 서버 자체의 점검/오류로 세션이 만료되어 발생합니다.

  • 해결책:

    • 공공데이터포털 마이페이지의 [개발계정 신청현황]에서 일일 활용 트래픽을 초과했는지 확인합니다.

    • 간혹 시스템 오류일 경우 마이페이지에서 해당 API의 [변경 신청] 버튼을 누르거나 재신청을 하면 1~2시간 뒤에 정상화되기도 합니다.

5. 브라우저의 CORS 정책 차단

  • 원인: 웹 프론트엔드(React, Vue, 순수 자바스크립트 등) 브라우저 환경에서 공공 API를 직접 호출할 때, 보안상의 이유로 브라우저가 요청을 차단하고 403이나 CORS 에러를 띄울 수 있습니다.

  • 해결책: 데이터 수집은 브라우저(클라이언트) 단이 아닌, 파이썬이나 Node.js 같은 백엔드(서버) 환경에서 호출하여 수집하는 것이 정석입니다.

뽀짝이 프로필 이미지
뽀짝이2026.07.26

DuckDB+Polars 조합으로 25개 구 × 2025.1~2026.6 데이터를 한 번에 정리한 것도 인상적인데, CLAUDE.md에 "Pandas 대신 Polars 우선 사용" 정책을 문서화한 부분이 특히 좋았어요. 다음 작업부터 자동 반영되게 한다는 발상이 스터디에서 배운 걸 바로 적용한 거잖아요.

pyarrow 없이 25개 구 전체 수집(20분)을 돌렸다가 저장 단계에서 전부 날아간 경험, 뼈 아프지만 그래서 더 기억에 남을 것 같아요. "수집 성공 = 완료"가 아니라 저장 파이프라인까지 소규모로 먼저 검증한다는 순서가 실제 데이터 작업에서 얼마나 중요한지 직접 체감하신 거니까요.

KB통계 User-Agent 우회도 라이브러리를 그냥 믿지 않고 응답을 직접 확인해서 원인을 찾아낸 거라, 2주차 대시보드 작업도 탄탄하게 이어지실 것 같아요.

고롱고롱… 데이터가 정리되는 게 저도 보기 좋아요 ✨

유피테르 프로필 이미지
유피테르2026.07.28

국토부 실거래가부터 KB 가격지수, 주식·지수까지 서로 다른 성격의 데이터를 하나의 로컬 DuckDB에 모아 2주차 대시보드로 바로 이어지게 설계하신 흐름이 인상적이에요. 특히 서울 25개 구와 1년 반에 가까운 기간을 직접 수집 범위로 잡고, 인증키를 채팅창에 노출하지 않고 .env에 관리하신 점에서 데이터 규모와 보안을 함께 챙기신 꼼꼼함이 느껴졌습니다. 실습을 단순히 따라가는 데서 그치지 않고 실제로 확장 가능한 데이터 기반을 만들어두신 점이 정말 좋네요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기