공공데이터 읽어오기 (부동산시세, 주식시세)
2026.07.28
소개
공공DB를 API로 읽어서 DB 만들기
진행 방법
<사용한 도구>
- uv: Rust로 만든 파이썬 패키지·가상환경 관리 도구, pip보다 설치가 10~100배 빠름, pip+venv를 하나로 대체, uv run으로 가상환경 활성화 없이 바로 실행
- duckDB: DB서버 설치 없이 파일 하나로 사용, 컬럼 기반이라 집계·분석 쿼리에 특화(SQLite의 분석용 버전), Polars와 궁합 좋음(.pl()로 바로 변환), 데이터가 RAM보다 커져도 디스크로 처리함
- Polars: Rust로 만든 데이터 분석 라이브러리, 멀티코어 병렬 처리로 Pandas보다 수 배~수십 배 빠름, 같은 메모리로 더 큰 데이터 처리 가능
- LazyFrame: Polars의 지연 실행 기능(DB 기능 아님), 연산을 쌓아뒀다가 .collect() 시점에 한 번에 실행, 이때 필요한 행·컬럼만 읽도록 자동 최적화되어 메모리 절약
- 공공데이터포털 API: https://www.data.go.kr 회원가입 → 아파트 매매 실거래 상세 자료와 아파트 전월세 자료검색 → 활용 신청 → 일반 인증키 복사 → 아래 <사용 명령> 실행
- PublicDataReader: 한국 공공데이터를 쉽게 받아오게 해주는 파이썬 오픈소스 라이브러리, 공공데이터포털에서 API로 데이터 가져오는 것은 번거로움 (요청 URL을 규격에 맞게 조립하고, XML 형식으로 응답을 해석하고, 한 번에 최대 건수가 제한되니 여러 페이지로 나눠 받아서 합쳐야 함) PublicDataReader는 이 과정을 대신 처리하고 결과를 pandas DataFrame으로 돌려줌
- FinanceDataReader (https://github.com/FinanceData/FinanceDataReader) : 주가·지수·환율 같은 금융 시세 데이터를 쉽게 받아오는 파이썬 오픈소스 라이브러리, 한국거래소·네이버금융 등이 공개해 둔 시세 정보를 가져오는 방식이라 회원가입이나 키 발급이 필요 없음,
<사용 명령>
$key = Read-Host "공공데이터포털 일반 인증키(Decoding)를 입력하세요" -AsSecureString
$plain = [Runtime.InteropServices.Marshal]::PtrToStringAuto([Runtime.InteropServices.Marshal]::SecureStringToBSTR($key))
"PUBLIC_DATA_PORTAL_SERVICE_KEY=$plain" | Out-File -Encoding utf8 .env
Remove-Variable key, plain결과와 배운 점
TransactionPrice: PublicDataReader 라이브러리 안에서 "국토교통부 실거래가 조회"를 전담하는 클래스
사용 예: (scripts/collect_realestate.py)from PublicDataReader import TransactionPrice==> 하는 일:
api = TransactionPrice(service_key) # ① API 키를 넣어 조회기를 만든다
df = api.get_data( # ② 조건을 주고 데이터를 요청한다
property_type="아파트", # 부동산 종류
trade_type="매매", # 거래 유형 (매매 또는 전월세)
sigungu_code="11350", # 지역 코드 (서울 은평구)
start_year_month="202501", # 시작 연월
end_year_month="202606", # 끝 연월
)
1. 202501부터 202606까지 월별로 국토교통부 API를 반복 호출하고 (실거래가 API는 한 번에 한 달치만 줌),
2. XML 응답을 해석해서 표로 바꾸고,
3. 18개월치를 하나의 DataFrame으로 합쳐서 돌려줌
4. "매매"가 끝나면 "전월세"도 해서 raw_apt_trade와 raw_apt_rent 테이블을 만든다.KBland : PublicDataReader 라이브러리 안에서 "국토교통부 실거래가 조회"를 전담하는 클래스
사용 예: (scrips/collect_kb.py)from PublicDataReader import Kbland==> 하는 일
kb = Kbland()
kb.get_price_index(MONTHLY, APT, 매매전세코드), # 매매전세코드 = DEAL / JEONSE
kb.get_jeonse_price_ratio(APT, 지역코드=c)
1. 전국 시도별로 매매가격지수, 전세가격지수, 전세가율을 읽어서 행으로 쌓는다.
2. 테이블 3개가 만들어진다. (KB_매매가격지수, KB_전세가격지수, KB_전세가율)DataReader(): FinanceDataReader 라이브러리 안에서 특정 종목 하나의 시세 기록을 기간만큼 받아오는 조회 함수
사용 예: (scripts\collect_stock.py)import FinanceDataReader as fdr
df = fdr.DataReader(symbol, START, END) # symbol: 삼성전자 / KODEX 200
==> 하는일
1. 삼성전자와 KODEX 200 두 종목을 한 테이블(raw_stock_price)에 합쳐서 저장




uv + duckDB + Polars + LazyFrame 조합을 한 프로젝트에 다 녹여내신 게 인상적이에요.
공공데이터포털 API가 한 번에 한 달치만 주는 제약을 PublicDataReader가 월별 반복 호출 → XML 파싱 → DataFrame 합치기까지 자동으로 처리해준다는 흐름, 직접 해보지 않으면 잘 모르는 부분인데 코드 예시와 함께 깔끔하게 정리해 주셨네요. KB 매매·전세 지수까지 같이 쌓아서 테이블 3개를 만드신 것도요.
API 키를 SecureString으로 받아서 .env에 저장하고 바로 변수를 날리는 PowerShell 처리도 꼼꼼하게 챙기셨어요. 다음 단계(집계·분석)도 올려주시면 이어서 보고 싶습니다!
꼬리 탁! 치고 응원하고 갈게요 🐈⬛