데이터 대시보드 소개
데이터 대시보드 강의 1주차 복습
공공데이터포털 아파트 매매·전월세 실거래가, KB 통계 매매가격지수·전세가격지수·전세가율, 재개발/재건축 정보 등 데이터 수집.
수집된 데이터를 DuckDB에 저장하고 확인.
무작정 데이터를 모으는 것보다는 내가 필요로 하는 데이터는 어디서 찾을 수 있고, 양질의 데이터를 확보하기 위해서는 어떻게 해야할지 고민.
데이터 수집 및 진행 방법
1주차 영상 강의 복습 후, 아래 자료들을 기준으로 앞으로의 작업 순서를 정리하였습니다. (Codex, Claude Code)
00-setup.md: uv 기반 프로젝트 환경과 완료 조건02-handout.md: 부동산·KB·주식 데이터 수집 및 DuckDB 검증 절차01-visualization-guide.html: 이후 대시보드에서 사용할 시각화 검수 기준프로젝트 전용 가상환경을 구성하였습니다.
Python, uv, DuckDB, pandas, Polars 등
공공데이터, KB부동산 통계 등 데이터 수집
과거 API를 발급받고 데이터를 수집한 적이 있어서, 이 부분은 빠르게 진행하였습니다. 하지만 이전에는 부동산과 관련된 정보는 무조건 수집해야겠다는 생각으로 아무 생각 없이 API를 발급받았다면, 이번 기회를 통해서 내가 확보하고 있는 데이터가 어떤 종류의 정보를 제공하는지 다시 한번 확인하는 시간을 가졌습니다.
DuckDB 내 데이터 확인
중복되는 데이터는 제거하고, 다음 강의 수강 전까지 충분한 데이터를 확보하는 것을 목표로 하고 있습니다.
원하는 정보를 텔레그램으로 전송받기
대시보드는 유의미한 정보가 충분히 쌓였을 때 진행하는 것을 목표로 하고, 현재 수집된 최근 부동산 관련 최근 정보들을 확인하기 위해 텔레그램 bot에 정보를 정리해서 전송하는 과정으로 1주차는 마무리했습니다.
특정 조건에 맞는 재개발 구역 단독/다가구 주택 검색
조건 (지역, 가격, 평형, 유형)
휴대폰에 있는 한국 달력 스크린샷
이후 양질의 부동산 데이터를 추가적으로 확보하고, 대시보드 제작까지 진행할 예정입니다.
성과와 배운 점
AI가 생 성한 코드나 작업물, 데이터 처리 결과를 대부분 맹신하고 넘어갔던 부분들을 점검하고, 다시 검증하는 과정에서 시간이 많이 소모되었습니다.
데이터 전처리 과정을 더 체계적으로 진행하는 것이 중요하다.
AI를 활용하는 방법을 아는 것도 중요하지만, 내가 수집하고자 하는 데이터에 대한 공부도 필요하다는 것을 체감하고 있습니다.
