소개
공공데이터, KB부동산, 주식 데이터를 하나의 데이터베이스(DuckDB)에 자동으로 수집·저장하는 환경을 만들어 보고자 했습니다. 단순히 코드를 작성하는 것이 아니라, AI에게 데이터 수집부터 저장, 검증까지 맡길 수 있는지 확인하는 것이 목적이었습니다.
진행 방법
사용 도구
Codex
DuckDB
PublicDataReader
FinanceDataReader
VS Code
진행 내용
Codex에게 자연어로 프로젝트 환경을 구성하도록 요청한 뒤, 공공데이터 API, KB부동산 통계, 주식 데이터를 순차적으로 수집하여 하나의 DuckDB에 저장하도록 지시했습니다. 또한 저장 후에는 행 수, 기간, 결측치, 중복 여부까지 자동으로 검증하도록 프롬프트를 작성했습니다.
사용한 프롬프트(요약)
프로젝트 환경을 자동으로 구성하고,
공공데이터 API, KB부동산, 주식 데이터를 DuckDB에 저장해줘.
데이터는 덮어쓰지 말고 확인 후 저장하고,
수집 결과는 행 수, 기간, 결측치, 중복 여부를 검증해줘.
오류가 발생하면 가짜 데이터를 만들지 말고 원인을 설명해줘.결과와 배운 점 (아직 진행중도 있습니다.)
공공데이터, KB부동산, 주식 데이터를 하나의 DuckDB로 통합 관리하는 자동화 환경을 구축하고 있습니다.
Codex를 활용해 개발환경 설정, 라이브러리 설치, 데이터 저장 및 품질 검증을 자동화하는 과정을 실습하고 있습니다.
API 키(
.env) 설정과 공공데이터 API 엔드포인트를 찾는 과정에서 시행착오를 겪고 있으며, API 문서를 함께 제공하 는 것이 정확한 코드 생성에 중요함을 확인하고 있습니다.앞으로 다양한 공공데이터 API를 연계하여 지역 데이터 분석과 자동화 파이프라인을 구축하고, 대시보드까지 확장하는 것을 목표로 하고 있습니다.
도움 받은 글(옵션)
지피터스 스터디장님의 AI 핸드아웃
