본문으로 건너뛰기

수출입 데이터로 대시보드 만들어보다

Coolman

2026.08.09

수출입 데이터로 대시보드 만들어보다 본문 이미지

소개

시도하고자 했던 것과 그 이유를 알려주세요.

(내용 입력)

이제는 앞으로 내가 만들어 보고 싶은 대시보드의 아웃라인을 생각해보고, 하나씩 해보기로 한다. 우선 미시적인 데이터 보다 거시적 데이터를 만들어보기로한다. 그 중 하나인 수출입 데이터를 가져오는것을 시도해본다.

배운것을 토대로 산업통상부 홈페이지에서 수출입데이터로 데시보드를 만들어보기로 한다.

진행 방법

어떤 도구를 사용했고, 어떻게 활용하셨나요?

Tip: 사용한 프롬프트 전문을 꼭 포함하고, 내용을 짧게 소개해 주세요.

Tip: 활용 이미지나 캡처 화면을 꼭 남겨주세요.

Tip: 코드 전문은 코드블록에 감싸서 작성해주세요. ( / 을 눌러 '코드 블록'을 선택)

(내용 입력)

아직 전문적인 지식이 부족해 챗지피티의 도움을 받아 프롬프트를 짜본다

우선 기본적인 환경이나 데이터를 만들고 내가 필요한 데이터를 적어줘서 프롬프를 짜달라고 했다

그리고 사이트에 가서 api 활용신청을 하고 .env에 키 번호를 입력하고 프롬프트를 확인하였다

대한민국의 월별 수출 동향을 산업별로 분석하는 대시보드를 구축하라.

[목표]

  • 관세청 공공데이터 API에서 품목별 및 품목·국가별 수출입 자료를 수집한다.

  • HS 6단위 코드를 별도의 산업-HS 매핑표와 결합한다.

  • 산업별 수출액, 비중, 전년 동월 대비 증감률, 연초 이후 누적 증감률, 전체 수출 증감 기여도를 계산한다.

  • Streamlit과 Plotly로 한국어 대시보드를 구현한다.

  • 데이터는 Parquet 원본과 DuckDB 분석 테이블에 저장한다.

[기술 환경]

  • Python 3.12

  • uv

  • Streamlit

  • Plotly

  • Polars 또는 Pandas

  • DuckDB

  • PyArrow

  • httpx

  • xmltodict

  • Pydantic

  • tenacity

  • pytest

  • ruff

[데이터 원칙]

  1. 금액은 원본 미화금액을 유지한다.

  2. 수출액은 FOB 기준임을 화면에 표시한다.

  3. 기준월은 YYYY-MM 형식으로 표준화한다.

  4. HS코드는 문자열로 처리해 앞자리 0이 소실되지 않게 한다.

  5. 산업-HS 매핑에는 적용 시작연도와 종료연도를 둔다.

  6. 매핑되지 않은 HS코드는 삭제하지 말고 ‘기타/미분류’로 분류한다.

  7. 잠정치와 확정치를 구분할 수 있는 필드를 둔다.

  8. API 재수집 시 최근 3개월 자료를 upsert하여 정정 자료를 반영한다.

  9. 원본 API 응답은 수집일별로 보관한다.

  10. API 키와 비밀값은 환경변수에서만 읽는다.

[주요 테이블]

  1. fact_export_monthly

    • period

    • hs_code

    • country_code

    • export_usd

    • import_usd

    • trade_balance_usd

    • weight_kg

    • source_status

    • collected_at

  2. dim_hs_code

    • hs_code

    • hs_name_ko

    • hs_name_en

    • valid_from

    • valid_to

  3. dim_industry

    • industry_code

    • industry_name

    • display_order

  4. bridge_industry_hs

    • industry_code

    • hs_code

    • valid_from

    • valid_to

    • mapping_source

  5. dim_country

    • country_code

    • country_name_ko

    • region_name

[필수 지표]

  • 월간 총수출액

  • 전년 동월 대비 증감률

  • 연초 이후 누적 수출액

  • 전년 동기 대비 누적 증감률

  • 산업별 수출 비중

  • 산업별 증감액

  • 산업별 전체 수출 증감 기여도

  • 국가별 수출액과 비중

  • 산업별 상위 수출국

  • 산업·국가·HS 품목 드릴다운

[화면 구성]

  • 사이드바: 조회기간, 산업, 국가, 금액 단위 필터

  • 첫 번째 행: 총수출, 전년 동월비, 누적수출, 무역수지 KPI 카드

  • 두 번째 행: 산업별 수출액과 전년 동월비

  • 세 번째 행: 최근 5년 월별 수출 추이

  • 네 번째 행: 산업별 증감 기여도와 국가 순위

  • 다섯 번째 행: 산업 × 국가 히트맵

  • 마지막: 세부 데이터표, 다운로드 버튼, 출처, 기준일, 잠정치 안내

[품질 검사]

  • 중복 키 검사

  • 금액 및 중량 자료형 검사

  • 결측 기준월 검사

  • 미분류 HS 수출액과 비중 검사

  • 산업별 합계와 전체 합계 대사

  • 전년 동월비 산식 단위 테스트

  • 0으로 나누는 경우 처리

  • API 빈 응답 및 오류 응답 처리

  • 동일 기간 재수집 시 중복 없이 upsert되는지 검사

[구현 순서]

  1. 프로젝트 구조와 pyproject.toml을 작성한다.

  2. .env.example과 설정 모듈을 작성한다.

  3. 관세청 API 클라이언트를 작성한다.

  4. XML 응답을 정규화하는 변환 모듈을 작성한다.

  5. 산업-HS 매핑 파일의 샘플을 작성한다.

  6. DuckDB 테이블과 upsert 로직을 작성한다.

  7. 지표 계산 함수를 작성하고 테스트한다.

  8. Streamlit 대시보드를 작성한다.

  9. 샘플 데이터로 실행을 검증한다.

  10. 실제 API 키를 넣었을 때의 실행 방법을 README에 작성한다.

한 번에 모든 코드를 장황하게 출력하지 말고 단계별로 구현하라. 각 단계가 끝날 때 생성·변경한 파일, 실행 방법, 검증 결과를 간단히 보고하라. 불분명한 부분은 합리적인 기본값을 사용하되 README에 가정을 명시하라.

결과와 배운 점

배운 점과 나만의 꿀팁을 알려주세요.

과정 중에 어떤 시행착오를 겪었나요?

도움이 필요한 부분이 있나요?

앞으로의 계획이 있다면 들려주세요.

(내용 입력)

아직까지는 전처리 하는 과정과 그래프를 심플하고 보기좋게 하는건 힘들다. 하지만 하는 방법을 이해하고 나니 자신감이 생긴다. 계속 도전하면 길이 보인다고 생각한다

다양한 유형의 데이터를 보여주는 대시보드의 스크린샷

함께 이야기해요 0

로그인하고 댓글을 남겨 주세요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기