소개
시도하고자 했던 것과 그 이유를 알려주세요.
데이터 대시보드 만들기 전 데이터를 가져오는 전반적인 도구들 세팅하기 (1주차 과제)
AI 프로그램들 여러 플랫폼들 설치하고 이것저것 써보기
진행 방법
어떤 도구를 사용했고, 어떻게 활용하셨나요?
Codex : 프로젝트 세팅. 참조 파일 기반 다수의 작업 실행
UV : 파이썬 가상환경/의존성 관리
DuckDB : 다수의 데이터 저장 / 빠른 처리속도
각종 Open API 사용 (공공데이터, Github 기반 데이터 소스, open web site 들 등등)
데이터 수집
스터디장 님께서 안내해주신 0주차 세팅방법 준비미션 실행 (실습 폴더와 UV 세팅. Codex, cloth 등 실행기반 플랫폼, 코드 확인 검증 등 위한 플랫폼 등)
API 신청, 받기 (API를 powershell 등에 등록하는 방법 찾아서 해결해봄)
공공데이터 포털 API활용 + Public Data Reader 등 같이 활용하여 부동산 데이터 정제된 형식으로 받기
FinanceDataReader 등 활용하여 주식/지수 데이터 받기
DuckDB 파일 검증하기
DuckDB 생성된 파일 검증 후 Excel 양식으로 볼 수 있도록 파일 전환해서 생성해 달라고 함 (codex 사용함, 스프레드 시트 양식 사용하여 전환해주다가 메모리에 올리는 단계가 2분제한이 있어 프로세스 종료, 재실행 되는 경우 반복, 통합문서의 4GB Javascript 메모리 한계에 도달해 실패, 재실행되는 경우 반복된 후 codex가 자체 프로세스 수정 (테이블별로 Excel파일 분할하여 순차 생성) 하여 파일 결과물 만들어 줌)
Tip: 사용한 프롬프트 전문을 꼭 포함하고, 내용을 짧게 소개해 주세요.
Tip: 활용 이미지나 캡처 화면을 꼭 남겨주세요.
Tip: 코드 전문은 코드블록에 감싸서 작성해주세요. ( / 을 눌러 '코드 블록'을 선택)
결과와 배운 점
배운 점과 나만의 꿀팁을 알려주세요.
부동산/ 주식 데이터 수집을 codex/ cloth 등을 이용하여 빠르게 방대한 자료를 받아볼수 있음이 매우 좋았습니다.
수십만개 이상의 데이터가 한번에 모여 이를 다듬고 깎아내는 과정을 위해 디테일한 프롬프트들을 만들어보고 추가하고 실행해봐야 할거 같습니다
과정 중에 어떤 시행착오를 겪었나요?
원본 데이터 행별 분류 제목들이 영문 코드로 받아져서 데이터 변환 작업을 codex에 의뢰해봄
DuckDB 결과물을 바로 읽어볼수 있는 방법 (codex에 paraquet 실행 코드 등 이용하여 table별 CSV 파일로 전환하니 결과물이 한글 깨짐, 숫자 단위 이상 등 해석불가한 양식으로 나옴)
도움이 필요한 부분이 있나요?
앞으로의 수업도 기대됩니다
앞으로의 계획이 있다면 들려주세요.
업무 단계를 조금씩 더 단계별로 쪼개서 자세하게 제시할 수 있도록 프롬프트, 프로그램 공부를 많이 해야겠습니다
도움 받은 글 (옵션)
참고한 지피터스 글이나 외부 사례를 알려주세요.
