소개
약 8만개가 넘는 변수의 메타데이터가 있는데, 이 변수들을 쉽게 캐터고리를 시킬려고 했습니다. 예를 들면 Domain, SubDomain, Category, SubCategory, 등등. 그리고 데이터 중복을 찾아서 없애주는 부분또한 필요. 그런데 이것을 수작업을 하다가 보니 에러가 많이 생겨서 이부분을 자동화를 할려고 하는 부분을 고민.
변수들에 맞는 도메인을 수작업으로 assign을 하는데 ChatGPT4o를 이용. Domain, SubDomain, Category, SubCategory 를 엑셀파일로 만든후, 메타데이터의 변수 설명과 그외 자료를 가지고, ChatGPT가 캐터고리를 assign 하게 할려고 합니다.
또 하나는 변수이름은 다르지만, 똑 같은 데이터가 있는 변수들을 찾아서 중복된것 정리. 이부분에 대한 검증 필요.
진행 방법
결과와 배운 점
*앗! 써놓은 내용이 지워졌네요. 다시 생각내서 써봅니다".
메타 데이터 샘플:
일단 엑셀파일을 3개를 만들었습니다.
캐터고리가 자세히 정리된 파일
캐터고리가 정확히 assign 된 파일
캐터고리가 된것, 잘못된것, 또 빠진것들이 있는 파일
위 세 파일을 ChatGPT4o에 넣고 캐터고리를 수정해달라고 했습니다. 잘 맞추는듯 합니다.
사실 이부분말고 다른기능이 있으나 이부분은 아직 공개를 하기가 곤란하여 적지는 않았습니다.
그러다가 이번 지난번 스터디그룹에서 Make 를 이용하여 자동화 하는 것을 배우고, 이 프로세스를 자동화 할려고 고민하면서 문제가 생겼습니다.
API 를 쓰는 부분에 대한 비용고민
Make 가 그래도 쉽 지는 않은데, 이걸 꼭 자동화를 해야하나.
그래서 자동화를 하기전에 많은 것들을 고민해야 할듯해서 ChatGPT 4o에 많은 질문을 한후 정리를 해서 아래 짧은 문서를 만들었습니다. 그리고 또한 필요한 설문을 만들었습니다. 이 설문에 온라인으로 대답을 하면 간단하게 자동화를 하는것이 어떤 이익인지 (아니면 불필요한지) 점수와 설명을 하는 부분을 만들려고 계획을 해보았습니다.
자동화 적합성 평가라는 문서를 만듬
https://docs.google.com/document/d/19ppY_9GGZYlcnF30I3ifYj4Hyf_uTco8jmlV_sdoZdE/edit?usp=sharing
앞으로 계획은.
자동화에 대한 결정으로 고민하는 것보다, 일단은 "다양한 툴들을 배울려고 참가했으니 자동화 고민은 그만하고 배우는 것을 열심히 배우자" 입니다.
도움 받은 글 (옵션)
(내용 입력)
