배경 및 목적
(내용 입력)
목적은 공공데이터포털에 있는 부동산 정보를 뉴스레터로 하는 것이었습니다.
최초에 아파트 청약 정보를 목표로 하다가 자료가 너무 많아서, 그 중 일부 (무순위청약)만 사용하는것으로 전환했습니다.
뉴스레터 배포는 지메일과 블로그 형태로 배포하는 걸 목표로 했습니다.
참고 자료
(내용 입력)
챗GPT로 유튜브 채널 100% 자동 요약하고 받아보는 방법 (MAKE 자동화)
https://youtu.be/BaelgjahiH4?si=JSAcjzJOAdRnf_kE
여러개의 텍스트를 합치는 방법 (How iterators & Aggregators work in Make.com)
https://www.youtube.com/watch?v=DpH9WaTIiuU
지피터스의 글은 아니지만, 참고한 유튜브 영상 링크입니다.
활용 툴
(내용 입력)
Apify를 사용했습니다. 스터디장 님은 serpapi를 추천하셨고, serpapi가 더 저렴했지만, Apify는 유튜브 transcript 추출 기능과 naver blog scrapping이 있어서 이걸로 했습니다. (돈 좀 씀)
실행 과정
(내용 입력)
현재까지의 워크플로우 입니다. 잘 됩니다. 트리거로 사용될 키워드 불러오는 단계와 지메일 연결 단계는 다음주를 위해 남겨뒀습니다.
액터는 naver-blog-scraper를 사용했습니다. Apify는 명령을 json으로 주더군요. Run synchronously는 디폴트가 No인데, Yes로 하십쇼. 아니면, 뒤에서 데이터를 못가져옵니다. 종료일, 시작일, 키워드 (최종본에서는 공공데이터포털에서 가져온 키워드로 할건데, 너무 많아서 우선은 수동입력 했습니다.) max_pages, max_depth로 json을 구성합니다. max_pages를 1로 지정해도 1개 이상의 데이터를 가져옵니다. 최종에는 1개의 블로그만 가져오게 설정하고자 합니다. (쉽지는 않겠지만.)
Apify는 서버에 데이터를 저장하나 봅니다. 그래서, get dataset items라는 단계를 하나 더 거칩니다. (유튜브에서는 웅얼웅얼 넘어가지만서도) 이 단계는 dataset ID를 defaultDatasetId로 하시고 넘어가시면 됩니다.
Apify가 여러개의 글을 불러옵니다. 아무런 처리없이 챗지피티에게 물으면 여러번의 답을 줍니다. 모아서 물어보기로 했습니다. 스터디장님의 조언은 iterator / aggregator 였습니다. 안됩니다. 유튜브에 물어봤습니다. (참고영상) Tools에 Text aggregator가 있답니다. 아주 쉽게 잘 됩니다.
마지막 단계는 최종에는 3가지를 연결할 계획인데 현재는 구글시트와 블로그만 연결했습니다. 구글시트에 post라는 시트를 만들어서 발송된 내 용 (날짜, 제목, 원문, 요약문 등)을 저장하는 것은 큰 도움이 될거 같습니다. 한가지 알게된 내용은 이전 단계의 모든 필드를 가져올수 있다는 겁니다. 이걸 몰랐다니 참 바보같다는 생각을 합니다.
블로그 연결은 생각보다 쉬웠습니다.
결과 및 인사이트
(내용 입력)
처음으로 인사이트를 얻은 느낌입니다.
자동화는 좋다. 그리고 비용이 든다.
몇번의 잘못된 클릭이 용량초과를 부릅니다. 신중하십시오.
챗지피티 단계에도 문제는 존재 합니다. 800단어라고 프롬프트를 줘도 글이 짧고, 끝부분이 짤립니다. 챗지피티에게 물어볼때에도 "프롬프트 체인"이라는 걸 잘 쓰면 훌륭한 답변을 얻는 답니다. (처음알게된 사실)
입력단계에 대한 고민은 아직도 진행중입니다. 현재는 반자동으로 키워드를 따로 주고 있습니다. 예를 들면, raw data 시트에 구글시트 앱스크립트로 매일 한번씩 전체 데이터를 가져오고, 날짜 필터를 걸어 해당하는 데이터 행을 수동으로 input 시트에 복붙합니다. 그러면 이것이 트리거가 되어서 작동하는 방식인데, 별거 아닌거 같지만 아직 아이디어가 없습니다. 이렇게 하는 이유는 앱스크립트로 가져오는 데이터의 순서가 뒤죽박죽이라서 입니다. Make.com으로도 모아봤는데 차이를 못느끼겠습니다.
어찌어찌 해내긴 했는데, 머리와 꼬리만 잘 만들면 뱀인지 용인지 알수있겠지요.