배경 및 목적
(내용 입력)
배경은 공공데이터포털에 있는 단순한 형태의 정보를 인터넷 검색을 통하여 인사이트를 더하고, 인공지능으로 요약, 가공하여 뉴스레터화하여 많은 사람들이 매번 포털에 들어가지 않고도 필요한 정보와 인사이트를 얻게 하자는 것입니다.
목적은 공공데이터포털에 있는 부동산 정보를 뉴스레터로 만들어서, 이메일과 블로그로 자동 배포하는 것입니다.
참고 자료
(내용 입력)
https://youtu.be/JopFAgs6Bg4?si=cDiwjKbmfmGr1eHC
https://youtu.be/BaelgjahiH4?si=JSAcjzJOAdRnf_kE
https://www.youtube.com/watch?v=DpH9WaTIiuU
활용 툴
(내용 입력)
활용툴은 make.com과 google sheet, appscript, Apify, google drive, claude, gmail, wordpress를 사용했습니다.
실행 과정
(내용 입력)
트리거는 구글시트의 앱스크립트를 사용하여 공공데이터포털의 json형태의 자료를 가져와서 정리해서 사용했습니다. 중복데이터 제거를 위해 기존의 주택공급번호와의 중복을 체크했습니다.
공공데이터포털의 자료 데이터 중에서 주택명을 키워드로 삼아 Apify의 naver-blog-scraper를 액터로 사용하여 블로그 텍스트를 스크랩했고, 같은 키워드로 google-image-scraper를 사용하여 이미지를 가져왔습니다.
블로그 텍스트는 1개 이상일 경우가 있어서 text aggregator로 합쳤고, 이미지는 구글드라이브에 업로드하여 파일명을 강제로 지정했습니다.
합쳐진 블로그 텍스트는 체인프롬프트를 사용하여, 원하는 형태로 요약하였고, 이후의 가공을 위해 마크다운 형태로 작성할 것을 주문하였습니다.
처리된 자료는 로그를 만들기 위해 처리날짜, 주택명, 블로그 텍스트, 마크다운 텍스트를 구글시트에 저장했습니다.
마크다운 형태를 HTML형태로 변환하여, 구글시트에 저장된 발송인 명단을 기초로 지메일을 발송하였고, 블로그에는 구글드라이브에서 불러온 이미지와 함께 포스팅 하였습니다.
결과 및 인사이트
(내용 입력)
모두 정상작 동하였습니다.
메일 수신 화면 입니다.
블로그 도 정상작동했습니다.
스터디 과정에서 자동화는 편리하지만 비용이 든다는 걸 깨달았습니다. You pay, you get it.
검색 자료의 경우도, 뉴스의 경우 한가지 주제를 이야기 하지 않아서 문제가 됐습니다. 그래서, 블로그로 전환했습니다.
이미지를 가져오는 단계에서도 파일명을 특정하기 위해서는 구글드라이브에 저장하는 (아주 불필요한) 단계를 거쳐야 합니다. 블로그의 경우, 이미지를 삽입했지만, 이메일의 경우는 불필요해보여서 넣지 않았습니다. 바람직한 이미지가 스크랩되지는 않았습니다. (대부분이 배너이미지가 스크랩 됐습니다.)
로그를 만들기 위해 구글시트에 저장하는 것도 블로그 텍스트와 마크다운 텍스트를 저장하다보니 금방 구글시트 저장한계에 도달합니다. 이 단계는 차후에 삭제할 계획입니다.
마지막으로 정리하면, 인공지능은 결국은 프롬프트 싸움이구나 하는 걸 알게 되었습니다. 같은 정보 재료를 여러개의 체인프롬프트로 나누어 처리함으로써, 내가 원하는 최종 산물의 형태에 근접할 수 있을거라는 생각을 했습니다.
모자란 저를 이끌어 여기까지 오게 해주신 스터디장님 이하 스터디원 여러분께 감사의 말씀드립니다.