MAKE로 AI Times 인기 기사 자동 수집·요약 저장 실습 후기

소개

모각 오프라인 모임에서 MAKE에 익숙해지고자, AI Times의 Most Popular Top 10 기사를 자동으로 수집해 요약하고 Google Drive에 저장하는 실습을 진행했어요.

프로세스의 다양한 단계를 보여주는 다이어그램

하나씩 따라 해보는 과정이었지만, 실제 자동화 흐름을 이해하는 데 큰 도움이 되었습니다. 😊

진행 방법

🛠 사용한 도구

  • MAKE

  • ChatGPT API

  • Google Drive

  • Google Cloud Console

📌 구성 과정

  1. AI Times Top 10 기사 수집

    • 첫번째 단계는 사이트 URL 지정하는 단계였고,

    • 사이트 개발자 콘솔을 이용해 필요한 데이터 구조를 파악하고,

      특히 Selector로 사이트의 특정 부분을 가져오게 되는 방법을 알게 되었습니다.

    한국사이트 스크린샷

  2. ChatGPT API로 요약 생성

    메시지와 로고가 포함된 화면의 스크린샷
    • MAKE 두번째 단계는 사이트에서 가져오고자 하는 특정 콘텐츠의 내용을 LLM으로 가져오는 단계였는데요, 시스템 프롬프트와 사용자 프롬프트를 입력하는 부분이 중요했습니다. 여기에서 나중에도 활용할 수 있는 샘호트만님의 프롬프트 생성 GPTs 를 알려주셔서 감사했습니다. ChatGPT에게 기사의 제목과 링크 정보를 가져오는 기능을 부여하고, 앞서 확인했던 selector 주소를 이 단계에 넣었습니다.

  3. Iterator · Aggregator로 데이터 처리 흐름 구성

    • Iterator로 기사 리스트를 하나씩 분리하고, pairs[] 안에 한 개 기사의 제목과 링크 주소를 넣는 작업을 진행합니다. 이 작업은 10개가 필요하기 때문에 반복문 Iterator로 동작합니다.

    • 그 다음 단계는 각 기사의 본문 내용을 가져오는 단계입니다. 이 때 Iterator로 가져온 링크의 주소에 있는 본문 내용을 GET 함수로 가져옵니다. 이 본문 데이터는 'Data'라는 변수에 넣습니다. MAKE가 좋은 게 각 모듈의 설정에서 이전 단계에 정의한 변수를 버튼처럼 눌러 가져올 수 있다는 점이 편했습니다.

    • 그 다음 단계에서는 본문 내용을 ChatGPT API를 사용해 요약합니다. 이 때에도 프롬프트가 중요합니다. 'Map'이라고 부르는 설정 창에서 'data'를 선택해서 이 변수에 들어있는 정보를 요약하라고 시킵니다. 이제 요약된 정보까지 생성하면 'result'라는 변수에 결과를 넣습니다.

    • 이 과정에서 왜 이 순서여야 하는지 명료하게 이해할 수 있어 좋았어요.

  4. Google Drive 연동 및 파일 저장

    • Google Cloud Console에서 OAuth 동의 화면 설정을 진행했어요.

    • 설정 오류가 있어서 잠시 막혔지만, 모임원 & 모임장님의 도움으로 해결 성공!

    • MAKE에서는 Google Drive와 연결시키고, 드라이브 내에 파일 경로를 지정한 다음, 파일명을 자동 생성하는 섹션을 입력합니다. 역시 파일명을 매번 자동 생성할 수 있도록 'Map' 창에서 함수를 선택할 수 있다는 점이 편했습니다.

    • 이제 모든 플로우를 다 따라 작성했습니다. 바로 실행시켰을 때, 오류가 뜨지 않았는데도 동작을 하지 않아서 당황했는데요, 바로 두번째 running을 돌렸을 때 성공했습니다. 드디어 실습 시간 내에 드라이브에 차곡 차곡 10개의 기사가 요약되어 저장되는 모습을 볼 수 있었습니다.

결과와 배운 점

  • 혼자 만들었다면 훨씬 더 오래 걸렸을 텐데, 모임장님의 가이드 덕분에 빠르게 이해할 수 있었어요.

  • 자동화 플로우의 구성 이유(특히 Iterator → Aggregator)를 정확히 이해하게 된 점이 큰 수확이었어요.

  • Google Drive 연동 시 OAuth 설정 오류가 있었지만, 협업의 힘으로 해결하며 자신감 상승!

  • 이 경험을 바탕으로 다음 단계로 SNS나 YouTube 댓글 자동 수집·요약을 하고 싶은데, 여기에 도전할 용기가 생겼어요. 💪

도움 받은 글

모임장님의 실습 가이드와 스터디 Slash 페이지

3
2개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요