Make를 활용해 최신 글만 크롤링하고 적재된 글로 개요 만들기!

소개

1주차 사례글로 만들었던 시나리오의 문제점을 개선하는데 초점을 맞추고 롱폼을 작성하기 위한 개요를 만드는 것에 목적을 두고 진행했습니다!

1. 1주차 사례글의 2가지 문제점 개선

   1. 블로그 콘텐츠 크롤링에 적합하지 않은 복잡한 시나리오 (지난 사례글의 시나리오는 인스타그램 댓글 크롤링, 쇼핑몰 크롤링 등 동적 웹사이트에 적합)

   2. 하나의 시나리오를 반복했을 때 최신 글만 적재되도록 하기

2. 롱폼 작성을 위한 개요 만들기

진행 방법

✅ Make (자동화 시나리오 구축)
✅ Airtable (콘텐츠 적재)
✅ Claude (정규식 작성 및 오류 검토)

1. 단순 HTTP를 활용해 블로그 최신 콘텐츠만 크롤링하기

   

   1. Airtable “Search records” 추가

      1. 적재하고자 하는 에어테이블에 현재 가져온 내용이 있는지 확인

   2. Airtable “Search records” - Open AI 사이에 “필터” 추가

      1. 에어테이블에서 “Total number of bunldes”가 0이면 통과하는 조건 설정

      2. 1건 통과(최신 글) → Open AI로 본문 전처리 → 5줄 요약 → 에어테이블 적재

   3. 결과

      1. 해외 블로그 아티클 크롤링 + 한국어로 번역 및 5줄 요약까지!!
         

         

2. 롱폼 작성을 위한 개요 만들기

   

   1. 스터디를 통해 알게 된 make 시나리오를 기반으로 나의 목적에 맞게 시나리오 수정

      1. 프롬프트 변경 (개요 작성에 많은 영향을 미치기 때문에 수정 필수)

         1. ## title 생성 (중제목) 단계의 프롬프트
            

            

         2. ### 글감 생성

            

      2. 결과
         HTML로 변환된 글을 구글 docs로 옮겨오진 못했지만 블로그 콘텐츠의 소제목을 뽑고 이에 맞게 개요를 작성해준 부분에서 많은 도움을 받았습니다.
         

         

결과와 배운 점

1. 배운 점과 나만의 꿀팁을 알려주세요.

   1. 올바른 정규식의 중요성과 문제 해결을 위한 질문 방법!

      1. 스터디장님의 정규식은 오류가 없었는데 제가 AI와 작성한 정규식을 넣었을 땐 오류가 생겨서 올바른 정규식을 찾기 위해 AI에게 역으로 질문을 했습니다.

         1. 질문 1(챗GPT) _ 내 정규식과 스터디장님의 정규식 차이 확인

         2. 질문 2(챗GPT) _ 스터디장님과 같은 정규식을 얻기 위한 질문 방법 문의

            

         3. 질문 3(클로드)_GPT를 통해 얻어낸 질문으로 재질문 → 올바른 정규식 적용
            

            

2. 도움이 필요한 부분이 있나요?

   사실 롱폼 시나리오에서 마지막 구글 docs 연결을 실패해 제대로 롱폼을 받진 못했지만,
   HTML로 원하는 형식의 롱폼 개요를 얻어내는 것 까진 성공했습니다. 다만, 2주차 스터디를 통해 주신 'replicate'가 계속 오류가 나서 사용하지 못한 점이 아쉽습니다.😭

   1. 설정값

      1. 'Prompt Hero'의 프롬프트 적용 → Billing 설정/API 복붙 완료

   2. 결과
      

      

해외 아티클 크롤링 뿐만 아니라, 한국어로 번역 및 요약까지 해서 적재할 수 있다는 점이 1주차 사례글보다 가장 많이 발전한 부분인 것 같습니다! 그리고 제가 원하는 방식의 롱폼 개요까지 받아볼 수 있었어요-!! 아직 고쳐야하는 오류는 많지만....저에겐 신세계고 많은 발전이라고 생각합니다,,, 😭 항상 스터디원이 이해할 수 있도록 꼼꼼히 알려주시는 스터디장님 감사합니다 ㅎㅎ