본문으로 건너뛰기

MAKE를 활용해 해외 블로그의 아티클 수집하기!

danni

2025.05.19

MAKE를 활용해 해외 블로그의 아티클 수집하기! 본문 이미지

소개

16기 롱폼 자동화 스터디에 참여하며 1주차에 제 목표는 업무에서 주로 활용하는 해외 블로그 중 필요한 아티클만 수집하는 것이었는데요. 이를 통해, 블로그 소재를 리서치하는 시간을 단축시켜서 업무 효율성을 높일 수 있겠다는 생각이 들었습니다! 이러한 자동화를 구축하는데 1주차 스터디의 'Apify'와 '에어테이블'이 굉장한 인사이트가 되었습니다.

진행 방법

✅ Apify (Web scrapper) : 원하는 웹 사이트 주소를 넣고 크롤링
✅ Airtable : 프롬프트를 에어테이블로 연결 & 결과값을 에어테이블에 업데이트

  1. Apify

    1. Web Scarpper를 감지하는 모듈을 먼저 구성

    2. 데이터셋ID를 연결해서 JSON 포맷으로 가져오도록 했어요.

  2. Text Parser

    1. HTML을 TEXT로 변환하는 작업

  3. Tools

    1. 2번의 "Set variable" 작업을 진행했습니다.

      1. Text Parser로 가져온 값의 패턴을 분석해서 내가 필요한 값만 분리하는 작업

      2. 먼저 진행한 분리 작업의 덩어리를 다시 분리하는 작업

        보라색 배경이있는 웹 사이트의 스크린 샷
  1. Iterator : 결과값 내에 여러 기사 정보가 있어서 각 항목을 하나씩 반복 처리하도록 분리

    변경 관리 계획의 스크린 샷
  2. 에어 테이블 : 뒤의 OpenAI에서 프롬프트를 사용하기 위해 먼저 붙임

  3. OpenAI : 각 번들을 원하는 형태로 변경하는 작업

  4. Json(오픈AI에서 받아온 결과를 구조화된 포맷으로 정리) > 에어테이블 연결

    빨간색 원이있는 스프레드 시트의 스크린 샷

결과와 배운 점

과정 중에 어떤 시행착오를 겪었나요?

위 결과값을 얻기 위해 2번의 고난이 있었는데요.😭
첫 번째는 "Text Parser"로 받아온 값의 패턴을 분석하는 일입니다.
이 단계에선 내가 원하는 값이 무엇인지 명확하게 정의하는 게 꿀팁인 것 같습니다!🥺
내가 원하는 값이 확실해지면 사이트와 Text Parser의 결과값을 비교하면서 어디부터 가져오고, 가져오면 안되는지 확인해서 Tools의 valuable value에 값을 넣으면 되기 때문이에요!
valuable value는 클로드와 챗gpt를 번갈아 사용해가며 넣었습니다.

두 번째는 결과값이 나오지 않았을 때,,, 인데요.
분명 오류가 없는데 테이블에 빈칸이 있었을 때 멘붕이었습니다.
중간에 결과값들을 보다 보니, OpenAI 결과값 중 몇 개가 제대로 분류가 되지 않았어요.
Tools의 valuable value이 잘못된 건 아닌지 계속 수정해보다가, 프롬프트를 수정해보는 방향으로 바꿔서 문제를 해결했습니다!

앞으로의 계획이 있다면 들려주세요.

  1. 현재는 하나의 블로그만 스크랩해올 수 있도록 되어 있는데, 업무에 활용 중인 여러 해외 블로그를 끌어올 수 있도록 make 시나리오를 강화해볼 계획이에요!

  2. 블로그 콘텐츠를 요약하는 OpenAI도 붙여서 활용해볼 계획입니다.

도움 받은 글 (옵션)

Make로 동적 웹사이트 크롤링 >

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

이노베이션 프로필 이미지
이노베이션2025.05.20

도움 받은 글 유튜브 대단한 능력자 분의 유튜브인데 덕분에 알게 되었습니다. 감사합니다. 발표때도 기대해 보겠습니다.

윤누리 프로필 이미지
윤누리2025.05.19

다니님 너무 흥미로운 사례 (+ 공감가는 사례라서) 제 스레드에도 소개했습니다!

본문에 있는 멘붕 사례 왠지 안 해봤지만 벌써 공감이 되더라고요 ㅠㅠ 정말 수고 하셨습니다! 💪

분명 오류가 없는데 테이블에 빈칸이 있었을 때 멘붕이었습니다.
중간에 결과값들을 보다 보니, OpenAI 결과값 중 몇 개가 제대로 분류가 되지 않았어요.
danni 프로필 이미지
danni2025.05.20

감사합니다😆 어려움은 있었지만 에어테이블에 값이 들어올 때 엄청난 희열이 있더라구요!!😁😁

김혜련 프로필 이미지
김혜련2025.05.19

오~ set variable과 iterator까지 사용해보셨군요? 기존에 해본 경험이 있으신가봅니다! 정말 잘 하셨습니다!

앞으로 시나리오가 더 기대되네요!

danni 프로필 이미지
danni2025.05.20

1주차 스터디와 토요일 오프모임에서 인사이트를 많이 얻었습니다!😊 더 간단히 만들 수 있는 방법이 있었나? 싶기도 하네요 ㅎㅎ 감사합니다!

김혜련 프로필 이미지
김혜련2025.05.20

@danni

영감을 드릴 수 있어서 기쁘네요!

사례발표 할 때 줄일 수 있는지 한번 볼게요!

지금 보니까 매직봉으로 시나리오 정리한 번 하면 좋을거 같네요 🤣

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기