MAKE를 활용해 해외 블로그의 아티클 수집하기!
2025.05.19

소개
16기 롱폼 자동화 스터디에 참여하며 1주차에 제 목표는 업무에서 주로 활용하는 해외 블로그 중 필요한 아티클만 수집하는 것이었는데요. 이를 통해, 블로그 소재를 리서치하는 시간을 단축시켜서 업무 효율성을 높일 수 있겠다는 생각이 들었습니다! 이러한 자동화를 구축하는데 1주차 스터디의 'Apify'와 '에어테이블'이 굉장한 인사이트가 되었습니다.
진행 방법
✅ Apify (Web scrapper) : 원하는 웹 사이트 주소를 넣고 크롤링
✅ Airtable : 프롬프트를 에어테이블로 연결 & 결과값을 에어테이블에 업데이트
Apify
Web Scarpper를 감지하는 모듈을 먼저 구성
데이터셋ID를 연결해서 JSON 포맷으로 가져오도록 했어요.
Text Parser
HTML을 TEXT로 변환하는 작업
Tools
2번의 "Set variable" 작업을 진행했습니다.
Text Parser로 가져온 값의 패턴을 분석해서 내가 필요한 값만 분리하는 작업
먼저 진행한 분리 작업의 덩어리를 다시 분리하는 작업

Iterator : 결과값 내에 여러 기사 정보가 있어서 각 항목을 하나씩 반복 처리하도록 분리

에어 테이블 : 뒤의 OpenAI에서 프롬프트를 사용하기 위해 먼저 붙임
OpenAI : 각 번들을 원하는 형태로 변경하는 작업
Json(오픈AI에서 받아온 결과를 구조화된 포맷으로 정리) > 에어테이블 연결

결과와 배운 점
과정 중에 어떤 시행착오를 겪었나요?
위 결과값을 얻기 위해 2번의 고난이 있었는데요.😭
첫 번째는 "Text Parser"로 받아온 값의 패턴을 분석하는 일입니다.
이 단계에선 내가 원하는 값이 무엇인지 명확하게 정의하는 게 꿀팁인 것 같습니다!🥺
내가 원하는 값이 확실해지면 사이트와 Text Parser의 결과값을 비교하면서 어디부터 가져오고, 가져오면 안되는지 확인해서 Tools의 valuable value에 값을 넣으면 되기 때문이에요!
valuable value는 클로드와 챗gpt를 번갈아 사용해가며 넣었습니다.
두 번째는 결과값이 나오지 않았을 때,,, 인데요.
분명 오류가 없는데 테이블에 빈칸이 있었을 때 멘붕이었습니다.
중간에 결과값들을 보다 보니, OpenAI 결과값 중 몇 개가 제대로 분류가 되지 않았어요.
Tools의 valuable value이 잘못된 건 아닌지 계속 수정해보다가, 프롬프트를 수정해보는 방향으로 바꿔서 문제를 해결했습니다!
앞으로의 계획이 있다면 들려주세요.
현재는 하나의 블로그만 스크랩해올 수 있도록 되어 있는데, 업무에 활용 중인 여러 해외 블로그를 끌어올 수 있도록 make 시나리오를 강화해볼 계획이에요!
블로그 콘텐츠를 요약하는 OpenAI도 붙여서 활용해볼 계획입니다.
도움 받은 글 (옵션)
로그인하고 댓글을 남겨 주세요




도움 받은 글 유튜브 대단한 능력자 분의 유튜브인데 덕분에 알게 되었습니다. 감사합니다. 발표때도 기대해 보겠습니다.