본문으로 건너뛰기

n8n로 threads 글 자동크롤링 후 메일로 쓔~웅!!

도로시J

2025.03.24

n8n로 threads 글 자동크롤링 후 메일로 쓔~웅!! 본문 이미지

소개

threads에서 유명한 chol.openai님의 새로운 소식을 매일매일 메일로 받아보는 자동화

사용 툴

  • n8n : 자동화

  • chatgpt, claude : 출력 data에서 원하는 형식의 json 코드 요청

진행 방법

핫하다는 n8n을 통해 가장 빨리 ai의 소식을 받아볼 수 있는 chol님의 글을 크롤링하여 메일로 일정한 시간에 전송해 주는 자동화를 구현해 보았습니다.
원하는 출력 data 추출을 위해 json 코드가 필요하여 chatgpt에게 요청.


전체 워크플로우는 다음과 같습니다.

소셜 미디어 캠페인의 다른 단계를 보여주는 다이어그램

정기님의 쉬운 설명이었지만, 도전할 때는 생각보다 쉽지 않더군요.

  1. ✔️ 스케쥴 트리거로 시간 조정

    😊 트리거 인터벌을 테스트 후에는 꼭 정상적인 시간으로 세팅하셔야 합니다.

    일정 트리거의 스크린 샷

  2. ✔️ rss.app에서 스레드의 url주소를 입력하여 출력값으로 feed값 얻기.

    txt 파일을 선택할 수있는 버튼의 스크린 샷

  3. ✔️ Rss read에서 나온 JSON 파일에서 Edit Fields를 통해 필요한 내용 추출하기

    한국 텍스트 편집기의 스크린 샷

  4. ✔️ limit를 통해 출력 메일 수 줄이기

    처음에는 25개씩 크롤링 되다보니, 한번에 메일이 25개씩 전송되는 문제 발생했어요ㅠㅠ
    메일 폭탄을 맞느라, 정작 봐야할 멜들을 놓쳤다는.
    code 노드에서 어떻게든 줄여보려고 했지만(헛질을 여러번 하다가 자꾸 에러가 발생),
    정기님이 limit를 추천해주셔서 깔끔하게 정리함.
    분명 스터디에서 들었는데, 왜 처음 듣는 듯한 느낌이~~ 드는지.

    Limit1 설정 화면의 스크린 샷
  5. ✔️ 코드를 통해 output 텍스트 문장 정리하기
    chatgpt를 통해 data 파싱에 대한 도움을 받음( 한 문장만 추출하는 코드 요청)

    return items.map(item => {

const title = item.json["제목"] || "";

// 첫 문장만 추출하는 정규표현식

const match = title.match(/.*?[.?!]/);

const firstSentence = match ? match[0] : title;

return {

json: {

...item.json,

제목: firstSentence.trim()

}

};

});

  1. ✔️ 지메일로 발송

    제목과 context만 추출하여 메일로 발송하도록 함.

    Gmail의 이메일 설정의 스크린 샷

  1. ❤️ 드뎌 이메일로 받을 때는 하나의 메일 안에 3개의 최신 뉴스가 올라와 있습니다.

    한국 및 중국어 텍스트가있는 페이지의 스크린 샷

결과와 배운 점

  • 과정 중에 어떤 시행착오를 겪었나요?


    처음에 테스트한다고, 10분 간격으로 했다가, 메일이 자폭하는 줄 알았다는
    메일을 따로 확인하지 않았다가 얼마가 지나서야 문제점 파악.
    트리거 시간을 넉넉히 두거나, 또는 비활성화 시키는 것도 괜찮아요.

    한국 뉴스 웹 사이트의 스크린 샷

  • 앞으로의 계획이 있다면 들려주세요.

이번엔 전체적인 개념이 없어서 워크플로우 구성을 과제로 요청한 그대로 시도하였지만, 좀 더 다양한 노드를 구성할 수 있도록 업그레이드 된 워크플로우를 구성하고 싶습니다.

크롤링 받은 데이터를 입맛에 맞게, 학습자의 눈높이로 재작성하고, 또한 API를 등록하여 openai를 사용하는 과정까지 진행해 보고 싶네요.

도움 받은 글 (옵션)

문과생도 n8n 첫 스터디 OT 영상 참조

8

함께 이야기해요 8

로그인하고 댓글을 남겨 주세요

윤스케어 프로필 이미지
윤스케어2025.03.25

와아 n8n 화려하고 멋진 입문이시네요. 한수 가르쳐주세요 ㅋㅋ

도로시J 프로필 이미지
도로시J2025.03.25

15기 끝나면 n8n 스터디 할까요? ^^
16기는 에듀테크에 n8n을 더해볼까나ㅋㅋ

박정기 프로필 이미지
박정기2025.03.25

n8n 자동화 하실때는 꼭! 갯수를 확인해주세요 :) 꼭이요!! 그래야 토큰도 아낄 수 있어요!

도로시J 프로필 이미지
도로시J2025.03.25

n8n을 처음 만나서, 신기하기만 했는데. 결국 토큰을 고려하지 않은 문제가 있었군요^^

윤누리 프로필 이미지
윤누리2025.03.24

도로시J님.. 도대체 어디까지 멋져지시려고요! 저도 열심히 보고 있는 스레드 채널인데요, 이것을 이렇게 자동화할 수 있군요.

질문이 있는데, 일전에 저도 스레드 크롤링을 한번 구현해봤었는데 - 첫 세팅 시에는 비로그인 상태로 접속이 되면서 오류가 나더라고요. 혹시 로그인 이슈는 없었는지 궁금합니다. (그때 ChatGPT랑 어케어케 고치긴 했는데 어케 고쳤는지 모름. ㅋㅋ)

도로시J 프로필 이미지
도로시J2025.03.24

첫 댓글 감솨 감솨^^
저는 자동 로그인이 되어 있던 상태라 문제가 없었는데.
비로그인 상태일 때는 고려해 보지 않았는데, 좋은 포인트 알려주셔서 감사합니다.
조만간 테스트해보고 결과는 업데이트 해 볼게요.

박정기 프로필 이미지
박정기2025.03.25

이건 RSS 라는 서비스로 구현한거에요 RSS.APP 이거 유료 서비스인데 처음에 7일 무료라 그걸로 구현했습니다!

도로시J 프로필 이미지
도로시J2025.03.25

@박정기

역시 정기님이 지름길을 알려주셨던 거군요

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기