박정기
박정기
🗡️ AI 레전드
🎖️ 마스터 파트너
🚀 SNS 챌린지 달성자

[문과생도 n8n] AI TIMES 뉴스 TOP 10 크롤링 → Obsidian 기록 자동화!

소개

매일 아침 AI TIMES 뉴스를 보며 "이 좋은 기사들을 정리해두면 좋겠다"는 생각을 하게 됐어요. 문제는 그걸 매일 손으로 하려니 너무 귀찮다는 것!

그러다 우연히 알게 된 도구가 바로 n8n이에요. 코드를 잘 몰라도, 블록처럼 워크플로우를 만들 수 있어서 마치 레고 조립하듯 자동화를 만들 수 있더라고요 🧱

그래서 제가 도전한 첫 프로젝트는 바로:

매일 AI TIMES의 인기 뉴스 10개를 수집해서, 마크다운(.md) 파일로 만들고, Obsidian에 자동으로 쌓이게 하자!

다양한 유형의 음악을 보여주는 컴퓨터 화면의 스크린 샷

진행 방법

사용한 도구 정리

  • 🧩 n8n: 자동화 워크플로우를 시각적으로 만드는 도구 (무료 & 오픈소스!)

  • 🌐 HTTP Request + HTML 노드: 웹사이트에서 필요한 정보를 가져오기

  • 🔢 Code 노드: 가져온 정보 정리, 글 형식으로 변환하기

  • 📂 Dropbox 노드: 결과 파일을 클라우드에 저장 (Obsidian과 연동)

중국 프로그램의 과정을 보여주는 다이어그램

전체 흐름 쉽게 설명하기

  1. AI TIMES 사이트에 접속해서 뉴스 목록을 가져와요

    • HTTP Request 노드를 사용해서 웹페이지를 불러와요

    • HTML 노드로 뉴스의 제목, 순위, 링크를 가져와요

한국 뉴스 웹 사이트의 스크린 샷
  1. 각 뉴스 기사의 내용을 다시 하나하나 방문해서 가져와요

    • 기사 링크에 다시 HTTP Request 요청을 보내요

    • HTML 노드로 기사 본문, 요약, 키워드, 이미지 등을 수집해요

  2. 정리해서 마크다운(.md) 형식으로 변환해요

    • Code 노드로 뉴스들을 예쁘게 리스트 형태로 정리

    • 예: `- 제목

한국어 텍스트가있는 검은 색 화면
  • 요약 내용`

  1. Dropbox에 자동 저장 → Obsidian에서 자동으로 보이게 해요

    • Dropbox 노드로 .md 파일을 저장

    • 저장 경로를 Obsidian과 연동된 폴더로 지정하면 자동 반영!

한국 웹 사이트의 스크린 샷
// 뉴스 요약을 마크다운 포맷으로 만드는 코드 예시
md += `- [${title}](${url})\n  - ${excerpt}\n`;

예시 결과 파일 모습

# 오늘의 AI 뉴스

- [챗GPT 최신 업데이트 소식](https://www.aitimes.com/news/articleView.html?idxno=123456)
  - OpenAI가 챗GPT에 새 기능을 추가했습니다. 이 기능은...

- [구글, AI 검색 베타 공개](https://www.aitimes.com/news/articleView.html?idxno=123457)
  - 구글이 AI를 이용한 새로운 검색 결과 형태를 베타로 공개했습니다...

결과와 배운 점

👍 성공한 점

  • 매일 아침 자동으로 뉴스 정리 파일이 Obsidian에 저장되니 너무 편해요

  • 직접 복사 붙여넣기 하던 시절과 비교하면 진짜 해방감을 느낍니다 🙌

  • 무엇보다도, 문과생인 저도 이런 걸 만들 수 있다는 게 신기하고 뿌듯했어요

😅 어려웠던 점

  • Dropbox Access Token 발급 과정이 초보자에겐 좀 까다로웠어요 😓

    • 그래도 Grok에서 검색해보며 단계별로 하나하나 따라 했더니 해결!

    • 사실 이게 제일 오래 걸렸지만, 해결하고 나니 뿌듯함이 배가 됐어요!

도움 받은 글


이 글이 저처럼 비전공자, 특히 문과생 분들께 도움이 되었으면 좋겠어요 🙏
처음에는 어렵게 느껴질 수 있지만, 하나씩 하다 보면 정말로 만들 수 있어요!

"자동화는 개발자만의 무기가 아니에요. 나도 할 수 있어요!"

응원합니다! 💪✨

👉 이 게시글도 읽어보세요