소개
우리 기관에서는 최근 AI를 활용한 업무 자동화에 많은 관심을 갖고 있어요. 그 흐름 속에서 “AI로 팀원들에게 뉴스레터를 자동으로 보내면 어떨까?”라는 아이디어가 떠올랐습니다. 특히 경제 관련 이슈가 종종 보고서에 필요한데, 사전에 정리된 자료가 없다 보니 이슈 발생 후 다시 찾아야 하는 번거로움이 있었거든요.
그래서 정기적으로 뉴스, 보고서, 보도자료 등을 자동으로 수집하고 요약해 메일로 발송하는 시스템을 만들어보기로 했습니다.
진행 방법
사용한 도구
Claude AI (claude.ai): 전체 작업 설계 및 코드 작성
Google Apps Script: 크롤링, 데이터 저장, 메일 발송 자동화
Google Sheets: 수집된 데이터 저장소
Gemini API: 뉴스 요약 (예정)
작업 흐름
Step 1. 보도자료 크롤링 구현
가장 먼저 금융위원회와 한국은행의 보도자료를 자동으로 수집하는 기능을 만들었어요. Apps Script로 각 기관 웹사이트에서 제목, 링크, 날짜를 가져와서 Google Sheets에 저장하고, 일주일치를 정리해서 메일로 발송하는 구조예요.
(보도자료 발송 성공!)
Step 2. 뉴스 크롤링 - RSS vs 웹 크롤링 선택
뉴스 수집을 위해 한경, 매경, 이데일리 세 곳을 검토했어요. 각 사이트의 RSS 지원 여부를 확인한 결과, 이데일리만 섹션별 RSS를 제공하고 있었어요. 그래서 이데일리는 RSS로, 한경은 웹 크롤링으로 진행하기로 했어요.
(한경과 매경의 웹페이지는 은행, 금융정책, 경제 섹터가 구분되어있지만, 제공하는 RSS는 그러한 구분이 없었다..)
이때 발생한 문제점 중 하나는, 매경의 경우 계속 웹 크롤링을 실행해도 차단되고, 제공하는 RSS도 접근이 불가능하다는 것이었습니다. 결국 한경과 이데일리가 제공하는 기사내용과 매경이 제공하는 기사내용을 비교해서, 한경과 이데일리만으로도 충분히 유사한 정보들을 가지고 올 수 있다고 판단해서 매경은 제외하게 되었어요.
Step 3. 손에잡히는경제 크롤링 - HTML 구조 분석
MBC 라디오 '손에잡히는경제'의 공부방 게시판도 수집 대상에 추가했어요. 이 사이트는 RSS를 제공하지 않아서 직접 HTML 구조를 분석해야 했어요. 개발자 도구(F12)로 게시글 목록의 HTML 패턴을 찾고, Claude에게 스크린샷을 보내면서 함께 디버깅했어요.
(숨막히는 HTML 화면..)
(클로드코드가 스스로 작성한 디버그 코드)
Step 4. 은행연합회 신상품/이벤트 크롤링
은행연합회 회원사소식 페이지에서 "이벤트", "출시" 키워드로 검색한 결과를 크롤링하는 기능도 추가했어요. 어떤 키워드로 검색한 건지 구분할 수 있도록 keyword 컬럼도 함께 저장하도록 했어요.
3. 결과와 배운 점
배운 점과 꿀팁
1. Claude는 스스로 디버깅한다 예전에 GPT로 크롤링을 시도했을 때는 HTML 구조를 눈빠지게 살펴보고 코드를 짜도 항상 실패했어요. 그런데 Claude는 달랐어요. 코드가 안 되면 스스로 원인을 분석하고, "이 부분 스크린샷 보내 주세요"라고 요청해요. 그걸 보내주면 패턴을 파악해서 수정된 코드를 제시해줘요. 손에잡히는경제와 은행연합회 크롤링 모두 이런 방식으로 성공했어요.
2. n8n 없이도 가능하다 처음에는 n8n을 써야 하나 고민했는데, Apps Script만으로도 크롤링 + 저장 + 메일 발송이 모두 가능하더라고요. 무료이고, Google 생태계와 연동도 잘 돼서 굳이 다른 도구를 쓸 필요가 없었어요.
3. AI 요약은 Gemini API로 수집한 뉴스를 요약하는 건 Gemini API를 활용할 예정이에요. 무료 티어가 있어서 비용 부담 없이 시작할 수 있어요.
시행착오
매경 크롤링 실패: 웹 크롤링은 사이트에서 차단되고, RSS는 작동하지 않아서 결국 제외했어요.
날짜 형식 불일치: Sheets에 저장된 날짜 형식(
2026. 1. 27)과 코드에서 찾는 형식(2026-01-27)이 달라서 "오늘 수집된 뉴스 0건"이 나왔어요. Date 객체로 비교하도록 수정해서 해결했어요.Gemini API 할당량 초과: 새 API 키가 바로 활성화되지 않아서 테스트가 지연됐어요. 시간을 두고 다시 시도할 예정이에요.
4. 앞으로의 계획
✅ 완료한 작업
보도자료 크롤링 (금융위, 한국은행)
보도자료 주간 브리핑 메일 발송
뉴스 크롤링 (한경 웹크롤링, 이데일리 RSS)
손에잡히는경제 공부방 크롤링
은행연합회 신상품/이벤트 크롤링
키워드 필터링 시스템 구축
Google Sheets 데이터 저장 구조 설계
Gemini API 연동 코드 작성
🔲 앞으로 할 작업
Gemini API 정상 작동 확인
AI 뉴스 요약 기능 테스트
뉴스레터 메일 템플릿 디자인
메일 발송 기능 구현
자동 실행 트리거 설정 (매일/매주)
(선택) Gmail 뉴스레터 파싱 기능
(선택) 메일 답장으로 키워드 추가 기능
