AI 워크스페이스로 아이보스 인기 칼럼 자동 수집하고 Notion 연동하기

매주 월요일마다 아이보스(i-boss.co.kr) 인기 칼럼 TOP 10을 자동으로 수집하고, AI로 요약한 뒤 Notion 데이터베이스에 저장하는 자동화 시스템을 만들어 보려 했습니다.

온라인 이커머스를 운영하며 비즈니스 트렌드를 놓치지 않는 것이 중요했지만, 매번 직접 확인하고 정리하는 데 한계가 있었고 이를 자동화하고자 했습니다.

사용한 기술 스택

진행 방법

🎯 목표

• 매주 월요일 인기 칼럼 TOP 10 자동 수집

• 긴 글을 AI로 핵심 요약

• 중복 수집 방지 로직 구현

• Notion 데이터베이스에 자동 저장

🔧 Step 1. 크롤링 준비

비용 최소화 전략

• Claude API 대신 Gemini 2.0 Flash 선택

• 토큰 비용이 저렴하고 무료 티어 제공

윤리적 크롤링 기준 적용

• 공개 웹페이지

• 개인 학습 목적

• 주 1회 수집

• User-Agent 명시

• 요청 간 2초 딜레이

💬 Step 2. Python 크롤링 구현

폴더 구조 (Johnny Decimal)

.claude/skills/iboss-collector/
├── main.py
├── crawler.py
├── summarizer.py
├── requirements.txt
└── venv/

30-collected/31-web-scraps/31.01-iboss/
├── history.json
└── 2026-01-20-무신사-올리브영은-알고-있다.md

HTML 구조 분석

<div class="popular-column-list">
  <div class="cell">
    <a href="/ab-74668-5273">
      <em>1</em>
      <span>무신사, 올리브영은 알고 있다</span>
    </a>
  </div>
</div>

디버그 스크립트를 만들어 실제 DOM 구조를 확인한 후 파싱 로직을 수정했습니다.

중복 방지 로직

{
  "2026-01-20": {
    "article_id": "5273",
    "title": "무신사, 올리브영은 알고 있다",
    "rank": 1
  }
}

• 순위 유지 시 → 차상위 신규 칼럼 수집

• 신규 진입 시 → 최상위 칼럼 수집

✨ Step 3. Gemini API로 AI 요약

요약 프롬프트

prompt = f"""
다음 비즈니스 칼럼을 개인 학습용으로 요약해주세요.

# 본문
{content[:8000]}

# 요구사항
1. 핵심 내용을 3-5문장으로 요약
2. 주요 인사이트 3-5개 불릿 정리
3. 실무 적용 시사점 포함
"""

실행 결과

• 실행 시간: 약 15초

• 크롤링 + 요약이 한 번에 완료: 약 10초

📊 실제 결과물

생성된 마크다운 파일

---
title: 무신사, 올리브영은 알고 있다
source: https://www.i-boss.co.kr/ab-74668-5273
collected_date: 2026-01-20
rank: 1
ai_model: gemini-2.0-flash-exp
---

## 요약
2025년 온라인 쇼핑 시장에서 전문몰이 종합몰 대비 높은 성장률을 보였으며,
무신사, 올리브영 등 주요 전문몰은 괄목할 만한 성과를 기록했습니다...

## 핵심 인사이트
- 전문몰은 특정 카테고리에 대한 깊이 있는 전문성과 데이터 기반 큐레이션으로...
- 온라인과 오프라인 채널을 통합하는 옴니채널 전략은...

## 실무 적용 포인트
- 특정 타겟 고객층을 위한 차별화된 상품 및 콘텐츠 큐레이션...

Collector Skills의 특징

범용성

현재는 아이보스 전용이지만,

크롤링 부분만 수정하면 다른 웹사이트에도 쉽게 적용 가능:

• Mobiinside

• 마케터블

• Brunch

• 다른 블로그/뉴스

공통 기능 (재사용 가능):

• ✅ Gemini API 요약

• ✅ 중복 방지 (history.json)

• ✅ 마크다운 저장

• ✅ Notion 업로드 (연결 문제만 해결되면)

🌍 Step 4. Notion 연동 (진행 중)

현재 문제 상황

• Notion UI에서는 Integration 연결됨

• 데이터베이스 접근 실패, API 호출 시 권한 문제가 있는 것으로 추정

1. ✅ Notion Integration 생성
2. ✅ API 토큰 발급 및 `.env` 설정
3. ✅ 데이터베이스 생성 및 속성 설정
4. ✅ 연결로 Integration 설정

추정 원인

• Database ID / Page ID 혼동

• Integration 권한 전파 지연

• Capability 설정 누락

데이터베이스 속성 설계

결과와 배운 점

👍 좋았던 점

• HTML 디버그 스크립트의 위력

• 단계별 테스트로 문제 원인 명확화

• Gemini API로 비용 절감(Claude API보다 저렴함)

😅 아쉬웠던 점

• Notion API 디버깅의 어려움

• HTML 구조 변경 리스크

• Claude code 토큰 소모 많음 (디버깅과 테스트로...)

다음 단계

• Notion API 연결 문제 해결

• Cron으로 주간 자동 실행

• 다른 매체로 확장

도움 받은 글

• 스터디장님 제공 스터디 자료

마무리

이번 프로젝트를 통해 단순 반복 업무를 자동화하고 AI의 요약 능력을 결합함으로써, 매주 월요일 아침을 정보 수집이 아닌 ‘전략 수립’으로 시작할 수 있는 기반을 마련했습니다.

물론 과정 속에서 배운 것도 많습니다. 특히 Claude Code를 활용한 디버깅 과정에서 예상보다 많은 토큰이 소모되는 것을 보며, ‘무엇을 자동화할 것인가’만큼이나 ‘얼마나 비용 효율적으로 설계할 것인가’가 지속 가능한 자동화의 핵심이라는 점을 깊이 체감했습니다.

결국 기술의 본질은 인간이 더 가치 있는 결정에 집중하도록 돕는 데 있습니다. 현재 직면한 Notion 연동 문제를 빠르게 해결하여 완결된 시스템을 구축하고, 나아가 다양한 매체로 확장해 나만의 비즈니스 대시보드를 완성해 나갈 계획입니다.