AI 워크스페이스로 아이보스 인기 칼럼 자동 수집하고 Notion 연동하기
2026.01.20
매주 월요일마다 아이보스(i-boss.co.kr) 인기 칼럼 TOP 10을 자동으로 수집하고, AI로 요약한 뒤 Notion 데이터베이스에 저장하는 자동화 시스템을 만들어 보려 했습니다.
온라인 이커머스를 운영하며 비즈니스 트렌드를 놓치지 않는 것이 중요했지만, 매번 직접 확인하고 정리하는 데 한계가 있었고 이를 자동화하고자 했습니다.
사용한 기술 스택
항목 | 내용 |
|---|---|
도구 | Claude Code (CLI) |
모델 | Claude Sonnet 4.5, Gemini 2.0 Flash |
크롤링 | Python (requests + BeautifulSoup) |
요약 API | Google AI Studio (Gemini API) |
저장소 | Notion Database |
환경 | macOS, Johnny Decimal 폴더 구조 |
진행 방법
🎯 목표
매주 월요일 인기 칼럼 TOP 10 자동 수집
긴 글을 AI로 핵심 요약
중복 수집 방지 로직 구현
Notion 데이터베이스에 자동 저장
🔧 Step 1. 크롤링 준비
비용 최소화 전략
Claude API 대신 Gemini 2.0 Flash 선택
토큰 비용이 저렴하고 무료 티어 제공
윤리적 크롤링 기준 적용
공개 웹페이지
개인 학습 목적
주 1회 수집
User-Agent 명시
요청 간 2초 딜레이
💬 Step 2. Python 크롤링 구현
폴더 구조 (Johnny Decimal)
.claude/skills/iboss-collector/
├── main.py
├── crawler.py
├── summarizer.py
├── requirements.txt
└── venv/
30-collected/31-web-scraps/31.01-iboss/
├── history.json
└── 2026-01-20-무신사-올리브영은-알고-있다.md
HTML 구조 분석
<div class="popular-column-list">
<div class="cell">
<a href="/ab-74668-5273">
<em>1</em>
<span>무신사, 올리브영은 알고 있다</span>
</a>
</div>
</div>
디버그 스크립트를 만들어 실제 DOM 구조를 확인한 후 파싱 로직을 수정했습니다.
중복 방지 로직
{
"2026-01-20": {
"article_id": "5273",
"title": "무신사, 올리브영은 알고 있다",
"rank": 1
}
}
순위 유지 시 → 차상위 신규 칼럼 수집
신규 진입 시 → 최상위 칼럼 수집
✨ Step 3. Gemini API로 AI 요약
요약 프롬프트
prompt = f"""
다음 비즈니스 칼럼을 개인 학습용으로 요약해주세요.
# 본문
{content[:8000]}
# 요구사항
1. 핵심 내용을 3-5문장으로 요약
2. 주요 인사이트 3-5개 불릿 정리
3. 실무 적용 시사점 포함
"""
실행 결과
실행 시간: 약 15초
크롤링 + 요약이 한 번에 완료: 약 10초
📊 실제 결과물
생성된 마크다운 파일
---
title: 무신사, 올리브영은 알고 있다
source: https://www.i-boss.co.kr/ab-74668-5273
collected_date: 2026-01-20
rank: 1
ai_model: gemini-2.0-flash-exp
---
## 요약
2025년 온라인 쇼핑 시장에서 전문몰이 종합몰 대비 높은 성장률을 보였으며,
무신사, 올리브영 등 주요 전문몰은 괄목할 만한 성과를 기록했습니다...
## 핵심 인사이트
- 전문몰은 특정 카테고리에 대한 깊이 있는 전문성과 데이터 기반 큐레이션으로...
- 온라인과 오프라인 채널을 통합하는 옴니채널 전략은...
## 실무 적용 포인트
- 특정 타겟 고객층을 위한 차별화된 상품 및 콘텐츠 큐레이션...
Collector Skills의 특징
범용성
현재는 아이보스 전용이지만,
크롤링 부분만 수정하면 다른 웹사이트에도 쉽게 적용 가능:
Mobiinside
마케터블
Brunch
다른 블로그/뉴스
공통 기능 (재사용 가능):
✅ Gemini API 요약
✅ 중복 방지 (history.json)
✅ 마크다운 저장
✅ Notion 업로드 (연결 문제만 해결되면)
🌍 Step 4. Notion 연동 (진행 중)
현재 문제 상황
Notion UI에서는 Integration 연결됨
데이터베이스 접근 실패, API 호출 시 권한 문제가 있는 것으로 추정
1. ✅ Notion Integration 생성
2. ✅ API 토큰 발급 및 `.env` 설정
3. ✅ 데이터베이스 생성 및 속성 설정
4. ✅ 연결로 Integration 설정
추정 원인
Database ID / Page ID 혼동
Integration 권한 전파 지연
Capability 설정 누락
데이터베이스 속성 설계
속성 | 타입 | 설명 |
|---|---|---|
제목 | Title | 칼럼 제목 |
순위 | Number | 인기 순위 |
수집일 | Date | 수집 날짜 |
출처 | URL | 원문 링크 |
Article ID | Text | 고유 ID |
AI 모델 | Select | 사용 모델 |
결과와 배운 점
👍 좋았던 점
HTML 디버그 스크립트의 위력
단계별 테스트로 문제 원인 명확화
Gemini API로 비용 절감(Claude API보다 저렴함)
😅 아쉬웠던 점
Notion API 디버깅의 어려움
HTML 구조 변경 리스크
Claude code 토큰 소모 많음 (디버깅과 테스트로...)
다음 단계
Notion API 연결 문제 해결
Cron으로 주간 자동 실행
다른 매체로 확장
도움 받은 글
스터디장님 제공 스터디 자료
마무리
이번 프로젝트를 통해 단순 반복 업무를 자동화하고 AI의 요약 능력을 결합함으로써, 매주 월요일 아침을 정보 수집이 아닌 ‘전략 수립’으로 시작할 수 있는 기반을 마련했습니다.
물론 과정 속에서 배운 것도 많습니다. 특히 Claude Code를 활용한 디버깅 과정에서 예상보다 많은 토큰이 소모되는 것을 보며, ‘무엇을 자동화할 것인가’만큼이나 ‘얼마나 비용 효율적으로 설계할 것인가’가 지속 가능한 자동화의 핵심이라는 점을 깊이 체감했습니다.
결국 기술의 본질은 인간이 더 가치 있는 결정에 집중하도록 돕는 데 있습니다. 현재 직면한 Notion 연동 문제를 빠르게 해결하여 완결된 시스템을 구축하고, 나아가 다양한 매체로 확장해 나만의 비즈니스 대시보드를 완성해 나갈 계획입니다.
로그인하고 댓글을 남겨 주세요
수요일님 > < ㅎㅎ 웬즈데이가 생각나는 닉네임이네요… 아무튼! 제대로 진행하셨네요.
아이보스 인기 칼럼 자동 수집 → Gemini로 요약 → Notion 저장 순인데,
기술 스택 선택부터 윤리적 크롤링 기준까지 다 고려하셨네요… 와우…
제가 특히 눈여겨본 건 중복 방지 로직이에요.
history.json으로 관리하고, 순위 유지 시 차상위 신규 칼럼 수집, 신규 진입 시 최상위 칼럼 수집하는 로직인데요. ‘중복 없이, 누락 없이’ 원칙이 간단하지만 지켜야 하는 규칙이 복잡해지거든요. 하지만 수집 이력을 관리하면 같은 자료 두 번 수집하는 낭비가 없어지고, 뭘 수집했고 안 했는지 추적 가능해지죠.
기록학에서도 MECE 원칙으로 상호배타적이면서 전체포괄적이라는 원칙을 이야기하는데 그걸 잘 캐치하신 것 같아요. 사례글들 보면서 계속 놀람의 연속입니다.
Notion 연동 문제 해결되시면 진짜 완결된 자동화 시스템이 되겠네요. 상영님 이번주 스킬 안내와 함께 기술적 실험내용 공유하면서 여러 토의가 가능할 것 같아요. 다른 매체로 확장하신다고 하셨는데, 크롤링 부분만 바꾸면 되도록 설계하신 것도 좋아요. 결과 공유해주세요!
단순 반복 업무를 자동화하고 AI의 요약 능력을 결합함으로써, 매주 월요일 아침을 정보 수집이 아닌 ‘전략 수립’으로 시작할 수 있는 기반 마련이 감동적입니다.




엄청난 실력자이셨군요!!👍
전달드린 자료의 1,000% 수준을 하시다니 👍
3주차 노션 공유로 협업하는 방법을 하겠지만
노션이 특수성이 강해서 완전히 컨트롤하려면 쉽지 않기에
이번 입문 단계에서는 지식과 문서 다루기가 아니라 파싱 다루기로
주객전도 될 것 같아 단순 공유까지만 했어요
동기화 수준으로 하려면 작업 스트레스 대비 효과가 미미해서
데이터베이스, 다단 처리, 트리 구조 등은 제외했거든요
팀원 협업룰 세팅이 더욱 핵심이기도 하구요
Sueyoil님의 엄청난 내공과 사례로 다른스터디원분들께서도
많은 인사이트와 노하우를 얻으실 것 같아요!
입문자 분중에서도 빠르신 분들은 수요일님 모범 사례를 보면 좋겠네요~
좋은 사례 감사합니다!!