[ChatGPT + Claude Code] 지피터스 정보 수집 자동화 - 수동 검색에서 자동 정리 시스템으로

한줄 요약

ChatGPT로 자동화 개념을 학습하고, Claude Code로 지피터스 게시판의 유용한 정보를 자동 수집·정리하는 파이프라인을 구축하여 정보 탐색 시간을 절약했습니다.

이런 분들께 도움돼요

  • 지피터스 게시판에서 유용한 정보를 찾는 데 시간이 많이 걸리는 분

  • 자동화 개념은 배웠지만 실제로 어떻게 구현해야 할지 막막한 분

  • ChatGPT와 Claude Code를 조합해서 실전 자동화를 시도해보고 싶은 분


소개: 시도하고자 했던 것과 그 이유

문제 상황 (Before)

지피터스 게시판에서 필요한 정보(업무자동화, 뽀짝이 자동화, AI 관련 사례)를 찾는 데 시간이 너무 많이 들었습니다.

기존 방식의 문제점:

  • 게시판을 일일이 검색해서 유용한 글 찾기

  • 여러 카테고리를 넘나들며 정보 수집

  • 필요한 내용만 선별하는 작업 반복

  • 바쁜 일정 속에서 정보 습득 시간 확보 어려움

게시글을 일일이 검색하고 유용한 내용을 선별하는 작업이 반복되면서, '이 과정 자체를 자동화할 수 있지 않을까?' 라는 생각이 들었습니다.

시작하게 된 계기

정보 수집과 정리를 자동화하면 실무에 집중할 시간을 확보할 수 있겠다고 판단했습니다.

지피터스 21기 'AI 워크스페이스' 과정에서 Claude Code를 접하면서, 실제로 자동화를 구현해볼 수 있는 환경이 갖춰졌습니다. 이 과정에서 단순히 현재 필요한 자동화만 만드는 게 아니라, 향후 OpenClaw, LangGraph, CrewAI 같은 고급 자동화 기술로 확장할 수 있는 구조를 염두에 두고 설계하면 좋겠다는 생각이 들었습니다.

처음부터 이런 기술들을 다 적용하기는 어렵지만, "나중에 연결할 수 있게" 구조를 미리 고려하면 확장이 쉬울 것 같았습니다.


진행 방법: 어떤 도구를 사용했고, 어떻게 활용했나요?

사용한 도구

  • 도구 1: ChatGPT (자동화 개념 학습 + Claude Code 가이드 작성)

  • 도구 2: Claude Code (실전 자동화 시스템 구축)

  • 모델: Claude Opus 4.5

  • 특이사항: ChatGPT로 학습 → Claude Code로 실전 메타 학습 방식

AI와 협업한 과정

1. ChatGPT로 자동화 개념 학습

상황: 자동화를 시도하고 싶었지만, Claude Code의 여러 도구(Agent, Bash, WebSearch 등)가 어떻게 다른지 개념이 정리되지 않았습니다.

이렇게 요청했어요:

비개발자 기준으로 Claude Code 내장 도구와 자동화 흐름을 정리해줘.

특히:
- Agent vs Bash 차이
- WebSearch vs WebFetch 차이
- 자동화 파이프라인 구조
- 비개발자 관점에서 이해하기 쉽게

결과: "Claude Code 내장 도구 - 완전자동화 가이드" 문서 완성

  • 13개 내장 도구를 핵심 도구 vs 보조 도구로 구분

  • Agent, Bash, WebSearch 같은 개별 도구보다는 '정보 수집 → 분석 → 판단 → 저장'이라는 전체 흐름 이해

  • 비개발자 눈높이로 재정리

느낀 점: 도구 이름을 외우는 게 아니라, 자동화의 전체 흐름을 이해하니 어떤 도구를 언제 써야 할지 명확해졌습니다.


2. Claude Code로 자동화 시스템 설계 및 구축

상황: ChatGPT로 개념이 정리된 후, 실제로 지피터스 게시판 정보 수집 자동화를 구현할 차례였습니다.

이렇게 요청했어요:

지피터스 게시판에서 특정 키워드(업무자동화, 뽀짝이, AI 정보 등)를
기준으로 글을 수집하고, 본문을 분석한 뒤, 요약하여 저장하는
파이프라인을 만들어줘.

단계별로:
1. 게시글 수집
2. 본문 분석
3. AI 요약
4. JSON/리포트 저장

결과: ChatGPT의 도움을 받아 Claude Code로 실제 자동화 파이프라인 설계

  • 지피터스 게시판 크롤링 로직

  • 키워드 기반 필터링

  • JSON 형식으로 데이터 저장

  • run_pipeline.py 실행 파일 생성

설계 시 확장성 고려:

21기 AI 워크스페이스에서 배우면서, 단순히 지금 당장 돌아가는 자동화만 만드는 게 아니라 향후 OpenClaw, LangGraph, CrewAI 같은 기술로 확장 가능한 구조를 고려했습니다.

특히 ChatGPT와 논의 결과, "OpenClaw가 나중에 참조 가능한 형태로 결과를 남기는 자동화" 를 만드는 게 중요하다는 걸 깨달았습니다:

  • 수집 → 정제 → 변환 3단 구조: 명확한 파이프라인 단계 구분

  • 구조화된 저장 형식: JSON/YAML로 메타데이터 포함하여 저장

  • 모듈화된 설계: 나중에 다른 시스템(OpenClaw, LangGraph)이 참조하기 쉽게

이렇게 하면 지금은 Claude Code만 쓰지만, 나중에 OpenClaw 에이전트가 이 자료를 참조하거나, LangGraph로 워크플로우를 확장하거나, CrewAI로 팀 조직을 구성할 때도 쉽게 연결할 수 있습니다.

느낀 점: 설계 단계에서는 막연했지만, ChatGPT가 단계별로 안내해주니 구조가 명확해졌습니다. 특히 "지금 만드는 자동화가 미래의 확장을 위한 기반" 이라는 관점이 설계에 큰 도움이 됐습니다.


3. 실행과 검증

상황: 설계는 완료했지만, 실제로 작동하는지 확인이 필요했습니다.

이렇게 진행했어요:

python run_pipeline.py

결과: 지피터스 게시판의 글들이 실제로 수집되고 JSON 파일로 저장되는 것을 확인했습니다.

느낀 점: 가장 인상적이었던 순간이었습니다. 실제로 게시글이 수집되고 JSON 파일로 떨어지는 걸 보면서, 단순한 학습이 아니라 '실무에서 쓸 수 있는 도구' 를 만들고 있다는 걸 체감했습니다.


인상적이었던 순간

"오!" 했던 순간: 자동화가 실제로 작동하는 순간

run_pipeline.py를 실행했을 때 지피터스 게시판의 글들이 실제로 수집되고 JSON 파일로 저장되는 걸 보면서, '아, 이게 진짜 내가 원하던 구조구나'를 처음 체감했습니다.

그 전까지는 단순한 학습이었다면, 그 순간부터는 "내가 쓰는 도구를 만드는 과정" 으로 바뀌었습니다.

막혔던 순간과 해결

문제: 한 번에 모든 기능을 구현하려다 막힘

처음엔 게시글 수집, 본문 분석, AI 요약, 리포트 생성을 한 번에 다 만들려고 하니 오히려 계속 막혔습니다.

해결: 단계별 완성 전략

전략을 바꿔서 '한 단계씩 완성' 하는 방식을 적용했습니다:

  1. 더미 데이터로 파이프라인 검증

  2. 실제 게시글 수집 로직 구현

  3. AI 요약 기능 추가

  4. 리포트 생성 기능 추가

이렇게 단계별로 나누니 훨씬 빠르게 완성됐습니다.

💡 Tip: AI는 '완벽한 답'을 주는 게 아니라 '다음 단계를 열어주는 도구' 입니다. 한 번에 완성하려 하지 말고, 단계별로 질문하고 구현해나가세요.


결과와 배운 점

Before vs After

항목

Before

After

정보 수집 방식

수동 게시판 검색

자동 수집·정리

소요 시간

필요할 때마다 검색

자동 실행

정보 정리

머릿속 or 수기 메모

JSON 파일 자동 저장

활용 가능성

일회성 검색

재사용 가능한 시스템

결과물

  1. 지피터스 정보 수집 자동화 파이프라인 (run_pipeline.py)

    • 게시판에서 키워드 기반 글 수집

    • 본문 분석 및 필터링

    • JSON 형식으로 데이터 저장

    • 재사용성: 키워드만 바꾸면 다른 주제 수집 가능


배운 점과 나만의 꿀팁

효과적이었던 것

  1. ChatGPT로 학습 → Claude Code로 실전

    • 개념 정리 없이 바로 시작하면 시행착오만 늘어남

    • ChatGPT로 먼저 가이드 문서 만들고, 그 후 실전 적용

  2. 흐름 중심 사고

    • 도구 이름(Agent, Bash) 외우기 (X)

    • '검색 → 분석 → 저장' 흐름으로 이해 (O)

  3. 단계별 완성 전략

    • 한 번에 모든 기능 구현 (X)

    • 더미 데이터 → 실제 수집 → AI 요약 → 리포트 순으로 (O)

  4. AI는 다음 단계를 열어주는 도구

    • '완벽한 답'을 기대하지 말고

    • 단계별로 질문하고 구현해나가기

이렇게 하면 안 돼요 (주의사항)

  1. 개념 정리 없이 바로 구현 시작

    • 먼저 ChatGPT로 전체 구조 이해

    • 그 후 실전 적용

  2. 한 번에 모든 기능 만들기

    • 단계별로 나눠서 완성

    • 각 단계마다 검증 후 다음 단계 진행


과정 중 시행착오

시행착오 1: 개별 도구를 외우려고 함 → 해결: '검색 → 분석 → 저장' 흐름으로 이해하니 명확해짐

시행착오 2: 한 번에 모든 기능 구현 → 해결: 단계별 완성 전략으로 전환

배운 점: 자동화는 '설계'보다 '단계별 실행' 이 핵심입니다.


앞으로의 계획

다음 단계: 다른 업무로 확장

이번 프로젝트는 지피터스 게시판에서 유용한 자료를 자동으로 수집·정리하는 시스템을 구축하는 것이었습니다.

이 경험을 통해 '정보 수집 → 분석 → 저장'이라는 자동화 파이프라인의 기본 구조를 이해하게 되었고, 앞으로는 다른 업무나 분야에도 이 방식을 적용해볼 계획입니다.

자동화는 한 번 배우면 여러 분야에 재사용할 수 있다는 점에서, 이번 프로젝트가 앞으로의 자동화 시도를 위한 기반이 될 것 같습니다.

향후 확장 방향: OpenClaw, LangGraph, CrewAI

21기 AI 워크스페이스에서 자동화를 공부하면서, OpenClaw, LangGraph, CrewAI 같은 고급 자동화 기술에 대해 알게 되었습니다. 지금은 Claude Code로 기본 파이프라인을 만드는 단계지만, 기회가 되면 다음 기술들을 학습하고 적용해보고 싶습니다:

1. OpenClaw (AI 에이전트 인터페이스)

  • 현재: Claude Code로 수동 실행

  • 향후: OpenClaw로 AI 에이전트가 자율적으로 정보 수집

  • 연결 방식: 현재 파이프라인의 JSON 출력을 OpenClaw 에이전트가 참조

2. LangGraph (워크플로우 제어)

  • 현재: 단순한 파이프라인 구조

  • 향후: 복잡한 조건 분기, 병렬 처리, 순환 로직

  • 연결 방식: 수집 → 정제 → 변환 흐름을 LangGraph 노드로 재구성

3. CrewAI (AI 팀 조직)

  • 현재: 단일 작업 자동화

  • 향후: 역할별 AI 에이전트 팀 구성 (수집 담당, 분석 담당, 리포트 담당)

  • 연결 방식: 각 파이프라인 단계를 CrewAI 역할로 분리

왜 지금 바로 적용하지 않았나?

처음부터 OpenClaw, LangGraph, CrewAI를 모두 붙이면 복잡도만 올라가고 완성이 어렵습니다. 대신 "나중에 연결할 수 있게" 구조만 미리 고려해두면, 기본 자동화를 먼저 완성한 후 단계적으로 확장할 수 있습니다.

21기 AI 워크스페이스에서 이런 기술들을 계속 공부하면서, 적절한 시점에 하나씩 적용해볼 계획입니다.

도움이 필요한 부분

  • OpenClaw, LangGraph, CrewAI 실무 적용 사례

  • 더 복잡한 웹사이트 크롤링 시 법적 이슈

  • AI 요약 품질 향상 방법


재사용 가능한 프롬프트

프롬프트 1: AI 도구 학습 가이드 생성 (ChatGPT용)

[AI 도구명] 완전자동화 가이드

[AI 도구명]에 내장된 도구/기능의 역할과 차이를 비개발자 관점에서
정리해줘.

특히:
- [도구A] vs [도구B] 차이
- 자동화 파이프라인 구조
- 전체 흐름 ('정보 수집 → 분석 → 저장' 같은)
- 비개발자 눈높이로 설명

[AI 도구명], [도구A], [도구B]는 본인 상황에 맞게 변경하세요.

예시:
- AI 도구명: Claude Code, Cursor, n8n
- 도구A/B: Agent vs Bash, WebSearch vs WebFetch

프롬프트 2: 정보 수집 자동화 파이프라인 설계 (Claude Code용)

[사이트/커뮤니티]에서 [특정 키워드]를 기준으로 글을 수집하고,
본문을 분석한 뒤, 요약하여 저장하는 파이프라인을 만들어줘.

단계별로:
1. 게시글 수집 (WebSearch 또는 크롤링)
2. 키워드 필터링
3. 본문 분석
4. [저장 형식]으로 저장

[사이트/커뮤니티], [특정 키워드], [저장 형식]은 본인 상황에 맞게 변경하세요.

예시:
- 사이트: 지피터스, Reddit, Stack Overflow
- 키워드: 업무자동화, Python, AI
- 저장 형식: JSON, CSV, Markdown

프롬프트 3: 단계별 자동화 구현 (Claude Code용)

[자동화 프로젝트]를 단계별로 구현하려고 한다.

먼저 더미 데이터로 전체 파이프라인이 작동하는지 검증한 후,
실제 데이터로 전환하는 방식으로 진행하고 싶다.

1단계: 더미 데이터로 파이프라인 검증
2단계: 실제 데이터 수집 로직 구현
3단계: [추가 기능] 구현

각 단계별로 완성 후 다음 단계로 넘어가도록 안내해줘.

[자동화 프로젝트], [추가 기능]은 본인 상황에 맞게 변경하세요.

예시:
- 자동화 프로젝트: 뉴스 수집, 경쟁사 모니터링
- 추가 기능: AI 요약, 리포트 생성, 알림 발송

도움 받은 글 (옵션)

참고한 자료

  • 지피터스 21기 과정

  • ChatGPT 대화 세션 (.txt 저장하여 복습)

  • Claude Code 공식 문서

2
3개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요