본문으로 건너뛰기

24시간 돌아가는 Artist Operations Agent 만들기

jw

2026.08.06

24시간 돌아가는 Artist Operations Agent 만들기 본문 이미지

안녕하세요.

지난주에는 Artist Operations Agent의 전체 구조와 4주간의 개발 계획을 정리했습니다.

이번 주에는 계획했던 세 가지 Agent 기능과 각 Agent의 상태를 한눈에 확인할 수 있는 통합 운영 홈을 구현했습니다.

  • 뉴스 수집·요약·RAG 검색

  • YouTube 댓글 반응 분석

  • 문서 변경 감지·RAG 검색

현재 프로젝트는 특정 아티스트인 로이킴을 대상으로 동작하며, FastAPI 기반의 개인용 웹 애플리케이션으로 구성했습니다.

화면은 다음과 같이 구분했습니다.

/          통합 운영 홈
/news      뉴스 Agent
/youtube   YouTube Agent
/wiki      문서 변경 Agent

1. 통합 운영 홈

아티스트 관련 운영 정보를 확인하려면 뉴스, YouTube, 문서 사이트를 각각 방문해야 합니다.

각 기능을 따로 확인하는 대신 현재 운영 상태와 검토가 필요한 정보를 한 화면에서 직관적으로 확인할 수 있도록 통합 운영 홈을 만들었습니다.

통합 홈에서는 각 Agent가 기존에 제공하던 Overview API를 재사용합니다. 이를 통해 뉴스 수집 결과, YouTube 댓글 반응, 문서 변경 상태를 하나의 화면에서 확인할 수 있습니다.

2. 뉴스 수집·요약·RAG 검색

Agent 1은 네이버 뉴스 검색 API를 이용해 특정 키워드의 뉴스를 수집합니다.

수집된 기사 링크에서 본문을 크롤링한 뒤 Ollama 로컬 LLM을 이용해 다음 항목을 정리합니다.

  1. 기사의 핵심 이슈

  2. 기사에서 확인된 로이킴 관련 내용

  3. 로이킴 관점에서 확인해야 할 핵심 내용

요약이 끝난 기사는 제목과 본문의 유사성을 기준으로 관련 뉴스끼리 분류합니다. 이렇게 처리한 결과는 데이터베이스에 저장하고, RAG 검색에 사용할 수 있도록 별도의 벡터 저장소에도 색인합니다.

사용자는 저장된 뉴스를 대상으로 자연어 질문을 입력할 수 있습니다. 검색 결과에서는 질문과 관련된 기사뿐 아니라 같은 주제로 묶인 기사도 함께 확인할 수 있습니다.

전체 처리 과정은 다음과 같습니다.

네이버 뉴스 API 검색
→ 기사 본문 크롤링
→ Ollama를 이용한 기사 요약
→ 관련 뉴스 그룹 분류
→ 데이터베이스 저장
→ RAG 벡터 저장소 색인
→ 자연어 기반 뉴스 검색

현재는 뉴스 수집, 요약, 분류, 검색과 웹 화면 표시까지만 구현했습니다. 뉴스레터 이메일 발송 기능은 포함하지 않았습니다.

한국어로 된 웹사이트의 홈페이지

3. YouTube 댓글 반응 분석

Agent 2는 YouTube Data API를 이용해 아티스트 채널의 영상과 댓글 데이터를 수집합니다.

최근 영상의 댓글은 Ollama를 이용해 감정과 주제별로 분석합니다. 분석 결과를 바탕으로 긍정·중립·부정 반응의 비율을 보여주고, 각 반응을 대표하는 실제 댓글도 함께 표시합니다.

댓글에서 반복적으로 등장하는 키워드도 추출해 시청자들이 어떤 부분에 관심을 보였는지 확인할 수 있도록 구성했습니다.

과거 영상은 이전 수집 결과와 현재 데이터를 비교해 조회수와 댓글 수의 변화를 확인합니다. 이를 통해 업로드된 지 시간이 지난 영상에서 다시 반응이 증가하고 있는지도 파악할 수 있습니다.

악성행동이 의심되는 댓글은 일반적인 비판과 구분해 위험도와 유형을 분류합니다. 같은 작성자가 반복적으로 의심 댓글을 작성한 경우에는 검토가 필요한 계정 후보와 근거 댓글을 함께 보여줍니다.

다만 이 기능은 의심 댓글을 자동으로 삭제하거나 사용자를 신고하는 기능이 아닙니다. 운영자가 직접 확인할 대상을 찾을 수 있도록 보조하는 기능입니다.

전체 처리 과정은 다음과 같습니다.

YouTube Data API 수집
→ 최근 영상과 과거 영상 구분
→ 신규 댓글 저장
→ Ollama 댓글 분석
→ 감정·주제·키워드 분류
→ 반응별 대표 댓글 표시
→ 과거 영상의 조회수·댓글 변화 확인
→ 악성행동 의심 댓글 및 작성자 후보 표시
한국 웹사이트의 홈페이지

4. 문서 변경 감지·RAG 채팅

Agent 3은 나무위키 문서를 크롤링하고, 이전에 저장한 문서와 비교해 변경된 내용을 감지합니다.

문서 전체를 단순한 문자열로 비교하지 않고 문단별로 나누어 추가, 수정, 삭제 여부를 확인합니다. 이를 통해 어떤 문단에서 어떤 변화가 발생했는지 확인할 수 있습니다.

루트 문서에 자세한 내용이나 상세 내용 형태로 연결된 문서가 있으면 해당 문서도 깊이 1단계까지 추가로 수집합니다. 수집 범위를 제한해 연결된 문서를 끝없이 따라가지 않도록 구성했습니다.

수집한 문서는 데이터베이스에 스냅샷으로 저장하고, 문단 단위로 나눈 뒤 RAG 검색에 사용할 수 있도록 색인합니다.

사용자는 저장된 문서에 자연어로 질문할 수 있습니다. 답변에는 참고한 문서명, 문단명, 수집 시각 등의 근거가 함께 표시됩니다. 저장된 문서에서 근거를 찾지 못한 경우에는 내용을 추측해 답하지 않도록 구성했습니다.

또한 자연어 요청에 따라 다음 기능을 선택하는 간단한 Agent Tool 구조를 적용했습니다.

  • 저장된 문서 검색

  • 최근 변경 내용 조회

  • 문서 즉시 재수집

  • 변경 중요도와 검토 필요 여부 확인

전체 처리 과정은 다음과 같습니다.

나무위키 문서 크롤링
→ 연결된 상세 문서를 깊이 1단계까지 수집
→ 문단별 스냅샷 저장
→ 이전 스냅샷과 변경 내용 비교
→ 추가·수정·삭제 문단 감지
→ RAG 검색용 문서 색인
→ 근거 기반 문서 검색 및 질의응답

나무위키 내용은 공식 자료가 아니므로, Agent가 검색한 내용을 사실로 확정하지 않도록 주의했습니다. 이 기능은 문서의 변화와 관련 근거를 찾아 운영자의 검토를 돕는 용도로 사용합니다.

한국어로 된 웹사이트의 홈페이지

결과와 배운 점

이번 프로젝트는 Codex를 활용한 바이브 코딩 방식으로 진행했습니다.

저는 구현하고 싶은 기능과 화면의 동작 방식을 설명하고, AI가 작성한 코드를 실제로 실행하면서 기능이 의도대로 작동하는지 확인했습니다.

개발 과정에서 인상적이었던 점은 제가 기능의 겉모습만 생각해 요청했더라도 AI가 구현에 필요한 내부 구조까지 함께 제안하고 만들어 주는 경우가 많았다는 것입니다.

예를 들어 저는 단순히 “YouTube 댓글을 수집하고 분석한다”는 기능만 생각했습니다. 하지만 실제 구현 과정에서는 댓글의 감정과 주제를 분류하고, 주요 키워드와 대표 댓글을 추출하며, 반복적으로 악성 댓글을 작성한 계정 후보를 구분하기 위한 데이터 구조까지 함께 만들어졌습니다.

반면 문제도 있었습니다.

AI가 작성한 코드가 정상적으로 실행된다고 해서 제가 그 구조까지 이해하고 있다는 뜻은 아니었습니다. 화면에서 기능이 동작하는 것만 확인하고 넘어가면, 이후 오류가 발생하거나 기능을 수정해야 할 때 어느 부분을 확인하고 고쳐야 하는지 판단하기 어려울 수 있습니다.

이번 프로젝트를 진행하며 다음 세 가지는 서로 다른 단계라는 것을 배웠습니다.

기능이 실행되는 것
≠ 코드 구조를 이해한 것
≠ 안정적으로 운영할 수 있는 것

앞으로는 AI가 작성한 코드를 그대로 사용하는 데서 끝내지 않고, 주요 처리 흐름과 데이터 구조를 직접 확인하고 설명할 수 있는 수준까지 이해하는 과정이 필요하다고 생각했습니다.

또 하나 크게 느낀 점은 테스트의 중요성이었습니다.

바이브 코딩을 활용하면 짧은 시간에 많은 코드가 만들어집니다. 따라서 화면에 보이는 결과만 확인해서는 예상하지 못한 오류를 발견하기 어렵습니다. 하나의 기능을 수정했을 때 관련이 없어 보이는 기존 기능이 함께 깨질 수도 있습니다.

이번에는 브라우저에서 화면이 열리는지만 확인하지 않고 다음 범위까지 자동화 테스트를 작성했습니다.

  • 뉴스 수집·요약·그룹화·RAG 검색

  • YouTube 영상 및 댓글 수집·반응 분석

  • 나무위키 문서 수집·변경 감지·RAG 검색

  • FastAPI API 응답

  • 프런트엔드 화면의 주요 요소와 동작

  • 기존 기능의 회귀 여부

현재 총 97개의 자동화 테스트가 통과하는 것을 확인했습니다.

물론 모든 테스트가 통과했다고 해서 오류가 전혀 없다는 뜻은 아닙니다. 외부 API의 응답 변화나 실제 운영 환경에서만 발생하는 문제도 있을 수 있습니다.

다만 AI가 생성한 코드를 수정한 뒤 기존 기능이 깨지지 않았는지 반복적으로 확인할 수 있는 최소한의 기준이 생겼다는 점에 의미가 있었습니다.

이번 프로젝트를 통해 바이브 코딩은 개발을 대신 끝내 주는 방식이라기보다, 구현 속도를 크게 높여 주는 도구에 가깝다고 느꼈습니다.

AI는 제가 미처 생각하지 못한 구조와 처리 방법을 제안하고 구현할 수 있습니다. 하지만 그 결과가 적절한지 판단하고, 실제 데이터로 테스트하며, 내부 구조를 이해하는 일은 결국 개발자가 해야 한다고 생각합니다.

앞으로의 계획과 도움이 필요한 부분

현재는 운영 환경을 구축하기보다 각 Agent의 주요 기능을 구현하는 데 집중하고 있습니다.

이후 실제 운영 단계에서는 다음 항목을 검토할 예정입니다.

  • 사용자 인증과 접근 제어

  • Docker 기반 상시 실행

  • 외부에서 안전하게 접속하기 위한 네트워크 구성

  • 실행 이력과 오류 로그 관리

  • 외부 API 실패 시 재시도

  • 데이터 백업과 복구

  • 장시간 운영 시 자원 사용량 확인

또한 OAuth와 Agent SDK를 활용하는 방법도 조사하고 있습니다.

Claude나 ChatGPT의 유료 구독을 별도의 API처럼 사용할 수 있는지는 각 서비스가 공식적으로 지원하는 인증 방식과 이용 정책을 확인해야 합니다. 따라서 공식 문서를 먼저 확인한 뒤, Claude Agent SDK 또는 OpenAI API를 프로젝트에 적용할 수 있는지 검토할 예정입니다.

이 부분에 경험이 있거나 참고할 만한 공식 문서 및 사례가 있다면 도움을 받고 싶습니다.

도움받은 글과 문서

  • 홈랩에서 24시간 멈추지 않는 AI 에이전트 운영 인터페이스 개발하기

  • FastAPI 공식 문서

  • SQLAlchemy 공식 문서

  • Ollama 공식 문서

  • ChromaDB 공식 문서

  • LangChain 공식 문서

  • YouTube Data API 공식 문서

  • pytest 공식 문서

특정 지피터스 사례 글을 직접 참고한 부분이 있다면 게시 전에 해당 글의 링크를 추가할 예정입니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

뽀짝이 프로필 이미지
뽀짝이2026.08.06

"기능이 실행되는 것 ≠ 코드 구조를 이해한 것 ≠ 안정적으로 운영할 수 있는 것" — 이 세 단계를 직접 경험으로 정리하신 게 인상적이었어요. 바이브 코딩으로 빠르게 만들수록 이 간격이 커지기 쉬운데, 그걸 인식하고 글로 남기셨다는 게 다음 단계를 밟을 준비가 됐다는 뜻이기도 하니까요.

YouTube 댓글 악성 의심 분류를 "자동 삭제가 아니라 운영자 검토 보조"로 경계를 그은 것도 좋았어요. AI가 확신할 수 없는 판단을 사람 쪽에 남겨두는 설계가 분명하게 보였습니다. 97개 테스트도, "모든 테스트 통과 = 오류 없음이 아니라, 수정 후 기존 기능이 깨지지 않았다는 최소 기준"이라고 쓰신 부분이 정직한 표현이라 더 신뢰가 갔습니다.

Docker 기반 상시 실행 단계 오면 또 사례글 기대하고 있을게요 🐾

꾸
꾸기작2026.08.14

이런 걸 만들면 기능을 하나라도 더 붙이는 쪽으로 가기 쉽습니다. 손이 그리 가고요. 악성 댓글이 보이면 지우는 버튼까지 달고 싶어지니까요.

jw님은 반대로 멈출 자리를 계속 정하셨더군요. 여기서 멈추셨네요. 의심 댓글은 자동으로 지우거나 신고하지 않고, 운영자가 확인할 대상만 찾아주는 데까지로 한정하셨습니다. 판단이 사람 몫으로 남았고요.

연결된 문서를 깊이 1단계까지만 따라가게 막아두신 것도 같은 결이었습니다. 여기도 잠그셨고요. 나무위키는 타고 들어가면 끝이 없으니까요. 근거를 못 찾으면 추측해서 답하지 않게 하신 것도 그렇고요.

문서를 통짜로 비교하지 않고 문단별로 추가·수정·삭제를 가르신 것도 크게 쓰일 것 같습니다. 이제 둘째 주고요. 24시간 돌리기 시작한 뒤 어느 에이전트가 제일 먼저 멈추는지가 궁금합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기