Agentic AI 시스템 구축기: 10배 빠른 성과, 하지만 원하는 결과가 아니었다

소개

시도하고자 했던 것과 그 이유를 알려주세요.

목표: 1인 사업 운영에서 Agentic AI 시스템을 구축하여 업무 효율을 높이고자 했습니다.

배경:

- 곧 사업화가 시작되는 시점에서 실제 회사 업무에 맞는 시스템 구축이 필요했습니다

- 기존에는 AI와 1대1로 업무 시간 내내 함께 작업하는 방식이었고, AI 자원을 효율적으로 활용하지 못하고 있었습니다

- 사업 진행 시 발생하는 고객 응대 등을 자동화하고 싶었습니다

원하는 시스템 구조:

업무 계획 수립 → 각 Agent에게 업무 위임 → 업무 완료 후 결과 보고

진행 방법

어떤 도구를 사용했고, 어떻게 활용하셨나요?

활용 도구

- Claude Code: AI 에이전트 실행 환경

- MCP (Model Context Protocol): Gmail, Notion, Slack 연동

- Orchestrator + Worker Agents 패턴: 총괄 AI CTO + 전문 Worker Agent 구조

시스템 아키텍처

Orchestrator (AI CTO) + Worker Agents 패턴으로 설계했습니다:

한국 컴퓨터 시스템의 다이어그램

구현 과정

Step 1: AI CTO 설정 및 논의

총괄 AI CTO를 설정하고, 현재 프로젝트 상황과 Agentic AI 시스템의 목적 및 구축 계획을 논의했습니다.

활용한 프롬프트 (예시):

당신은 이 사업의 AI CTO입니다. 
현재 상황: [프로젝트 상황 설명]
목표: 업무 계획 수립 → Agent 위임 → 결과 보고 구조로 운영
이 시스템을 어떻게 구축할지 함께 설계해봅시다.

Step 2: Worker Agent 구성

논의 과정에서 도출된 계획에 따라 Worker Agent를 구성하고 설정을 진행했습니다.

다양한 종류의 한국어가 있는 테이블

CRM Agent 자동화 흐름 예시

한국어의 과정을 보여주는 다이어그램

Step 3: 업무 시작

기존 프로젝트 roadmap의 계획에 따라 Agentic AI 환경에서 업무를 시작했습니다.

결과와 배운 점

배운 점과 나만의 꿀팁을 알려주세요.

과정 중에 어떤 시행착오를 겪었나요?

도움이 필요한 부분이 있나요?

앞으로의 계획이 있다면 들려주세요.

시행착오 전체 과정

프로젝트의 다양한 단계를 보여주는 다이어그램

시행착오 1: 10배 성과, 하지만 원하는 결과가 아니었다

상황:

  • 각 절차에 따라 업무가 진행되었고, 기존 방식 대비 10배 이상의 업무 성과가 발생했습니다

  • 하지만 업무 결과를 검토하니 내가 생각한 결과가 아니었습니다

  • 프로젝트의 맥락이 전혀 반영되지 않은 결과물이었습니다

시도한 해결책:

  • 문제되는 부분에 대해 AI CTO와 논의하고 다시 업무를 진행

결과: 실패 - 동일한 문제 반복 발생

시행착오 2: 검토 피로와 구체화 부족

상황:

  • 다시 업무를 진행했지만 여전히 동일한 문제가 발생

  • 생성된 결과물이 너무 많아 혼자서 검토하고 수정을 요청하는 것에 에너지 소모가 너무 컸습니다

  • 원하는 결과물이 나오지 않은 요인 분석:

    • 각 Agent가 해야 할 내용의 구체화가 부족

    • 나의 경험 부족으로 인해 막연하게 "잘 되겠지"하는 마음이 있었음

시도한 해결책:

  • 업무 구체화가 우선이라는 생각에 AI CTO와 다시 1대1로 업무를 진행

  • 위임 전에 업무 내용을 명확히 정의

최종 해결: "빠른 처리"가 아닌 "맥락에 맞는 결과"가 최우선

핵심 깨달음:

Worker Agent도 우리 프로젝트에 대해서는 잘 모른다.

업무를 지시하기 전에 "왜 이 업무를 해야 하고, 어떤 결과를 도출해야 하는지" Worker Agent가 이해하는 것이 중요하다.

적용한 변화:

  1. AI CTO에게 최우선 목표 인식시키기

    • 업무를 빨리 처리하는 것이 목적이 아님

    • 맥락에 맞게 원하는 결과를 도출하는 것이 최우선

  2. Worker Agent 위임 전 맥락 전달 필수화

    • "이 업무를 해라"가 아닌

    • "왜 이 업무를 해야 하고, 어떤 결과가 필요한지" 먼저 설명

    • Worker Agent가 업무 목적을 이해한 후 작업 시작

  3. AI CTO가 의도 파악 후 위임

    • AI CTO가 나의 의도를 파악하고

    • 의도에 맞게 Worker Agent에게 업무 지시

Knowledge Injection 패턴 (맥락 전달 흐름):

지식 주입

결과: 원하는 결과를 얻게 됨


핵심 배움 정리

구분

실패 원인

해결 방법

속도 vs 품질

"10배 빠르게"에만 집중

"맥락에 맞는 결과"를 최우선으로

Agent 이해도

Worker Agent도 프로젝트를 모름

위임 전 "왜 & 어떤 결과" 설명 필수

업무 정의

막연한 기대 ("잘 되겠지")

업무 구체화 선행

검토 방식

결과물 쏟아진 후 검토

AI CTO가 의도 파악 → 맞춤 위임

나만의 꿀팁: Agentic AI 성공을 위한 3가지 원칙

1. "빠름"보다 "정확함"을 먼저

  • Agentic AI는 빠르게 결과를 낼 수 있지만, 원하는 결과인지가 중요

  • 속도에 현혹되지 말고, 먼저 "맥락 전달"에 집중

2. Worker Agent는 "신입 사원"처럼 대하기

  • 프로젝트 배경을 모르는 상태로 시작

  • 업무 지시 전 "왜 이 일을 하는지, 어떤 결과가 필요한지" 반드시 설명

  • 이해했는지 확인 후 작업 시작

3. Orchestrator(AI CTO)의 역할 정의가 핵심

  • AI CTO는 단순 업무 분배자가 아님

  • 사용자의 의도를 파악하고, 그 의도에 맞게 Worker에게 맥락을 포함해서 위임

  • AI CTO ↔ 사용자 간 의도 정렬이 전체 시스템의 성패를 결정

앞으로의 계획이 있다면 들려주세요.

  1. Knowledge Injection Protocol 정교화

    • Worker Agent 위임 시 필수로 전달해야 할 맥락을 템플릿화

    • 프로젝트별 핵심 맥락 파일 정비

  2. 검토 프로세스 개선

    • Evaluator Agent를 활용한 1차 품질 검증 자동화

    • 맥락 반영 여부를 체크하는 기준 수립

  3. 업무 구체화 프로세스 정립

    • AI CTO와의 1대1 논의 → 업무 정의서 작성 → Worker 위임

    • "막연한 기대"를 방지하는 체크리스트 도입

도움 받은 글 (옵션)

참고한 지피터스 글이나 외부 사례를 알려주세요.

  • Anthropic Claude Code 공식 문서

  • Multi-Agent AI Systems 설계 패턴 (arXiv 논문들)

  • GPTers 스터디 자료 (AI 자동화 워크플로우 설계)

5
1개의 답글

뉴스레터 무료 구독

👉 이 게시글도 읽어보세요