본문으로 건너뛰기

음성 AI 비서로 Hermes 에이전트를 부리는 법

서인수

2026.10.08

음성 AI 비서로 Hermes 에이전트를 부리는 법 본문 이미지

소개

시도하고자 했던 것과 그 이유를 알려주세요.

멀티에이전트 스터디에서 저는 에이전트 팀을 "말 한마디로 부르는" 방법을 실험했습니다.

텔레그램이나 pc로 에이전트에게 일정·할 일·메일을 맡기면서 편해졌지만, 결국 입력을 해야 했습니다. 일정 하나 입력 하려다 다른일을 하게 되는게 많았습니다. 그래서 책상 위 작은 디바이스에 말을 걸면, 뒤에 있는 에이전트들이 역할을 나눠 일을 처리하고 결과를 음성으로 보고하는 구조를 만들었습니다.

- 핵심 생각: 일은 에이전트 팀이 하고, 음성 기기는 들어가는 입구일 뿐이다.

- 사용한 기기: 5만원대 ESP32-S3-AUDIO-Board(이하 s3box). 마이크 2개, 스피커, RGB 링 LED, 버튼 3개, 외장 LCD가 있습니다. 원래 LAFVIN AIoT 키트로 만든 비서를 이 보드로 옮겨 한 대 더 만들었습니다.

- 실험하고 싶었던 것:

1. 음성 에이전트와 업무 에이전트의 역할을 어떻게 나눌까

2. 기기·채널이 늘어날 때 에이전트끼리 충돌하지 않게 하려면

3. 느린 LLM 대신 반복 업무를 전담 기능으로 떼어 내면 얼마나 빨라질까

4. 에이전트가 "말할 때와 침묵할 때"를 지키게 하려면

진행 방법

어떤 도구를 사용했고, 어떻게 활용하셨나요?

### 에이전트 팀 구성

| 에이전트 | 맡은 일 | 도구 |

|---|---|---|

| 음성 접수 에이전트 | 사용자의 말을 듣고, 직접 대답할지 업무 에이전트에 넘길지 판단 | xiaozhi.me 음성 모델(MCP 도구 hermes_chat 호출) |

| 업무 에이전트(기기별 분신봇) | 구글 캘린더·Tasks·Gmail 처리, 텔레그램 대화 | Hermes Agent, 기기마다 프로필 분리(s3box는 lcdcam) |

| 빠른 처리 기능봇 | 자주 묻는 일정·할 일·메일 조회, 버튼 할 일 완료 — LLM 없이 규칙으로 | MCP 브릿지(Node.js) + Apps Script |

| 알림·보고 에이전트 | 메일·일정 알림 음성, 늦은 결과 음성 보고, 기사 읽어주기, 텔레그램 보고 | 알림 서버(Node.js + edge-tts + MQTT) |

| 만드는 에이전트 | 펌웨어·서버 수정, 로그 분석, 배포 스크립트 작성 | Claude Code |

```

┌──────────── 음성 ────────────┐

[s3box] ──▶ [음성 접수 에이전트(xiaozhi)] ──hermes_chat──▶ [브릿지]

▲ │

│ ┌── 반복 질문: 빠른 처리 기능봇 ──▶ Apps Script (3~5초)

│ └── 판단이 필요한 일: 업무 에이전트(Hermes lcdcam) ──▶ 구글 API

│

└── 알림·늦은 결과·버튼·기사 읽기 ── [알림·보고 에이전트] ──▶ 텔레그램 보고(lcdcam_bot)

```

>

s3box + 외장 LCD 대기 화면(할 일·일정 표시)

### 1. 역할 나누기 — "듣는 에이전트"와 "일하는 에이전트"

음성 접수 에이전트는 빠르게 듣고 말하는 데는 좋지만, 내 구글 계정에는 접근하지 못합니다. 그래서 브릿지가 음성 에이전트에 알려주는 hermes_chat 도구 설명에 "너는 구글 캘린더·할 일·이메일에 직접 접근할 수 없다. 이런 요청은 예외 없이 이 도구를 호출해서 위임해야 한다"는 규칙을 넣고, 실제 업무는 Hermes가 하도록 나눴습니다.

### 2. 충돌 막기 — 기기마다 분신봇을 따로

기기가 세 대(LAFVIN, aispeak28, s3box)로 늘면서 충돌이 생겼습니다.

- 텔레그램 봇을 같이 쓰면 두 게이트웨이가 메시지를 서로 뺏어 갑니다(409 Conflict).

- 대화 세션을 같이 쓰면 맥락이 두 배로 쌓여 느려지고, 동시에 쓰면 중복 실행이 생깁니다.

- 구글 OAuth 클라이언트를 같이 쓰면 인증 문제가 한꺼번에 번집니다.

그래서 s3box 전용 Hermes 프로필 lcdcam을 만들고 텔레그램 봇, 구글 OAuth 클라이언트, 음성 세션을 모두 따로 연결했습니다. 장기 기억과 실제 데이터(같은 구글 계정)는 공유하고, 대화 맥락만 분리했습니다.

### 3. 반복 업무는 전담 기능봇으로 — "스킬화 → 전담 봇화"

에이전트에게 "오늘 일정 알려줘"를 맡기면 Hermes가 모델을 여러 번 호출하느라 26~66초가 걸렸습니다. 매일 반복되는 질문은 판단이 필요 없으니 규칙으로 떼어 냈습니다.

```

버튼1 눌렀는데 왜 할일 처리 목록에 왜 연결이 안된거야?

```

```

- 대신 자주 묻는 정해진 질문을 Hermes 없이 바로 처리하면 음성으로도 3~5초 안에 답할 수 있습니다. ...

- "오늘 일정 알려줘" → Apps Script로 캘린더를 바로 조회

- "할일 목록 알려줘" → 바로 조회

- "새 메일 있어?" → 키워드 메일 수를 바로 조회

- 버튼: 음성 에이전트를 거치지 않고, 기능봇이 Apps Script로 바로 완료합니다(2~4초). 누르는 즉시 파란 LED가 깜빡이고, 텔레그램으로 "클릭 전/후 목록"을 보고합니다.

- 빠른 조회: 짧은 조회 문장만 규칙으로 잡고, 등록·삭제·요약처럼 판단이 필요한 요청은 업무 에이전트(Hermes)로 넘깁니다.

### 4. 말할 때와 침묵할 때 — 에이전트의 "예절"

음성은 텍스트보다 예절 문제가 훨씬 크게 드러났습니다.

```

방금도 스피커가 말하다가 "죄송해요"라고 하고 "네?"라고 나왔다. 나는 아무 말도 하지 않았다.

```

- 원인: 기기 자신의 목소리가 마이크로 되돌아오고, 음성 에이전트가 그것을 사용자 말로 알아듣고 대답을 시작했습니다.

- 조치 1, 듣기: 반향 제거(AEC)의 기준 신호가 거의 0이었던 것을 찾아 고쳤습니다(최대값 약 300 → 약 20,000).

- 조치 2, 호명 규칙: 음성 에이전트의 역할 설명 끝에 응답 규칙을 넣었습니다.

```

## 응답 규칙

- 사용자가 호출어("Jarvis", "자비스")만 말하면 다른 말 없이 "네, 말씀하세요."라고만 대답한다.

- "아", "어", "음", "." 처럼 한두 글자짜리 소리나 뜻을 알 수 없는 짧은 소리만 들리면 새 대답을 시작하지 말고, 꼭 필요하면 "네?"라고만 짧게 되묻는다.

- 사용자가 묻지 않은 내용을 먼저 이어서 말하지 않는다. 대답은 짧고 핵심만 말한다.

- "종료", "그만", "끝" 같은 말이 들리면 짧게 인사하고 대화를 끝낸다.

```

- 조치 3, 끼어들기 스위치: 상황에 따라 "말하는 중에도 들을지"를 고를 수 있게, K3 버튼과 음성 명령으로 끼어들기를 켜고 끄게 했습니다.

```

aec on/off를 버튼3에 설정해주고 이전에 빌드한 부분도 같이 넣어줘

```

- 조치 4, 종료 오인식: "종료해"가 "정요해·정려해"로 들리면 업무 에이전트가 엉뚱한 일을 시작했습니다. 이런 말은 기능봇이 받아서 Hermes 없이 바로 대화를 끝내게 했습니다.

> 📷 (캡처 넣을 자리) 텔레그램 lcdcam_bot — 버튼 처리 보고, 빠른 조회 보고, 녹음 점검 음성 메시지

## 결과와 배운 점

### 결과

| 항목 | 전 | 후 |

|---|---|---|

| 일정·할 일·메일 음성 조회 | 업무 에이전트 경유 26~66초 | 기능봇 3~5초 |

| 버튼 할 일 완료 | 음성 에이전트 경유, 연결이 끊기면 실패 | 기능봇 직접 2~4초, 즉시 LED |

| 대화 음성 끊김(패킷 손실 경고) | 대답 49번에 470번 | 0번 |

| 기기가 자기 말을 사용자 말로 착각 | 자주(말하다 끊김, "네?") | 반향 제거 수정 후 사용자 확인 "괜찮다" |

| 음성 세션 크기 | 30번 만에 약 21만 글자 | 60분 미사용 시 새 세션 |

### 배운 점과 나만의 꿀팁

1. 음성 에이전트는 "접수 창구"로만 쓰자. 듣고 판단해서 넘기는 일만 맡기고, 실제 업무는 업무 에이전트에 위임하니 역할이 깔끔해졌습니다.

2. 반복되는 일은 LLM에서 빼자. "대화 → 반복 패턴 발견 → 규칙(스킬)화 → 전담 기능봇"으로 옮기자 체감 속도가 가장 크게 좋아졌습니다. 판단이 필요한 일만 LLM에 남깁니다.

3. 에이전트 사이의 전달 형식을 정하자. 넘기는 쪽이 말을 바꾸면 받는 쪽 규칙이 깨집니다. "원문 그대로 넘겨라" 한 줄이 큰 차이를 만들었습니다.

4. 기기·채널마다 분신봇을 따로 두자. 봇 토큰, 인증, 세션을 나누면 한쪽 문제가 다른 쪽으로 번지지 않습니다. 데이터(구글 계정)와 장기 기억만 공유합니다.

5. 음성에서는 "예절"이 성능보다 중요하다. 다른 스터디원 글의 "멀티에이전트는 성능보다 예절과 질서"라는 말이 음성에서 그대로 드러났습니다. 언제 대답하고 언제 침묵할지(호출어 응답, 짧은 소리 무시, 끼어들기 스위치)를 정하자 쓰기 편해졌습니다.

6. 측정 도구를 먼저 만들자. 녹음 점검, 음량 측정, 시리얼 로그가 있어서 "느낌"이 아니라 숫자로 고칠 수 있었습니다. Claude Code에는 "확인해줘" 한마디면 충분했습니다.

### 과정 중에 겪은 시행착오

- 기능봇이 너무 많이 가로챔: "구글에서 온 메일 확인해줘"까지 빠른 조회가 잡아서 엉뚱하게 답했습니다. 보낸 사람·전체·검색 같은 말은 업무 에이전트로 넘기도록 좁혔습니다. 기능봇의 범위는 좁게 시작해서 넓히는 것이 안전합니다.

- 증폭을 올렸더니 기기가 스스로 말을 끊음: 인식률을 높이려고 키운 증폭이 반향까지 키웠습니다. 결국 진짜 원인은 반향 제거의 기준 신호였습니다. 증상만 보고 값을 조정하기보다 원인 신호를 측정하는 것이 빨랐습니다.

- 연결이 1~3분마다 끊김: 음성 접수 에이전트와 브릿지 사이 연결이 주기적으로 끊겨서, 그 순간의 요청이 사라졌습니다. 버튼처럼 확실해야 하는 일은 음성 에이전트를 거치지 않는 경로로 돌렸습니다.

- 구글 인증이 7일마다 풀림: OAuth 앱이 "테스트" 상태였습니다. 프로덕션으로 바꾸고, 기기마다 클라이언트를 따로 만들었습니다.

- 텔레그램 알림음이 끼어들기로 인식됨: 보고용 알림음을 음성 에이전트가 사람 말로 들었습니다. 에이전트가 많아질수록 서로의 출력이 서로의 입력이 되지 않게 해야 한다는 것을 배웠습니다.

### 도움이 필요한 부분

- xiaozhi.me MCP 연결이 1~3분마다 끊기는 현상(code 1006)을 겪으신 분의 조언을 듣고 싶습니다.

- 음성 접수 에이전트가 넘길지 직접 답할지 판단하는 기준을 더 안정적으로 만드는 방법(프롬프트 설계)을 함께 고민하고 싶습니다.

### 앞으로의 계획

- 업무 에이전트 위에 오케스트레이터(분신봇)를 두고, 음성으로 받은 요청을 기능별 봇(일정, 메일, 기사 읽기)으로 나눠 맡기는 구조로 확장하기

- 기기별 분신봇(aiotkit, aispeak28, lcdcam)이 같은 할 일·일정을 보면서도 충돌하지 않는 운영 규칙 정리하기

- 이번 과정을 "작동하는 에이전트 하나 + 음성 입구 하나"로 시작하는 입문 가이드로 정리하기

- 야간시 도움을 받을 수 있는 음성AI비서 구축

## 도움 받은 글 (옵션)

- xiaozhi(오픈소스 음성 AI 기기 플랫폼) — https://xiaozhi.me/

3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

어른아이J 프로필 이미지
어른아이J2026.10.08

쉽게 말하면, 작은 음성 기기는 “듣고 말하는 창구”, Hermes는 실제 업무 담당자, 반복 업무는 별도 기능봇으로 나눈 구조인거죠? 인수님의 사례는 너무 대단해서, 참 신기하고 그렇습니다. ㅎㅎ

Xiao Zhi(小智)”는 중국어로 “작은 지혜”, 자연스럽게는 “똑똑한 아이” 또는 “꼬마 지식인” 정도의 뜻이 맞나요?

서인수 프로필 이미지
서인수2026.10.08

당직 mcp 비슷하게 하나 만들어 볼려고 자료 조사하니 해야 할것이 너무 많네요 ㅋ

저는 사투리가 좀 심해서 인식률이 좀 많이 떨어지거든요. 필요한거 설치해 보고 질문 드리겠습니다. ㅎ

xiaozhi 의미에 관해서는 저도 잘 모릅니다 ^^

뽀짝이 프로필 이미지
뽀짝이2026.10.08

안녕하세요, 서인수님! "일은 에이전트 팀이 하고, 음성 기기는 입구일 뿐"이라는 출발점이 구조에 그대로 드러나서 재밌게 읽었어요. 구글 계정에 접근 못 하는 음성 접수 에이전트에게 hermes_chat 도구 설명으로 "예외 없이 위임하라"고 규칙을 넣은 방식이 특히 실용적이에요.

기기가 세 대로 늘면서 텔레그램 409 충돌, 세션 중복 실행, OAuth 문제를 겪고 기기마다 분신봇을 분리하되 기억과 데이터만 공유한 것도 멀티에이전트 설계에서 자주 부딪히는 지점을 정확히 풀어낸 사례예요. "오늘 일정"이 26~66초 걸리던 걸 규칙 기반 기능봇으로 떼어 3~5초로 줄인 건 LLM이 꼭 필요한 일과 아닌 일을 가른 좋은 예시고요.

스피커가 혼자 "죄송해요"라고 말하는 순간은 상상하니 좀 웃겼어요. 고롱고롱, 이런 시행착오 기록이 제일 도움이 돼요 ✨

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기