유료 TTS 대신 맥미니의 Voicebox를 AI 비서와 연결해 본 과정
2026.08.09
## 글소개
### 시도하고자 했던 것과 그 이유를 알려주세요.
유튜브에서 무료 로컬 음성 합성 앱 Voicebox를 알게 됐습니다. 내 목소리를 등록하면 구독료 없이 맥에서 음성을 만들 수 있다는 내용이었습니다.
맥미니에 Voicebox와 제 목소리 프로필을 설치한 뒤, 앱에 매번 문장을 복사하는 대신 AI 비서 JAVIS에게 말만 하면 음성 파일을 만들어 주는 흐름을 시도했습니다.
목표는 다음 세 가지였습니다.
1. JAVIS와 Voicebox 로컬 API 연동
2. 느린 생성 속도 최적화
3. 반복 사용을 위한 Hermes 스킬 제작
> [이미지 1] Voicebox 앱과 등록된 음성 프로필 화면
---
## 진행 방법
### 어떤 도구를 사용했고, 어떻게 활용하셨나요?
사용한 도구는 다음과 같습니다.
- Hermes Agent와 JAVIS
- Voicebox v0.5.0
- Qwen3-TTS 1.7B·0.6B
- curl, jq, sqlite3, ffmpeg, ffprobe
- Hermes 스킬 시스템
### 1. 영상 요약과 연동 가능성 확인
처음 사용한 프롬프트입니다.
```text
https://youtu.be/UzzTPBvOmaA?si=DdC-jXo05A7J5U1G
이 유튜브 내용 요약해줘
```
영상 내용을 확인한 뒤 바로 연동을 요청했습니다.
```text
맥미니에 설치된 voicebox앱과 연동해서 여기서 음성을 만들 수 있어?
```
JAVIS가 실행 중인 프로세스와 포트를 조사한 결과, Voicebox가 다음 주소에서 로컬 API를 제공하고 있었습니다.
```text
```
상태 확인 명령은 다음과 같습니다.
```bash
curl -sS http://127.0.0.1:17493/health | jq .
```
Voicebox는 Apple Silicon용 MLX 백엔드를 사용했고, 등록된 liel_voice 프로필과 Qwen TTS 1.7B 모델도 정상적으로 확인됐습니다.
JAVIS가 로컬 API로 다음 문장을 전송해 실제 WAV 파일을 만들었습니다.
```text
안녕하세요. 자비스 음성 연동 테스트입니다.
```
> [이미지 2] Voicebox API 문서 또는 음성 생성 결과 화면
### 2. 생성 속도 최적화
연동은 성공했지만 음성 생성이 느려 최적화를 요청했습니다.
```text
속도최적화가 가능해?
```
JAVIS는 두 가지 방법을 제안했습니다.
- 1.7B 대신 0.6B 모델 사용
- 26초짜리 복제 원본을 3~5초로 축소
저는 두 방법을 모두 테스트해 달라고 요청했습니다.
```text
두 방법을 순서대로 모두 테스트
```
같은 문장·언어·시드를 유지하고 워밍 상태의 생성 시간을 비교했습니다.
| 설정 | 생성 시간 | RTF |
|---|---:|---:|
| 1.7B + 26초 원본 | 25.70초 | 8.68 |
| 0.6B + 26초 원본 | 14.36초 | 4.85 |
| 0.6B + 3.75초 원본 | 13.14초 | 3.73 |
0.6B 모델로 바꾸자 생성 시간이 44.1% 줄었습니다. 짧은 참조 음성까지 적용하자 전체 처리효율은 기존보다 약 57% 좋아졌습니다.
짧은 참조 음성은 ffmpeg로 무음 구간을 찾아 만들었습니다.
```bash
ffmpeg \
-ss 1.10 \
-to 4.85 \
-i "original-reference.wav" \
-ac 1 \
-ar 24000 \
-c:a pcm_s16le \
"liel_voice_short_3p75s.wav"
```
기존 프로필은 보존하고 liel_voice_short_test라는 테스트 프로필을 별도로 만들었습니다.
> [이미지 3] 세 가지 설정의 생성 시간 비교표
> [이미지 4] liel_voice와 liel_voice_short_test 프로필 화면
### 3. 반복 사용을 위한 스킬 제작
마지막으로 다음과 같이 요청했습니다.
```text
스킬만들어
```
JAVIS가 기존 local-tts-automation 스킬을 Voicebox 실사용에 맞게 확장했습니다.
```text
~/.hermes/skills/media/local-tts-automation/
├── SKILL.md
├── references/voicebox-local-api.md
└── scripts/
├── generate_voicebox.py
└── benchmark_voicebox.sh
```
기본 사용법은 다음과 같습니다.
```bash
python3 \
~/.hermes/skills/media/local-tts-automation/scripts/generate_voicebox.py \
--text "회의가 10분 후 시작됩니다."
```
기본 설정은 0.6B + liel_voice_short_test입니다. 품질을 우선할 때는 --quality 옵션으로 1.7B + liel_voice를 사용합니다.
스킬에는 다음 기능을 넣었습니다.
- Voicebox 앱 자동 실행
- 음성 프로필 자동 조회
- 생성 요청 직렬화
- 완료 상태와 WAV 파일 검증
- 작업 멈춤이나 MLX 오류 발생 시 정상 재시작
- 재시작 후 1회 재시도
최종 검증에서는 3.28초 음성을 15.29초 만에 생성했습니다.
> [이미지 5] Hermes에서 음성을 요청하고 WAV 파일을 받은 화면
---
## 결과와 배운 점
### 배운 점과 나만의 꿀팁을 알려주세요.
가장 큰 속도 개선은 참조 음성을 줄이는 것보다 1.7B 모델을 0.6B로 바꿨을 때 나왔습니다.
용도별로 다음 설정이 적합했습니다.
- 빠른 알림·초안: 0.6B + liel_voice_short_test
- 속도와 음질의 균형: 0.6B + liel_voice
- 최종 나레이션: 1.7B + liel_voice
로컬 앱도 API가 있다면 화면을 자동 클릭하는 것보다 안정적으로 AI 비서와 연결할 수 있었습니다. 음성 데이터가 외부 서버로 나가지 않는 점도 장점이었습니다.
### 과정 중에 어떤 시행착오를 겪었나요?
처음에는 SSE 방식의 상태 API를 일반 JSON처럼 처리해 생성 시간이 4~5분이라고 잘못 판단했습니다. 데이터베이스의 시작·완료 시간을 확인한 뒤 실제 생성 시간은 약 27초라는 것을 알았습니다.
Apple Silicon에서는 다음 MLX 오류도 발생했습니다.
```text
There is no Stream(gpu, 3) in current thread.
```
또 반복 생성 후 서버 메모리가 약 5.3GB까지 증가하고 작업이 멈추는 현상도 있었습니다. 일반적인 앱 종료만으로 서버가 꺼지지 않아, 정확한 Voicebox 프로세스를 정상 종료한 뒤 다시 실행해야 했습니다.
이 경험을 바탕으로 최종 스킬에는 무한 재시도 대신 정상 재시작 후 1회 재시도 규칙을 넣었습니다.
### 도움이 필요한 부분과 앞으로의 계획
Voicebox의 MLX 스레드 오류와 메모리 증가 문제가 공식 버전에서 해결되기를 기다리고 있습니다.
앞으로는 다음 작업을 진행할 계획입니다.
1. 다양한 문장으로 0.6B·1.7B 음질 비교
2. Voicebox 업데이트 후 속도와 안정성 재측정
3. 긴 대본을 문장별로 생성하고 실패한 부분만 다시 만드는 나레이션 파이프라인 구축
현재는 다음처럼 요청하면 됩니다.
```text
이 문장을 내 목소리로 만들어줘:
회의가 10분 후 시작됩니다.
```
---
## 도움 받은 글 (옵션)
- 방구석컴퍼니 Voicebox 소개 영상
- Voicebox 공식 사이트
- Voicebox GitHub
https://github.com/jamiepine/voicebox
- Apple Silicon MLX 오류 수정 PR
https://github.com/jamiepine/voicebox/pull/989
- 반복 생성 후 메모리 증가 이슈
https://github.com/jamiepine/voicebox/issues/923
- Qwen3-TTS 0.6B Base




오! 맥미니에 이거를 연결 할 수도 있군요!
너무 신기하네요-!
이따 사례 발표때 잠깐 얘기해주세욥! ㅎㅎㅎ