# [Hermes Agent] 전사문 요약에서 실제 HWP까지, PMO 회의록 자동화를 만든 과정
## 📝 한줄 요약
회의 녹음과 전사문을 함께 검토해 PMO 형식의 회의록을 만들고, 실제 한글 HWP로 저장하는 자동화 기반을 만들었습니다. 83분 40초 분량의 회의를 대상으로 전사 기반 초안과 HWP 생성까지 확인했지만, 원음 자동 수집과 전체 교차검증은 아직 남아 있습니다.
**바쁘시면 이것만 읽어도 됩니다.**
- Hermes Agent와 별도 분석 에이전트를 이용해 긴 전사문을 안건별로 구조화했습니다.
- 기존 회의록을 분석해 회의 개요, 쟁점, 결정, 요청, 미결사항, 액션 아이템을 구분하는 표준 구조를 만들었습니다.
- Word와 한글 자동화를 연결해 실제 HWP 5.0 문서를 생성하고, 한글에서 다시 열어 본문까지 확인했습니다.
- 83분 40초 회의의 전사 기반 HWP 초안은 생성됐지만, 클로바노트 원음 전체와의 교차검증은 완료되지 않았습니다.
- 완전 자동화의 남은 구간은 클로바노트 새 노트 감지, 음성·전사 수집, 중복 방지, 전체 교차검증입니다.
## 🎯 이런 분들께 도움됩니다
- 회의 후 전사문을 다시 읽고 회의록을 작성하느라 시간이 많이 드는 분
- AI 요약문이 아니라 결정사항과 후속 조치가 분명한 업무 회의록이 필요한 분
- DOCX가 아닌 실제 HWP 산출물을 제출해야 하는 공공·PMO 업무 담당자
- 자동화의 완료 범위와 미완료 범위를 구분해 검증하고 싶은 분
## 😫 문제 상황: 전사문 요약만으로는 회의록이 되지 않았습니다
제가 원한 것은 단순한 회의 요약이 아니었습니다. 회의가 끝난 뒤 녹음과 전사문을 함께 확인하고, 기존 조직의 양식과 문체에 맞춘 HWP 회의록을 얻는 것이 목표였습니다.
처음 요청은 이랬습니다.
```text
회의록 자동화를 만들고 싶어. 회의록 전사문과 녹음본을 업로드하면 정해진 양식에 자동으로 입력하고, 녹음본과 전사본 전체를 검토하여 작성해줬으면 해. 기존 한글 회의록을 확인해서 양식을 만들고 샘플을 보여줘.
```
일반적인 AI 요약은 발언을 짧게 줄이는 데는 유용하지만, 업무 회의록에는 그보다 더 많은 판단이 필요했습니다.
- 결정된 내용과 단순 의견을 분리해야 합니다.
- 요청사항과 미결사항을 섞으면 안 됩니다.
- 담당자나 기한이 불분명하면 추측하지 않아야 합니다.
- 숫자, 날짜, 고유명사는 원음과 다시 대조해야 합니다.
- 최종 결과가 실제 HWP여야 합니다.
그래서 목표를 "전사문 요약"이 아니라 "근거를 확인할 수 있는 PMO 회의록 생성"으로 다시 잡았습니다.
## 🛠️ 사용한 도구
- **Hermes Agent**: 전체 작업 관리, 파일 확인, 회의록 작성 규칙과 자동화 절차 정리
- **분석 에이전트**: 긴 전사문의 안건·결정·요청·미결사항 구조화
- **Microsoft Word 자동화**: 기존 회의록 서식과 본문을 안전하게 읽고 복사
- **한글 COM 자동화**: 실제 HWP 생성, 저장, 재열기, 본문 확인
- **한컴 파일 경로 승인 모듈**: 자동 저장 과정의 경로 승인 처리
- **클로바노트**: 전사와 원음의 입력 채널로 검토 중
## 🔧 작업 과정
### 1. 기존 문서를 먼저 읽고 회의록 구조를 정했습니다
처음에는 파일 검색에서 대상 회의록이 보이지 않았습니다. 경로가 바뀌었거나 동기화 상태가 다른 가능성이 있었기 때문에, 임의로 양식을 만들지 않고 실제 기준 문서를 다시 찾았습니다.
확인한 문서에서는 다음 필드가 반복해서 사용되고 있었습니다.
1. 회의록 ID
2. 작성자
3. 회의 일시와 장소
4. 참석자
5. 회의제목
6. 회의 내용
7. 기타사항
본문은 시간순 발언록보다 안건 중심 구조가 더 적합했습니다.
- 회의 개요
- 안건별 주요 논의
- 쟁점과 확인 필요사항
- 관리·검토 방향
- 결정·합의 사항
- 액션 아이템
문체도 자유로운 요약체가 아니라 `~함`, `~하기로 함`, `~할 필요가 있음` 형태의 객관적인 PMO 보고체로 맞췄습니다.
### 2. AI가 함부로 확정하지 못하도록 상태를 나눴습니다
회의록에서 가장 위험한 오류는 제안을 결정으로 쓰거나, 확인되지 않은 담당자와 기한을 만들어내는 것입니다.
그래서 AI가 내용을 다음 네 범주로 나누도록 규칙을 만들었습니다.
1. 확정된 결정·합의
2. 의견·제안
3. 요청사항
4. 미결·확인 필요
담당자나 기한이 분명하지 않을 때는 빈칸을 그럴듯하게 채우지 않고 `[담당 확인 필요]`, `[기한 확인 필요]`로 남기도록 했습니다. 액션 아이템에는 주체, 기한, 조치내용과 근거 시각을 기록할 수 있게 데이터 구조도 정리했습니다.
이 단계에서 배운 점은 간단했습니다. AI에게 "회의록을 잘 써줘"라고 요청하는 것보다, 무엇을 확정하면 안 되는지 먼저 정하는 편이 훨씬 중요했습니다.
### 3. DOCX가 아니라 실제 HWP 생성 경로를 만들었습니다
공공 업무에서는 내용이 좋아도 제출 형식이 맞지 않으면 다시 작업해야 합니다. DOCX를 만들고 확장자만 HWP로 바꾸는 방식은 사용할 수 없었습니다.
그래서 다음 흐름을 구현했습니다.
```text
기준 DOCX를 읽기 전용으로 열기
→ 원본 서식과 본문 복사
→ 한글 문서에 붙여넣기
→ 실제 HWP 형식으로 저장
→ 파일 서명과 크기 확인
→ 한글에서 다시 열기
→ 제목과 본문 확인
```
표준양식 파일은 실제 HWP/OLE 형식으로 생성됐고, 한글에서 재열기와 본문 추출까지 성공했습니다. 이후 회의 초안 파일도 HWP 5.0 문서로 생성했습니다.
현재 다시 확인한 파일럿 초안은 다음 검증을 통과했습니다.
- 실제 HWP 5.0 파일 식별
- OLE 문서 서명 확인
- 한글 자동화로 재열기 성공
- 본문 8,202자 추출
- 회의록 제목 확인
이 검증 덕분에 "파일이 만들어졌다"와 "한글에서 다시 열리는 실제 HWP가 만들어졌다"를 구분할 수 있었습니다.
### 4. 83분 40초 회의로 파일럿을 진행했습니다
다음 단계에서는 83분 40초 분량의 회의를 대상으로 전사문을 구조화했습니다. 반복 발언과 사담을 걷어내고, 안건·쟁점·결정·요청·액션 아이템 중심으로 재구성한 뒤 실제 HWP 초안을 만들었습니다.
여기서 완료 범위를 정확히 구분해야 했습니다.
- 전사 기반 구조화: 완료
- PMO 형식의 회의록 초안 작성: 완료
- 실제 HWP 생성과 재열기: 완료
- 클로바노트 원음 자동 수집: 미완료
- 원음 전체와 전사문의 교차검증: 미완료
- 최종 확정 회의록: 미완료
따라서 이 결과물은 "전사 기반 HWP 초안"입니다. 원음 전체를 확인하지 않았기 때문에 최종 확정본이라고 부르지 않았습니다.
### 5. 매번 공유 링크를 여는 방식은 자동화에서 제외했습니다
처음에는 사용자가 클로바노트 공유 링크를 열고 로그인한 뒤 노트를 보여주는 방식을 검토했습니다. 하지만 매 회의마다 사람이 링크를 만들고 화면을 준비해야 한다면 자동화의 목적과 맞지 않았습니다.
실제로 이런 피드백이 있었습니다.
```text
이렇게 매번 내가 클로바 링크를 눌러서 확인하게 하는 것은 자동화의 목적과 많이 벗어난다고 생각해. 다른 방법을 추천해봐.
```
그래서 수집부를 별도 과제로 분리했습니다. 현재 검토 중인 방식은 전용 브라우저 프로필에서 새 노트를 읽기 전용으로 감지하고, 전사와 음성을 지정 폴더에 저장하는 구조입니다.
다만 이 부분은 아직 설계와 조사 단계입니다. 전용 프로필, 자동 다운로드 프로그램, 정기 감지 작업이 모두 구축된 것처럼 쓰지 않았습니다.
## ✅ 결과
### Before vs After
| 항목 | Before | 현재 상태 |
|---|---|---|
| 회의 내용 정리 | 전사문을 사람이 다시 읽고 항목별 정리 | 안건·결정·요청·미결사항 구조화 규칙 마련 |
| 회의록 형식 | 문서마다 수동 편집 | 표준 필드와 PMO 보고체 정의 |
| 담당·기한 불명확 | 작성자가 문맥으로 보완할 위험 | 확인 필요 상태로 명시 |
| HWP 작성 | 서식 복사와 저장을 수동 수행 | 실제 HWP 생성·재열기 경로 검증 |
| 긴 회의 파일럿 | 검증 사례 없음 | 83분 40초 회의의 전사 기반 HWP 초안 생성 |
| 원음 교차검증 | 수동 | 아직 미완료 |
| 클로바노트 수집 | 사용자가 링크와 화면을 준비 | 자동 수집 방식 설계, 구현은 미완료 |
### 현재 검증된 범위
- 기준 회의록 구조와 문체 정의
- 결정·의견·요청·미결사항 구분 규칙
- 액션 아이템 데이터 구조
- 실제 HWP 표준양식 생성
- 실제 HWP 초안 생성
- HWP 파일 형식, 재열기, 제목과 본문 확인
### 아직 검증되지 않은 범위
- 클로바노트의 새 노트 자동 감지
- 전사문과 원음 자동 다운로드
- 중복 처리 방지 원장
- 원음 전체 청취와 전사문 교정
- 입력부터 최종 HWP 전달까지 한 번에 이어지는 실전 자동화
- 무인 정기 실행과 실패 복구
## 💬 이 과정에서 배운 AI 활용 팁
### 효과적이었던 것
1. **양식을 만들기 전에 실제 기준 문서를 먼저 확인했습니다.** 기존 문서를 찾지 못한 상태에서 그럴듯한 양식을 생성하면, 나중에 전부 다시 맞춰야 합니다.
2. **결정과 의견을 별도 상태로 정의했습니다.** 문장 생성 능력보다 상태 구분 규칙이 회의록 신뢰도에 더 큰 영향을 줬습니다.
3. **파일 생성과 파일 검증을 분리했습니다.** 저장 성공만 보지 않고 실제 형식, 재열기, 본문 존재를 다시 확인했습니다.
4. **부분 완료를 그대로 기록했습니다.** 전사 기반 초안이 나왔더라도 원음을 확인하지 않았다면 최종본으로 승격하지 않았습니다.
### 이렇게 하면 안 됩니다
1. 전사문 일부만 읽고 "전체 검토 완료"라고 쓰면 안 됩니다.
2. DOCX의 확장자만 HWP로 바꾸면 안 됩니다.
3. 담당자, 기한, 숫자, 날짜를 문맥만 보고 만들어내면 안 됩니다.
4. 자동 수집이 구현되지 않았는데 전체 자동화가 끝났다고 표현하면 안 됩니다.
5. 로그인 정보나 브라우저 세션 값을 자동화 로그에 남기면 안 됩니다.
## 🌍 다른 업무에 적용한다면
이 구조는 주간회의뿐 아니라 착수보고, 요구사항 협의, 품질점검, 리스크 회의에도 적용할 수 있습니다. 바뀌는 것은 회의록 양식과 분류 규칙이고, 기본 흐름은 같습니다.
```text
원본 수집
→ 같은 회의인지 확인
→ 전사 전체 읽기
→ 원음 전체 대조
→ 결정·의견·요청·미결 분리
→ 조직 양식 적용
→ 문서 생성
→ 재열기와 내용 검증
→ 사람 확인
```
중요한 점은 AI가 회의를 대신 결정하게 하지 않는 것입니다. AI는 발언을 구조화하고 근거를 연결하며, 확정 여부가 불분명한 항목을 사람에게 돌려주는 역할이 적합했습니다.
## 🚀 다음 단계
다음 목표는 실제 클로바노트 한 건을 이용해 아래 흐름을 끝까지 검증하는 것입니다.
1. 새 노트를 읽기 전용으로 감지
2. 제목, 일시, 길이 확인
3. 전사문과 원음 수집
4. 두 자료가 같은 회의인지 검증
5. 녹음 전체와 전사문 교차검토
6. HWP 초안 생성
7. 한글에서 재열기와 서식 확인
8. 확인 필요사항과 함께 결과 전달
이 한 건이 성공하기 전에는 Windows 자동 시작이나 정기 실행을 붙이지 않을 계획입니다. 수동 파일럿에서 실패 지점을 먼저 확인한 뒤 자동 실행 범위를 넓히는 편이 안전합니다.
## 📋 재사용 가능한 프롬프트
### 프롬프트 1: 전사문 구조화
> 첨부한 전사문 전체를 읽고 회의 내용을 안건별로 재구성해 주세요. 확정된 결정·합의, 의견·제안, 요청사항, 미결·확인 필요를 서로 섞지 마세요. 담당자나 기한이 확인되지 않으면 추측하지 말고 `[담당 확인 필요]`, `[기한 확인 필요]`로 표시해 주세요. 숫자·날짜·고유명사는 근거 시각을 함께 남겨 주세요.
### 프롬프트 2: 녹음과 전사문 교차검증
> 녹음 전체와 전사문 전체가 같은 회의 자료인지 먼저 확인한 뒤, 전사문의 누락·오인식·화자 오류·숫자·날짜·고유명사를 교정해 주세요. 일부 구간만 확인한 경우 전체 검토 완료라고 쓰지 말고, 확인한 범위와 미확인 범위를 구분해 주세요.
### 프롬프트 3: 회의록 문서 검증
> 생성된 회의록이 실제 지정 문서 형식인지 확인해 주세요. 파일 존재만 확인하지 말고 실제 프로그램에서 다시 열어 제목, 본문, 표, 페이지 나눔, 글자 깨짐을 점검해 주세요. 원본 템플릿이 수정되지 않았는지 확인하고, 실패 항목이 있으면 최종본으로 처리하지 마세요.
## 📌 공개 전 상태
이 글은 실제 생성 파일과 재열기 결과를 기준으로 작성했습니다. 측정하지 않은 시간 절감률이나 정확도 수치는 넣지 않았고, 내부 회의 내용·참석자·업무 경로·계정 정보는 공개 본문에서 제외했습니다.
외부 게시와 업로드는 아직 하지 않았습니다.
## 🖼️ 추천 이미지
- **문제 상황 섹션:** 사람이 전사문과 회의록을 오가며 정리하는 Before 화면
- **작업 과정 섹션:** `전사·원음 → 상태 분류 → HWP 생성 → 재열기` 흐름도
- **결과 섹션:** 개인정보와 내부 내용을 가린 HWP 표준양식 및 파일럿 초안 화면
- **현재 상태 섹션:** 완료·부분완료·미완료가 구분된 진행표
