업무지식 LLM 만들기 - 2차 시도 PoC 시작
2026.08.06
업무지식 LLM에 문서 20개를 넣어봤다: 모델보다 먼저 보인 문제들
소개
지난 글에서는 내부망에서 사용할 업무지식 AI Agent의 MVP 범위와 화면, 데이터 저장 구조를 설계했습니다.
목표는 업무지식을 지속해서 쌓아두고, 사용자가 질문하면 관련 문서를 찾아 근거 기반으로 답변하는 시스템을 만드는 것이었습니다.
이번에는 설계에서 한 단계 더 나아가 다음 작업을 진행했습니다.
FriendliAI를 통한 EXAONE 계열 모델 연결
업무지식 업로드 양식 개선
업로드한 업무지식의 한 줄 요약 생성
업무용 단어의 동의어 관리
약 20개의 실제 업무지식을 등록한 뒤 질의응답 테스트
아직 완성된 서비스는 아니지만, 실제 데이터를 넣어보면서 설계 단계에서는 보이지 않았던 문제를 확인할 수 있었습니다.
진행 방법
1. FriendliAI를 통해 EXAONE 모델 연결
EXAONE 모델을 직접 신규 구축하거나 사내 서버에 배포한 것은 아닙니다.
PoC 단계에서는 모델 운영에 드는 부담을 줄이기 위해 FriendliAI에서 제공하는 EXAONE 계열 모델을 API 방식으로 연결했습니다.
전체 흐름은 다음과 같습니다.
사용자 질문
↓
업무지식 검색
↓
관련 문서 추출
↓
질문과 근거 문서를 EXAONE에 전달
↓
근거 기반 답변 생성
↓
답변과 참고 문서 표시
모델 연결 자체보다 중요하게 본 부분은 검색된 업무지식 안에서만 답변하도록 프롬프트를 제한하는 것이었습니다.
근거가 부족할 때는 임의로 답을 만들지 않고, 확실하지 않다고 안내하도록 구성했습니다.
📸 화면 캡처 위치: EXAONE 모델을 연결한 Chat 화면
2. 업무지식 업로드 양식 개선
처음에는 제목과 본문을 입력하는 단순한 형태로 업무지식을 등록했습니다.
하지만 실제로 여러 문서를 업로드해보니 문서마다 작성 방식이 달라졌고, 검색 결과도 일정하지 않았습니다.
그래서 업무지식을 조금 더 효율적으로 분류할 수 있도록 업로드 양식을 수정했습니다.
예를 들어 다음과 같은 정보를 구분해서 관리하는 방향으로 구성했습니다.
업무지식 제목
업무 구분
시스템 또는 서비스명
장애·작업·설정 등 문서 유형
주요 키워드
상세 내용
작성일 또는 수정일
담당 부서
참고 자료
입력 항목을 나눈 이유는 문서를 보기 좋게 만들기 위해서만은 아니었습니다.
검색할 때 시스템명, 문서 유형, 키워드 등의 정보를 필터로 활용할 수 있도록 하기 위해서였습니다.
---
title: 사용자 로그인 오류 조치 방법
category: 장애 조치
system: 사용자 인증 시스템
keywords:
- 로그인 오류
- 계정 잠김
- 인증 실패
updated_at: 2026-08-01
---
## 증상
사용자가 여러 차례 비밀번호를 잘못 입력하면 계정이 잠긴다.
## 확인 방법
관리자 화면에서 사용자 계정의 잠금 상태를 확인한다.
## 조치 방법
본인 확인 후 계정 잠금을 해제한다.
📸 화면 캡처 위치: 개선된 업무지식 업로드 화면
3. 업로드한 업무지식을 한 줄로 요약
업무지식을 업로드하면 내용을 한 줄로 요약하는 기능도 추가했습니다.
문서가 많아지면 제목만으로는 어떤 내용인지 판단하기 어렵습니다. 반대로 전체 내용을 매번 읽으면 문서를 관리하는 데 시간이 많이 듭니다.
그래서 업로드한 본문을 기반으로 다음과 같은 한 줄 요약을 자동 생성하도록 했습니다.
사용자 인증 시스템에서 계정 잠금이 발생했을 때 확인하고 해제하는 방법
한 줄 요약은 다음 용도로 활용할 수 있습니다.
업무지식 목록에서 내용 빠르게 확인
검색 결과에 문서 설명 표시
유사 문서 구분
관리자가 문서 내용을 검토할 때 활용
향후 검색용 메타데이터로 활용
다만 AI가 만든 요약이 항상 정확한 것은 아니기 때문에, 관리자가 수정할 수 있는 형태가 필요하다고 판단했습니다.
📸 화면 캡처 위치: 자동 생성된 한 줄 요약이 표시된 업무지식 목록
4. 업무용 단어의 동의어 관리
약 20개의 업무지식을 등록하고 질문을 입력하면서 가장 먼저 발견한 문제는 같은 의미를 서로 다른 단어로 표현한다는 것이었습니다.
예를 들어 문서에는 계정 잠금 해제라고 작성되어 있지만 사용자는 다음과 같이 질문할 수 있습니다.
계정이 막혔어요.
로그인이 잠겼어요.
사용자 Lock을 풀어주세요.
인증 계정을 Unlock하는 방법이 있나요?
사람은 비슷한 의미라는 것을 쉽게 알지만, 단순 키워드 검색에서는 서로 다른 단어로 인식될 수 있습니다.
그래서 업무에서 자주 사용하는 표현을 별도의 동의어 정보로 관리하기 시작했습니다.
기준 단어: 계정 잠금
동의어:
- 계정 막힘
- 로그인 잠김
- 사용자 Lock
- Account Lock
- 계정 차단
다른 예시는 다음과 같습니다.
기준 단어: 서비스 재시작
동의어:
- 서비스 재기동
- 프로세스 재시작
- 데몬 재시작
- Restart
- 재구동
동의어는 처음부터 모두 정의하지 않았습니다.
실제 테스트에서 검색되지 않은 질문과 사용자 표현을 확인한 뒤 필요한 단어를 조금씩 추가했습니다.
사용자 질문
↓
질문에서 주요 단어 추출
↓
등록된 동의어 확인
↓
기준 단어와 동의어를 함께 검색
↓
관련 업무지식 조회
📸 화면 캡처 위치: 동의어 등록 또는 관리 화면
결과와 배운 점
약 20개의 업무지식으로 테스트
실제 시스템 관리 과정에서 사용하는 업무지식 약 20개를 등록했습니다.
등록한 문서를 바탕으로 여러 형태의 질문을 입력하며 다음 내용을 확인했습니다.
질문과 관련된 업무지식을 찾는가?
같은 의미의 다른 표현도 검색하는가?
관련 없는 문서를 근거로 답하지 않는가?
답변에 필요한 조치 순서가 포함되는가?
문서에 없는 내용을 임의로 생성하지 않는가?
근거가 부족할 때 불확실하다고 답하는가?
테스트 과정에서 검색되지 않는 표현을 발견하면 동의어 목록에 추가했습니다.
아직 완전한 답변은 나오지 않았다
테스트 결과, 일부 질문에서는 필요한 업무지식을 찾아 답변했지만 항상 정확하고 완전한 답변이 생성되지는 않았습니다.
현재 확인한 문제는 다음과 같습니다.
질문의 핵심 의도를 정확히 파악하지 못하는 경우
비슷한 문서 중 관련성이 낮은 문서를 선택하는 경우
문서에 있는 정보를 일부 빠뜨리는 경우
근거 문서보다 일반적인 설명을 우선하는 경우
질문과 관계없는 내용을 답변에 포함하는 경우
충분한 근거가 없어도 확정적으로 표현하는 경우
따라서 EXAONE에 전달하는 조회 프롬프트를 계속 수정해야 합니다.
단순히 “다음 문서를 참고해 답변해줘”라고 요청하기보다 답변 규칙을 구체적으로 제한할 필요가 있었습니다.
답변 작성 원칙
1. 제공된 업무지식 문서만 근거로 답변한다.
2. 문서에 없는 조치 방법을 임의로 추가하지 않는다.
3. 여러 문서의 내용이 충돌하면 충돌 사실을 표시한다.
4. 답변에는 참고한 문서 제목을 표시한다.
5. 근거가 부족하면 "확실하지 않음"이라고 답한다.
6. 가능하면 확인 방법과 조치 방법을 순서대로 설명한다.
현재는 질문, 검색 결과, 최종 답변을 함께 확인하면서 프롬프트를 조정하는 단계입니다.
📸 화면 캡처 위치: 같은 질문에 대해 프롬프트 수정 전후의 답변 비교
배운 점 1. 최신 모델을 연결하는 것만으로는 부족했다
처음에는 최신 EXAONE 계열 모델을 적용하면 답변 품질도 바로 좋아질 것으로 기대했습니다.
하지만 실제로는 모델보다 다음 요소들이 결과에 큰 영향을 주었습니다.
어떤 문서를 검색했는가?
질문을 어떤 검색어로 변환했는가?
동의어가 제대로 연결되었는가?
문서가 일정한 형식으로 작성되었는가?
검색된 문서를 프롬프트에 어떻게 전달했는가?
모델이 지켜야 할 답변 규칙이 명확한가?
좋은 모델을 연결하는 것과 좋은 업무지식 시스템을 만드는 것은 서로 다른 문제였습니다.
배운 점 2. 사내 업무용 단어는 별도로 관리해야 했다
일반적인 LLM이 회사 내부에서 사용하는 모든 약어와 표현을 알고 있을 것이라고 기대하기는 어렵습니다.
같은 시스템도 사람마다 다르게 부를 수 있습니다.
통합인증
인증 시스템
로그인 서버
SSO
IAM
계정 관리 시스템
이 표현들이 실제로 같은 시스템을 의미한다면 별도의 동의어 또는 용어 사전으로 연결해야 합니다.
업무지식 LLM에서는 문서의 양뿐만 아니라 회사에서 실제로 사용하는 언어를 정리하는 작업이 중요했습니다.
배운 점 3. 입력 양식이 검색 품질에 영향을 주었다
업무지식을 자유 형식으로만 작성하면 등록은 편하지만 검색과 관리가 어려워집니다.
반대로 입력 항목을 지나치게 세분화하면 사용자가 업무지식을 등록하는 것 자체를 부담스러워할 수 있습니다.
따라서 다음 두 가지의 균형이 필요했습니다.
사용자가 어렵지 않게 입력할 수 있어야 한다.
검색과 분류에 필요한 최소한의 정보는 구조화해야 한다.
이번에는 카테고리, 시스템명, 문서 유형, 키워드와 같이 검색에 필요한 항목을 중심으로 업로드 양식을 개선했습니다.
배운 점 4. 작은 데이터로도 구조의 문제는 발견할 수 있었다
20개의 문서는 업무지식 시스템의 성능을 판단하기에 충분히 많은 데이터는 아닙니다.
하지만 다음 문제를 발견하기에는 도움이 됐습니다.
동의어가 필요한 지점
문서 작성 방식의 불일치
카테고리 분류 기준의 부족
프롬프트의 모호한 지시
근거가 없는 답변
수정 기능의 필요성
많은 데이터를 한꺼번에 등록하기 전에 작은 규모로 테스트한 덕분에 구조를 먼저 수정할 수 있었습니다.
앞으로 추가할 기능
1. 업무지식 수정 및 삭제
현재는 업무지식을 등록하고 조회하는 흐름을 중심으로 만들었습니다.
하지만 업무지식은 시간이 지나면 내용이 바뀔 수 있습니다.
다음 기능이 추가로 필요합니다.
기존 업무지식 수정
잘못 등록한 문서 삭제
수정 이력 확인
최종 수정자와 수정일 기록
삭제 전 확인
이전 버전 복구
특히 시스템 관리 정보는 오래된 조치 방법이 남아 있으면 잘못된 답변의 근거가 될 수 있습니다.
따라서 업무지식의 등록 기능만큼 수정과 이력 관리도 중요합니다.
2. Excel과 PowerPoint 파일 업로드
PoC 결과가 실제 업무에 도움이 된다고 판단되면 Markdown 문서 외에 Excel과 PowerPoint 파일도 업로드할 계획입니다.
다만 파일 확장은 단순히 업로드 버튼을 추가하는 문제로 끝나지 않을 가능성이 높습니다.
Excel에서는 다음 정보를 처리해야 합니다.
시트
행과 열
셀 데이터
병합된 셀
표의 제목과 구조
수식 결과
숨겨진 시트
PowerPoint에서는 다음 정보를 처리해야 합니다.
슬라이드 번호
텍스트 상자
표
이미지
도형
발표자 노트
차트와 다이어그램
문서 안의 텍스트만 추출한다면 기존 RAG 구조를 확장할 수 있습니다.
하지만 표, 이미지, 차트의 의미까지 분석하려면 멀티모달 모델과 별도의 문서 전처리 구조를 검토해야 합니다.
Excel / PowerPoint 업로드
↓
파일 형식 분석
↓
텍스트·표·이미지 추출
↓
페이지·시트·슬라이드 단위로 분리
↓
멀티모달 또는 문서 분석 모델 처리
↓
검색용 데이터 생성
↓
질문과 관련된 내용 조회
이 경우 데이터베이스도 단순한 Markdown 문서 중심 구조에서 다음 정보를 관리할 수 있도록 변경해야 합니다.
원본 파일 정보
파일 형식
시트 또는 슬라이드 번호
추출한 텍스트
표와 이미지 정보
검색을 위한 분할 데이터
원본 위치 정보
파일 버전과 수정 이력
DB 구조와 검색 방식을 함께 수정해야 하므로 PoC가 검증된 이후에 진행할 계획입니다.
마무리
이번 테스트에서는 완성된 업무지식 LLM을 만들지는 못했습니다.
하지만 실제 업무지식 20개를 등록하면서 다음 사실을 확인했습니다.
최신 모델 연결만으로 정확한 답변이 보장되지는 않는다.
업무용 동의어와 용어 사전이 필요하다.
업로드 양식이 검색과 관리 품질에 영향을 준다.
한 줄 요약은 문서 관리에 도움이 된다.
작은 데이터로 먼저 테스트하면 구조적인 문제를 빠르게 찾을 수 있다.
프롬프트는 실제 질문과 답변을 비교하며 계속 수정해야 한다.
이번 단계에서 얻은 가장 큰 교훈은 다음과 같습니다.
업무지식 LLM의 품질은 모델 하나로 결정되지 않는다. 문서를 어떻게 작성하고, 분류하고, 검색하고, 근거로 전달하는지가 함께 맞아야 한다.
다음 단계에서는 업무지식 수정·삭제 기능을 먼저 추가하고, 질문별 검색 결과와 답변 품질을 반복해서 검증할 예정입니다.
로그인하고 댓글을 남겨 주세요
같은 ‘계정 잠금’을 왜 사람마다 전혀 다른 말로 부를까요? 로그인 잠김, 사용자 Lock, 계정 차단처럼 표현이 흩어지니 좋은 모델을 붙이는 것만으로 검색이 해결되지는 않겠지요. 동의어를 보탠 뒤 놓치던 질문이 답으로 이어지는 장면은 다음 실험에서 만나게 되겠습니다.
실제 업무문서 20개부터 넣어보고 모델보다 문서 구조, 동의어, 검색 방식의 문제가 먼저 드러났다는 점이 인상적이었습니다. 특히 검색되지 않은 실제 사용자 표현을 동의어 사전에 계속 반영하는 방식은 업무지식을 살아 있게 만드는 중요한 과정인 것 같습니다. 다음 단계에서는 질문별로 ‘올바른 문서를 찾았는지’와 ‘찾은 근거로 정확히 답했는지’를 분리해 평가하고, 담당자의 검토·승인과 수정 이력까지 연결하면 더욱 신뢰할 수 있는 업무지식 시스템이 될 것 같습니다


FriendliAI로 EXAONE 계열 모델을 API로 붙여 PoC 부담을 줄이신 접근이 현실적이라고 느꼈습니다. 검색된 문서 범위 안에서만 답하도록 프롬프트를 제한하고, 근거가 부족할 때는 확실하지 않다고 안내하게 만든 부분도 실무에서 꼭 필요한 장치인 것 같습니다.
업로드 양식을 제목·본문 위주에서 업무 구분, 시스템명, 문서 유형, 키워드 같은 항목으로 나누신 이유가 보기 좋게 만들려는 게 아니라 검색 필터로 쓰기 위한 것이었다는 설명이 특히 기억에 남습니다. 계정 잠금을 두고 사용자마다 제각각 다른 표현을 쓴다는 사례도, 사내 용어 사전이 왜 필요한지 잘 보여주는 것 같네요. 동의어를 미리 다 정의하지 않고 검색 실패 사례를 보며 조금씩 늘리셨다는 점도 배울 만한 방식이었습니다.
한 줄 요약을 자동 생성하되 관리자가 고칠 수 있어야 한다고 판단하신 점, 그리고 오래된 조치 방법이 남으면 잘못된 답변의 근거가 될 수 있으니 수정·이력 관리가 등록만큼 중요하다고 보신 점에도 공감합니다. 입력 편의성과 구조화 사이의 균형을 고민하신 대목도 많은 분들이 부딪히는 지점일 것 같습니다.
문서 20개로도 분류 기준의 부족이나 프롬프트의 모호함 같은 구조적 문제를 먼저 찾아내셨다는 게 인상 깊었고, Excel·PowerPoint 확장을 시트·슬라이드 단위 처리와 멀티모달 검토까지 내다보며 PoC 검증 후로 미루신 판단도 신중해 보입니다. 다음 단계의 수정·삭제 기능과 반복 검증 결과도 기대하며 응원하겠습니다!