슬랙에서는 되던 답변이, 웹앱에서는 왜 엉터리로 나올까 — 판돌이 실패기
2026.06.02

판돌이는 간판인허가 업무를 도와주는 봇입니다. 간판인허가에 필요한 지식을 hermes agent llm wiki로 구성하고 있습니다. 간판업무 도와주니까 편하게 "판돌이"라고 부르기로 했어요
하려던 것 📝
슬랙에서는 꽤 잘 돌아가던 업무 답변 흐름을 회사 환경에 맞는 웹앱으로 옮기고 싶었습니다. 단순 검색이 아니라, LLM wiki를 반영해 지식을 인출하고, 여러 담당자의 암묵지를 모아 업무매뉴얼을 계속 개선하는 구조를 만들고 싶었습니다.
활용한 툴 ⚒️
- Next.js
- PostgreSQL
- Cloudflare R2
- LLM wiki
- raw-data 인덱스
- DB 사례 저장
- 검색/답변 화면 재구성
진행 세부 내용 🔍
1️⃣ 슬랙에서는 잘 됐던 흐름을 웹앱으로 옮김
- 하지만 회사에서는 슬랙을 사용할 수 없는 상황이라, 같은 기능을 웹앱 인터페이스로 다시 구성해야 했습니다.
- 이때 단순한 검색창이 아니라, 업무에 바로 쓰는 답변 화면을 만들고 싶었습니다.
2️⃣ 그런데 웹앱에서는 엉터리 답변이 나옴

- 실제로는 돌출간판 규격 같은 질문에서 말도 안 되는 숫자가 나왔습니다.
- 예를 들면 가로가 20m처럼, 실무 기준과 전혀 맞지 않는 답변이 섞여 나왔습니다.
- 슬랙에서는 그럭저럭 되던 방식이 웹앱에서는 제대로 작동하지 않았고, 제가 기대한 “정확한 숫자 답변”이 화면에 나오지 않았습니다.
#확인해보니 hermes 내부 wiki 폴더에 잘못된 내용의 허가기준이 있었음- 그거 수정하면 되겠다 싶어서 수정했는데, 또 반영안됨~ㅠㅠ 뭐지,, 더 파봐봐야지!!

3️⃣ 데이터 계층 정리는 했지만, 왜 적용이 안 되는지 모르겠음
- 저는 판돌이의 데이터 계층을 이렇게 정리했습니다.
판돌이 데이터 계층 정리
- DB는 질문/사례/상태/메타데이터를 저장하는 구조화된 운영 데이터
- R2는 PDF, HWPX, 이미지 같은 원본 파일 저장소
- LLM wiki는 원문과 사례를 사람이 읽기 쉬운 업무지식으로 바꾼 결과물
- wiki/SCHEMA.md는 문서 작성 규칙
- wiki/index.md는 위키 목차
- 즉, DB는 기록, R2는 파일, LLM wiki는 지식, schema는 규칙, index는 목차라는 역할 분 리를 해두었습니다.
- 그런데도 실제 웹앱에서는 이 구조가 답변 품질로 자연스럽게 이어지지 않았습니다.
- 무엇이 어디서 잘못 연결되는지 아직 정확히 모르겠고, 그 점이 가장 답답한 실패였습니다.
4️⃣ 목표는 단순 검색이 아니라 집단지성형 업무매뉴얼
- 제가 만들고 싶은 것은 한 사람의 기억을 보여주는 검색이 아닙니다.
- 여러 담당자의 암묵지를 wiki로 모으고,
- 그걸 다시 매뉴얼로 정리해서,
- 조직 전체가 계속 업데이트할 수 있는 지식 시스템입니다.
- 그런데 지금은 그 구조가 설계상 정리되어 있어도, 실제 답변으로는 제대로 살아나지 않고 있습니다.
얻은 결과나 피드백 ✅
- 슬랙과 웹앱은 같은 지식 시스템이 아닐 수 있다는 걸 체감했습니다.
- 데이터 계층을 나눠놔도, 실제 검색/답변 로직이 그 구조를 제대로 읽지 못하면 엉터리 답변이 나올 수 있다는 걸 확인했습니다.
- 지금 가장 큰 문제는 “정답이 없는 것”이 아니라, “정답이 왜 적용되지 않는지 아직 모르겠다”는 점입니다.




“슬랙에서는 되는데 웹앱에서는 왜 안 되지?”를 그대로 남겨주신 게 되게 좋았어요. 판돌이를 DB, R2, LLM wiki, schema, index로 나눠 정리했는데도 돌출간판 규격 같은 답변에서 말도 안 되는 숫자가 나왔다는 부분이, 실제 운영형 지식 시스템에서 제일 중요한 실패 지점처럼 보였습니다.
지금은 정답이 없어서라기보다, Slack과 웹앱이 각각 어떤 컨텍스트를 보고 답했는지가 아직 안 보이는 상태에 가까워 보여요. 같은 질문 하나를 정해서 두 환경에 똑같이 넣고, 디버그용으로 “이번 답변에 사용한 시스템 프롬프트/검색된 wiki 문서/DB·R2에서 가져온 자료/최종 프롬프트를 비밀값은 가리고 표로 보여줘”라고 요청해보면 좋겠습니다. 그러면 Slack에서는 들어오던 자료가 웹앱에서는 빠지는지, 아니면 최종 프롬프트 조립 단계에서 숫자가 흔들리는지 꽤 빨리 좁혀질 것 같습니다. 이 실패기는 나중에 판돌이 품질을 잡는 기준표가 될 것 같아요.