Dify에서 RAG 기반 LLM을 활용한 😆😍지방세전문가시스템 구축😜😜
2025.09.05

도입
Dify에서 RAG 기반 LLM을 활용한 세무전문가시스템을 구축하고자 하였다.
복잡하고 다양한 세무민원 처리가 요구되는 업무환경에서 정확한 답변을 제공하는 AI를 도입해 업무 경감 또는 효율화를 달성하는 것을 목표로 하고 있다.
박준 스터디장님 강의를 듣고 Dify를 사용하여 RAG 시스템 구축을 시도하였다.
실행
1) Dify > 스튜디오 > 앱 만들기 > 템플릿으로 시작하기

2) Knowledge Retreival + Chatbot 템플릿 선택 > 생성


3) Knowledge Retrieval > 지식 추가 > 지식 생성 > 청크 설정, 검색 설정




4) LLM 설정

5) 컨텍스트 설정

6) Knowledge 검색 결과가 빈칸이다.... 어딘가 잘못되었다.

프롬프트 설정
프롬프트를 별도로 수정하지 않았다. 4주 스터디 기간에 Knowledge retrieval 결과 개선 후에 프롬프트를 순차적으로 개선하겠다.
You are a helpful assistant. Use the following context as your learned knowledge, inside <context></context> XML tags.
<context></context>
When answer to user:
- If you don't know, just say that you don't know.
- If you don't know when you are not sure, ask for clarification.
Avoid mentioning that you obtained the information from the context.
And answer according to the language of the user's question.
배운 점과 나만의 꿀팁
Dify로 쉽게 RAG를 구현할 수 있다는 것을 알게 되었다. 다만 강의 내용을 제대로 숙지하지 못 한 것인지 Knowledge retrieval이 제대로 되지 않았다.
작업을 하면서 알게 된 것은, [캐시된 변수 보기] 버튼을 누르면 현재 실행중인 코드의 변수를 실시간으로 확인할 수 있다는 것이다. 변수의 내용을 파악하는 것이 프로그램의 흐름 및 작동 여부를 파악하는데 매우 중요한데, 그 내용을 쉽게 확인할 수 있어서 Workflow가 제대로 작동하는지 아닌지 바로 알 수 있었다.
과정 중 시행착오
시작부터 시행착오를 겪었다. 강의를 들으면서 따라갔지만, 강의를 집중력 있게 듣지 못 한 탓인지 Workflow 또는 각 단계마다 설정해야 하는 값들이 무엇인지 잘 기억이 나지 않았다. 다시보기 링크를 찾아보려고 했으나 그것이 여의치 않았다.
미리보기에서 질문에 대한 답변이 매우 일반적이고, 지식베이스를 참조하지 못하였다. 알고보니 검색 결과가 빈칸으로 나오고 있었다. 원인은 아직 파악하지 못했다. 스터디장님의 조언을 구해야겠다.
앞으로 계획
Dify 마스터하기, [도구] 사용해보기
Knowledge retrieval 외 다른 템플릿 사용해보기
API Access 구현해보기
RAG 개념 및 구현 최대한 숙지한 다음에 당초 목표한 바인 지방세전문가시스템 VM?에서 호스팅?해서 서비스로 출시하기
도움 받은 글
Develiper 님 [RAG 서비스 완성 및 배포 도전 1탄] - Develiper 님의 프롬프트를 보고 아! 내 프롬프트는 프롬프트가 아니구나를 알게 되었다. Develiper 님은 <context><instruction><example> 등으로 구분해서 프롬프트를 작성하였다.
첫날 허세임 님의 프롬프트 강의를 떠올렸다. CTFC인가 뭔가라고 말씀하셨는데 기억이 잘 나지 않는다. 평소에 대화형으로 AI에게 질문하는 편이어서, 계획적으로 구조를 갖추어서 프롬프트를 작성하는 습관이 없어서 그런 것 같다.
로그인하고 댓글을 남겨 주세요
하나의 교육자료를 보는듯 했습니다! ㅋㅋ 스크린샷과 함께 주석, 설명 모두 너무 깔끔하게 잘 정리해주셔서 보기 편했습니다:)
(챗봇의 답변에서 정보를 못 가져오는 건 1주차 오프 모임에서 말씀드리고 해결했지만, 사례글을 보시는 분들을 위해 댓글로도 남겨드리면, 실제 워크플로우에 지식 파일이 연결되어있지 못 했던 게 원인이었습니다!)

![[미니] 클로드 코웍 사용해서 가계부까지 도전해보기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Fc6465620fff4957e3817a6b4.jpg&w=3840&q=75)
와우 대단하시네요~ 다른 행정분야도 챗봇 만들어줘요~ㅎㅎ 청소관련 문의 또는 민방위 훈련 문의 등 다른 챗봇도 만들어줘유~~~~~