Dify 덕분에 Langflow랑 소개팅 한 썰 (feat. 애프터 신청을 할까? 말까? 😂 )

Dify AI랑 놀다 보니 친해졌고, 친해지니 이런 저런 다른 친구들을 소개시켜 줍니다.

너무 High spec의 친구들을 소개해 주는 것 같아서 부담되어 머뭇거리고 있는데,

얘는 High spec인데 다른 애들보다는 편하다면서 만나보라고 등을 떠밀어서

드뎌 큰 마음 먹고 Langflow라는 애와 소개팅을 했습니다.

듀근듀근 떨리는 마음을 안고 만난 이 친구, Langflow....

이름답게 흐르는 듯한 유창한 말솜씨를 구사합니다.

좀 어려워서 못 알아먹겠지만.... 매력은 있는 것 같습니다.

과연 저는 Langflow에게 애프터 신청을 할까요? 안할까요? ㅎㅎ

Dify AI로 RAG AI Agent 구축하는 것을 어느 정도 터득한 후,

스터디장님 조언대로 다음 단계로 무엇을 해야 하는지

ChatGPT에게 물어보면서 노닥거려봅니다.

뭐, 굉장히 어려운 이야기들을 잔뜩 해줍니다.

음....뭔지는 알것 같은데....

넘 어려워 보이기도 하고....할 수 있으려나? 싶기도 하고....

긴가민가 합니다.

Langflow와 소개팅을 하기 전에 먼저 공부를 해 봅니다.

ChatGPT와 대화하면서 배운 것들은 다음과 같습니다.

✅ 1. 어플리케이션들이 뭐가 있는지 알아보기

🔍 목적:

RAG AI Agent를 어떤 방식으로 제품화할 수 있는지 다양한 앱 구조와 사례를 이해하는 것

📌 추천 활동:

✅ [1-1] 대표적인 오픈소스 RAG 플랫폼 실습

• Dify: 이미 마스터함

• Langflow: 시각적인 RAG 구성 가능 (권장 실습)

• Flowise: Dify보다 더 개발 친화적, 흐름 기반

• Superagent.sh: RAG + Agent 다 가능 (초기 유저에겐 약간 복잡)

• Dust.tt, LlamaIndex Playground도 참고 가능

➡️ Langflow 설치법

bash

복사편집

pip install langflow langflow run

✅ [1-2] 상용화된 RAG 기반 제품들 벤치마킹

• Perplexity.ai – 문서 기반 Q&A

• Humata.ai – PDF 업로드 후 질문 가능

• ChatPDF, AskYourPDF, Vellum – 문서 특화 RAG

• Glean, Kagi – 내부 지식 기반 검색

➡️ 이걸 통해 어떤 문제를 해결하는가, 어떻게 돈을 벌까?, UX는 어떤가? 관점 학습 가능

✅ 2. 서버와의 연결은 어떻게 하는지 이해하기

🔍 목적:

Dify 같은 도구는 다 해주지만, 직접 만들려면 질문 → 검색 → 생성 → 응답까지의 흐름을 서버로 구현해야 함

📌 추천 활동:

✅ [2-1] Langchain + FastAPI + VectorDB 구조 개념 익히기

• 질문이 서버에 들어오면 → 벡터 DB에서 유사 chunk 검색 → LLM이 답변 생성 → 결과 반환

✅ [2-2] Langflow 실습으로 대신 구조 익히기

• Langflow에서는 위 구조를 블록으로 드래그해서 시각적으로 설계 가능

• Prompt → Retriever → Vector Store → Output → 사용자 응답까지 한번에 실험 가능

✅ [2-3] Gradio/Streamlit으로 간단한 프론트 만들기

• FastAPI 없이도 Langchain 구성 + 사용자 질문 입력 + 응답 보기 가능

✅ 3. 임베딩 모델 사용해 보는 경험 쌓기

🔍 목적:

사용자 문서나 질문을 숫자 벡터로 바꿔서 유사한 내용을 찾을 수 있게 만드는 과정 체험

📌 추천 활동:

✅ [3-1] HuggingFace에서 대표 임베딩 모델 이해

• sentence-transformers/all-MiniLM-L6-v2: 가볍고 RAG에서 자주 사용

• intfloat/e5-large-v2: 강력한 성능 (Langchain에서도 추천)

➡️ HuggingFace 실습 링크 (무료 체험):
https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

✅ [3-2] 실습 툴 2가지

• Dify: 문서를 업로드하면 자동으로 임베딩 처리해줌 → 내부적으로 위 모델 중 하나를 사용함

• Langflow: Embedding Model 블록을 직접 연결해서 어떤 임베딩이 사용되는지 체험 가능

✅ [3-3] 임베딩 + 검색 직접 실험해보기

• 같은 질문에 대해 다른 임베딩 모델을 쓰면 어떤 결과 차이가 나는지 비교

✅ 4. 로컬 LLM 모델들을 사용해 보는 경험 쌓기

🔍 목적:

OpenAI 없이도 로컬에서 LLM을 실행해서 성능과 비용 최적화 체험

📌 추천 활동:

✅ [4-1] 로컬 LLM 실행 툴 선택 (설치 쉬움)

• Ollama (윈도우/맥에서 1줄 설치)
  👉 https://ollama.com

• LM Studio (GUI 기반 LLM 실행기)
  👉 https://lmstudio.ai

• Text Generation Web UI (고급, 나중에)

✅ [4-2] 추천 모델

• mistral, llama3, openhermes, zephyr (gguf 포맷)

• 사용 명령 (Ollama 예시):

  사본

  bash

  복사편집

  ollama run mistral

✅ [4-3] Langflow에서 로컬 모델 연동

• Langflow에서 OpenAI 대신 Custom LLM 설정 → 로컬 서버 포트 연결로 사용 가능

🔚 요약: 단계별 권장 실습 순서

✅ 대표적인 RAG 상용화 프로젝트 3가지

1. Perplexity.ai

🔎 “Google을 위협하는 AI 검색 엔진”

📌 개요:

• Perplexity는 웹 전체를 벡터화하여 검색하고, LLM이 요약/답변하는 AI 기반 검색 서비스

• RAG 구조의 대표적인 성공 사례

🧠 기술 구조:

• Retriever: Bing API 또는 자체 웹 크롤링으로 수집된 콘텐츠 벡터화

• Embedding: 자체 임베딩 + OpenAI의 text-embedding-ada-002 혼합 사용

• LLM: OpenAI GPT + 자체 fine-tuned 모델 사용

• 강점: RAG를 통해 사실 기반 응답 생성 → hallucination 최소화

💰 수익화 모델:

• 무료 + 유료 플랜 (Pro 버전)

• 개인화된 “Copilot” 기능은 유료에서만 제공

✅ 배울 점:

• 신뢰도 기반 응답 (출처 하이라이트)

• 즉답 + 관련 문서 제공 → UX 설계 참고

• 웹 크롤링 + 벡터화 + LLM 통합 구조

🔗 https://www.perplexity.ai

2. Humata.ai

📄 “PDF를 업로드하면, AI가 읽고 대신 요약하고 답해준다”

📌 개요:

• RAG 기반 문서 Q&A SaaS

• 논문, 계약서, 매뉴얼 등 업로드하면 질문-응답 가능

🧠 기술 구조:

• Vector DB: FAISS 기반 벡터 검색

• LLM: GPT-4, Claude 등 외부 API 활용

• Embedding: all-MiniLM-L6-v2 또는 e5-large 계열

💰 수익화 모델:

• 유료 플랜에서 더 많은 문서, 더 큰 파일, 더 빠른 속도 제공

• 팀 기반 협업 기능도 유료

✅ 배울 점:

• 단일 문서 vs 멀티 문서 처리 UX

• 질문 흐름 저장, 요약 기능, PDF 내 항목 연결 등 다양한 기능 확장

🔗 https://www.humata.ai

3. Glean.com

🏢 “회사 내부 지식 검색 엔진”

📌 개요:

• Slack, Google Drive, Notion, Jira 등 기업 내부 자료를 연결해서 검색하는 RAG 기반 툴

• B2B SaaS 형태로 제공

🧠 기술 구조:

• Data Source 연결: 다양한 SaaS 도구의 API로 문서 수집

• Indexing: 문서 chunking + embedding + 벡터 DB

• LLM: OpenAI GPT 또는 자체 언어 모델

💰 수익화 모델:

• 기업 요금제 기반 (규모에 따라 가격 협의)

• 보안, 감사 추적, 관리 기능 제공

✅ 배울 점:

• RAG + OAuth 인증 + 멀티 플랫폼 연결

• 권한 기반 검색 (예: 관리자만 접근 가능한 파일 구분)

• B2B SaaS에서 RAG를 쓰는 전략

✅ 대표적인 RAG 커뮤니티 3곳

1. Langchain Community

RAG 구조를 개발자 중심으로 배우고 싶다면 필수

• GitHub: https://github.com/langchain-ai/langchain

• Discord 커뮤니티: https://discord.gg/langchain

• 실시간 질문, 코드 공유, 튜토리얼, RAG 관련 플로우가 풍부

• RAG Template, Agent, Chat Memory 등 고급 기능도 활발히 논의됨

2. Hugging Face Community

임베딩 모델, LLM, 벡터 DB 등 핵심 요소 중심 커뮤니티

• 홈페이지: https://huggingface.co

• Forums: https://discuss.huggingface.co/

• 수천 개의 오픈소스 모델과 데이터셋 실험 가능

• sentence-transformers, langchain, llama 관련 협업도 활발

3. Langflow Community

Langchain을 GUI로 시각화해서 쓰는 사람들의 커뮤니티

• GitHub: https://github.com/logspace-ai/langflow

• Discord: GitHub에서 초대 링크 제공

• Dify보다 커스터마이징 가능하면서 GUI 지향적인 사람들에게 인기

🔍 Hugging Face vs GitHub: 핵심 차이점 요약

공부하다보니 Langflow가 상대적으로 High spec 애들 중에서 편안해서
부딪쳐보자 하는 마음이 조금 생겼습니다.

그래서 Langflow를 만나봅니다.

일단은 Langflow cloud version을 사용해봅니다.

Langflow가 처음이니 적응하고 익숙해지기 위해서

RAG 구축을 위한 Template를 활용해보기로 합니다.

Template을 열어보니 뭔가 거대한 게 나타납니다.

ALT

여러 다른 항목을 보여주는 웹 페이지의 스크린 샷

그동안 축적한 지식과 Perplexity에게 물어보는 것을 결합하면서

Template을 이해해 나아가면서 Langflow의 인터페이스과 기능들도 하나씩
습득해갑니다.

'온라인 여성 의류 쇼핑몰'의 운영 정책과 FAQ를 Perplexity의 도움을 받아서 미리 PDF 파일 형태로 만들어서 준비해 두었습니다.

RAG 기반의 '온라인 여성 의류 쇼핑몰'의 고객 응대 봇을 만드는 것이 목표입니다.

파일을 등록합니다.

ALT

프로젝트에서 사용할 수있는 파일을 보여주는 화면

Chunking하는 Split text도 설정해주고,
Vector DB 역할을 하는 Astra DB도 설정을 해줍니다.

모든 중간 보스들은 Perplexity의 자문을 받아가며 파해합니다.

ALT

항목 모음을 보여주는 웹 페이지의 스크린 샷

이제 Retriever flow도 설정을 해줍니다.

역시 Perplexity 의 도움을 받아가며 중간 보스들을 각개 격파합니다.

그리고 노드들을 연결해 갑니다.

Parser가 무엇인지 몰라서 배워봅니다.

ALT

한국 문자 메시지의 스크린 샷

얼추 이해는 됩니다. 물론 100% 이해는 안되지만 점점 적응 되겠죠

그리고 노드 한개마다 코드를 눌러보면

각 노드들이 실제로는 코드로 이루어져 있다라는 것을 알 수 있습니다.

설정하면서 Langflow가 어떻게 생긴 애고, 어떻게 작동하는지 등등에 대해서
조금씩 감을 잡아갑니다.

여러 번 에러 메시지가 나서 그때그때 해결하고

끙끙대면서도 한발한발 앞으로 나아갑니다.

3시간 정도 끙끙댄 후에 결국 완성합니다.

test 들어갑니다.

test 결과는

1. 응답까지 시간이 꽤 걸린다는 느낌입니다.
   왜 그런지 어떻게 개선할 수 있는지에 대한 궁금증이 생깁니다.

2. 3개 질문 중에서 2개는 답변이 정확한데, 1개는 별로입니다.
   Knowledge로 준 파일이 크기도 작아서 이렇게까지 별로일 필요는 없는데
   왜 그런지 모르겠습니다. 역시 왜 그런지, 어떻게 개선할 수 있는지 궁금합니다.

완료된 결과물을 Publish할 수 있고 3가지 옵션이 있다는 것을 알 수 있습니다.

첫 시도로 Langflow를 잘 배웠습니다.

아직 적응 중이고 모르는 것이 많아서 더 해보고 익혀야 할 것 같습니다.

Langflow와 소개팅 후 애프터는?

매력이 있는 친구라고 느껴졌으니 좀 있다 할 예정입니다. ㅎㅎ