RAG 관련 질문입니다.
Volkanovski
2024.02.12
혹시 토픽모델링을 통한 키워드분석을 RAG로 구현해도 문제가 없을까요? 토픽모델링과 유사하게 여러 기사 데이터를 넣어주고, 가장 많이 언급된 단어를 키워드로 찾아가는 그런 과정을 RAG로 구현해보고자 합니다. 하지만 제가 아직 아는게 많이 없어서, 잘 아시는 분들의 조언을 듣고 싶습니다!
로그인하고 댓글을 남겨 주세요
개발자F2024.02.12
질문을 명확하게 이해한건 아니지만 말씀하시는게 “여러 기사(데이터)에서 가장 많이 언급된 단어를 키워드로 RAG를 구현하려한다” 라면 어느정도는 가능해보입니다. 하지만 기사 데이터의 가공이 매우 중요해보입니다. 좀더 자세히 설명해주시면 아는데로 알려드릴게요.

@Volkanovski 크롤링으로 후 데이터 정리 후 (불필요한 광고라던가.. 작성자 누구누구 라던가) 각 기사별로 키워드를 정리하고 이를 키워드, 요약, 링크 순으로 csv로 정리한 이후에 사용하시면 될것같습니다. 다만 토큰을 너무 많이 쓰는게 좀 걱정되네요. 로컬 LLM으로 해도 괜찮아보이는데 서비스화 하는것까지는 잘 모르겠습니다.