본문으로 건너뛰기
궁금해요

내가 의도하는 바 대로 동작하는 LLM Bot 만들려면 결국 프로프트 엔지니어링이 답인건가요?

ggokka

2024.08.07

RAG로 정보를 제공한다고 해서 LLM이 그것을 채택한다는 보장이 없는거 아닌가?

-----------(이하 생성형 AI 답변)--------------------------
매우 좋은 지적입니다. RAG(Retrieval-Augmented Generation)를 사용하더라도 LLM이 검색된 정보를 항상 정확하게 또는 적절하게 사용한다는 보장은 없습니다. 이는 RAG 시스템의 중요한 한계점 중 하나입니다. 이 문제에 대해 몇 가지 핵심적인 사항을 살펴보겠습니다:
1. LLM의 자율성:
- LLM은 제공된 정보를 참고하지만, 최종 출력을 생성할 때 자체적인 '판단'을 할 수 있습니다.
- 때로는 검색된 정보를 무시하고 자체 지식 베이스에 의존할 수 있습니다.
2. 정보의 관련성:
- 검색된 정보가 항상 질문과 완벽하게 관련되지 않을 수 있습니다.
- LLM이 관련성이 낮다고 판단하면 해당 정보를 사용하지 않을 수 있습니다.
3. 정보의 충돌:
- 검색된 여러 정보 사이에 충돌이 있을 경우, LLM이 어떤 정보를 선택할지 예측하기 어렵습니다.
4. 프롬프트 엔지니어링의 중요성:
- LLM에게 검색된 정보를 어떻게 사용해야 하는지 명확한 지시를 주는 것이 중요합니다.
- 잘 설계된 프롬프트는 LLM이 검색된 정보를 더 효과적으로 활용하도록 유도할 수 있습니다.
5. 환각(Hallucination) 문제:
- LLM은 여전히 제공된 정보와 일치하지 않는 내용을 생성할 수 있습니다.
- 이는 LLM의 고유한 특성으로, RAG만으로는 완전히 해결되지 않습니다.
이러한 문제를 완화하기 위한 몇 가지 접근 방법이 있습니다:
1. 검색 품질 개선: 더 정확하고 관련성 높은 정보를 검색하도록 시스템을 최적화합니다.
2. 프롬프트 최적화: LLM에게 검색된 정보를 어떻게 사용해야 하는지 명확히 지시합니다.
3. 출력 검증: LLM의 출력을 검색된 정보와 비교하여 일관성을 확인합니다.
4. 다단계 처리: 검색, 추론, 생성 등을 별도의 단계로 나누어 각 단계를 더 잘 제어합니다.
5. 피드백 루프: 사용자 피드백을 통해 시스템을 지속적으로 개선합니다.
결론적으로, RAG는 LLM의 성능을 크게 향상시킬 수 있지만, 완벽한 해결책은 아닙니다. RAG 시스템을 설계하고 구현할 때 이러한 한계를 인식하고 대응 전략을 수립하는 것이 중요합니다.

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

B
ByunHeiseon2024.08.08

네 저도 지금 개발중인 사이트가 OPEN AI기반 정보제공 서비스 사이트인데 RAG를 통해서 전달받아지는 응답에는 일관성을 무시하는 경우가 왕왕 발생하더라구요
그 부분에 대해서는 지속적으로 프롬프트 엔지니어링을 통해서 개선해 나가고 있어요
프롬프트에 조건을 추가하는 방식으로요

앞으로 서비스가 실운영될 때에도 응답을 데이터로 축적해서 지속적인 모니터링이 진행되어야할거 같습니다.

설거지의달인 프로필 이미지

동감합니다.
아무리 데이터소스가 많아도 LLM이 훈련이 많이 되어 있으면 무시하는 경우가 많아서 고민입니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

커뮤니티의 다른 글

커뮤니티 전체 보기