벨루가(Veluga)로 법규 조회 챗봇 만들기(제2탄)

1차 시도에서 배운 점

벨루가로 산업안전보건에 관한 규칙의 600여개 조항을 검색하는 시도에서 잘 되지 않았었지만 부트캠프 발표를 통해 많은 조언을 얻었습니다.

조언들을 종합하였을 때 다음과 같은 가설을 세울 수 있었습니다.

1. 프롬프트의 문제 : AUTOMAT 프롬프트를 적용해보자

2. 인공지능 모델의 문제 : Claude Haiku를 사용하였는데 Opus나 ChatGPT 4 turbo로 바꿔보자

3. 벨루가 세팅의 문제 : TopK를 10으로 하고 Maximum Length를 최대치로 설정하자

가설의 검증1: 프롬프트를 AUTOMAT로 바꾸면 답변이 더 잘나올 것이다.

결과는

프롬프트를 변경하였더니 기존보다 더 좋은 답변을 얻었습니다.

가설의 검증2: 인공지능 모델을 Opus로 바꾸면 더 좋은 답변이 나올것이다.

모델을 Haiku에서 Opus로 바꾸었더니..

지난 주 답변처럼 좋지 않은 답변이 나왔습니다.

가설의 검증3: 벨루가 세팅을 수정하면 더 좋은 답변이 나올 것이다.

TopK를 10으로 주고 Maximum Length도 최대로 주었더니 결과는…

좋은 결과를 내 주었습니다.

가설의 검증 결과

가설 1: 프롬프트를 바꾸면 더 좋은 답변을 줄 것이다 (True)

가설 2: 인공지능 모델을 수정하면 더 좋은 답변을 줄 것이다 (False)

가설 3: 벨루가 세팅을 수정하면 더 좋은 답변을 줄 것이다 (True)

결론적으로 기대했던 결과와 가장 가까운 것은 프롬프트를 바꾸거나 벨루가 세팅에서 TopK를 10으로 주는 것이라는 것을 알게되었습니다.

예상과 달리 인공지능 모델은 직접적인 영향을 주지 않는 것으로 나왔습니다.

실험 과정에 오류가 있을 수도 있었겠지만 재미있는 결과를 얻은 것 같습니다.

벨루가를 쓸 때 세팅이 중요하고, 프롬프트도 잘 만들어주어야 합니다.