LLM의 선택적 예측을 위한 ASPIRE 소개 - Google 연구 블로그
ASPIRE는 LLM(Large Language Models)이 답변과 선택 점수(답변이 정확할 확률)를 함께 출력하게 하여, 더 높은 신뢰성을 가진 응답을 생성할 수 있게 하는 새로운 프레임워크입니다.
이 프레임워크는 세 단계로 구성됩니다: 특정 작업에 대한 튜닝, 답변 샘플링 및 자가 평가 학습. 이를 통해 LLM은 자체적으로 정답과 오답을 구별할 수 있게 됩니다.
ASPIRE는 CoQA, TriviaQA, SQuAD 데이터셋에서 다양한 모델들과 비교해 높은 정확도와 선택 점수를 기록하며, 기존의 선택적 예측 방법들보다 뛰어난 성능을 보여주었습니다.