본문으로 건너뛰기

프롬프트 가운데 있는 정보는 GPT도 잘 까먹습니다.

프롬프트 가운데 있는 정보는 GPT도 잘 까먹습니다. 본문 이미지


Lost in the Middle: How Language Models Use Long Contexts

"중간에서 길을 잃다: 언어 모델이 긴 컨텍스트를 사용하는 방법"

대형 언어 모델(LLM) 공급업체들은 가장 큰 컨텍스트 창을 제공한다는 타이틀을 차지하기 위해 치열하게 경쟁하고 있습니다. 하지만 컨텍스트 창이 크다고 해서 항상 더 나은 결과를 얻을 수 있을까요?

스탠포드 버클리의 최근 연구 논문에 따르면 LLM은 관련 정보가 입력 컨텍스트의 시작이나 끝에 위치할 때 최고의 성능을 발휘하는 경향이 있다고 합니다. 반면, 중요한 세부 정보가 중간에 위치하면 성능이 현저히 저하되어 U자형 성능 패턴을 보인다고 합니다.

또한 컨텍스트 창이 커질수록 전반적인 성능은 일반적으로 감소합니다.

따라서 컨텍스트 창이 넓은 대형 모델에 열광할 수 있지만, 이것이 진정으로 가장 중요한 고려 요소인지 의문을 제기할 필요가 있습니다.


3

함께 이야기해요 3

로그인하고 댓글을 남겨 주세요

김욱영 프로필 이미지
김욱영2023.07.29
 그거랑은 크게 관련이 없지 않을까요? 잘 모르겠네요.
GilddongGo 프로필 이미지
GilddongGo2023.07.29
그래서 내 프롬프트 창이 좁아진건가?? 
김욱영 프로필 이미지
김욱영2023.07.28
프롬프트를 작성할 때 참고해야겠어요.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기