Focused Transformer: 콘텍스트 확장을 위한 대조 학습

https://arxiv.org/abs/2307.03170

• LLM 컨텍스트 제한 해결의 한 방법은 외부 문서 접근이지만, 데이터베이스 크기 증가에 따른 불필요한 키 증가 문제가 있다.

• 이를 해결하기 위한 방안으로 연구자들은 "Focused Transformer"라는 새로운 대조 학습 절차를 도입했다.

• "Focused Transformer"는 OpenLLaMA와 같은 LLM을 미세 조정하는데 사용된다.