Focused Transformer: 콘텍스트 확장을 위한 대조 학습

https://arxiv.org/abs/2307.03170

  • LLM 컨텍스트 제한 해결의 한 방법은 외부 문서 접근이지만, 데이터베이스 크기 증가에 따른 불필요한 키 증가 문제가 있다.

  • 이를 해결하기 위한 방안으로 연구자들은 "Focused Transformer"라는 새로운 대조 학습 절차를 도입했다.

  • "Focused Transformer"는 OpenLLaMA와 같은 LLM을 미세 조정하는데 사용된다.

3개의 답글

👉 이 게시글도 읽어보세요!

지피터스 팀의 큐레이션 ⭐️