메타의 리서치팀, 프롬프트 개선 AI 기술인 System 2 Attention(S2A)도입

메타 리서치가 개발한 시스템 2 어텐션(S2A)은 불필요한 정보의 영향을 줄이고 입력 컨텍스트의 가장 관련 있는 부분을 식별하고 추출하는 기술이다.

S2A는 모델의 오류 가능성을 줄이고, 의견이 있는 질문과 관련 없는 문장이 포함된 수학 문제에 대한 모델의 성능을 향상시킨다.

S2A는 기존 LLM 재생성보다 계산 비용이 더 많이 들지만, 이는 미래의 연구를 통해 해결될 수 있다.