https://bdtechtalks.com/2023/10/09/llm-self-correction-reasoning-failures/
과학자들은 검색 확대 및 사고 연쇄 추론 과 같은 대규모 언어 모델( LLM )의 정확성과 추론 능력을 향상시키기 위해 다양한 전략을 고안하고 있습니다.
이 중에서 LLM이 자체 응답을 개선하는 기술인 "자가 수정"은 상당한 관심을 얻었으며 수많은 응용 프로그램에서 효율성을 입증했습니다. 그러나 성공의 메커니즘은 여전히 파악하기 어렵습니다.
그러나 자기 교정의 효과는 모든 작업에 걸쳐 보편적이지 않습니다. DeepMind와 일리노이 대학교의 논문에 따르면 자기 교정의 성공 여부는 당면한 작업의 성격에 크게 좌우된다는 사실이 밝혀졌습니다. 추론 작업에서 자체 수정 기술은 일반적으로 사람의 피드백, 계산기나 코드 실행기와 같은 외부 도구 또는 지식 기반과 같은 외부 소스를 활용할 수 있는 경우에만 성공합니다.
자체 수정은 추론을 향상시키지 못할 수 있지만 연구원들은 LLM 출력 스타일을 수정하거나 응답을 보다 안전하게 만드는 등의 작업에 효과적일 수 있음을 발견했습니다. 그들은 이러한 작업을 "사후 프롬프트"라고 부르며, 응답이 생성된 후에 프롬프트가 적용됩니다. 그들은 "자기 수정이 모델 반응을 향상시키는 시나리오는 사전 프롬프트가 제공할 수 없는 귀중한 지침이나 피드백을 제공할 수 있을 때 발생합니다."라고 썼습니다.