이 백서에서는 LM이 간단한 API를 통해 외부 도구를 사용하는 방법을 스스로 학습하여 두 가지 장점을 모두 달성할 수 있음을 보여줍니다. 어떤 API를 호출할지, 언제 호출할지, 어떤 인수를 전달할지, 그리고 그 결과를 향후 토큰 예측에 가장 잘 통합하는 방법을 결정하도록 학습된 모델인 Toolformer를 소개합니다. 이 작업은 자체 감독 방식으로 수행되므로 각 API에 대해 몇 번의 데모만 거치면 됩니다. 계산기, Q\&A 시스템, 두 가지 검색 엔진, 번역 시스템, 캘린더 등 다양한 도구가 통합되어 있습니다. 툴포머는 핵심 언어 모델링 기능을 그대로 유지하면서 훨씬 더 큰 규모의 모델과 경쟁할 수 있는 다양한 다운스트림 작업에서 크게 향상된 제로샷 성능을 달성합니다.
재밌는 내용이라 공유 드립니다.