GPT-4는 라벨링 과정에서 클라우드 작업자를 능가하여, 연구자에게 $500,000 및 20,000시간을 절약합니다.

OpenAI의 GPT-4는 데이터 세트에 레이블을 지정하기 위해 고용한 가장 숙련된 크라우드 작업자를 능가했다.
연구원들은 572,322개의 텍스트 시나리오에 주석을 다는 문제에서, Surge AI의 최상급 휴먼 애노테이터를 시간당 25달러의 비율로 고용하려면 20,000시간의 작업에 500,000달러의 비용이 들었을 것이었다.
3명의 전문가와 3명의 크라우드 작업자가 GPT-4에서 생성한 레이블과 2,000개의 레이블이 지정된 데이터 포인트를 비교한 결과, AI가 생성한 레이블은 평균 크라우드 작업자 레이블보다 전문가 레이블과 더 강한 상관관계를 보였다.
GPT-4 모델은 다음과 같은 까다로운 행동 범주에서 가장 뛰어났다.
- 비신체적 위해: 정서적 괴롭힘이나 협박 등 비신체적 위해를 가하려는 의도
- 염탐: 다른 사람을 염탐하거나 도청하는 행위
- 배신: 약속, 계약 또는 약속을 어기는 것
연구원들은 GPT-4의 라벨링 기능을 활용하고 라벨 생성을 강화하기 위한 앙상블 모델 접근 방식을 구현하여 572,322개의 시나리오에 주석을 추가하는 데 5,000달러 미만을 지출했을 가능성이 높다.
40개 이상의 언어에 능숙한 "엘리트 인력"을 자랑하는 회사인 SurgeAI는 기업이 인간 어노테이터 대신 AI 생성 레이블을 선택함에 따라 LLM과의 경쟁이 치열해질 수 있다.