소개
지난주차 VC의 조언을 반영해 PSST 사업계획서 3가지로 만들고, 서로 다른 모델에게 비교평가 점수를 내보았습니다. 본 사업계획서는 중간본으로 최종발표와 다릅니다.
진행 방법
PSST 사업계획서 #v1, #v2, #v3 를 chatGPT 모델 o1, o3-mini, o3-mini-high 로 비교했습니다.
#v1 : 한 달 동안 기획 IA 부터 단계적으로 사용한 챗창이용
#v2 : GPTs 이용
#v3 : 1차, 2차 발표 스크립트를 넣고 분석한 챗창이용
GPTs를 이용한 #v2 에는 아래와 같은 수치데이터가 들어갑니다. 그래서 출처가 없어도 전반적으로 높은 점수를 받았습니다. 출처가 없다고 해도 미미한 점수차감만 있었습니다. 제가 2번째 사업계획서가 간결하면서도 맘에 든 이유이기도 했습니다.
"""설문조사에 따르면, 트레이너의 80% 이상이 엑셀, 수기 방식으로 회원 데이터를 관리하며, 이로 인해 업무 시간이 평균 30% 증가"""
그러나 o3-mini 검색을 이용 출처를 달아보려고 해도 아래와 같이 추정치로 삭제후 점수평가했습니다.
1. o1 평가
2. o3-mini 평가
3. o3-mini-high
결과와 배운 점
o1 : ‘문제 정의, 실현 가능성, 혁신성, 실행 전략, 시장성’ 5개 항목에 균등하게 20점씩 평가하는 방식.
o3-mini : ‘문제 정의, 솔루션 실행 가능성, 성장 전략, 수익 모델, 명료성’ 5개 항목으로, 특히 수익 모델과 사업 계획의 명확성을 강조.
o3-mini-high : ‘문제 인식/분석, 해결책(혁신성), 실행 전략/확장성, 전반적 완성도’ 4개 항목을 각각 100점 만점으로 세밀 평가 후 평균을 내어 최종 환산.
결과적으로,
o1 은 스타트업 평가의 기본 항목을 골고루 보는 “표준형” 평가,
o3-mini는 비즈니스 모델과 문서 구성에 특화,
o3-mini-high 은 문제 인식·혁신성·실행력·완성도를 종합적으로 심층 평가하는 체계라고 볼 수 있습니다.