소개
딥리서치로 사업을 분석해서 어떤 가설이 있고, 그 가설이 얼마나 유효하냐를 해 보고 있습니다.
그런데, 스터디 참여하시는 이상연 님께서 o1과 같은 추론 모델은 지시 사항을 주기 보다 (how), 어떤 결과를 원하는지 (what)를 명확하게 하고, 필요한 콘텍스트(맥락)을 몽땅 제공하는 것이 더 좋다고 하셨습니다. 왜냐면, 추론 모델은 추론을 통해서 결과를 얻기 위한 방법은 스스로 잘 찾기 때문이라고요.
그 얘기를 들은 뒤에, 아래의 글에서 썼던 프롬프트들을 봐보면, 거의 모두 How를 담고 있었어요. 이거 괜찮은 건가? 하는 생각이 들더라구요.
그래서, 추론 모델의 프롬프트 방법과 인터넷 상에 공개된 딥리서치 효과적으로 쓰는 방법을 다시 정리해 보는 것을 해 보기로 했습니다.
1. o1-PRO 프롬프트 엔지니어링
추론 모델의 첫 주자인 o1-PRO에 관한 프롬프트 엔지니어링 방법을 찾는 것으로, 추론 모델의 프롬프트 방법을 알아보고자 합니다.
(1) 추론 모델에게 목표를 주고 맡겨라
OpenAI 사용 가이드 - 추론 모델은 일 잘하는 시니어 동료처럼 목표를 주고 믿고, GPT 모델은 주니어 동료처럼 업무 방법을 세세하게 가이드해 줘라.
(2) 추론 모델을 써야 하는 핵심 케이스
모호한 지침으로 일을 처리해야 할 때 - 프롬프트에 세부 지시 사항이 빠져 있어도 알아서 잘함
엄청 많은 구조화되지 않은 정보에서 가장 적절한 정보를 뽑아오고 정보 간의 관계 파악하는 것
여러 단계의 업무 실행을 기획하는 것
이 핵심 케이스만 보더라도 딥리서치는 추론 모델이 잘 할거라는 생각이 듭니다.
(3) 공식 프롬프트 쓰는 방법
목표를 명확하게 하기, 특히 어떤 조건이 만족되어야 목표가 만족되는지를 명확히 하기
제한 조건이 있다면, 숫자 (예: 예산 $500) 혹은 문장으로 전달하기
마크다운, XML, 섹션 타이틀과 같이 맥락 구분 부호나 문법을 쓰기
프롬프트 간결하고 직접적으로 쓰기
예제를 주지 않아도 되나, 잘 안되는 경우 몇 개의 예제를 프롬프트에 추가하기
사고 사슬 (Chain Of Thought) 쓰지 말기
(1), (2), (3) 출처 - Reasoning best practices - OpenAI API
(4) 콘텍스트를 최대한 많이 주기
GPT 모델은 대화를 통해서 사용자로부터 콘텍스트를 뽑아 내지만, o1과 같은 모델은 첫 번째의 프롬프트에 최대한 많은 콘텍스트를 넣어 주면 (위의 (1)번에 나온 것처럼) 그걸 바탕으로 목표 결과를 만들어 냄
(5) 스스로 목표에 달성했는지 판단할 기준을 주기
좋은 결과와 나쁜 결과를 판단할 수 있는 정말 명확한 기준을 주는 것이 결과물 품질을 좌우 한다고 합니다. 사실상 프롬프트 내에 "LLM을 감별사로 쓰기 (LLM-as-a-judge)"가 포함되는 것과 같습니다.
(4), (5) 출처 - o1 isn’t a chat model (and that’s the point)
2. 기존 사업 검증 딥리서치 프롬프트 분석
이제 딥리서치로 사업 검증을 했던 프롬프트를 분석해서 위의 프롬프트 엔지니어링 방법이 잘 적용되고 있는지 살펴보려 합니다.
살펴볼 프롬프트는 OpenAI Deep Research 사용법 및 지피터스 사업에 관한 리서치 진행 사례의 3번째 단계의 "딥리서치를 사용해서 더 심도있는 최종 심층 리서치"를 수행하는 프롬프트 입니다. 영어 원문은 x.com에 있습니다.
분석할 프롬프트는 아래와 같이 대략 위와 같은 구조를 가지고 있습니다. 각각의 프롬프트를 나눠서 분석해 봅시다. 이 분석은 위의 딥리서치가 What 에 집중하고 있는지 보고, What에 집중하도록 수정하여, 그 결과를 수정 전과 비교하는 것이 목표입니다.
# 내가 하려는 사업
[ 사업 아이디어 분석한 딥리서치 보고서 입력 ]
# 다음은 내가 이미 수행한 사전 연구입니다. 이를 사용하여 마지막 분석에 영향을 주되, 자체 연구 수행을 건너뛰지 마세요.
[ Grok3 딥서치로 조사한 x.com 내의 내 사업 아이디어와 관련된 제품과 고객 반응 ]
# 연구/분석의 목표는 다음을 철저히 이해하는 것
여러 기사, 팟캐스트 대본, 레딧, 앱스토어 리뷰, 리뷰 웹사이트 및 사용자들이 유사한 제품/서비스/기능에 대해 일반적으로 논의할 수 있는 인터넷의 다른 소스에서 콘텐츠를 분석해야 합니다.
## (1) 전체 진입 가능 시장
...
## (2) 세부 진입 가능 시장
...
## (3) 경쟁 분석
...
## (4) 시장 기회
...
### A. 고수준의 개요
### B. 시장 분석
### C. 경쟁 분석
### D. 결론
<프롬프트 구조 분석 내용>
딥리서치, Grok3 딥서치 보고서를 사업에 대한 콘텍스트로 제공하여 최대한의 콘텍스트를 제공했음
"연구 분석의ㅣ 목표는 ..."으로 목표가 하위의 (1) 전체 진입 가능 시장, (2) 세부 진입 가능 시장, (3) 경쟁 분석, (4) 시장 기회, 로 길게 나열되어 있는 셈. 이게 명확하게 목표를 지정한 것인가?
여러 기사, 팟캐스트, ... 등으로 어떤 사이트를 참고해야 하는지를 세부적으로 알려줌 = 이건 리서치의 범주를 명확히 제한해 주는 역할을 하고 있 음
위의 전체 프롬프트 구조에서는 How 보다는 콘텍스트, 목표, 제한 사항을 잘 전달해 주고 있는 것 같습니다. 다만, 목표를 세부 Heading 제목과 그 하부 내용에 가야 알수 있기 때문에 상단에 잘 정리하는게 조금 더 나을 것 같기는 합니다.
개선 방향
Heading 2 수준의 리서치의 목표를 하나의 상위 프롬프트로 만들어서 Heading 1 수준이 시작되는 곳에 바로 넣어서, 목표를 명확히 하는 것
Heading 1 수준이 시작되는 곳에 목표가 달성되는 성공 조건, 실패 조건(가능하면 LLM이 스스로 검증 가능한 조건)을 추가 하는 것
(1) 전체 진입 가능 시장
## (1) 전체 진입 가능 시장
- 시장 규모를 측정하기 위해 다음 세 가지 방법을 모두 활용하세요. 이 세 가지 방법 각각에 대한 데이터를 얻은 후, 각 개별 방법에 대한 프로세스를 따라 각 방법의 TAM을 계산하세요. 세 가지 잠재적 TAM을 모두 계산한 후, 이를 하나의 TAM 계산으로 결합하세요.
- 세 가지 방법론:
-- 하향식 접근법: 산업 보고서, 시장 조사 및 거시경제 데이터를 사용하여 전체 시장 규모를 추정합니다. 광범위한 시장에서 시작하여 지리, 인구통계 또는 산업별 필터와 같은 요소를 기반으로 대상 세그먼트로 좁혀나갑니다. 예시: 연구에 따르면 스마트 홈 기기의 글로벌 시장이 500억 달러이고, 귀하의 제품이 해당 시장의 40%와 관련이 있다면, TAM은 약 200억 달러로 추정될 수 있습니다.
-- 상향식 접근법: 실제 데이터 포인트를 사용하여 TAM 계산을 기초부터 구축합니다. 잠재 고객 수를 추정하고, 고객당(또는 거래당) 평균 수익을 결정한 다음, 이 수치들을 곱합니다. 예시: 잠재 고객이 100만 명이고 각각 연간 귀하의 제품에 200달러를 지출할 것으로 예상되면, TAM은 2억 달러가 됩니다.
-- 가치 이론 방법: 귀하의 제품이 고객에게 창출하는 가치와 그들이 그 가치에 대해 지불할 의사가 있는 금액을 추정합니다. 이는 귀하의 제품이 제공하는 비용 절감 또는 추가 수익을 이해한 다음, 고객의 가격 민감도를 평가하는 것을 포함할 수 있습니다. 예시: 귀하의 소프트웨어가 회사에 연간 10,000달러를 절약하도록 도와주고, 가격 책정에서 그 가치의 10%를 확보할 수 있다면, 잠재 고객 기반 전체에 걸친 이러한 절감을 기반으로 TAM을 모델링할 수 있습니다.<프롬프트 분석>
전체 진입 가능 시장 (Total Addressable Market)의 시장 규모를 측정하는 것이 세부 목표로 주어집니다.
최상단 프롬프트 - "세 가지 잠재적 TAM을 모두 계산한 후, 이를 하나의 TAM 계산으로 결합하세요" 라는 문구가 LLM 자체 감별사 역할을 하는 프롬프트가 됩니다. 이 덕분에 좋은 결과의 조건 (세 가자 방법론으로 낸 결과가 모두 어느 정도 일치하는 것)이 명확해졌습니다.
하위 프롬프트 - 하향식, 상향식, 가치 이론 방법을 설명 하는 부분은 과연 필요할까 싶습니다. 이게 이상연 님이 염려하신 불필요한 How 에 해당하는 부분이 아닐까 싶기도 합니다.
개선 방향 -
세 가지 방법을 이름만 명시하고, 세부 설명을 삭제하기
이를 통해서 세 가지 방법을 스스로 추론해서 더 리서치를 잘 수행할 수 있도록 하는 것
(2) 세분화된 진입 가능 시장
## (2) 세분화된 진입 가능 시장(SAM)
- TAM 연구와 제품/서비스로부터 가장 많은 혜택을 받을 것으로 생각되는 사람들을 기반으로 최소 5-7개의 잠재적 시장 세그먼트를 정의하세요. 각 SAM을 정의하기 위해 이 프로세스를 따르세요:
- 세분화 프로세스
-- 1. 고객이 누구인지(나이, 소득 등)에 따라 시장을 세분화하는 대신, 고객이 달성하려는 특정 작업/태스크 또는 일련의 작업/태스크를 파악하는 것부터 시작하세요. 이는 제품이나 서비스를 "고용"할 때 고객이 직면하는 상황, 원하는 결과 및 과제를 이해하는 것을 의미합니다.
-- 2. 고객을 그들이 누구인지가 아니라, 제품을 사용하는 상황과 그들이 원하는 결과에 따라 군집화하세요. 예를 들어, 한 세그먼트는 속도와 편의성(기능적 필요)을 우선시할 수 있고, 다른 세그먼트는 지위와 품질(사회적 및 감정적 필요)을 중요시할 수 있습니다. 두 세그먼트가 동일한 유형의 제품을 구매하더라도, 그들의 필요는 구별됩니다.
-- 3. 각 세그먼트에 대해 깊이 성찰하고 다음을 통해 이해하세요:
--- 고객이 이루려는 특정 진전. 이것은 제품의 기능이 아니라, 그들이 제품이나 서비스를 '고용'하여 수행하려는 '작업'입니다. 예시: 통근자는 단순히 교통 수단이 필요한 것이 아니라, 스트레스 없이 제시간에 직장에 도착할 수 있는 신뢰할 수 있는 방법이 필요합니다.
--- 이러한 고객들이 특정 선택을 하는 이유의 뉘앙스
--- 그들의 근본적인 동기와 사용 맥락
--- 고객들이 해결책을 찾도록 유도하는 상황, 트리거 및 환경을 식별하세요.
-- 4. 각 시장 세그먼트에 대해, 다음 세 가지 차원 모두를 통해 깊이 성찰하고 세심하게 분석하세요:
--- 기능적 가치 (어떤 실용적인 문제가 해결되고 있는지; 우리가 자동화/보강하는 다양한 작업을 수행하는 데 필요한 시간과 노력을 최소화하는 방법; 귀하의 제품이나 서비스가 제공하는 핵심 유틸리티나 기능)
--- 감정적 가치 (제품 사용이 고객의 사회적 지위나 다른 사람들에게 어떻게 인식되는지에 영향을 미치는지; 고객이 제품을 사용하기 전, 도중, 후에 어떻게 느끼는지; 근본적인 문제를 해결함으로써 오는 감정적 혜택—안전함, 흥분, 또는 자신감과 같은 것들)
--- 사회적 가치 (고객이 제품을 사용하기 전, 도중, 또는 후에 추구하는 감정이나 감정 상태; 제품이나 서비스 사용이 개인의 사회적 상호작용과 지위에 어떻게 영향을 미치는지와 관련됨; 이는 외부 인식이나 솔루션이 고객의 사회적 맥락에서 수행하는 역할에 관한 것임)
-- 5. 동기: 고객이 특정 선택을 하는 이유의 뉘앙스를 포착하세요. 이는 고객들이 인구통계학적으로 비슷해 보일지라도 근본적인 동기와 사용 맥락에 기반한 다른 세그먼트를 드러내는 데 도움이 됩니다.<프롬프트 분석>
일단 프롬프트의 불릿 리스트가 계층 구조인데, 이게 텍스트로 완전히 전달이 되지 않고 있어서, Heading 레벨을 3, 4, 5까지 쓰면서 구분을 해 주면, 더 잘 이해할 것 같습니다.
이 섹션의 목표는 5-7개의 잠재적 시장 세그먼트를 조사해서 6가지 요소로 정의하는 것입니다.
1. 고객의 핵심 작업/태스크
2. 상황-트리거-환경
3. 근본적인 동기 & 사용 맥락
4. 기능적 가치
5. 감정적 가치
6. 사회적 가치
그리고 제안하는 프로세스는 How인 것 같지만, 사실상 위의 결과물 What을 만드는데 있어서, 어떤 분석이 Good이고 어떤게 Bad인지 설명하는 것과 같습니다. 다만, 보다 명쾌하지 않아서, 추론에 토큰을 더 많이 쓸 수 있는 여지가 있습니다.
예를 들어, 위 프롬프트에서 기능적 가치에 대해 설명하는 것을 보면
기능적 가치 (어떤 실용적인 문제가 해결되고 있는지; 우리가 자동화/보강하는 다양한 작업을 수행하는 데 필요한 시간과 노력을 최소화하는 방법; 귀하의 제품이나 서비스가 제공하는 핵심 유틸리티나 기능)
이걸 Good/Bad로 정의하는 것으로 바꾸면, 아래와 같은 Good/Bad 설명이 될 수 있죠.
잘 분석된 경우
제품이나 서비스가 구체적으로 어떤 문제(시간, 비용, 수고, 효율 등)를 해결하는지 명확히 기술한다. 예: “기존에는 2시간 걸리는 작업을 30분으로 단축”, “리소스 소모를 50% 줄여줌” 등.
실제 ‘사용 시나리오’에서 도움이 되는 기능(자동화, 원격 제어, 협업 툴, 분석 툴 등)을 고객 입장에서 체감되는 방식으로 표현한다.
“특정 기능이 어떤 실용적인 가치를 만들어내는지”를 핵심 포인트로 언급한다.
잘못 분석된 경우
“우리 서비스는 혁신적이다” “최신 AI 알고리즘을 탑재했다” 등의 추상적 표현에 그치고, 실제로 어떤 기능적 편익이 있는지(시간/비용/노력 절감 등)를 제시하지 않는다.
기능을 나열하기만 하고, 고객이 실질적으로 어떤 상황에서 그 기능을 사용할지에 대한 설명이 빠져 있다.
개선 방향
What + Good/Bad 구분 기준을 명확하게 하는 프롬프트로 재작성하기
(3) 경쟁 분석
## (3) 경쟁 분석
총 주소 가능 시장에서 상위 10개 경쟁업체를 다음을 포함하여 분석:
상위 3개 핵심 가치 제안
주요 / 독특한 판매 제안
일반적인 고객 불만
일반적인 기능 요청<프롬프트 분석>
이 섹션은 시장 기회를 본격적으로 분석하기 전의 사전 리서치를 하기 위함입니다.
명확한 결과물에 대한 기술이 되어 있습니다.
각각에 대해서 Good/Bad 기준을 더 주어주면 더 유용하지 않을까 합니다.
개선 방향
상위 10개 경쟁 업체를 선정할 때의 기준
어떤 사이트, 자료를 바탕으로 하면 더 신뢰성이 높은 분석이 될지에 대한 가이드
(4) 시장 기회
## (4) 시장 기회
세그먼트와 경쟁업체가 위의 작업과 각 차원에 기반하여 명확하게 정의되면, 우리가 어떻게 제품/서비스를 각 세그먼트의 특정 요구를 더 잘 충족시키도록 맞춤화할 수 있는지 깊이 성찰하세요. 각 시장 세그먼트에 대해, 우리가 어떻게 기능, 마케팅 메시지, 또는 전반적인 사용자 경험을 조정하여 대상 작업과 더 깊이 공명할 수 있는지 생각해보세요.
이 영역들에 대한 광범위한 연구를 수행한 후, 모든 발견을 집계하고 분석하세요. 다음 섹션과 하위 섹션을 포함한 종합적인 경쟁 분석 및 시장 조사 보고서를 작성하세요:
A. 고수준 개요
주요 발견사항, 기회, 상위 시장 세그먼트 및 상위 경쟁업체 요약
B. 시장 분석
1. 총 주소 가능 시장
우리가 서비스할 수 있는 전체 시장의 고수준 개요와 TAM이 얼마나 클 수 있는지에 대한 추정
2. 세분화된 주소 가능 시장
우리의 발견과 그 발견에 대한 깊은 성찰을 기반으로 한 각 잠재적 시장 세그먼트의 다차원 분석
3. 작업 맵
각 시장 세그먼트에 대해, 고객이 작업을 완료하려고 할 때 취하는 모든 단계를 개요로 작성하세요.
이 맵은 일반적으로 다음을 포함합니다:
작업 정의: 필요나 문제를 인식함.
대안 식별: 다양한 해결책을 고려함.
해결책 선택: 고용 결정을 내림.
작업 실행: 해결책을 사용함.
결과 평가: 성공과 개선 영역을 평가함.
차원 분석:
각 단계에 대해 다음을 식별하세요:
기능적 필요: 실용적이고 작업 특정적인 요구사항.
사회적 필요: 해결책이 고객의 사회적 정체성이나 지위에 미치는 영향.
감정적 필요: 해결책이 사용 전, 도중, 후에 고객이 느끼게 하는 감정.
4. 주요 원하는 결과 및 통증 지점
고객 우선순위 결정: "성공적인 진전"이 어떤 모습인지 깊이 성찰하세요. 작업 맵의 각 단계에서 고객이 원하는 주요 결과를 식별하세요. 예시: "통근"을 위한 작업 맵에서 결과는 속도, 비용 효율성, 편안함 및 신뢰성을 포함할 수 있습니다.
중요성 및 만족도 정량화: 각 결과가 얼마나 중요한지와 고객이 현재 솔루션에 얼마나 만족하는지 평가하세요.
통증 지점 식별: 중요성은 높지만 만족도가 낮은 영역을 찾으세요—이는 혁신을 위한 기회를 나타냅니다.
5. 시장 기회
우리가 어떻게 제품/서비스를 각 세그먼트의 특정 요구를 더 잘 충족시키도록 맞춤화할 수 있는지 깊이 성찰하세요. 각 시장 세그먼트에 대해, 우리가 어떻게 기능, 마케팅 메시지, 또는 전반적인 사용자 경험을 조정하여 대상 작업과 더 깊이 공명할 수 있는지 생각해보세요.
통증 지점을 해결하고 기능적, 사회적, 감정적 차원을 만족시키는 다양한 제품/서비스/기능 방향을 구상하세요.
각 아이디어가 고객이 작업을 완료하기 위해 따르는 전체 프로세스 내에 맞는지 확인하세요.
C. 경쟁 분석
시장 분석과 작업 맵을 기반으로, 우리의 경쟁업체가 수행해야 할 모든 작업과 관련하여 시장에서 어떻게 위치하고 있는지 깊이 성찰하세요.
우리가 제품/기능/서비스를 어떻게 구성하거나 구축할 수 있는지 5-7가지 방법을 식별하여:
추가 시장 점유율 확보
충분히 서비스되지 않는 시장 서비스
경쟁업체보다 경쟁 우위 유지
D. 결론
모든 시장 세그먼트, 수행해야 할 작업 및 경쟁 분석을 분석하여 성공 가능성을 높이기 위해 우리의 제품/서비스가 취할 수 있는 세 가지 최상의 방향을 제시하세요.<프롬프트 분석>
A섹션부터 B.1, B,2 섹션까지는 이전의 리서치를 정리하는 것입니다.
이후는 이전의 리서치를 바탕으로, 추가적인 리서치와 분석을 진행합니다.
이전 섹션과 마찬가지로, 세부 목표 What 과 함께 How가 제시되고 있습니다. 다만, 이 How에서 Good/Bad의 판단 기준이 포함되지 않는 것도 있어서, AI에게 해석의 여지가 더 있을 수 있습니다.
예를 들어, B.3 작업맵의 경우,
작업 정의: 필요나 문제를 인식함
← 필요나 문제를 인식하더라도 아무런 행동을 안할 정도로 미비한 것일 수 있습니다. 뒤 따르는 행동이 있는 니즈, 문제라는 기준이 명확히 제시되지 않았습니다
← 또한, 이게 신뢰할만한 출처인가가 이게 Good/Bad 리서치가 될지 거의 결정
How를 전달하며 Good/Bad 기준을 잘 제공하지 못하더라도, 신뢰할 수 있는 출처 (리서치 해 봐야 할 사이트, 첨부된 문서 등)을 제공한다면, 좋은 결과를 얻을 수 있을 것으로 보입니다
개선 방향
리서치를 진행할 신뢰할 수 있는 사이트 등 찾아봐야 할 출처를 더 구체화해서 Good 리서치 되게 하기
(1) ~ (4)의 프롬프트 개선 방향 나왔던 것 모두 정리
위의 프롬프트 개선 방향에서 논의한 것을 정리해 봅니다.
마크다운 사용해서 프롬프트를 잘 구조화해서 넣기, 최종 결과물을 더 명시적으로 제시하기
진행 방법을 지정해 주고 싶다면, 이미 잘 알려진 방법론으로 설명하고, 추가 설명을 줄이기
딥리서치가 리서치 도중 선택해야 하는 것 이 있다면, 기준 명확히 제공 (예: 경쟁 업체 10곳)
신뢰할 수 있는 사이트 등 찾아봐야 할 출처를 더 구체화해서 Good 리서치 되게 하기
결국 이런 것들이 딥리서치를 더 잘 쓰기 위한 방법이 됩니다.
이런 것들을 직접 하지 않고, o1이나 o3-mini 모델을 사용해서 기존 원문 프롬프트를 개선할 수 있을 것 같았어요.
그래서 영어 원문 프롬프트를 o1-PRO 모델로 개선을 해 보았습니다.
위의 모든 것을 다 개선시도 하기에는 너무 일이 복잡해지고 있기 때문에 ... 1번이 저는 가장 중요하다고 생각이 들어서, 1번을 시도해 보았습니다.
<< 최종 결과물 명확하게 하고, 마크다운 포맷을 잘 정리하기 >>
인스트럭션=
"""아래는 리서치를 수행하는 에이전트 AI에게 요청할 프롬프트야. 이 전체 프로젝트의 가장 좋은 결과물에 대해서 어떤 내용이어야 하는지, 어떤 포맷이어야 하는지 결과물에 관한 목표를 명시적으로 정리해줘. 특히, 목표 결과물이 좋은 것인지, 안 좋은 것인이 에이전트 AI가 중간 중간에 잘 판단할 수 있도록 검증 가능한 조건을 붙여서 명시해줘."""
프롬프트=
"""
I want to build a business that [“enter your idea”] for [“enter a potential target market”].
My goal is to minimize the time and effort to [“enter your core value proposition”]
<중략>
...
"""먼저 명확한 목표와 (가능한 측정 가능한) 좋은 결과를 판단하는 방법을 정리하게 해 보았습니다. 그 결과의 원문 전체는 여기에서 보실 수 있습니다.
대략적으로 아래와 같습니다.
...
...
결과적으로 좀더 분명한 결과 리포트의 포맷, 채워야 하는 내용, 각 내용이 어떻게 되는 것이 좋은 것인지 잘 정리되었습니다만, 원문을 읽어보시면, 그 내용의 차이가 크게 없습니다. 위의 내용 일부와 아래의 원문의 프롬프트를 비교해 보면 이런 점이 잘 드러납니다.
TAM을 계산할 때, 그럼 좋은 TAM 계산 방법은 무엇일까요? 전체 맥락을 제외하고, 이 하나의 질문에만 집중하면 어떤 대답이 나오는지 살펴볼 필요가 있는 것 같습니다. 이번엔 o3-mini-high에게 문의해 보았습니다.
너는 스타트업 VC 전문가야. 좋은 TAM 계산의 조건은 무엇인가?
좋은 TAM 계산은 단순히 시장 규모를 산출하는 것을 넘어, 아래와 같은 여러 조건을 충족해야 합니다.
다양한 방법론의 활용
Top-Down 접근법: 신뢰할 수 있는 산업 보고서와 거시경제 데이터를 기반으로 전체 시장 규모를 파악한 후, 타깃 세그먼트로 좁혀 나가는 방식
Bottom-Up 접근법: 실제 고객 수, 단위당 매출, 고객 당 평균 소비액 등을 세밀하게 추산하여 계산하는 방식
Value Theory 접근법: 제품/서비스가 고객에게 제공하는 가치(비용 절감 또는 추가 수익 창출)를 바탕으로 고객이 지불할 의사를 반영하는 방식
이 세 가지 방법을 모두 활용하여 서로 보완하고, 결과를 비교·종합하는 것이 중요합니다.
신뢰할 수 있는 데이터와 근거
출처 명시: 정부 통계, 업계 리포트, 시장 조사 기관 등 신뢰성 있는 데이터를 사용하고, 각 데이터의 출처와 가정을 명확히 해야 합니다.
최신성: 시장 상황은 빠르게 변하기 때문에 최신 데이터를 반영해야 하며, 필요에 따라 민감도 분석을 통해 불확실성을 고려합니다.
명확한 가정 및 투명한 분석 과정
가정의 명시: 계산 과정에서 사용한 모든 가정(예: 고객의 구매 빈도, 평균 소비액, 시장 침투율 등)을 명시하고, 각 가정의 타당성을 설명해야 합니다.
리스크 평가: 가정이 변경될 경우 TAM이 어떻게 달라지는지를 분석하는 민감도 분석이 포함되어야 합니다.
시장 세분화 및 타깃 명확화
세분화: 전체 시장 중에서도 우리가 집중할 수 있는 서비스 가능한 시장(Serviceable Addressable Market, SAM)과 도달 가능한 시장(Serviceable Obtainable Market, SOM)을 명확히 구분해야 합니다.
고객 이해: 고객이 어떤 문제를 해결하기 위해 제품을 사용하는지, 그들의 니즈와 행동 패턴을 반영하여 타깃 고객군을 명확히 해야 합니다.
경쟁 환경 및 현실적 제약 반영
경쟁 분석: 주요 경쟁사와 시장의 경쟁 구조, 진입 장벽 등을 고려하여 실제 시장 침투 가능성을 평가해야 합니다.
현실적인 한계: 규제, 인프라, 유통 채널 등 현실적 제약 요소를 반영하여 과도한 시장 규모 추정을 방지합니다.
이와 같이 여러 방법론을 통한 상호 검증, 투명한 데이터와 가정, 그리고 실제 시장 상황을 반영한 분석이 결합될 때, 훌륭한 TAM 계산이라고 할 수 있습니다.이 내용에서 확인할 수 있는 것은, TAM 계산에 있어서, 신뢰할 수 있는 데이터와 근거가 필요하다는 것, 가정과 민감도 (가정이 변하는지에 따라서 전체 결과가 얼마나 변하는지에 관한 정량적 지표)가 제가 생각을 하지 못했던 부분이었습니다.
그래서 원래의 "결과물의 "좋은 품질"을 검증할 수 있는 명시적 조건" 검증 체크리스트에 아래와 같은 내용이 추가 될 수 있을 것 같아요.
1. TAM 산출 3종류 모두 제시 여부
- Top-Down, Bottom-Up, Value Theory 각각의 근거 자료와 계산 과정이 명확히 기술되어 있는가?
- 세 방법에서 나온 수치를 단순 나열에 그치지 않고, 통합/비교/종합 분석했는가?
- 각각의 근거 자료가 충분히 신뢰할 수 있는 자료 혹은 출처를 가지고 있는 것인가?
- 계산 과정에서 가정된 가설의 민감도(사실 정확도에 따라서 전체 결과가 변화하는 정도)가 너무 크지는 않은가?결국, 더 좋은 결과물을 얻기 위해서는 결과물에 대한 Good/bad를 판단할 수 있는 조건을 세부적으로 다른 이성 모델과 논의해 보면서 더 좋은 결과의 기준을 구체화하는 것이 전체 결과가 좋아지는 데 도움이 될 수 있을 것 같습니다.
위의 명시적 조건을 더 개선하기 위해서 두 번째 조건에 대해서 o3-mini-high와 추가로 대화를 나눠보았습니다.
스타트업을 위한 시장 분석에 있어서, 시장 세분화를 하려해. 그 결과가 좋은 결과인지 품질을 검증할 수 있는 명시적인 조건을 찾으려해. 아래 세부 사항에 추가할 수 있는 명시적인 조건이 더 있을까?
"""시장 세분화(5~7개 이상) 충실성
고객이 ‘누구’인지가 아니라 ‘무슨 일(작업)’을 하기 위해 제품/서비스를 사용하는지에 기반한 세분화가 되었는가?
각 세그먼트마다 기능적/감성적/사회적 가치를 구체적으로 설명했는가?
추가로 고려해볼 수 있는 명시적 조건은 아래와 같습니다.
- **시장 범위 및 정의의 명확성**
각 세그먼트가 전체 시장에서 어떤 위치를 차지하며, 경계가 명확하게 설정되어 있는지 확인합니다. (예: 중복 없이 전체 고객을 포괄하는지)
- **데이터 기반 근거 확보**
정량적(설문, 구매 데이터, 웹 분석 등)·정성적(인터뷰, 포커스 그룹 등) 데이터를 활용하여 세분화가 이루어졌는지 검증합니다.
- **시장 규모 및 성장 잠재력 분석**
각 세그먼트별로 시장 규모, 성장률, 수익성 등의 수치적 지표를 분석해, 타겟팅의 경제적 타당성을 평가합니다.
- **경쟁 분석 및 차별화 전략**
각 세그먼트 내 주요 경쟁자와의 차별화 포인트를 명확히 하여, 스타트업이 해당 세그먼트에서 경쟁 우위를 확보할 수 있는지를 검토합니다.
- **실행 가능성 및 전략적 적합성**
각 세그먼트에 대해 구체적인 마케팅, 영업, 제품/서비스 전략이 수립되어 있고, 스타트업의 역량 및 자원과 잘 맞는지 평가합니다.
- **고객 여정 및 접점 분석**
세그먼트별 고객의 구매 여정, 결정 과정, 접점 등을 분석하여, 효과적인 고객 접근 및 유지 전략을 마련합니다.
- **정기적 피드백 및 업데이트 프로세스**
시장 변화와 고객 피드백을 반영해 세분화 결과를 주기적으로 재검증하고 업데이트할 수 있는 체계가 마련되어 있는지 확인합니다.
이러한 조건들을 추가하면, 단순히 고객의 작업(What Job They’re Hiring For)에 기반한 세분화 외에도, 시장의 타당성, 경쟁 환경, 실행 가능성 등 여러 측면에서 검증할 수 있어 보다 탄탄한 전략 수립이 가능해집니다.제가 놓치고 있었던 것은
세그먼트 분석에서 결국 나의 사업 아이디어가 충분히 다른 경쟁사 대비 우월할 수 있어야 그게 내가 고려할 수 있는 유효한 고객 세그먼트라는 것
이 부분이었습니다. 이 부분은 Jobs Map을 분석하면서 더 구체화되는 부분이긴 합니다. 즉, 제대로된 시장 분석을 위해서는 각 시장 세그먼테이션을 할 때, 우리가 제공하려는 제품이 경쟁 제품 대비 어느 정도 우위에 있는지가 정량적으로 분석되어, 그 경쟁력으로 말미암아 어느 정도의 시장을 차지할 수 있을거라는 분석이 되어야 합니다.
더 간단히 얘기하자면, 경쟁 우위가 확실한 고객 세그먼트만 분석이 되는게 맞다는 얘기입니다. 예를 들어, Notion의 시장 규모를 얘기할 때, On-premise로 문서 툴을 무조건 써야 하는 기업이 고객에 포함되는 시장 규모를 보는 것은 의미가 없겠죠. Notion은 SaaS로만 제공되고 on-premise 제공이 안되니까요. 프랜차이즈가 아닌, 갈비집 한 곳의 시장 규모를 파악하는데, 지역적인 위치를 생각하지 않고, 전국민을 대상으로 시장 규모 산정을 하면 안되겠죠.
그런데, 이런 부분을 프롬프트로 모두 설명해 줄 수도 있을 것 같습니다만, 과연 그렇게 했을 때 딥리서치는 그런 모든 것을 고려해서 리서치를 수행할 수 있을까요?
3. 결국 Test-time-compute의 용량
지금까지의 분석 내용을 정리하면 아래와 같습니다.
이상연 님의 얘기처럼, 내가 원하는 결과물을 명확히 알려주고, 공식 가이드에 나온 것처럼, 어떤 조건이 만족되어야 하는지 결과물에 대한 Good/bad를 명확히 알려줘야 합니다.
시장 조사를 위한 딥리서치의 프롬프트를 분석해 보면, How 형태로 쓰여져 있어서, 결과 목표를 제시해 주는 것이 아닌 마치 어떤 프로세스를 따라서 하라고 나와있는 것처럼 보입니다. 하지만, 그 프로세스가 어떤 결과를 만들어야 하는지 간접적으로 나타내고 있습니다.
구체적인 목표로 o1-pro와 같은 모델로 다시 정리할 수 있고, 개별 목표에 대해서 더 추론 모델과 대화하면서 빠져있는 "좋은 결과인지 검증할 수 있는 조건"을 찾을 수 있습니다. 그리고, 그런 추가적인 조건을 프롬프트에 추가할 수 있습니다.
결국 딥리서치를 잘 쓰는 것은 다른 추론 모델을 가지고, 내가 원하는 목표를 얼마나 구체적이고 명확하게 프롬프트로 써 내는지에 달려 있는 것 같습니다. 특히 목표 결과물의 내용, 포맷, 좋은 결과인지 판단할 수 있는 명확한 기준이 필요합니다.
그런데, 좀 웃기지 않나요?
결국, 목표를 명확하게 하는 것을 AI 모델에게 도움을 받는다면, 애시당초 똑똑한 모델이 알아서 잘 하면 될 것인데, 우리가 더 프롬프트를 해서 명확히 해야 하는 사실이 말이죠.
여기서 이런 프롬프트 엔지니어링에서의 교훈을 얻습니다.
(i) 딥리서치가 생각하는 시간 (Test-time-compute)은 한정적입니다.
이건 OpenAI가 설정한 것이라, 우리가 바꿀 수 있지 않습니다. 그리고, 딥리서치에도 o3-mini-low, o3-mini-high와 같이 low, high 선택권을 준다고 해도 이 모델이 쓰는 리소스가 한정되어 있다는 것은 변하지 않습니다.
그렇기 때문에, 우리가 딥리서치 이 친구에게 어떤 부분을 집중적으로 고민해서 알아봐야 할지를 한정해 주는 것이 중요해 집니다. o1-pro 모델과 대화하며 딥리서치가 해야 할 리서치의 목표 결과물, 판단 기준을 구체화하는 것도 결국에는 이 한정을 해 주는 일이 됩니다.
이건 미래에도 다르지 않을 것 같아요. AI 모델의 생각하는 시간 (Test-time-compute)는 사용료와 직결됩니다. 그래서, 이 한정된 리소스를 얼마나 잘 쓸 수 있으냐 하는 것이 AI에게 일을 시키는 사람에게 필요한 부분입니다. 그리고, 이걸 잘 하는 것이 프롬프트 엔지니어링의 핵심이 될 것 같아요.
이 생각은 또 다른 생각으로 연결되었는데요, 같은 이유로 딥리서치를 사용하는데 How로 해야 할 일을 알려주는 프롬프트가 더 중요하다는 것을 깨달았습니다.
(ii) 딥리서치에게 자세한 How를 지정해 주지 않으면 생각을 더 짧게 하려 합니다
딥리서치의 생각하는 시간(Test-time-compute)는 OpenAI의 비용입니다. 그리고 OpenAI는 딥리서치를 쓰는 양이나, 뽑아내는 리포트의 길이로 과금하지 않기 때문에, 간략한 프롬프트에는 간략한 리포트 (A4 5-7장 정도의 리포트)를 제공합니다.
이번에 사업 검증을 위해서, 긴 프롬프트로 해야 할 일을 엄청 많이 나열해서 How 형태로 쓴 프롬프트는 이에 비해 더 길게 결과를 뽑아 냈습니다 (프롬프트 전문 링크, 결과 리포트 전문 - 약 32 페이지 리포트).
이렇게 긴 결과를 뽑아낼 수 있었던 이유는, 시장 기회를 탐색하는데 있어서 이 게시물에서 분석한 것처럼 해야 할 Task를 자세하고 길게 나열했기 때문이라고 추정됩니다.
즉, 목표 결과물 What 중심으로 쓰는 경우에, 이 결과를 얻기 위해서 딥리서치는 최단 시간의 생각만 하도록 디자인 되었을거라 생각합니다. 그래서 How로 나열하는 경우, 더 복잡한 일, 깊은 일을 시킬 수 있고, 더 자세한 결과를 얻을 수 있게 되는 것 같아요.
결론
이상연 님이 제시해준 딥리서치의 프롬프트 방법에 대해서 제 나름 여러 가지 분석을 해 보았습니다. 가장 핵심은,
딥리처시가 만들어 내야 하는 결과물과, 그 결과물이 좋은지/나쁜지 판단하는 정량/정성적 기준을 명확히 주기
긴 사고 과정을 통해, 긴 리포트를 뽑아내기 위해서는 어떻게 그 리포트를 만들어 가야 하는지 자세하게 나열하는 How 를 지정하는 것은 여전히 필요함
이런 딥리서치의 프롬프트를 만들기 위해서는 o1과 같은 추론 모델의 도움을 받아 프롬프트를 계속 개선해 가면서 공을 들여야 함
이렇게 요약할 수 있을 것 같아요. 다음 마지막 주차에서는 나름 정리한 딥리서치 사용 방법을 가이드로 만들고, 그 가이드를 활용해서 1주차에 제시해 드렸던 사업 검증 프롬프트를 수정해 보도록 하겠습니다. 저도 계속 써 먹을 수 있게요.