https://www.youtube.com/watch?v=scsW6_2SPC4&t=1342s
주제선정 이유
케빈 웨일은 Twitter, Instagram, Facebook 등 빅테크 경험을 바탕으로 현재 세계에서 가장 빠르게 진화하는 조직인 OpenAI의 CPO로 일하고 있습니다. 그가 설명하는 2개월 단위 업데이트, 반복 배포, 모델 중심 제품 전략은 기존 제품 개발과 다른 접근법을 요구합니다. 이처럼 초고속 변화 속에서 어떻게 일하고, 어떤 역량이 필요한지를 이해하기 위해 주제를 선정했습니다 🙂
내용 요약
■ AI 기술 발전과 사고방식 변화
- 지금 우리가 쓰는 AI 모델은 앞으로 쓸 모델 중 가장 낮은 성능을 가진 것이라는 점을 강조하며, 기술은 2개월마다 새로운 능력을 갖추기에 근본적으로 다른 방식의 사고가 필요하다고 함.
- GPT-3에서 ChatGPT까지의 도약처럼, 모델은 더 빨라지고 저렴하고 안전해지며, 무어의 법칙을 넘는 속도로 진화 중.
- OpenAI는 다음 모델이 곧 현재의 한계를 무너뜨릴 것이라는 가정을 바탕으로 제품을 개발해야 함. 성능 한계에 맞춘 제품도 곧 비약적으로 개선될 가능성이 있음.(“모델 최대화(Model Maximalism)” 접근: 모델의 한계에 맞춰 제품을 만들되, 곧 모델이 따라올 것이라는 믿음 아래 설계)
■ OpenAI의 제품 철학과 조직 문화
- 케빈은 Twitter, Instagram, Facebook에서의 경험과 달리, OpenAI는 기술의 변화 주기가 매우 짧아 2개월 단위로 사고하고 실행함.
- 제품 로드맵은 있지만, 빠르게 변하는 기술에 맞춰 유연하게 수정. 상향식 실행 구조와 빠른 반복 배포를 지향하며, 모델의 완전한 기능을 알지 못하더라도 일단 공개하고 공개적으로 반복하여 발전시키는 것이 훨씬 낫다 라고 표현함.
■ AI 제품 개발의 핵심요소 (PM의 역량): Evals와 Fine-tuning
- ‘Evals’은 모델이 특정 주제나 질문에 얼마나 잘 반응하는지 측정하는 테스트로, 모델의 성능을 평가하는 퀴즈와 같음. 즉, 시험지처럼 기능할 수 있음
(예: “이 모델은 이 작업을 60%, 95%, 99.5% 정확도로 수행하는가?” → 이에 따라 제품 설계와 목표를 달리함.)
- AI의 능력은 Evals 품질에 의존하며, 기업들은 공개되지 않은 산업 데이터를 바탕으로 맞춤형 학습과 미세조정(Fine-tuning)이 중요해짐. Evals 작성 능력은 제품 매니저뿐만 아니라 제품 개발자에게도 핵심 역량이 되고 있음.
- 제품 팀 구조의 변화: 미래에는 연구자 또는 머신러닝 엔지니어 유형의 인력이 모든 제품 팀에 포함될 것이라고 예측하며, 이는 모델을 특정 사용 사례에 맞게 미세 조정(fine-tuning)하는 것이 제품 개발의 핵심 워크플로우가 될 것이라고 함.
[추가1]
데이터 기반 모델 훈련: 모델은 지능적이지만, 대부분의 기업 및 산업 데이터는 공공에 공개되어 있지 않기 때문에 모델을 맞춤형으로 훈련시켜야 한다고 설명함. 미래에는 회사 특정 데이터로 미세 조정(fine-tuning)하여 매우 유능하게 작동할 것이며, 이는 맞춤형 Evals로 측정됨.
[추가2]
기존에는 주로 연구 팀이 모델을 개발하고, 제품 팀은 이를 가져와 활용하는 식이었다면, 미래에는 제품 팀, 엔지니어링 팀, 디자인 팀 그리고 연구 팀이 하나의 팀처럼 긴밀하게 협력하며 반복적인 피드백을 통해 제품을 개발하게 될 것. PM은 이러한 협업을 통해 모델의 성능을 제품에 최적화하고, 제품의 요구사항을 모델 개발에 반영하는 중요한 역할을 수행. (Open AI에서는, 여러 미세조정 모델을 앙상블(ensemble)방식으로 조합하여 활용함. (이는 인간이 문제를 해결하는 방식과 유사 / 각각의 강점을 조합)
■ 바이브 코딩과 새로운 워크플로우
- 바이브 코딩(Vibe coding): GitHub Copilot, Cursor 등을 활용해 제안 코드를 받아들이고 수정하며 빠르게 프로토타입을 만드는 방식.
- OpenAI 내부에서도 인사 담당자가 이 방법으로 사내 도구를 제작했고, 앞으로 많은 워크플로우가 이처럼 바뀔 것으로 봄. (Figma에서 디자인을 보여주는 대신, 30분 만에 **바이브 코딩으로 프로토타입을 만들은 바가 있음)
🤖OPEN AI 제품 팀 운영 철학 (**PM의 필수 역량**)
1) 높은 주도성(High Agency): 다른 사람의 허락을 기다리지 않고 문제가 보이면 즉시 해결하려는 사람을 선호합니다.
2) 모호성 수용: AI 환경에서는 불확실성이 매우 크므로 모호함을 편안하게 받아들이고 빠르게 실행하는 능력이 중요합니다.
3) 영향력 있는 리더십: 팀에 단순히 지시하는 것을 넘어, 신뢰 구축과 영향력 있는 리더십을 통해 협력해야 합니다.
4) 결단력: 모호한 상황에서 결단력을 가지고 팀을 이끄는 것이 중요합니다.
5) EQ: 연구팀과의 좋은 관계를 구축하는 등 EQ(감성 지능)가 매우 중요하다고 언급합니다.
■ AI 시대의 시장 기회
- OpenAI 같은 파운데이션 모델 기업은 모든 사용 사례를 직접 만들 수 없음 → 스타트업 생태계에 엄청난 기회가 열림.
- 현재 300만 명의 개발자가 API를 통해 다양한 산업에서 AI 제품을 개발 중. 특히 도메인 전문성을 갖춘 스타트업의 역할이 중요함.
■ 교육과 창의성에 미치는 AI의 영향
- AI는 최고의 재교육(reskilling) 도구가 될 수 있음. ChatGPT는 지식 이전의 도구일 뿐 아니라 학습 도구로도 강력함.
- 20억 명의 아이들을 위한 개인화 AI 튜터링 솔루션이 없다는 점은 가장 큰 기회 중 하나.
- 창의성 측면에서도 AI는 새로운 표현 수단을 제공함. 예: ImageGen, Sora 등을 활용한 창작 가능성 확장.
나눌 만한 주제
실제 OPEN AI에서 실행하고 있는 반복적 배포, 모델 최대화 전략은 어떻게 실무에서 적용할 수 있을지?
- 빠른 실행과 실수 포용 사이의 균형 , 반복 배포가 실패했거나 성공했던 실제 경험각자가 생각하는 PM의 중요 역량에 대한 정의
- 주요 역량을 키우기 위해 어떤 노력을 하고있는지
- 겪었던 의사결정 혼란과 해결 경험실제 프로덕트에 AI 평가지표를 설계하고, 적용해 본 경험
- 없다면, AI 제품을 만든다면 어떤 평가지표(Evals)를 설계할 수 있을지에 대한 논의
