LLM 노코드툴 IMZA AI를 만들고 있는 스티브입니다.
이메일을 회람하면 회람한 내용을 어떤 외국어든 한국어로 번역하고, 대기업 기획부서에서 CEO보고서를 작성한 것처럼 요약한 보고서 형태로 회신하는 메일봇을 만들었습니다.
다른 작업 없이 사용자의 메일 박스에 있는 메일을 메일봇으로 회람하기만 하면 요약보고서를 보내주는 이메일봇이에요.
시스템 프롬프트가 같은 조건에서 Claude 3-opus VS ChatGPT 4-o가 어떤 성능 차이를 보이는지 비교평가해보았습니다.
실제 응답 속도와 내용을 분석하는데 포커스하는 포스팅이라, IMZA AI를 통해서 이메일봇을 만드는 방법은 AI로 글쓰기 게시판에 있는 ‘고민상담 이메일봇’ 게시물을 참조해주세요.
IMZA 사용사례(고민상담 이메일봇) GPTers 포스팅
샘플 메일 선정
제 메일박스에 있는 이메일 중에서 Acquire.com이라는 스타트업이나 스멀 비즈니스 M&A 플랫폼에서 보내준 이메일의 기업 매물 내용을 한 번 복사해서 테스트 해보겠습니다.
아래는 테스트한 이메일 본문 텍스트 입니다.
===이메일 샘플 내용===
Company overview
This Shopify application offers a powerful promotion tool for e-commerce businesses, enabling them to increase average order value by offering various gift promotions such as "Buy One Get One" and "Free Gift With Purchase." It integrates directly with Shopify, providing seamless functionality with current themes and can be managed within the Shopify admin for user convenience. Its versatility makes it a popular choice for online merchants looking to incentivize purchases and enhance customer satisfaction.
With an impressive $1.86 million in ARR and 10% growth year over year, and 68% EBITDA, all while maintaining a 4.9-star rating with over 1,500 reviews on the Shopify Store, this application stands out as a leader in the market.
KEY HIGHLIGHTS
$1,600,000 in TTM revenue
$1,100,000 in TTM profit
$147,000 in revenue last month
$98,000 profit last month
$1,800,000 in ARR
COMPETITORS
BOGO+ | Easy Free Gift Upsell
Free Gift Box: BOGO+Buy X Get Y
DUE DILIGENCE ITEMS AVAILABLE
Profit and Loss Statement
Key Customer Metrics
Company Overview Deck
Tech Stack Overview
Customer Testimonials
FINANCING
Bootstrapped
REASON FOR SELLING
Founder is moving on to start another venture
===이메일 샘플 내용 끝===
첫번째, Claude 3 Opus 모델을 탑재한 어시스턴트의 답변 결과
IMZA에서 이메일봇 flow를 설계해서 테스트 모드에서 실행해보았습니다. 성공적으로 답변이 출력되었어요.
답변내용 전문:
회사 개요
이 Shopify 애플리케이션은 전자상거래 기업을 위한 강력한 프로모션 도구로, "1+1" 및 "구매 시 무료 선물" 등 다양한 선물 프로모션을 제공하여 평균 주문 가치를 높일 수 있습니다. Shopify와 직접 통합되어 현재 테마와 원활하게 기능하며 사용자 편의를 위해 Shopify 관리자 내에서 관리할 수 있습니다. 그 다재다능함 덕분에 구매를 장려하고 고객 만족도를 높이려는 온라인 상인들에게 인기 있는 선택입니다.
연간 경상수익(ARR) 186만 달러, 전년 대비 10% 성장, EBITDA 68%의 인상적인 성과를 거두었으며, Shopify 스토어에서 1,500개 이상의 리뷰에서 4.9점의 평점을 유지하면서 이 애플리케이션은 시장에 서 선두주자로 자리매김하고 있습니다.
주요 하이라이트 지난 12개월 매출 1,600,000달러 지난 12개월 이익 1,100,000달러 지난 달 매출 147,000달러 지난 달 이익 98,000달러 연간 경상수익(ARR) 1,800,000달러 경쟁사 BOGO+ | Easy Free Gift Upsell Free Gift Box: BOGO+Buy X Get Y 실사 가능 항목 손익계산서 주요 고객 지표 회사 개요 자료 기술 스택 개요 고객 추천사 자금조달 자체 자금 매각 사유 창업자가 새로운 벤처 사업을 시작하기 위해 회사를 떠남
두번째, GPT-4o 모델을 탑재한 어시스턴트의 답변 결과
이번에는 같은 프롬프트 환경에서 LLM Model만 GPT-4o로 바꿔서 테스트해보겠습니다.
답변내용 전문:
Shopify 애플리케이션 개요 및 보고서 회사 개요
이 Shopify 애플리케이션은 전자상거래 비즈니스에 강력한 프로모션 도구를 제공하여 "하나 사면 하나 더" 또는 "구매 시 무료 선물 증정"과 같은 다양한 선물 프로모션을 통해 평균 주문 가치를 증가시키는 것을 목표로 합니다. 이 애플리케이션은 Shopify와 직접 통합되어 현재 테마와 원활하게 작동하며, 사용자 편의를 위해 Shopify 관리자에서 관리할 수 있습니다. 그 다재다능함은 구매를 장려하고 고객 만족도를 향상시키려는 온라인 상인들에게 인기를 끌고 있습니다.
현재 연간 반복 수익(ARR) $1.86백만 달러, 연평균 10% 성장률과 68%의 EBITDA를 기록하고 있으며, Shopify 스토어에서 1,500개 이상의 리뷰와 함께 별점 4.9를 유지하고 있어 시장에서 선두주자로 자리매김하고 있습니다.
주요 하이라이트 최근 12개월 매출: $1,600,000 최근 12개월 이익: $1,100,000 지난달 매출: $147,000 지난달 이익: $98,000 연간 반복 수익(ARR): $1,800,000 주요 경쟁사 BOGO+ | Easy Free Gift Upsell Free Gift Box: BOGO+Buy X Get Y 실사 항목 제공 손익 계산서 주요 고객 지표 회사 개요 자료 기술 스택 개요 고객 추천서 자금 조달 자체 자금 조달 매각 이유 설립자는 새로운 사업을 시작하기 위해 이동 중
본 보고서는 회사의 주요 성과와 현재 상태를 종합적으로 요약한 것입니다. 주어진 데이터를 기반으로 회사는 지속적인 성장과 높은 수익성을 보이며, 시장에서 강력한 경쟁력을 가지고 있음을 알 수 있습니다.
Claude 3 Opus VS GPT 4o 결과 비교 분석
두 Model을 비교해보면 GPT 4o는 역시 답변이 빠릅니다.
답변 내용에 있어서는, Claude 3 Opus와 유사한 답변이 나왔습니다.
하지만, 뉴앙스 측면에서 Claude 3 답변이 더 우수합니다.
예를 들어, Claude 3 Opus는 매각 사유로 “창업자가 새로운 벤처 사 업을 시작하기 위해 회사를 떠남”이라고 벤처 사업분야에 적합한 어휘선택을 한 반면에 GPT 4o는 “설립자는 새로운 사업을 시작하기 위해 이동 중” 라고 어색한 번역을 했어요.
다른 예로 Buy 1 Get 1이라는 표현을 Claude 3 Opus는 "1+1" 로 번역한 반면, GPT 4o는 "하나 사면 하나 더" 로 번역했어요.
회계용어와 같은 좀 딱딱하고 드라이한 단어들은 차이가 없지만, 문맥이나 한국에서 쓰는 관용어를 구사할 때 Claude 3가 더 우수합니다.
지금은 이메일봇을 만들 것으므로, 빠른 시간보다는 자연스러운 답변 품질이 더 우수한 Claude 3를 최종 선택해서 배포하겠습니다.
이메일 봇 배포
이메일을 주고받을 때 보게 되는 메일봇의 이름을 “CEO보고 비서”로 설정하고 Deploy버튼을 누릅니다.
로 이메일봇 주소가 생성되었습니다.
샘플 이메일을 실제 배포한 메일봇으로 회람해보기
테스트할 때 본문을 사용했던 이메일을 메일봇 주소로 포워드해보겠습니다. 아무런 부가 설명없이 그냥 일단 보내볼게요.
별다른 요청사항 없이 회람만으로 번역과 요약이 성공적으로 이뤄졌습니다. 1분만에 답변이 왔는데 이메일에서는 약술형 답변이 잘 정리되어서 출력됩니다.
실제 배포한 이메일봇에서 회신 받은 답변 결과
요약 보고서
개요
Shopify 앱으로 맞춤형 사은품 제공 솔루션을 통해 방문자를 고객으로 전환
최근 12개월 매출 $1.6백만, 이익 $1.1백만 달성
주요 특징
최근 12개월 매출 $1,600,000
최근 12개월 이익 $1,100,000
지난 달 매출 $147,000
지난 달 이익 $98,000
연간 경상 수익 $1,800,000
Shopify 스토어에서 1,500개 이상의 리뷰로 4.9점 평점 유지
경쟁사
BOGO+ | Easy Free Gift Upsell
Free Gift Box: BOGO+Buy X Get Y
실사 자료
손익계산서
주요 고객 지표
회사 개요 자료
기술 스택 개요
고객 추천사
재무
자체 자금 조달
매각 사유
창업자가 새로운 사업을 위해 떠남
추가적인 이메일 보내보기
이번에는 좀 더 독해가 힘들고, 깊이 있는 텍스트를 보내보겠습니다.
제가 좋아하는 가치투자자인 Howard Marks는 “Memo”라는 뉴스레터로 투자인싸이트를 주기적으로 작성합니다. 이메일로 직접 받은 것은 아니지만, Howard Marks의 투자사인 오크우드 캐피털 홈페이지에 있는 Memo 글을 복사해서 메일로 전송해보겠습니다.
답변 결과
답변이 성공적으로 돌아왔습니다.
“부채 수준이 높을수록 견딜 수 있는 변동성의 폭이 좁아진다”는 원론적인 내용의 요약이 옵니다.
좀 더 자세히 요약해달라고 재요청을 했지만, 비슷한 분량으로 답변이 돌아왔어요.
실제 본문을 읽으면, 100년 넘은 일본 기업들의 공통점이 빚을 전혀 내지 않고 현금으로 사업한다는 서두부터 여러 이야기가 있는데 “CEO보고서 형태로 작성하라”는 프롬프트 때문인지 1페이지를 넘기지 않게 요지만 요약해서 줍니다. 좀 더 자세한 텍스트 요약을 하려면 다른 프롬프트로 만든 어시스턴트를 써야겠네요.
요약이나 번역이라는 큰 범주 안에서도 입력한 내용이나 원하는 아웃풋에 따라, 프롬프팅을 세분화해야 고수준으로 원하는 답변을 얻을 수 있을 것 같습니다.
지금 IMZA 베타를 사용하시면, 최고사양의 GPT-4o와 Claude 3-Opus를 무료 사용하실 수 있어요. 채팅창에서 Zero-shot상태에서 매번 원하는 작업을 새롭게 요청하지 않고, LLM으로 처리하고 싶은 작업을 Figma화면처럼 직관적인 UI에서 쉽게 앱으로 구현하실 수 있어요.
LLM을 비교사용하고 싶으신 분들은 같은 프롬프트 환경에서 GPT-4o와 Claude 3-Opus의 답변과 응답속도가 어떻게 다른지 직관적이고 정확하게 비교하실 수 있습니다.
저보다 더 좋은 프롬프트나 기획력으로 LLM활용사례를 발굴해주시면 정말 감사하겠습니다.
IMZA 사용하러 가기:
이번 사용사례에서 만들어진 이메일 테스트 해보기:
추신: 공개된 이메일봇 사용시 발생하는 LLM 토큰비용을 저희가 부담하고 있어요. 자유롭게 사용해주시고 의견 남겨주시면 감사하겠습니다. 대신 사용량 증가로 비용 부담이 증가하면 향후에 해당 봇 계정을 임의 폐쇄할 수 있음을 양해 부탁드립니다 🙏