토요일 마케팅 사례발표에서 코드인터프리터에서 여러 개의 엑셀파일을 압축해서 업로드한 다음 마케팅전략을 수립한 사례를 흥미롭게 지켜보고, (https://www.gpters.org/marketing/post/create-marketing-strategy-gpt4-99XzYOvWZ0wHwDN) 같은 방식의 접근을 증권사 업계분석에도 적용할 수 있을지 테스트해 보았습니다.
우선 각 증권사에서 제출한 공시자료를 금융투자협회가 분기별로 취합하여 제공하는 기초자료 활용하기로 했습니다. 2021년과 2022년 연간 실적 중에서 의미 있는 데이터를 취사선택해 엑셀 파일 2개를 만들었습니다.
두 파일을 압축하고, GPT4 코드인터프리터에 파일을 업로드 한 후, 3가지 질문을 던졌습니다.
그 이후에는 질문에 대해 코드인터프리터가 알아서 진행을 합니다.
1번 질문에 대한 답변
2번 질문에 대한 답변
3번 질문에 대한 답변
이제 검증의 시간입니다
첫번째 질문에서는 업계전체와 특정회사 비교를 정확하게 찾아서 잘 해 주었습니다.
하지만 여기서도 Growth rate는 Total 값에 대해서만 제공하고 있고, 둘 중 어떤 것의 Growth rate인지 설명이 없어 다소 불친절하네요
두번째 질문부터는 오답을 제시했습니다. 세번째 질문에도 오답을 제시했는데, 둘 다 오답에 카카오페이증권이 있네요.(같은 IT쪽 백그라운드를 가져서 선호도가 높은가? ^^)
우선, 정답을 제시한 질문과 오답을 제시한 질문의 차이를 보자면, 주어진 표에서 데이터 값을 찾거나 데이터간 합산을 하는 기본적인 질문(첫번째 질문)은 쉽게 정답을 찾는 반면, 데이터 값을 찾은 다음 그 값에 해당하는 행과 열을 레이블을 찾는 복합적인 질문(하나의 Sheet에서 레이블 불러오기-두번째 질문, 두 개의 다른 Sheet에서 계산한 후 레이블 불러오기-세번째 질문)에는 오답을 제시하는 것을 알 수 있습니다.
정답에 한번 더 접근하기 위해서 세번째 질문을 단계적으로 접근해 봤는데도, 역시 오답을 제시하네요
사실 세번째 질문은 엑셀에서 피벗을 적용한 데이터를 다시 만들어서 질문하면 정답을 찾을 수 있겠지만, 거기까지 해준다면 굳이 코드인터프리터를 쓰는 의미가 반감될 거 같습니다.
그 동안 초보방에서 챗GPT를 배우면서, 유용한 툴임 챗GPT가 어떤 영역에서 그 가치를 십분 발휘하고, 어떤 영역에서는 한계를 보이는지에 대해 감을 잡기만 해도 성공이라고 생각했습니다.
다소 거칠지만, 겪어본 후 나름 의견을 제시하자면 다음과 같습니다.
정확성이나 질적 완성도 보다 양적으로 풍부한 아이디어를 얻는 것이 중요한 영역(음악/이미지/마케팅 등)에서나,
정확한 수식과 논리적 완결성에 따라 진위가 명확한 정답이 도출되는 영역(수학/코딩)에서는 툴로서 매우 높은 가치를 발휘하는 반면,
맥락에 따른 해석이 필요하고, 주어진 상황에서 최적의 답을 찾는 해답의 영역(분석 리포트 혹은 전망, 실적 데이터에 기반한 시사점 도출 등)에서는 원하는 수준의 답을 얻으려면 추가적인 질문과 검증이 반복되어야 하므로 다소 제한적인 효용을 발휘한다고 느껴집니다.
앞으로 생성형 AI는 3번 영역, 즉 해답을 찾아가는 과정을 얼마나 효과적으로 지원하는가 하는 부분에서 치열한 경쟁이 벌어지지 않을까 조심스레 예상해 보면서, 유저 입장에서는 3번 영역에서 효용을 높이려면 시장에 출시된 여러 AI들이 각자 제시한 해답을 교차 검증하게 하여 정확도를 높이는 것도 하나의 팁이 되지 않을까 생각해 봅니다.