안녕하세요.
유튜버 조코딩님의 ‘GPT API로 비트코인 거래 자동화봇 만들기’ 영상을 보고 따라 만들어서 실제로 작동중에 있는데요, 2가지 큰 문제가 있어서 고수님들께 질문드립니다…
그 문제는
GPT api 에게 주는 명령 프롬프트(instruction)가 너무 길다는 것
그 명령 프롬프트는 매번 요청할 때마다 똑같은 내용이라 중복, 토큰 낭비가 심하다는 것 (‘너는 투자전문가야’, ‘너가 받을 데이터는 ~~야’, ‘너의 대답은 ~ 형식으로 해줘’ 등등 이기 때문에 바뀌지 않습니다. 실시간 시장 지표 데이터는 따로 줘요.)
입니다.
GPT에게 주는 instruction의 내용이 긴 것은 성능을 위해 GPT에게 역할을 지정해주고 인풋/아웃풋 예시를 들어주느라 어쩔 수 없다고 생각합니다.
하지만 해당 instruction을 똑같은 내용임에도 매번 GPT에게 api 요청할 때마다 전달해주는 게 토큰이 너무 낭비되는 것 같습니다..ㅜ (chat completion, gpt4.5 turbo 모델 사용중입니다) api 사용비가 더 많이 나오고 있어요 ㅠ
제가 assistant 강의를 아무리 봐도 이해가 잘 안가서 그러는데, assistant를 사용하면 중복된 instruction은 전달해주지 않아도 돼서 토큰을 아낄 수 있는 걸까요? 그리고 꼭 GPT 아니고 로컬 LLM으로 돌려도 되니 혹 좋은 팁 있다면 충고해주세요 고수님들 ㅜㅜ
답변 미리 감사드립니다..!!