chat.openai.com과 api 응답 결과가 다른 이유와 해결책 문의
김준영
2023.09.06
프로젝트를 진행하는데 chat.openai.com에서 시뮬레이션 하고 결과가 좋을 경우 api로 이식하는 형태로 진행하고 있습니다.
문제는 같은 프롬프트를 이용해도 둘의 결과가 다릅니다. 압도적으로 chat.openai.com(GPT-4, default)의 응답 결과가 좋습니다. 해결 방법이 있을까요?
프롬프트는 대략 다음과 같습니다.
[
{question: “AAA”},
{question: “BBB”}
]
question별로 연관성 높은 question을 찾고 그 이유를 알려줘
api 사용하는 파이썬 코드는 다음과 같습니다.
def generate_response(messages):
response = openai.ChatCompletion.create(
model = "gpt-4",
temperature = 0.7,
messages = messages
)
return response['choices'][0]['message']['content']구글링을 해봤는데 비슷한 문제가 외국도 있고, 특별한 해결책 이야기는 없네요.
https://community.openai.com/t/different-results-chatgpt3-5-vs-api-gpt-3-5-turbo/123712
좋은 방법 없을까요?
로그인하고 댓글을 남겨 주세요
김욱영2023.09.08
이게 방법이 없는 것 같습니다. 제가 봐도 차이가 극심해요. 속도 차이가 아닌 성능차이는 Azure를 써도 비슷한 것 같더라고요
