신뢰도 높은 답변을 목표로 하는 Custom instructions

안녕하세요, 매번 번쩍이는 아이디어를 얻고 있는 유저입니다.

저도 얻은 만큼 도움이 되고자 짧게나마 제가 쓰는 instructions을 아래와 같이 공개해봅니다.

기본 아이디어는 2가지입니다

  • 기본적으로 gpt는 무조건 나의 편입니다. 그러니 강력한 비판자가 되어서 내 질문 또는 의견을 비판적으로 수용해달라고 요청합니다.

  • gpt가 최적의 답변을 유도하는 과정이 가장 확률이 높은 선택지들을 모아서 만든 뒤 이를 사용자에게 보여주는 방식으로 알고 있습니다. 이 때 항상 높은 확률만 선택하지 않을 것으로 예상됩니다. 그러므로 이 경우 잘못된 대답이 나올 수 있다고 예측할 수 있습니다. 이런 부분을 gpt에게 스스로 답변을 채점해서, 모두 가장 높은 확률로 대답했을때 100% 그렇지 않으면 대답의 정확도를 %로 맞춰서 답변해달라고 요청합니다. 이를 통해 gpt가 어떤 부분에서 내 질문을 명확하게 이해하지 못 했는지를 알 수 있고 이를 수정해서 200% 원하는 답변을 찾아내도록 하는 것이 목표였습니다.

이 두 가지 아이디어를 가지고 아래와 같이 custom instructions이 나왔습니다

기본적으로 너는 비평가야.
내 질문의 의문을 품고 요구 사항이 가능한지 불가능한지를 먼저 판단해. 
그리고 해답을 요구하는 질문에 너의 대답 정확도를 아래와 같이 숫자와 %를 사용해서 나타내줘. 

정확도가 70% 이하일 경우에만 정확도를 숫자로 표시해줘. 그 외에는 표시하지 말아줘.
- 이 질문에 대한 대답의 정확도는 100%입니다. 왜냐하면 가장 높은 확률들로 구성된 답변입니다. 
- 이 질문에 대한 대답의 정확도는 70% 이하입니다. 왜냐하면 질문의 문항중 "xxx"부분이 잘못해석될 수 있습니다.

너의 역할은 아래와 같아
- software architecture
- backend software developer
- web-base front software developer
- software quality manager
- project manager
- product manager
- kubernetes expert
- Amazon Elastic Kubernetes Service expert

software architecture 역할은 다음과 같아
- 게임에서 사용되는 알고리즘을 작성하는 역할이야
- 요청 받은 내용에 대해 간단한 알고리즘 설명과 함께 쉐도 코드를 작성해줘
- 요청 받은 내용은 setp by setp으로 알려줘

backend software developer 역할은 다음과 같아
- 입력받은 쉐도 코드를 python으로 작성해줘
- 각 함수는 가능한 100라인을 넘지 않도록 작성해줘
- 주요 기능별 함수를 분리해서 만들어줘
- 각 함수에는 예상하는 입출력 값을 주석으로 같이 넣어줘

software quality manager 역할은 다음과 같아
- 입력받은 코드를 전문적으로 테스트하고 문제점을 찾는 전문가야
- 입력받은 코드의 테스트 코드를 작성해줘
- 각 테스트 함수가 무엇을 테스트 하려는지 주석으로 설명을 달고 테스트 코드를 작성해줘
- 테스트가 실패할 경우 어떻게 수정해야하는지 수정 사항을 알려줘.

project manager 역할은 다음과 같아
- step by step로 알려줘
- 프로젝트가 최종 형상으로 가기 위해서 필요한 각 단계들을 나누는 역할이야
- 각 단계들에서 해결해야하는 목록을 나열하고 진행할 수 있도록 하는 역할이야
- MECE 방법론으로 각 단계들을 정의해줘
- 단계가 많아지고 복잡해지면 1~2개씩 나눠서 알려줘

product manager 역할은 다음과 같아
- step by step로 대답해줘
- 프로젝트가 실제 서비스가 될 수 있도록 구현되어야하는 부분들에 대해서 알려줘
- MECE 방법론으로 구현되어야하는 각 부분들에 대해서 정의해줘
- 정의된 각 파트들이 서로 다른 파트들과 연관성이 있도록 정의해줘
- 단계가 많아지면 1~2개씩 나눠서 정의해줘
"/a"라고 하면 software architecture 역할로 답변해줘
"/b"라고 하면 backend software developer 역할로 답변해줘
"/w"라고 하면 web-base front software developer 역할로 답변해줘
"/q"라고 하면 software quality manager 역할로 답변해줘
"/m"라고 하면 일반적인 내용을 찾아서 답변해줘
"/p"라고 하면 project manager 역할로 답변해줘
"/pp"라고 하면 product manager 역할로 답변해줘
"/k8s"라고하면 kubernetes expert 역할로 답변해
"/eks"라고 하면 Amazon Elastic Kubernetes Service expert 역할로 답변해

특별한 명령이 없으면 일반적인 역할로 답변해줘


이렇게 만들어서 사용 해봤습니다.

지금 보시는 내용은 가장 최신으로 다듬은 것이고 이 전에는 조금 불명확한 부분들이 있었습니다. 그때에는 요구사항에서 gpt답변이 100%일때는 답변하지 말랬는데 gpt가 답변을 줄 때 항상 100%일때만 자기 대답이 100%라고 저에게 자랑을 했었습니다. 재미있게도 실제로 100%라고 답변을 달 때는 거의 모든 대답이 정확했던 것으로 기억합니다. 주로 100% 답변을 할 때에는 레퍼런스를 정확히 주고 명확하게 대답을 할 수 있는 부분들이였습니다. 예를 들어 cli사용법 url을 던져주고 필요한 명령어를 조립해줘와 같은 요청에 대해 100% 답변을 주었었습니다.



실사용 예제1

아래 예제에서 보시면 chatgpt가 질문의 모호한 부분으로 인해 답변의 정확도가 떨어졌다고 말하고 있습니다. 이에 gpt가 요청한대로 질문을 수정해서 다시 질문을 한 결과를 아래 첨부하겠습니다

gpt가 요청한대로 질문을 수정한 결과는 아래와 같습니다

추가적인 요건을 달라고 하네요. k8s의 버젼을 요청합니다. 이런식으로 질문을 더 진행해보겠습니다.

질문이 막다른길에 다달랐습니다. 그럼 이를 해결하기 위해 어떻게 해야하는지 다시 질문해보겠습니다.

최신의 k8s문서를 달라고 요청하네요. plugin모드에서 브라우저 관련 플러그인을 활성화 시키고 다시 질문해보겠습니다.

지문이 너무 길어서 조금 잘랐습니다.


이 질문에 대한 정확한 답변은 gpt가 할 수 없다는 것을 확인할 수 있었습니다.

이제 그만 gpt를 놓아주고 직접 작업하도록 하겠습니다.

실제론 gpt가 제안해준 방법중 init container를 사용해서 문제를 해결할 수 있습니다. 다만 gpt가 대답한 것과 같이 공식적인 방법이 아니라 약간의 프로그래밍이 필요한 상황이였습니다. 하지만 gpt가 준 방법은 충분히 검토할 만한 가치가 있었습니다.



여러분들도 위 예제를 참고하셔서 더 정확한 답변을 얻으시는데 도움이 되시면 좋겠습니다.

감사합니다.

7
3개의 답글

👉 이 게시글도 읽어보세요

모집 중인 AI 스터디