400p 분량의 투자설명서를 50개 이상 학습시키고 싶습니다..
leese
2024.06.18
안녕하세요, 혹시 관련하여 아시는분이 계시면 꼭 공유 부탁드립니다..
상장 기업 자료를 GPT에 학습시켜서 관련 정보를 수취하고 싶습니다.
DART(기업공시시스템)에는 상장예정기업들이 증권신고서/투자설명서를 업로드합니다.
해당 자료는 기업당 워드 기준 300~400p 분량이며, 업로드 후 GPT를 통해 질문하는 내용만 뽑아서 답변으로 받고 싶습니다.
현재 여러가지 방법으로 시도중인데 정확성이 너무나 떨어집니다. 예시 스크립트도 올려주는데 예시 스크립트를 그대로 뱉어낸다거나, 상세하게 질의를 하여 제대로 받은 답변을 그 다음번에는 또 틀린다거나…………오류가 너무너무 많습니다.
300p가 넘는 사항은 오류가 원래 많은것인지요?
혹시 좋은 아이디어나 방법이 있을지 궁금합니다.
첨부된 자료에서 몇가지 질의를 뽑아내는 방식입니다.
좋은 아이디어가 있으신 고수님은 꼭 답변 부탁드립니다!!

일단 GPT가 하는 것은 학습이 아닙니다. 업로드한 파일을 일정 크기(junk)로 나누고 질문과 가장 관련이 높다고 생각하는 junk를 gpt에게 전달해서 이 부분을 근거로 답변을 하도록 하는 방식입니다. 답변에 필요한 내용이 한 junk에 모두 있는 경우는 답변을 잘 하겠지만 여러군데 흩어져서 존재하는 경우는 답변의 정확성이 떨어집니다. 한번에 너무 많은 정보를 요구하는 것보다 하나씩 질문하고 결과를 종합해서 답변을 하도록 하는 방식으로 해야 합니다. 대략 한 junk가 500token 정도로 알고 있습니다. 페이지 단위로 junk가 나눠지지 않기 때문에 페이지는 알 수 없습니다. 복잡한 질문에 답하기는 chatbot을 만들려면 문서를 chatbot이 답하기 쉬운 구조로 전처리를 하고 원하는 단위로 만드는 작업을 api를 사용해서 직접해야 합니다.