Q :
GPT-3 API를 활용하여 챗봇을 만들고자 하는데, GPT가 설명해준 모듈이나 클래스가 현재 버전에서 호환되지 않아 진도를 나가지 못하고 있다.
예시로, gpt는 토크나이저를 사용하기 위해 transformers 모듈을 install 해서 GPT3Tokenizer을 이용하라고 설명하고 있는데 실제로 huggingface에서는 현재 transformers 모듈 에서 GPT3Tokenizer 클래스를 지원하고 있지 않는 등의 문제가 있다.
이를 어떻게 해결할 수 있을까?
A :
간단한 구글링을 해보니, GPT-2와 동일한 것을 사용한 것으로 보인다. (https://huggingface.co/docs/transformers/model_doc/gpt2#gpt2tokenizerfast)
Q:
GPT-2 토크나이저가 지원되는 것 까지는 찾아 코드를 수정했다. 그러나 다른 코드에서 사용하는 기능까지는 대응이 안되어서 문제가 발생하는 것 같다. Auto 토크나이저로 수정해보겠다.
A :
말씀한 경우는 Auto로 바꾼다고 해도 될 것 같지는 않다. 사실 같은 토크나이저를 사용했는데, 대응이 안된다는 것이 잘 이해는 안되는 상황이다. 한번 해결해보면서 성장해보면 좋겠다.
전체 대화 내용
[ 해리 | DA | 교육 ]
혹시 gpt-3 api를 가지고 원하는 작업을 하고 계신분들이 계신가요?
저는 챗봇을 만들어보려고 하는데, gpt가 설명해준 모듈이나 클래스가 현재버전에서 호환되지 않는 문제들이 계속 발생해서 진도를 못 나가고 있습니다ㅜㅜ
예시로, gpt는 토크나이저를 사용하기 위해 transformers 모듈을 install 해서 GPT3Tokenizer을 이용하라고 설명하고 있는데 실제로 huggingface에서는 현재 transformers 모듈에서 GPT3Tokenizer 클래스를 지원하고 있지 않더라구요..
21년도 버전의 gpt라서 현재 적용할 수 있는 코드를 안내해주지 못하는 것 같습니다.
혹시 이런 문제를 어떻게 해결하면서 gpt를 사용하고 계신지 궁금합니다! 참고로, 저는 비개발자라서 자 체 해결할 수 있는 역량이 부족합니다..
[ Kang | 창업 | 개발 ]
간단히 구글링해보니 gpt2와 동일한걸 쓴다고 되어 있네요
https://huggingface.co/docs/transformers/model_doc/gpt2#gpt2tokenizerfast
[ 해리 | DA | 교육 ]
gpt2토크나이저가 지원되는것까진 찾아서 코드를 수정했는데 다른 코드에서 사용하는 기능까지 대응이 안되어서 문제가 생기는 것 같습니다..
auto토크나이저로도 한번 수정해보겠습니다. 감사합니다.
보통 개발하실때에도 이렇게 수정을 거치게 되나요? 최신버전 기준으로 설명을 못해주면 개발자분들이 개발할 때 gpt를 활용할 수 있는게 맞나 싶어서요!
[ Kang | 창업 | 개발 ]
어떤 문서를 보신건지 몰라서 정확히 답해드리기 어려운데, 이런 유명한 프로젝트는 보통 doc이 매우 잘 되어 있어서 틀리는 경우가 없긴 합니다. 근데 오래된 프로젝트 같으면 프로젝트는 업데이트되었는데 doc은 안되어있는경우가 있곤 해서 스스로 찾아야 하는 경우도 있어요
근데 말씀하신 경우면 오토로 바꾼다고 될거같진 않은데.. 사실 같은 토크나이저를 썼는데 다른 코드에서 사용하는기능에 대응이 안된다는 말이 잘 이해는 안되는 상황이거든요.
이런거 해결 한 번 해보시면 확 느실거라.. 기쁜 마음으로 삽질해보시기를(...) 권유드립니다 ㅋㅋ
[ 해리 | DA | 교육 ]
네 처음해보는 학습이라 그런지 정말 배우는게 많습니다..
gpt만 믿고 사전 지식없이 뛰어들었는데
vscode 기본 사용방법부터 python과 pip를 통해 코 드를 작성하는 방법,, 그와중에 호환문제로 하나씩 뜯어가며 구글링해가며 배우는 것까지.. 유익한 설연휴 보내고 있는중입니다 ㅎㅎ
도움도 감사드립니다!
혹시 gpt-3 api를 가지고 원하는 작업을 하고 계신분들이 계신가요?
저는 챗봇을 만들어보려고 하는데, gpt가 설명해준 모듈이나 클래스가 현재버전에서 호환되지 않는 문제들이 계속 발생해서 진도를 못 나가고 있습니다ㅜㅜ
예시로, gpt는 토크나이저를 사용하기 위해 transformers 모듈을 install 해서 GPT3Tokenizer을 이용하라고 설명하고 있는데 실제로 huggingface에서는 현재 transformers 모듈에서 GPT3Tokenizer 클래스를 지원하고 있지 않더라구요..
21년도 버전의 gpt라서 현재 적용할 수 있는 코드를 안내해주지 못하는 것 같습니다.
혹시 이런 문제를 어떻게 해결하면서 gpt를 사용하고 계신지 궁금합니다! 참고로, 저는 비개발자라서 자 체 해결할 수 있는 역량이 부족합니다..
[ Kang | 창업 | 개발 ]
간단히 구글링해보니 gpt2와 동일한걸 쓴다고 되어 있네요
https://huggingface.co/docs/transformers/model_doc/gpt2#gpt2tokenizerfast
[ 해리 | DA | 교육 ]
gpt2토크나이저가 지원되는것까진 찾아서 코드를 수정했는데 다른 코드에서 사용하는 기능까지 대응이 안되어서 문제가 생기는 것 같습니다..
auto토크나이저로도 한번 수정해보겠습니다. 감사합니다.
보통 개발하실때에도 이렇게 수정을 거치게 되나요? 최신버전 기준으로 설명을 못해주면 개발자분들이 개발할 때 gpt를 활용할 수 있는게 맞나 싶어서요!
[ Kang | 창업 | 개발 ]
어떤 문서를 보신건지 몰라서 정확히 답해드리기 어려운데, 이런 유명한 프로젝트는 보통 doc이 매우 잘 되어 있어서 틀리는 경우가 없긴 합니다. 근데 오래된 프로젝트 같으면 프로젝트는 업데이트되었는데 doc은 안되어있는경우가 있곤 해서 스스로 찾아야 하는 경우도 있어요
근데 말씀하신 경우면 오토로 바꾼다고 될거같진 않은데.. 사실 같은 토크나이저를 썼는데 다른 코드에서 사용하는기능에 대응이 안된다는 말이 잘 이해는 안되는 상황이거든요.
이런거 해결 한 번 해보시면 확 느실거라.. 기쁜 마음으로 삽질해보시기를(...) 권유드립니다 ㅋㅋ
[ 해리 | DA | 교육 ]
네 처음해보는 학습이라 그런지 정말 배우는게 많습니다..
gpt만 믿고 사전 지식없이 뛰어들었는데
vscode 기본 사용방법부터 python과 pip를 통해 코 드를 작성하는 방법,, 그와중에 호환문제로 하나씩 뜯어가며 구글링해가며 배우는 것까지.. 유익한 설연휴 보내고 있는중입니다 ㅎㅎ
도움도 감사드립니다!