배경 및 목적
(내용 입력)
Scispace는 기존 ChatGPT, Claude와 비교했을 때 여러 논문을 관리하고 빠르게 핵심을 파악하는데 장점이 있었습니다.
그 외에 하나의 논문을 세부적으로 이해하고 분석하고자 할 때 답변의 형식과 정확성에서 어떤 차이가 있을지 의문이 들었습니다.
그래서 제가 유료로 사용중인 Scispace, Claude간의 비교를 진행했으며
논문 요약, 방법론에 대한 더 구체적인 설명, 논문의 한계를 개선하기 위한 방안 등의 질문을 했을 때 어떻게 답변하는지 간단히 알아보고자 합니다.
참고 자료
(내용 입력)
https://www.gpters.org/language/post/reviewing-papers-using-scisapce-2M7SY2HtbZ6v2d7
활용 툴
(내용 입력)
Scispace, Claude
실행 과정
(내용 입력)
제가 잘 알고있는 논문 한편을 기반으로 Scispace와 Claude에게 몇가지 질문을 동일하게 해보았습니다.
논문 요약
프롬프트 : 이 논문의 핵심 내용 요약
번역 : Claude > Scispace
문장이나 단어의 자연스러움은 Claude 대비 Scispace가 조금 부자연스러운 부분이 있었습니다.
편의성 : Scispace > Claude
논문의 해당 부분을 직접 드래그해서 질문할 수 있고 해당 답변에서 예상 질문을 제공하기 때문에 Scispace가 더 편하게 사용 가능합니다.
출처 제공 : Scispace > Claude
Scispace의 답변은 [2][1] 이런식으로 논문의 어느 부분에 기반한 답변인지 명시되어 있습니다.
특정 모듈에 대한 설명
프롬프트 : Multi-level Style adaptor에 대해 설명
가독성 : Claude > Scispace
Scispace는 '도메인 외부 사용자 음성의 높은 동적 스타일 속성을 모델링 처리하도록 설계' 와 같이 문장이 매끄럽게 읽히지 않는 반면 Claude에서는 '다양한 수준의 스타일 특성을 효과적으로 모델링하고 전이하기 위해 설계' 와 같이 가독성있게 답변해주었습니다.
정확성 : Scispace = Claude
현재 답변 기준으로 본다면 둘 다 틀린내용 없이 잘 답변해주었습니다. 다만 더 다양한 케이스에 대해 비교할 경우 Scispace가 논문 기반 답변이라서 할루시네이션은 더 적지 않을까 싶습니다.
논문의 main page에 언급되어 있지 않은 배경 지식 질문
프롬프트 : Post-Net의 Glow에 대해 설명
배경 지식 : Claude > Scispace
Glow 논문에 대한 설명은 GenerSpeech의 Appendix에 간략히 나와있는데 이에 대한 부분은 Claude가 더 잘 답변했습니다.
연구 방향성 아이디어
프롬프트 : GenerSpeech의 한계는 무엇이고 이를 보완하기 위한 연구 아이디어 제시
연구 역량 : Claude > Scispace
Claude가 더 다양한 측면에서 구체적인 연구 방향성을 잘 제안했습니다.
결과 및 인사이트
(내용 입력)
다양한 논문을 정리하며 빠르게 분석하기에 Scispace가 뛰어난 모델이라고 생각합니다.
하지만 특정 논문에 대해 논의할 때 가독성과 답변의 질은 개인적으로 Claude가 더 좋다고 느껴졌습니다.
위 사례는 하나의 논문에 대해서 4개의 질문에 따른 결과를 적은 것이기 때문에 아직 일반화하기엔 이르고 더 다양한 사례가 더해진다면 결과가 달라지는 부분들도 있을 것이라고 생각합니다!