Scispace와 Claude에게 논문 기반 질문해보기

배경 및 목적

(내용 입력)

Scispace는 기존 ChatGPT, Claude와 비교했을 때 여러 논문을 관리하고 빠르게 핵심을 파악하는데 장점이 있었습니다.

그 외에 하나의 논문을 세부적으로 이해하고 분석하고자 할 때 답변의 형식과 정확성에서 어떤 차이가 있을지 의문이 들었습니다.

그래서 제가 유료로 사용중인 Scispace, Claude간의 비교를 진행했으며

논문 요약, 방법론에 대한 더 구체적인 설명, 논문의 한계를 개선하기 위한 방안 등의 질문을 했을 때 어떻게 답변하는지 간단히 알아보고자 합니다.

참고 자료

(내용 입력)

https://www.gpters.org/language/post/reviewing-papers-using-scisapce-2M7SY2HtbZ6v2d7

활용 툴

(내용 입력)

Scispace, Claude

실행 과정

(내용 입력)

제가 잘 알고있는 논문 한편을 기반으로 Scispace와 Claude에게 몇가지 질문을 동일하게 해보았습니다.

  1. 논문 요약

  • 프롬프트 : 이 논문의 핵심 내용 요약

한국어 페이지 스크린샷
  • 번역 : Claude > Scispace

    • 문장이나 단어의 자연스러움은 Claude 대비 Scispace가 조금 부자연스러운 부분이 있었습니다.

  • 편의성 : Scispace > Claude

    • 논문의 해당 부분을 직접 드래그해서 질문할 수 있고 해당 답변에서 예상 질문을 제공하기 때문에 Scispace가 더 편하게 사용 가능합니다.

  • 출처 제공 : Scispace > Claude

    • Scispace의 답변은 [2][1] 이런식으로 논문의 어느 부분에 기반한 답변인지 명시되어 있습니다.

  1. 특정 모듈에 대한 설명

  • 프롬프트 : Multi-level Style adaptor에 대해 설명

한국어 텍스트가 포함된 페이지의 스크린샷
  • 가독성 : Claude > Scispace

    • Scispace는 '도메인 외부 사용자 음성의 높은 동적 스타일 속성을 모델링 처리하도록 설계' 와 같이 문장이 매끄럽게 읽히지 않는 반면 Claude에서는 '다양한 수준의 스타일 특성을 효과적으로 모델링하고 전이하기 위해 설계' 와 같이 가독성있게 답변해주었습니다.

  • 정확성 : Scispace = Claude

    • 현재 답변 기준으로 본다면 둘 다 틀린내용 없이 잘 답변해주었습니다. 다만 더 다양한 케이스에 대해 비교할 경우 Scispace가 논문 기반 답변이라서 할루시네이션은 더 적지 않을까 싶습니다.

  1. 논문의 main page에 언급되어 있지 않은 배경 지식 질문

    • 프롬프트 : Post-Net의 Glow에 대해 설명

    한국어 웹사이트 스크린샷
  • 배경 지식 : Claude > Scispace

    • Glow 논문에 대한 설명은 GenerSpeech의 Appendix에 간략히 나와있는데 이에 대한 부분은 Claude가 더 잘 답변했습니다.

  1. 연구 방향성 아이디어

    • 프롬프트 : GenerSpeech의 한계는 무엇이고 이를 보완하기 위한 연구 아이디어 제시

      한국어 웹사이트 스크린샷
    • 연구 역량 : Claude > Scispace

      • Claude가 더 다양한 측면에서 구체적인 연구 방향성을 잘 제안했습니다.

결과 및 인사이트

(내용 입력)

다양한 논문을 정리하며 빠르게 분석하기에 Scispace가 뛰어난 모델이라고 생각합니다.

하지만 특정 논문에 대해 논의할 때 가독성과 답변의 질은 개인적으로 Claude가 더 좋다고 느껴졌습니다.

위 사례는 하나의 논문에 대해서 4개의 질문에 따른 결과를 적은 것이기 때문에 아직 일반화하기엔 이르고 더 다양한 사례가 더해진다면 결과가 달라지는 부분들도 있을 것이라고 생각합니다!

3
1개의 답글

👉 이 게시글도 읽어보세요