배경 및 목적
현재 박사과정 대학원생으로 첫번째 연구 주제를 마무리하고 다음 연구 주제를 찾기 위해 여러 논문들을 읽어야 하는 상황입니다. 기존에는 일일이 논문을 Google scholar에서 하나하나 찾아 처음부터 끝까지 읽어 문헌조사(Literature Review)에 시간이 많이 걸렸습니다.
그러나 최근에 관련 연구가 어떻게 진행되고 있는지, 큰 흐름의 파악을 위해서는 논문의 대략적인 내용만 파악하는 것으로 충분하기 때문에 여러 개의 논문의 핵심을 빠르게 파악하기 위해 Scispace를 비롯한 여러 도구를 간단하게 사용해봤습니다.
참고 자료
비연구자의 Scisapce 로 논문 리뷰하기 (gpters.org)
사실 기본적인 Scispace의 기능, 특히 pdf를 업로드해서 Copilot과 대화하거나 이런 것들은 이 글에 올라왔기 때문에 해당 내용은 간략하게 하고 이를 제외한 다른 기능들을 알아보고자 합니 다. 이외 여러 유튜브 영상을 참고했는데, 그 중에 여러 도구들을 비교한 아래 영상 역시 한 번쯤 볼만 합니다.
https://youtu.be/aCH0Er_h-Ps?si=yfDd7uyrlQGEVBhe
활용 툴
Scispace : 이번 글의 메인 AI 도구입니다. 연구 컨셉 찾기 - 문헌 조사 - 논문 분석 - 초안 작성 - 의역 (paraphrasing) - AI detector까지 한 번에 할 수 있는 All-in-One 도구입니다.
Research Rabbit: Connected papers와 유사한 도구로, 논문들간의 관계를 시각화해주는 도구입니다.
Scispace에 나와있는 이미지인데요, 유사한 문헌 조사 도구인 Elicit, Consensus보다는 더 많은 기능을 포함하고 있습니다.
실행 과정
1) 연구 아이디어 찾기 (Find Concepts 기능)
먼저, 연구의 컨셉부터 잡고자 합니다. 저는 딥러닝을 동물의 번식에서 어떻게 사용할 수 있는지 Scispace의 'Find Concepts' 기능을 이용해서 검색했습니다. 키워드만 몇 개 적으면 자동으로 3개의 주제를 추천해주고 제가 생각했던 것과 가장 유사한 질문을 선택해서 검색했습니다.
그러면 위와 같이 여러 개의 연구 아이디어들을 추천해줍니다. 개인적으로 생각했던 아이디어들이 그대로 나오는게 신기했습니다. 다만, 위에 3개 주제는 레퍼런스가 나오지 않았는데, 저 개인적으로 찾았을 때는 이미 관련 주제로 여러 논문들이 나온 것으로 알고 있어 아마 구독해야 읽을 수 있는 저널을 검색하지 못해 나온 문제인 것으로 보입니다.
해당 Sources에 있는 논문을 클릭하면 scispace에서 검색한 논문이 나오고 이 논문을 기반으로 여러 대화들을 할 수 있습니다. Scispace가 검색하는 논문들 대부분 구독하지 않고도 읽을 수 있는 Open Access 논문들이고, 이는 Google scholar에서 해당 논문의 제목을 검색했을 때 확인할 수 있었습니다. 한 가지 아쉬운 점은 제가 못 찾았던 것인지 몰라도 Full text를 이 페이지에서 읽을 수는 없었습니다.
참고로 TL:DR; 은 Too Long:Didn't Read 를 줄인 말로, 한 번씩 인터넷 커뮤니티에서 볼 수 있는 '너무 길어서 안 읽음'의 의미입니다. 여기에서는 1줄 요약 정도로 생각하시면 될 것 같습니다.
2) 문헌 조사 (Literature Review 기능)
저는 위 캡처 이미지에서 두번째 주제를 그대로 복사해서 Literature Review에 넣어봤습니다.
그러면 위와 같이 나오는데 가장 좋은 것은 본인이 보고 싶은 칼럼만 추가해서 볼 수 있다는 것입니다. 기본적으로 각 논문에서 얻는 인사이트를 기본 칼럼으로 제시하고 옆에 여러 후보들 중 원하는 것을 선택해서 비교할 수 있습니다. 저는 Summarized Abstract - Methods Used - Limitations - Future Research 순으로 기존의 논문이 사용했던 방법을 토대로 기존 연구의 한계점을 극복할 수 있는 새로운 연 구 주제를 찾고자 했습니다.
특히 위에 Filter도 잘 사용하면 좋은데요, 기본적으로 Top-tier의 기준은 아마 상위 25% (Q1) 저널이 아닐까 싶습니다만 확실히 제 분야의 가장 유명한 저널들을 보여주었습니다. 뿐만 아니라 More filters를 누르면 연도, 종류 (Journal Article, book 등), 키워드, 저널 (특정 저널 선택 가능), 컨퍼런스 등을 선별해서 고를 수 있습니다.
마음에 드는 몇 가지의 논문들을 고르고 그 자리에서 위와 같이 대화할 수 있습니다. 여기에서 어느 정도 논문에 쓸만한 답변을 얻었다면, 'Save to Notebook' 버튼을 누르면 워드와 비슷한 화면이 나오고 바로 여기에서 초안을 작성할 수 있습니다.
만약 구독을 해야만 볼 수 있는 저널에 있는 논문들을 분석하고 싶을 경우?
: 이 경우에는 학교에 계신 교수님들, 대학원생분들, 연구원분들은 학교가 구독한 저널들 대부분을 읽으실 수 있을 겁니다. 저의 경우에는 'Publish or Perish'에서 키워드를 검색하여 논문들의 제목을 본 다음, 그대로 Google scholar에서 검색해서 pdf원본을 다운 받아 Scispace의 'My library'에 보관해서 해당 논문들을 분석할 수 있습니다. 오프라인 모임에서도 이야기가 나왔지만, Scispace 하나만으로는 모든 논문들을 검색하는 것은 불가능합니다 🥹
2.5) 논문들간의 관계도 파악
저는 개인적으로 특정 논문을 읽을 경우 레퍼런스를 파도타기처럼 타고 타고 여러 논문들을 읽는 편인데, 이러한 관계도를 시각화해주는 툴로는 Connected papers와 Research Rabbit이 대표적입니다. Research Rabbit이 무료로도 사용할 수 있다는 장점이 있지만, 완전 최신 논문 (2024)까지는 검색하지 못하는 것이 단점입니다.
3) 서론 초안 작성 (AI Writer)
AI Writer 에서 / 버튼을 누르면 여러 메뉴가 나오는데 아까 Copilot과 채팅한 내역을 기반으로 서론을 '오로지 AI로만' 한 문단 정도 작성해보겠습니다. 커서를 문장 끝에 두면 자동으로 다음으로 작성해주고, Tab 버튼 하나만 누르면 한 문장이 추가됩니다.
이렇게 일일이 추가해도 되지만, 저 개요를 기반으로 'Write Introduction' 버튼만 누르면 알아서 서론을 다 작성해줍니다.
읽어보면 꽤나 자연스럽습니다. 하지만, 논문을 쓸 때 레퍼런스를 당연히 찾아야겠죠? /를 누르고 'Add references to put between the sentences'를 입력했더니 레퍼런스를 넣어주긴 했습니다만, 원본을 찾을 수 없는 레퍼런스이므로 믿을 수 없습니다.
대신 /를 누르고 'Continue writing with citations' 버튼이 있는데 이거를 누르면 실제 논문에 첨부할 수 있는 레퍼런스들을 찾아주고 원본을 확인할 수 있는 링크도 제공하며 맨 하단에 APA 형식(바꿀 수 있음) 으로 작성도 해줍니다. 그런데 내용을 읽어보니 주제랑은 전혀 상관없는 것들이 나옵니다;
해당 레퍼런스를 눌러보면 Scispace에도 제목이 . 하나로 뜨고 Doi를 그대로 입력해서 들어가봐도 남미의 처음 들어보는 저널이 나옵니다. 애초에 AI로 작성된 내용도 전혀 상관없는 내용이라 저널이 어떤 저널인지도 잘 모르겠습니다.
4) 다시 쓰기 (Praphraser) & AI 검사 (AI Detector)
작성된 내용을 다시 지우고 원래 주제와 알맞은 내용을 그대로 논문에 쓰면 어떻게 될까요? 한번 Scispace에 있는 AI Detector 기능을 사용해서 작성해준 내용을 그대로 넣어봤습니다.
AI로 쓴 비율이 8%밖에 되지 않습니다. 알고 보니 AI로 서론 작성해준 것이 2800단어 정도 되는데 1500단어가 한계라 첫번째 문단만 들어갔습니다. 한번 다른 유명한 사이트인 gptzero에서도 돌려보겠습니다.
AI가 100% 작성했다고 뜹니다. 결국, Scispace의 AI Detector 기능은 큰 역할을 하지 못합니다. 한번 parphrasing을 해보겠습니다.
Parphraser에 한번에 넣을 수 있는 단어의 한계가 500단어기 때문에 첫번째 문단만 paraphrasing해도 역시나 AI가 100% 썼다고 나옵니다. 결국 scispace의 parphraser과 AI detector의 신뢰도는 떨어지는 것을 알 수 있습니다.
결과 및 인사이트
Scispace 하나만으로 연구 아이디어부터 서론 초안까지 작성해본 결과, 문헌 조사하는 데 매우 효율적인 도구인 것을 알 수 있습니다.
특히 구독해야만 볼 수 있는 저널에서 pdf들을 다운받아서 이들을 바탕으로 대략적인 연구의 흐름을 파악하고 서론의 초안을 어느 정도 작성할 수는 있습니다.
그러나 그대로 논문에 쓸 경우 AI 검사기가 100% 잡아내기 때문에 parphrasing하는 다른 AI 도구를 쓰거나 해야 할 것 같습니다.
이번 게시물 역시 유료 버전과의 차이점을 알아내지 못했으며, 초안 작성 시에도 Jenni AI와 같은 다른 도구들을 비교해볼 필요가 있습니다.