목요일까지 게시판에 사례글을 올려야한다는데 어떻게 해야할 지 막막해서
지피터스 게시판을 보다가 일단 연구를 시작할 때 가장 필요한 문헌조사를 시작하기 위해
이문영님의 ‘논문 크롤링하고 경향 분석해보기’ 게시글을 따라해 보았습니다. https://www.gpters.org/language/post/crawl-papers-analyze-trends-6oXk7Y7DyAvBcQ6
RISS에서 관심분야 논문 검색
한국교육학술정보원(KERIS)에서 제공하는 국내 학술 논문 검색 사이트 RISS에서 제 관심분야와 관련해서 ‘온라인유통’, ‘신선식품’, ‘유통물류’라는 키워드로 검색해보았습니다.
키워드 검색 결과로 국내학술논문 9개, 학위논문 26개가 검색되었습니다.
학위논문 26건에 대한 크롤링을 해보기로 했습니다.
논문 정보 크롤링 하기
크롤링을 하려면 화면 내에 크롤링하고자 하는 데이터가 한눈에 보여져야 하기 때문에 출력을 100개씩으로 설정해 26개 논문을 한 번에 볼 수 있도록 하였습니다.
크롤링 준비가 되면 크롤링 확장프로그램 ‘리스틀리’를 이용하여 크롤링을 합니다. 리스틀리를 미리 설치하여 전체를 대상으로 크롤링을 설정하여 추출하면 아래와 같이 결과가 도출됩니다.
결과 내용은 엑셀이나 구글 시트로 추출합니다. (로그인이 되어 있어야 다운로드 가능)
엑셀 추출 결과입니다.
크롤링 된 정보 분석하기
추출된 엑셀파일을 ChatGPT4o에 업로드하고 데이터를 분석해서 최근 연구 트렌드가 무엇인지 분석해달라고 요청했습니다.
분석 결과는 아래와 같습니다.
크롤링을 통한 최근 논문 트렌드 분석이 가능하며, 향후 내 관심 연구주제를 더욱 구체화하기 위한 도구로 활용할 수 있을 것이라 생각합니다.
제가 단순하게 관심 키워드와 최근 연구 트렌드에 관해 간단하게 질문했는데도 아래 6가지내용을 정리해 보여주었습니다. 몇 차례 프롬프트 작성으로 더 심화된 내용의 피드백을 받을 수 있을 것으로 기대됩니다.
1. 데이터의 구조 파악
2. 제시된 키워드 별로 연구 경향을 요약
3. 이러한 연구 트렌드의 원인
4. 연구 논문들이 매년 어떻게 분포되어 있는지 그래프 추세를 보여주고 분석
5. 키워드별 빈도 분석
6. 이 외에 연구 관련 단어 제시
#11기연구지식관리