안녕하세요. 보배교수입니다.
먼저 저는… 무슨 부귀영화를 누리겠다고 뒤늦게 교육학박사과정에 들어갔다가 물렸.. 수료까지만 하고 학위 논문은 쓰지 못한 상황입니다.
다행히 11기에 연구와 관련된 캠프가 생겨서 주저없이 선택을 했습니다. 그런데 옵시디언이라는 또 다른 산에 물렸… 부딛혔지만 여전히 나의 목표인 논문 탐구, 연구주제 발굴에 정진해보고자 이번 사례를 써봅니다.
2주차 공통강의 때 배운 크롤링 도구와 챗지피티를 이용해 진행해 보았습니다.
RISS에서 관심분야 논문 검색
비교적 논문을 많이 보유하고 있는 RISS(https://www.riss.kr/)사이트에서 제가 관심이 많은 ‘생성형 AI’, ‘대학’, ‘교육’이라는 키워드로 검색해보았습니다.
그랬더니 국내학술논문 72개, 학위논문 73개가 나왔습니다.
일단 전체도 다 하긴 어려우니 국내학술논문으로 분석해보기로 했습니다.
일단 그냥 더보기를 눌러보면 다음과 같이 나옵니다.
그런데 크롤링을 위해서는 화면내에 모든 정보가 나와야 하기때문에 현재 ‘10개씩 출력’이라고 되어 있는 것을 ‘100개씩 출력’으로 변경해야 합니다.
변경을 하면 다음과 같이 마지막 논문까지 모두 볼수 있네요.(물론 여기는 72개니까 가능하겠죠)
논문 정보 크롤링 하기
그럼 이제 크롤링 준비가 다 되었습니다. 크롤링 확장프로그램이 ‘리스틀리’를 이용하여 크롤링을 해보죠. 미리 리스틀리가 설치 되어 있어야 하고 아래 그림처럼 전체를 크롤링 시키면 됩니다.
결과는 어떻게 나왔을까요? 아래 그림처럼 잘 크롤링 되었습니다. 이 내용을 그 아래 그림처럼 엑셀이나 구글 시트로 추출하여 잘 정리해봅니다. 이때 로그인이 되어야 다운로드가 가능해요.
데이터가 잘 빠져 나왔을까요?? 결론은 짜잔~~
크롤링 된 정보 분석하기
그럼 이렇게 크롤링 된 정보를 어떻게 분석해 볼까요? 일단 구글 시트에 링크를 넣어 요청했는데…..
어쨌든 못한다길래 엑셀파일로 다운받아서 전반적으로 분석을 요청해 봤습니다. 일단 그냥 던져본거죠. 그런데 어쭈~
이렇게 먼저 설명하더니 제법 분석을 합니다.
이렇게 최신의 연구경향을 분석하더군요. 크게 4가지의 경향이 있다고 이야기 하는데 비교해보면 잘 들어 맞습니다. 그리고 한발 더 나아가 봤습니다. 논문의 저널명, 연도 등 다른 요소들을 기준으로 분류해달라고 말이죠. 그랬더니 어떤 학술지가 가장 많은지, 어떤 해의 논문이 가장 많은 지 등을 나름 기술통계 해주었습니다.
단어 추출하여 워드 클라우드 만들기
이번에는 이게 될까? 싶은 마음으로 논문제목만으로 단어를 뽑아 워드클라우드를 해달라고 했습니다!!!
단어 구름을 원했는데 안개처럼 되어 버렸어요…. ㅠㅜ 일단 무리이다 싶어서 단계별로 나누기 위해 단어만 먼저 뽑아달라고 했습니다. 그랬더니~
정확히 잘 뽑아주기는 했으나 겹치거나 굳이 분석이 필요없는 단어(예: 및)는 합치거나 빼달라고 했습니다. 일단 훨씬 나아졌어요.
그런데 아무래도 워드클라우드가 실패한 건 한글인 것 같아서(사실 안개를 몇번 더 그리더군요….) 영어로 번역한 이후 만들어 달라고 했습니다.
제목만으로 논문 성격 분류하기
드디어!! 제가 원하던 워드클라우드를 통해 키워드 분석까지 해보았습니다.
그런데 말입니다~(김상중st.) 챗지피티는 제목만으로 논문의 성격이나 연구방법을 구분할 수 있을까요? 무모한 도전을 해봅니다!! 다음과 같이 일단 무진장 어려운 일이라고 약을 치고는 하면서도 연구 방법에 따른 분류를 설명해 주었습니다.
그러더니 두둥~~
매우 일부이긴 하지만 명확히 분류해볼만한 논문들은 제목만으로도 구분을 하네요!!!
물론 사람이 판단하는게 더 명확할 수도 있겠지만 초벌(?)로 챗지피티가 해준다면 훨씬 의미가 있겠죠? 우와~~ 도대체 어디까지 되는 걸까요?
인사이트
이번 사례로 얻은 인싸이트는 다음과 같습니다.
일단 크롤링만 잘 되면 데이터 분석은 반 이상 끝난다.
이게 될까? 하는 건 일단 질러본다.
원하는 결과가 나오지 않으면 단계를 구분하여 시킨다.
챗지피는
나보다생각보다 똑똑하다.
첫 사례치고 길었네요. 잘 읽어봐 주셔서 감사합니다!!
논문 쓰자! 쓰자!! 쓰자!!!
#11기연구지식관리
