소개
옵시디언 게시판에서 옵시디언의 사용 양상을 알고 싶었다. 어떤 tool들과 함께 사용하는지, 어떤 용도로 사용하는지, 사용하는 과정에서 어려운 점은 무엇인지.
아직 워크플로우 툴을 사용해 본 적이 없어서, 일단은 각각의 작업을 별개로 진행하고자 하였다.
게시판에서 '옵시디언' 키워드 검색결과 크롤링 (제목과 본문)
크롤링 결과 엑셀에 저장
본문의 내용을 다음 3가지로 정리
사용툴 컬럼을 만들고, 옵시디언과 함께 사용한 모든 툴을 나열
용도 - 옵시디언을 어떤 용도로 사용하려 했는지 1-2개로 정리
어려운 점 - 옵시디언을 사용하면서 시간이 많이 걸리거나 어떻게 해야 할지 헤메인 점 요약
진행 방법
[크롤링]
사용툴 - 커서, 클로드
준비 - '옵시디언' 검색 결과 주소를 사용. 검색부터 시작하는 코딩은 복잡할 거 같아서.
1차 시도 - 지피티 Canvas에서 다음과 같이 프롬프팅 --> 안 돌아감 --> 커서에서도 안 돌아감
'이 주소에는 여러 헤드라인이 있고, 각 헤드라인을 클릭하면 다른 페이지로 이동하도록 되어 있어. 이 주소에 연계된 페이지들에 있는 모든 내용을 가져오는 코드짜 줘'
2차 시도 - 개발자 도구에서 html을 조회하고, 일단 제목만 추출함 --> 너무 많이 나옴
'이 주소에서 제목을 추출해서 엑셀에 저장하는 코드짜 줘. 제목은 <p class="text-content">와 </p> 사이의 텍스트야. 그리고 제목의 개수 출력해 줘.'
3차 시도 - html을 뜯어보니 작성자와 게시판 이름을 나타내는 부분에도 같은 표현이 포함되어 있었음(<p class="text-content-subdued truncate">). 클로드 도움으로 수정 --> 제대로 돌아감
'이 주소에서 제목과 본문을 추출해서 엑셀에 저장하는 코드짜 줘. 제목은 <[p class="text-content"]>와 </p> 사이의 텍스트야. 그리고 제목의 개수 출 력해 줘.'
4차 시도 - 본문도 포함 --> 중간에 멈춤
'이 주소에서 제목과 본문을 추출해서 엑셀에 저장하는 코드짜 줘. 제목은 <[p class="text-content"]>와 </p> 사이의 텍스트야. 본문은 <article class="prose">와 </article> 사이의 텍스트야.'
5차 시도 - 예외 처리 포함해서 코드 수정 --> 정상 출력
한자가 많이 포함된 페이지
*사례 글 작성을 위해 html를 다시 조회해보니 달라져 있었다. 이런 경우 html을 코드에 바로 넣는게 적절하지 않은 거 같은데, 그럼 어떻게 해야하지??
[요약]
코파일럿과 ChatGPT 4o 사용. tool 부분이 특히 잘 안 됨.
1차 - 코파일럿 - 단순한 규칙
''content' 열을 읽고 다음과 같이 정리해 줘.
tool 열을 만들고, 사용한 툴 모두 나열. 옵시디언은 제외
usage열을 만들고, 옵시디언을 어떤 용도로 사용하려 했는지 1-2개로 정리
problem열을 만들고, 옵시디언을 사용하면서 시간이 많이 걸리거나 어떻게 해야 할지 헤메인 점 요약'
한국어 앱 스크린샷
한국어 텍스트가 포함된 페이지의 스크린샷
2차 - tool이 아닌 것을 많이 추출
'이 파일의 'content' 열을 읽고 다음과 같이 정리해 줘.
1. tool 열을 만들고, 사용한 툴 모두 나열. 옵시디언은 제외
2. usage열을 만들고, 옵시디언을 어떤 용도로 사용하려 했는지 1-2개로 정리
3. problem열을 만들고, 옵시디언을 사용하면서 시간이 많이 걸리거나 어떻게 해야 할지 헤메인 점 요약
전체 열에 대해 3개 행 결과 보여줘'
컴퓨터 화면에 비친 한국어 목록
3차 - tool에 빠진 것이 많음
'tool을 사이트,앱,플러그인 등에 해당하는 것으로 나열해줘. 옵시디언은 제외.
수정사항 반영해서 전체 열에 대해 3개 행의 결과 보여줘'
검은 화면에 한국어 스크린샷
4차 - Gemini에 1번 제목 건에 대해 물어봄 --> 매우 잘 파악
'위에서 언급된 툴 모두 나열해 줘. 간단히'
일단 여기까지. 크롤링도 불안정하고 요약은 오리무중임.
결과와 배운 점
배운 점 : 프롬프트는 매우 구체적이어야 한다. 동적 컨텐츠에는 Selenium을 써야 한다. 요약이나 핵심 메시지 추출이 간단한 게 아니다.
도움이 필요한 부분 : 크롤링과 핵심 추출 및 요약을 정확하고 안정적으로 하는 방법
앞으로의 계획 :
옵시디언 사용 양상 다시 크롤링 & 요약 & 분석
다른 컨텐츠에 대해 정보 수집 및 저장 자동화
도움 받은 글 (옵션)
https://www.gpters.org/dev/post/crawl-gps-bulletin-boards-umVZFRvW5QgwaCN
https://www.youtube.com/watch?v=ao5R0SsmNkE&t=2s
https://www.youtube.com/watch?v=03ichH8K1mA
https://www.youtube.com/watch?v=oqYJabIaNe8&t=1s
