노션을 전체 아웃풋해서 재정리하는 프로그램이다
github : https://github.com/MuYoul/memomingle
## 도입
- 노션에서 옵시디언으로 노트앱을 옮기려고 함
- 옵시디언의 기능을 사용했으나, 옮긴 내용이 엉망이 되어 재정리 필요
## 문제점
1. 이미지와 글이 함께 디렉토리에 들어감: 재정리 필요
2. 노트 뒤에 이상한 ID가 들어감: 재정리 필요
3. 수작업으로 하기에는 비효율적
## 해결 방안
- 노트와 메모를 정리하면서 옮기기로 결정
- 노트를 정리하는 기준을 설정 w/gpt4 ([[노트 정리 방법 - 라벨, 태그를 사용한 폴더 구조]])
## 실행 계획
1. 노션을 전부 md형태로 output
2. 데이터 분석 후 적절한 대주제 출력 w/gpt4
1. 폴더, 라벨, 태그 기반으로 정리
3. ChatGPT에게 폴더, 라벨, 태그 분류 작업 위임 w/gpt4
1. 필수 column: 원본 파일이름, 대상 폴더, 라벨, 태그
2. md 파일 내용 분석 후 tag 최소 2개 이상 붙임(본문 단어를 꼭 포함)
4. (TODO) 엑셀로 출력된 내용을 옵시디언으로 이동(디렉토리로 이동)
1. 자동화 프로그램 작성 가능
5. (TODO) 이후 메모 정리 프로그램으로도 활용 가능
## 실행 시 사소하지 않은 오류들
1. 긴 파일명 문제:
1. chatgpt사용해 파이썬 코드 작성 후 해결
2. 이 코드를 chatgpt에게 전달한 뒤 분석하라고 해야함
3. 짧은 파일명으로 변경 -> 결국 다시 긴 파일명 문제가 발생함
4. 누락된 md 파일 검증을 위한 스크립트 요청
2. 정리된 내용의 엑셀 파일에서 발생한 문제
1. 한글 이름 자음모음 분리: 파이썬 코드로 해결
2. TAG 붙이는 작업
1. NLTK를 설치 후 분석하시도
2. TAG를 분석하는데 꽤 오래 걸림 : 엄청난 실패 끝에 한번 성공함
## 추가 작업 방향
- NLTK whl 설치 후 여러번의 실패
- (TODO) 각 메모마다 AI를 사용해 tag를 생성하는 것이 좋을 것 같음
- 폴더와 라벨로 정리만하고 TAG는 파일명과 원본의 상위 디렉토리를 붙이는 선에서 뼈대 수준으로 정리만 하도록 해야할듯
## 마무리
- 올바르게 압축 해제할 수 있는 코드 필요
- TAG는 안되는 걸로 판단, 폴더와 라벨만 잘 붙이기로 결정
- 나의 메모는 내가 정리해야함
- 안해도 되는 일을 시작해서 엄청 벌여놓은 기분
추가
노트 내용을 페이지별로 긁어넣고 tag 추출을 gpt 3.5와 4에게 각각 시켜봤더니 4가 압도적으로 좋은 결과를 줌
ex) 3.5는 본문 내용의 단어위주로 뽑아주는데 4는 내용을 이해하고 약간의 추상화 또는 정리된 주제 단어를 뽑아서 나타내줌 → api를 써도 안된다는 것을 알고 빠르게 포기함
gpt4가 만들어준 tag생성 프로그램은 3.5보다 훨씬 못한 결과를 줌 → 폐기