손글씨 파일을 OCR MCP를 통해 문서 파일로 변환하여 옵시디언 노트 슬라이드 만들기

저희는 팀원인 써니님, 우제님 저 3명이서 사례톤 참여했습니다.

사례 계기

  • 우제님께서는 애플노트로 손글씨로 메모할 건이 있는데, 이를 TEXT로 변환하여 옵시디언과 같은 노트앱으로 저장하고 싶어했습니다.

  • 문제 : 아직 LLM으로 한국어 글씨 OCR을 시키면 만족할만 수준은 아니다. 그나마 제미나이가 제일 만족스럽다는 써니님의 의견이 있었습니다.

  • 목표 : 만족할 만한 OCR MCP 서비스를 찾아서 클로드를 시켜서 최대한 높은 수준의 손글씨 인식을 처리하여 노트를 만들자

  1. 먼저 각자 OCR로 사용할만 한 MCP 도구들을 찾기로 했습니다.

후보는

1번 미스트랄 mcp : 유료api

2번 제미나이 mcp : 테스트 못해봄

https://github.com/aliargun/mcp-server-gemini

3번 구글 클라우드 비전 mcp : OCR 기능은 안되는 듯

https://github.com/PipedreamHQ/pipedream/tree/master/components/google_cloud_vision_api

4번 업스테이지 OCR 입니다. : 무료 크레딧 10불 제공

https://github.com/PritamPatil2603/upstage-mcp-server

  1. 각각 일일히 테스트한 결과 4번 업스테이지가 작동을 하는 것 같아 선정해서 테스트 진행했습니다

진행순서

  • 먼저 사용방법을 물어봤습니다

    한국 문자 메시지의 스크린 샷

  • 경로를 지정해줘야 해서 내부 파일을 검색할 수 있는 filesystem 이나 desktop commander mcp 를 설치해줘야 합니다. 클로드 자체 ocr을 썼는데 괜찮지만 만족스럽지는 않았습니다

  • 그래서 경로명과 도구를 지정해줘서 시도해봅니다. 보니까, parse_document 를 쓰더라고요 이걸로 해보기로

콘텐츠 생산자가 되는 불변의 법칙

경험하지 않고, 모르는 것을 주제로 삼지 말아라.
단한 명의 타깃을 명확하게 정해라.
콘텐츠를 필요로 하는 사람들이 모여 있는 플랫폼을 파악해라.
그 플랫폼에 적합한 콘텐츠의 형태와 형식을 파악해라.
내가 추구하는 콘텐츠 생산자의 모범 사례를 정해라.
단, 따라 갈 수 있는 수준의 롤모델이어야 한다.
4번을 위해 필요한 기술을 제대로 습득해라.
콘텐츠 생산자로서 브랜드 정체성을 분명하게 내보여라.
그 브랜드로서 세상을 만나고, 접촉량과 관계량을 늘려라.
7번의 기술로 나만의 개성이 담긴 콘텐츠를 계속 생산하고 3번의 플랫폼에 꾸준히 공유해라.
10번의 과정에서 확보된 소비자와 소통하고 직접 만나라.
11번을 통해 확보된 소비자의 의견을 수렴해 반응이 좋은 콘텐츠와 형식을 더 연구하고 발전시켜라.
9번부터 12번까지의 과정을 계속 콘텐츠로 재생산해라.
콘텐츠를 더 깊게 가져가거나 경험 할 수 있는 유료 프로그램, 상품, 서비스를 만들어라.
14번을 알리고 판매해라.
15번에서 고객의 최대 만족을 추구해라.
16번의 과정과 후기를 다시 콘텐츠로 만들어 세상과 공유해라.
10번부터 17번 까지의 과정을 느슨해지지 않도록 주기적으로 점검해라.
더 많은 플랫폼과 채널에 내가 드러날 수 있는 시도를 해라.
절대 경험하지 않고, 모르는 것으로 콘텐츠를 생산하지 마라.

손글씨 부분:

나의 타깃 (이 분야에 대해 질문하는 사람.
나보다 덜 해보거나 모르는 사람들)

↓ • 나와 고객이 많이 있는 플랫폼
플랫폼의 복숭에 맞춰G 콘텐츠를 문녀라. (특성에 맞게 콘텐츠를 만들어라의 오타로 보입니다)

부러운 사람과 롤모델을 구별하라
기본적인 스킬부터 익혀라 - 경영 < △린촬영방법 등등
사랑을 고객, 소비라를 직접 만나라. (소비자를의 오타로 보입니다)

이제 이미지에 있는 텍스트 내용을 성공적으로 추출했습니다. 이 내용은 콘텐츠 생산자가 되기 위한 20가지 원칙과 그에 대한 손글씨 메모로 구성되어 있습니다.
  • 사진하고 비교해보겠습니다

팀원 분들하고 다른 일반적인 OCR 앱을 써서 비교해봤는데, 제일 만족스럽다는 결과가 나왔습니다.

  • 이번에는 AI에게 철자가 이상한 부분을 문맥에 맞게 임의로 수정해서 작성하라고 했습니다

    한국 웹 사이트의 스크린 샷

  • 이내용을 가지고 옵시디언에 노트를 생성해서 넣어봤는데 잘 들어갔습니다

  • 옵시디언으로 노트 생성했습니다

  • 아예 지침을 만들어서 프로젝트로 사용하면 좋을 것 같았습니다. 지침을 만들어 봅니다

  • 제안해준 프롬프트는 다음과 같습니다

내 손글씨 문서를 텍스트로 변환해주는 도구를 만들어주세요. 다음 절차를 따라 작업해주세요:

1. 사용할 도구: desktop-commander server와 parse_document 함수를 사용합니다.

2. 파일 찾기:
   - 경로: C:\Users\mokka\Downloads\
   - 파일명: {{file_name}} (사용자가 입력할 파일명을 변수로 처리)
   - 파일이 여러 개일 경우: 모든 파일을 순차적으로 처리해주세요.

3. 문서 분석 절차:
   - search_files 도구로 파일 경로 확인
   - parse_document 도구로 각 문서의 손글씨 텍스트 추출
   - 추출된 텍스트를 한국어로 가독성 있게 정리

4. 텍스트 후처리:
   - 손글씨가 명확하지 않은 부분: 맥락에 맞게 추론하여 보완
   - 수정된 부분: "[[원본: 불명확한 텍스트] → [수정: 보완된 텍스트]]" 형식으로 표시
   - 한글 문법과 맥락에 맞게 전체 텍스트 교정

5. 결과 출력:
   - 제목: 원본 파일명
   - 본문: 추출 및 교정된 전체 텍스트
   - 요약: 주요 내용 요약 (3-5줄)
   - 수정 내역: 불명확했던 부분과 수정된 내용 목록

6. 오류 처리:
   - 파일을 찾을 수 없는 경우: 사용자에게 정확한 파일명과 경로 확인 요청
   - 손글씨 인식 실패: 인식하지 못한 부분 표시 및 사용자에게 명확한 이미지 요청

  • 이렇게 다음에는 프로젝트를 만들어서 파일명만 넣으면 바로 손글씨 -> 문서로 만들도록 반자동화를 시킵니다

  • 테스트 해봅니다 : 파일명만 넣으면 자동으로 지침대로 작성해 주도록 했습니다

아래 다른 이미지 손글씨 파일로 테스트 결과입니다

안녕하세요, 개발 전문가입니다. 손글씨 문서를 텍스트로 변환해드리겠습니다. 우선 파일을 찾아보겠습니다.

먼저 C:\Users\mokka\Downloads\ 경로에서 언급하신 파일들을 찾아보겠습니다.

파일을 모두 찾았습니다. 이제 각 파일의 손글씨를 텍스트로 변환하겠습니다.

## 파일 1: test4.jpg 처리

## 파일 2: test5.jpg 처리

## 파일 3: test6.jpg 처리

이제 추출된 손글씨 텍스트를 가독성 있게 정리하고 교정하겠습니다.

# 1. test4.jpg - 손글씨 변환 결과

## 제목: 성공과 행복에 관한 메모

### 본문:

**Chapter 1**

행복은 무엇을 만들어 보수 있는 승리감에서 온다.

행복하려면 노력해야한다. 그리고 감사하기.

성장하기 좋은 방법: 책읽기

나중에 행복하기를 바라는 것이 아니라 지금 행복. 법을 축을 통해 질문하는 깨닫고 나의 그릇을 생각해요. 돈을 벌수있는 크기, 내 그릇의 크기가 가르자 하는 길이 있음.

책에 [[원본: hir] → [수정: 흥미]]는 성공에 도움이 된다.

고통과 난이 마음이 있으면 빛나는 있다. 

목표가 정확하고 구체적이어야 한다.

**Chapter 2**

말에 흔들리지 말고 나의 선택을 밀어라.

과감한 사람의 모든 사업은 [[원본: 왜 wh O 가 기장 중요하다] → [수정: 왜(why)가 가장 중요하다]]

오리지널이 되리 피라미드의 아래가 되라 알고 내가 브랜드부터 시작하라.

일에 무엇을 더하리 알고 빼야 쉬워진다.

구체적 수익률을 확립해도 배출과 20-29% 마진 수익을 보고 나머지는 대투자.

### 요약:
- 행복은 노력과 감사함에서 오며, 책읽기는 좋은 성장 방법
- 목표는 정확하고 구체적이어야 함
- 사업에서는 '왜(why)'가 가장 중요하며 원칙을 세워야 함
- 수익률 관리와 투자 비율 설정의 중요성 강조

### 수정 내역:
1. [[원본: hir] → [수정: 흥미]] - 맥락상 '흥미'가 적합
2. [[원본: 왜 wh O 가 기장 중요하다] → [수정: 왜(why)가 가장 중요하다]] - 영문 표기를 한글로 수정

# 2. test5.jpg - 손글씨 변환 결과

## 제목: 성공과 독서에 관한 필사

### 본문:

누구의 명령을 자발적으로 받는게 아니라 내가 직접 하고싶어서 하는 일.

혼자서 일을 외면하고 나중에 후회하지 마라.

**Chapter 3**

- 책을 읽을때 환경이 중요: [[원본: 도G관에 가수 읽는거 Vs 립] → [수정: 도서관에 가서 읽는 거 vs 집]]
- 여러 책을 동시에 읽는 것: 꾸준히 힘들이라 않고 완독
- 다양한 주제의 책을 읽는 것이 [[원본: 엉망단랑의 힘] → [수정: 엄청난 힘]]
- 사업의 끝에 돈을 버는 게 아니라 과정을 통해.
- 책을 읽으면서 성장하고 행복감을 느끼게 됨
- 책을 읽어야 생각을 깊게 하게 되고 [[원본: 릴준할 수 있음] → [수정: 정리할 수 있음]]
- 대규모 확산을 갖추려면 책이 가장 좋은 [[원본: 리닉·리혜 필요] → [수정: 논리·지혜 필요]]
- 비로소 [[원본: 루헤집이] → [수정: 자유롭게]] 42, [[원본: 쓰로] → [수정: 스스로]] 책임질 수 있음. [[원본: 남랏X] → [수정: 남탓X]]
- 100% 마당이 책임져야 실패이수 [[원본: 오롯이] → [수정: 오롯이]] 배울 수 있다.

**Chapter 4**

- 핵 → 생각 → 실행의 선순환 → 승리와 [[원본: 돈우] → [수정: 보너스]]
- '론' 남들과 비교하지 말 것: 슬로
- '가치'를 '돈'이 부여하고 벌리겠죠 하라
- [[원본: 강 보라 시간] → [수정: 돈 보다 시간]]이 더 중요하다.
- 부자는 항상 '일'이 있다. 성장목표를 하고 부여하면 된다.

### 요약:
- 자발적으로 선택한 일에 책임감을 가져야 함
- 독서의 중요성과 효과적인 독서 방법 강조
- 돈보다 시간과 가치가 중요하며, 성장목표 설정의 필요성
- 책을 통한 지식 습득과 생각의 깊이가 성공의 열쇠

### 수정 내역:
1. [[원본: 도G관에 가수 읽는거 Vs 립] → [수정: 도서관에 가서 읽는 거 vs 집]]
2. [[원본: 엉망단랑의 힘] → [수정: 엄청난 힘]]
3. [[원본: 릴준할 수 있음] → [수정: 정리할 수 있음]]
4. [[원본: 리닉·리혜 필요] → [수정: 논리·지혜 필요]]
5. [[원본: 루헤집이] → [수정: 자유롭게]]
6. [[원본: 쓰로] → [수정: 스스로]]
7. [[원본: 남랏X] → [수정: 남탓X]]
8. [[원본: 오롯이] → [수정: 오롯이]]
9. [[원본: 돈우] → [수정: 보너스]]
10. [[원본: 강 보라 시간] → [수정: 돈 보다 시간]]

# 3. test6.jpg - 손글씨 변환 결과

## 제목: 사업과 돈에 관한 철학

### 본문:

"사업과 돈"에 관련된 지혜의 기준. 철학, 방향의 이야기.

돈 이야기하면 가장 앞에 있는 것은 아니다.

축을 읽으면 좋은 꿈.

내가 교만할 때는 [[원본: 아~ 까불지마 있는거야] → [수정: 아~ 까불지마 조심해야]] G 21 잘못가고

[[원본: m가 귀축되었을 때는] → [수정: 내가 귀축되었을 때는]] 야~ 힘내~ 이것도 과정이야.

급할 수록 천천히 돌아가라.

공자의 가르침은 훨씬 더 실천적이고 현실적이다. 《논어》 <위정>에 실린 "배우기만 하고 생각하지 않으면 얻는 것이 없고, 생각만 하고 공부하지 않으면 위태로워진다(學而不思則罔 思而不學則殆)"가 이를 잘 말해준다. - <다산의 마지막 습관>, 조윤제 - 밀리의 서재

https://milie.pagellink/F1WJmXVRoggwgd3fo7

방법에 있어서 배움(學)과 함께 중요한 축을 바로 되며 반드시 생각하는 학문의 이루는 것이 생각(思)이다. 학문이란 지식을 습득하는 데 그쳐서는 안 되며 이해하는 과정을 거쳐 그 뜻을 이해하고 내 삶에 적용하고 실천하는 단계에 이를 수 있어야 한다는 것이다. -<다산의 마지막 습관>, 조윤제 - 밀리의 서재

https://milie.page.Ink/Wt24Dtu_Luh5,LH7

### 요약:
- 사업과 돈에 대한 철학적 관점 제시
- 교만함과 어려움에 대한 태도의 중요성
- 공자의 가르침 인용: 배움과 생각의 균형이 필요
- 학문은 지식 습득을 넘어 이해와 적용, 실천으로 이어져야 함

### 수정 내역:
1. [[원본: 아~ 까불지마 있는거야] → [수정: 아~ 까불지마 조심해야]] - 맥락상 조심하라는 의미로 판단
2. [[원본: m가 귀축되었을 때는] → [수정: 내가 귀축되었을 때는]] - 'ㅁ'을 '내'로 수정

## 종합 분석

세 문서를 종합해보면, 성공과 행복, 사업과 돈에 관한 필사 노트로 보입니다. 주요 내용은 다음과 같습니다:

1. **행복과 성공의 원칙**
   - 행복은 노력과 감사함에서 온다
   - 목표는 구체적이고 정확해야 함
   - 책읽기가 성장의 중요한 방법

2. **사업과 돈에 대한 철학**
   - 돈 자체보다 가치와 시간의 중요성
   - 구체적인 수익률 관리의 필요성
   - 자발적 선택과 책임감의 중요성

3. **지혜와 배움의 방법**
   - 배움과 생각의 균형이 필요
   - 다양한 주제의 책을 읽는 것의 효과
   - 지식 습득을 넘어 이해, 적용, 실천이 필요

손글씨가 다소 불명확한 부분들을 맥락에 맞게 보완했으며, 특히 영어와 한글이 혼용된 부분을 자연스러운 한글 문장으로 변환했습니다. 필사 내용은 주로 자기계발, 성공, 독서의 중요성에 관한 것으로 보입니다.

  • 배운 점 : 글씨가 개판이어서 그런가 앞선 시도보다는 조금 인식률이 떨어지는 것 같았어요

이번에는 텍스트로 변환한 콘텐츠로 슬라이드를 만들어달라고 요청해봅니다 (심심하면 하는 짓)

  • 옵시디언에도 넣어봅니다

의의

  • 각자 가지고 있는 손글씨 노트들을 옵시언이나 노션과 같은 저장소에 원본과 같이 저장하여 아카이빙을 할 수 있을 것 같아요.

  • 손글씨를 많이 쓰는 업종에 부분 전산화도 가능할듯??

같이 테스트하고 실행해서 피드백해주신 써니님, 우제님 감사드립니다!!!

👉 이 게시글도 읽어보세요