Whisper 모델과 ChatGPT를 이용하여 외국어 공부하기

소개

녹음한 강의 내용을 문서화 하다가 추가적으로 외국어 공부에 활용해보고 싶어 진행하였습니다.

진행 방법

  1. Naver 클로바 노트: 녹음한 강의 내용의 문서화 및 요약 정리

클로바 노트 사용은 간단했습니다. 녹음한 강의 내용 파일 업로드 및 요약 정리 버튼 누르면 하단 이미지 처럼
금방 적용이 가능하였습니다.

한국어 웹 사이트의 스크린 샷

  1. AssemblyAI: 영상의 더빙을 대본으로 전환

1) ChatGPT 에게 강의 녹음본을 주었으나 음성 길이를 1~2분으로 잘라 사용해야 가능하다는 답변
을 얻었습니다.

2) 짱구는 못 말려 일본 더빙 버전을 유튜브 다운로드 가능한 사이트에서 .mp4 포맷으로 다운받았습니다.

3) 다운 받은 파일을 지원 가능한 언어 중 일본어를 선택하여 스크립트 전환 요청을 하였습니다.

버튼이있는 Ajax 페이지의 스크린 샷
가입 후 'Go to Playground' (파란 버튼) 를 눌러 스크립트 전환 페이지로 이동합니다.
단어가있는 페이지의 스크린 샷은 FP 계정을 강조 표시합니다.
전환할 파일 업로드 후, 전환할 영상의 주 언어를 선택해줍니다.
중국어 텍스트가있는 페이지의 스크린 샷
일본어로 전환이 완료 되었습니다.


* 스크립트 전체를 한 문장씩 나눠달라 하였으나 저작권 등의 문제로 불가하다는 결과를 받았습니다.

  1. ChatGPT: AssemblyAI 를 통해 받은 대본의 정리

1) 파일 전환에 앞서 유튜브 링크를 주고 대본 정리가 가능한지 물어보았으나 직접적으로 제공하지 않았습니다.

2) AssemblyAI 에게 받은 대본을 ChatGPT 에게 주고 '일본어 발음 -> 한국어 발음' , '한국어로 해석' , '간지를 히라가나 기반으로 변환', '단어 뜻', '해석' 으로 요청을 하였습니다.

한국어 프로그램이 컴퓨터 화면에 표시됩니다.
이미지와 같은 방법으로 ChatGPT 가 분석하였습니다.

3) 총 60문장을 번역을 하였고 엑셀로 정리하여 .xlsx 포맷으로 요청하여 정리된 파일을 받을 수 있었습니다

한국어와 한자가있는 테이블

결과와 배운 점

1. 장, 단점

1) 클로바 노트
- 인식 가능 언어 6개 (한국어, 영어, 일본어, 중국어 간체/번체, 한국어+영어)
- 주요 키워드 추출 기능
- 주 내용 정리 가능
- 내용 정리 가능하나 때때로 발음 대로 단어 정리 (ex: 달항아리 -> 다랑아리)

2) AssemblyAI
- 크레딧 필요 없음 (6분짜리 음성이어서 그런지 특별히 필요 없었습니다.)
- 인식 가능 언어 20개 (한국어도 가능하며 프랑스, 이태리, 독일 등 다양)
- 영상 내 음성 분석 가능 (.mp4 포맷 지원)
- 내용 요약 가능하나 한 문장씩 분류 작성은 지원 안 됨

3) ChatGPT
- 길이가 긴 녹음 파일 전환 불가, 1~2분 내로만 가능
- 4o 로 진행 시 .xlsx 포맷 자료 요청 가능

2. 배운 점

- 어느 AI 를 써도 비슷한 경우이겠지만 AI 가 모든 것을 해결해 주지는 않는다는 것을 보았습니다.
강의 내용을 스크립트로 전환하는 경우만 보더라도 단어 발음이 완벽하게 전환되지 않는 점과 요약되는 점이 제가 생각한 만큼 완벽하진 않았습니다. 다만, 네이버 클로바 노트의 경우 용약에 대해 피드백을 남길 수 있는 것을 보니 앞으로 개선의 여지가 있지 않을까 하는 기대감을 갖을 수 있었습니다.

4
2개의 답글

👉 이 게시글도 읽어보세요