연애 해도 고민 안해도고민...? 연애상담 챗봇으로 해결해보자!!

배경 및 목적

한 연애상담 유튜버의 영상을 보는게 취미입니다! 단순한 연애 이야기뿐만 아니라 전반적인 인생 얘기도 함께 있어 다양한 관점에서 조언을 얻을 수 있어서 즐겨보고 있습니다. 이를 챗봇형태로 만들어서 나의 고민이나 상담내용을 넣어본다면 재미있을 것 같다고 생각했습니다!

참고 자료

라마인덱스 https://docs.llamaindex.ai/en/stable/

유튜브 https://www.youtube.com/watch?v=O4RoqVTPvSc

실행 과정

1. 해당 유튜버의 영상 링크들을 크롤링 후 엑셀파일로 만들기

활용툴: selenium, colab

• 해당 유튜버의 주소 가져오기

• 페이지를 아래로 스크롤 하며

ALT

한국어 텍스트 스크린샷

• 동영상의 제목과 링크를 추출

  

  ALT

  한국어 텍스트가 포함된 웹페이지 스크린샷

• 결과

ALT

한국어 단어 목록이 있는 표

2. 링크에 접속하여 영상을 음성형태로 추출하고 이를 텍스트로 변환하여 데이터 구축

활용툴 : pytube, whisper, pandas

• 동영상 개수가 약 900개로 크롤링에 시간이 오래걸려서 50개로 먼저 진행

• 유튜브 오디오 다운로드 -> pytube 로 진행

  

• 다운된 오디오파일을 텍스트로변환 -> whisper로 진행

  

***** 유튜브에서 영상→텍스트 변환 어떤걸로? ******

1. Google Cloud Speech-to-Text API

장점 : 높은 정확도와 안정성/ 다양한 언어 및 방언 지원/ 대규모 작업 처리

단점 : 유료 서비스로, 사용량에 따라 비용이 발생/ API 사용을 위해 설정이 필요하며, 무료 제공량이 제한적

2. AWS Transcribe

장점 : AWS 인프라를 활용하여 대규모 작업 처리 가능/ 다양한 오디오 포맷 지원

단점: 유료 서비스로, 사용량에 따라 비용이 발생 / 설정 과정이 복잡

3. Whisper (OpenAI)

장점 : 오픈 소스이며 무료로 사용 가능 / 로컬에서 실행가능 비용 발생 x/ 다양한 언어지원

단점 : 로컬 환경에서 실행 시 고성능 GPU가 필요할 수 있음 / Google Cloud 및 AWS와 같은 상용 API보 다 사용 편의성이 낮을 수 있음

- 결과

ALT

다수의 행과 열이 있는 스프레드시트

3. 라마인덱스로 간단한 질문과 답변 받아보기

활용툴 : llamaIndex

ALT

코드 편집기의 스크린샷

질문 :

ALT

노란색 선이 있는 검정색 배경

답변 :

ALT

한국어 텍스트가 있는 검은 화면

결과 및 인사이트

챗봇형태로 발전시켜보기!

크롤링한 데이터로 기반한 질문과 답변이 더 정확하게 나오도록 수정하기!!