본문으로 건너뛰기

연애 해도 고민 안해도고민...? 연애상담 챗봇으로 해결해보자!!

고구마최고

2024.08.28

연애 해도 고민 안해도고민...? 연애상담 챗봇으로 해결해보자!! 본문 이미지

배경 및 목적

한 연애상담 유튜버의 영상을 보는게 취미입니다! 단순한 연애 이야기뿐만 아니라 전반적인 인생 얘기도 함께 있어 다양한 관점에서 조언을 얻을 수 있어서 즐겨보고 있습니다. 이를 챗봇형태로 만들어서 나의 고민이나 상담내용을 넣어본다면 재미있을 것 같다고 생각했습니다!

참고 자료

라마인덱스 https://docs.llamaindex.ai/en/stable/

유튜브 https://www.youtube.com/watch?v=O4RoqVTPvSc

실행 과정

1. 해당 유튜버의 영상 링크들을 크롤링 후 엑셀파일로 만들기

활용툴: selenium, colab

  • 해당 유튜버의 주소 가져오기

  • 페이지를 아래로 스크롤 하며

  • 동영상의 제목과 링크를 추출

    한국어 텍스트가 포함된 웹페이지 스크린샷
  • 결과

한국어 단어 목록이 있는 표

2. 링크에 접속하여 영상을 음성형태로 추출하고 이를 텍스트로 변환하여 데이터 구축

활용툴 : pytube, whisper, pandas

  • 동영상 개수가 약 900개로 크롤링에 시간이 오래걸려서 50개로 먼저 진행

  • 유튜브 오디오 다운로드 -> pytube 로 진행

  • 다운된 오디오파일을 텍스트로변환 -> whisper로 진행

***** 유튜브에서 영상→텍스트 변환 어떤걸로? ******

1. Google Cloud Speech-to-Text API

장점 : 높은 정확도와 안정성/ 다양한 언어 및 방언 지원/ 대규모 작업 처리

단점 : 유료 서비스로, 사용량에 따라 비용이 발생/ API 사용을 위해 설정이 필요하며, 무료 제공량이 제한적

2. AWS Transcribe

장점 : AWS 인프라를 활용하여 대규모 작업 처리 가능/ 다양한 오디오 포맷 지원

단점: 유료 서비스로, 사용량에 따라 비용이 발생 / 설정 과정이 복잡

3. Whisper (OpenAI)

장점 : 오픈 소스이며 무료로 사용 가능 / 로컬에서 실행가능 비용 발생 x/ 다양한 언어지원

단점 : 로컬 환경에서 실행 시 고성능 GPU가 필요할 수 있음 / Google Cloud 및 AWS와 같은 상용 API보 다 사용 편의성이 낮을 수 있음

- 결과

다수의 행과 열이 있는 스프레드시트

3. 라마인덱스로 간단한 질문과 답변 받아보기

활용툴 : llamaIndex

코드 편집기의 스크린샷

질문 :

노란색 선이 있는 검정색 배경
나와있는 사례를 읽어보고 질문

답변 :

한국어 텍스트가 있는 검은 화면

결과 및 인사이트

챗봇형태로 발전시켜보기!

크롤링한 데이터로 기반한 질문과 답변이 더 정확하게 나오도록 수정하기!!

4

함께 이야기해요 4

로그인하고 댓글을 남겨 주세요

박정기 프로필 이미지
박정기2024.08.28

안녕하세요 고구마최고 님! 좋은 사례 공유 너무 감사드립니다!

2주차인데 벌써 크롤링 부터, 간단한 질문과 답변을 터미널에서 받을 수 있게 구현하셨군요! 정말 수고 많으셨습니다.

오늘 시연 가능하신지 궁금합니다!

패트릭 프로필 이미지
패트릭2024.08.28

제가 지난 번에 유튜브 동영상 스크립트 추출할 때 제작한 것인데, 혹시 도움이 되실지 모르겠습니다.

이건 자막이 있는 것만 사용이 가능한지라 고구마최고님께서 진행하시는 것에 100% 만족을 못시켜드릴 수도 있을 것 같아요

https://colab.research.google.com/drive/1E1T9uokGmQyJaE5Mwr7F1ngiqs9eN3LR?usp=sharing

고구마최고 프로필 이미지
고구마최고2024.08.31

공유해주셔서 너무 감사드려요! ☺️

허세임 프로필 이미지
허세임2024.08.31

좋은 발표 감사드려요! 오늘 파인콘으로 세이노의가르침 래그 넣는거 명료하게 설명해주셔서 따라해보려합니다!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기