안녕하세요! 문과생도AI 파트너 박정기입니다! 🤗
문과생도AI 3분 OT
과제 소개
크롤링 기술을 통해서 내가 원하는 “키워드”(IT, 인공지능, 도서) 등 검색을 통한 유튜브 채널명, 동영상 조회수, 구독자 수, 비즈니스 이메일, 댓글 수 등의 데이터를 수집하여 조회할 수 있으며, 필터링을 통해 원하는 데이터만 추출 & 분석 가능
목적
chatGPT-4o(클로드3도 약간 사용했었음)를 활용하여 유튜트 크롤링 코드 구현
유튜브 데이터를 수집하고 분석하여 인사이트를 얻는다.
영업 및 마케팅을 위해 비즈니스 이메일을 수집한다.
원하는 “키워드”에 따라 관련된 유튜버나, 비즈니스 이메일을 수집한다.
추후 수집된 비즈니스 이메일로 콜드메일 마케팅을 진행
방법론
본 과제는 Selenium, Streamlit, sqlite, pyautogui, pyperclip를 통해 구현함
실제로 돌아가는 동영상 보러가기
→ https://bustling-volcano-840.notion.site/YouTube-854080a95e264a1ea475d069efb903b1?pvs=4
IT, AI, AI전문가, GPT, 클로드3 등 관련 키워드로 검색하여 약 1000건의 유튜브 데이터 수집 후 → 100개이상의 비즈니스 이메일 수 집 완료
핵심 프롬프트
어떠한 결과가 나왔을 때 그 결과에 대해서 어떠한 기능을 추가해야할지 자세히 말하는 프롬프트
완벽하게 동작하는 코드에 내가 원하는 기능을 하나 추가하는 프롬프트
쇼츠로 인한 에러 핸들링 프롬프트
비효율적인 방법에 대해서 GPT가 판단하게 하여 코드의 개선을 위한 프롬프트
코드전문에서 특정 부분의 코드를 주고, 이 부분만 수정해달라는 프롬프트
3개의 코드를 하나로 합치는 방법을 알려달라.
최종 결론
→ 유튜브 동영상 데이터 1000건을 크롤링 완료
→ 유튜브 동영상 데이터 분석 가능
→ 이 중에서 100개 이상의 비즈니스 이메일 수집 완료
→ 비즈니스 이메일이 노출된 사람만 추출
→ 노출되지 않는 사람은 일단은 직접 찾아가, 확인 필요 (조회수 상위 분들만 추출 하면 될듯)
→ streamlit으로 data 조회 웹 서비스 구현
→ SQL으로 내가 원하는 조건의 필터링 기능 구현 가능
→ 추후에는 틱톡, 인스타, 트위터로 확장시킬 예정입니다.
