[8기 자녀방] chatGPT로 selenium 크롤링 연습

import requests
from bs4 import BeautifulSoup
import re

# 크롤링할 페이지의 URL
url = 'https://www.youtube.com/@gpters/videos'

# URL에서 페이지 내용을 가져옵니다.
response = requests.get(url)

# 페이지 내용을 BeautifulSoup으로 파싱합니다.
soup = BeautifulSoup(response.text, 'html.parser')

# HTML 문자열을 문자열로 변환
html_string = str(soup)

# start_string와 end_string 사이의 텍스트를 정규 표현식을 사용하여 추출합니다.
start_string = ']},"title":{"runs":[{"text":"'
end_string = '"}]'

pattern = re.compile(re.escape(start_string) + '(.*?)' + re.escape(end_string), re.DOTALL)
matches = re.findall(pattern, html_string)

# 결과를 txt 파일로 저장하고 "번호, 제목" 형식으로 출력합니다.
with open('output.txt', 'w', encoding='utf-8') as file:
    for i, match in enumerate(matches, 1):
        title = match.replace('\n', ' ').strip()  # 제목에서 줄 바꿈 문자 제거 및 좌우 공백 제거
        file.write(f"{i}, {title}\n")
        print(f"{i}, {title}")

[출력 결과]
1, 크롤링 기초 ! 데이터 수집 이해하기 - 챗GPT와 데이터 크롤링하기 (1/4)
2, 인공지능의 역사 한시간 완성 - AI의 탄생부터 GPT-4까지
3, 스테이블 디퓨젼 \"Hands-On Labs\" with 캔로봇님 2부
4, 스테이블 디퓨젼 \"Hands-On Labs\" with 캔로봇님 1부
5, 매직 디자인부터 대량 제작까지, 1시간 만에 캔바 마스터하기! - 유니님 \u0026 윤스케어님 강의
6, 팔릴 상품을 만드는 AI 사용법 - AI로 이커머스 매출 높이기 - 한상문님
7, 캐릭터 하나로 다양한 그림 생성하기 - 소병철님
8, AI로 비즈니스 검증 하고 프레이머로 웹페이지 복사하기! - 삼태현님 발표
9, AI 모델로 쇼핑몰 매출 높이기! 소병철님 발표
...
...
26, AI가 논문 요약? Scispace를 이용하면 논문을 읽지 않아도 된다!
27, 네이밍에 GPT를 이용하네? ChatGPT와 함께 기업 네이밍을 정한 이야기
28, Figma에서 ChatGPT 활용하기 - UIUX에서 챗GPT 활용법
29, 챗GPT로 SF소설쓰기 - GPT로 미래에 사라질 직업
30, AI토크 - ChatGPT, 제대로 알고 사용하자 (2/2)

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time

# Selenium 웹 드라이버 생성
driver = webdriver.Chrome()

# YouTube 채널 페이지로 이동
url = 'https://www.youtube.com/@gpters/videos'
driver.get(url)

# 페이지가 로드될 때까지 기다림 (예: 10초)
driver.implicitly_wait(10)

# 스크롤을 맨 아래로 내리고 데이터를 더 로드하기 위해 반복
while True:
    # 현재 페이지의 높이를 가져옴
    current_height = driver.execute_script("return document.documentElement.scrollHeight")

    # 스크롤을 맨 아래로 내림
    driver.find_element(By.TAG_NAME, 'body').send_keys(Keys.END)

    # 5초 대기 (로딩을 위해 충분한 시간을 줄 수 있음)
    time.sleep(5)

    # 스크롤을 다시 내린 후의 페이지 높이를 가져옴
    new_height = driver.execute_script("return document.documentElement.scrollHeight")

    # 이전 페이지 높이와 새로운 페이지 높이가 같다면 데이터가 더 이상 로드되지 않음
    if current_height == new_height:
        break

# id="video-title-link" 인 모든 <a> 태그 요소를 찾음
video_links = driver.find_elements(By.CSS_SELECTOR, 'a#video-title-link')

# 각 <a> 태그의 내용을 출력
for idx, link in enumerate(video_links, start=1):
    print(f"{idx}. {link.text}")

# 웹 드라이버 종료
driver.quit()

1. 크롤링 기초 ! 데이터 수집 이해하기 - 챗GPT와 데이터 크롤링하기 (1/4)
2. 인공지능의 역사 한시간 완성 - AI의 탄생부터 GPT-4까지
3. 스테이블 디퓨젼 "Hands-On Labs" with 캔로봇님 2부
4. 스테이블 디퓨젼 "Hands-On Labs" with 캔로봇님 1부
5. 매직 디자인부터 대량 제작까지, 1시간 만에 캔바 마스터하기! - 유니님 & 윤스케어님 강의
6. 팔릴 상품을 만드는 AI 사용법 - AI로 이커머스 매출 높이기 - 한상문님
...
...
43. AI토크 : ChatGPT로 세상에서 가장 똑똑한 애플 홈키트 음성 비서 구현하기
44. AI토크 : AI(GPT-3)를 활용한 웹페이지 A/B/N 실험 사례
45. 모든 것을 기록한다 - Rewind.ai 사용법 설명
46. AI노트토크 : ChatGPT 플러그인 소개 및 사용사례 시연 - 류민수님
47. 샘 알트먼이 얘기하는 RLHF (한글 자막)
48. GPT4 한글과 영어 대답의 속도 차이
49. 프롬프트 지니: ChatGPT 자동 번역기 - 사용법 (v2.0.1)
50. 프롬프트 지니: ChatGPT 자동 번역기 - 사용법 (v2.0.0)
51. 프롬프트 지니: ChatGPT 자동 번역기 - 사용법