단순코드/사업계획서/네이버 크롤링 파이썬코드 짜기

• 지인에게 dataframe로 파일통합 할 수 있다는 힌트를 얻고
• GPT에게 해당 코드를 짜달라고 요청하니 10초도 걸리지 않네요.
• 크롤링과 달리 이런 단순한 코드는 에러없이 순식간에 완성된다는 점... 

• GPT민수야 고맙다!
  
• 사업계획서 작성

아래 url은 네이버의 블로그 포스팅 검색결과를 보여주는 링크야
아래 데이터를 크롤링하는 파이썬 코드 짜줘
- 데이터: 블로그 이름, 블로그 주소(링크), 포스팅 제목, 포스팅 날짜
- url: https://search.naver.com/search.naver?where=view&sm=tab_jum&query=%ED%95%84%EB%9D%BC%ED%85%8C%EC%8A%A4%EB%B3%B5

2) 결과는 매우 훌륭했습니다.
하지만 class값이 잘못 나와서, 이를 수기로 확인해 정정했습니다.

3) 빈 데이터로 발생한 일부 에러를 수정해달라고 요청했습니다.
(중간중간 추출못한 데이터로 nonetype 오류 발생)
-> excpet처리해서 코드 수정해줌


4) 데이터를 엑셀로 뽑아달라고 요청했습니다.
-> pandas 모듈로 뽑길래, 제가 익숙한 openpyxl 모듈을 사용해달라고 정정

5) 뽑고나니 1페이지 데이터만 있길래, 2~4페이지를 100번행까지 추가해달라고 함
-> url에 &sm_tab_jum&start={i}를 추가하며 알아서 해줍니다. 
    위 1번에서 classs값 틀린거랑은 또 다르네요.

urls = [f"https://search.naver.com/search.naver?where=view&sm=tab_jum&query={search_keyword}&start={i}" for i in range(1, 92, 10)]

6) 10분도 안걸려서 훌륭한 결과물이 탄생했습니다.

*chatGPT가 짠 코드 전문은 아래와 같습니다.

import requests
from bs4 import BeautifulSoup
from openpyxl import Workbook

search_keyword = "필라테스복" # specify the search keyword here

# extract all 100 search results by setting the start parameter to 1, 11, 21, ..., 91
urls = [f"https://search.naver.com/search.naver?where=view&sm=tab_jum&where=blog&query={search_keyword}&start={i}" for i in range(1, 92, 10)]

# create a new Excel workbook and select the active sheet
wb = Workbook()
ws = wb.active

# write the column names to the first row of the sheet
ws.append(["Blog Name", "Blog Address", "Post Title", "Post Date"])

for url in urls:
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")

    # find all blog post entries
    post_entries = soup.find_all("li", {"class": "bx _svp_item"})

    for post in post_entries:
        # extract blog name and address
        blog_name = post.find("a", {"class": "sub_txt sub_name"})
        try:
            blog_address = blog_name["href"]
        except TypeError:
            blog_address = ""
        try:
            blog_name = blog_name.text.strip()
        except AttributeError:
            blog_name = ""
        post_date_elem = post.find("span", {"class": "sub_time sub_txt"})
        post_date = post_date_elem.text if post_date_elem else ""
        post_title_elem = post.find("a", {"class": "api_txt_lines total_tit _cross_trigger"})
        post_title = post_title_elem.text if post_title_elem else ""

        # write the extracted information to the sheet
        ws.append([blog_name, blog_address, post_title, post_date])

# save the workbook to a file on the desktop
path = "C:/Users/user/Desktop/" # specify the path to the desktop here
file_path = f"{path}{search_keyword}_blog_data.xlsx"
wb.save(file_path)