[문과생도 AI] 1주차 과제 (헤매이다가 겨우...)
2024.06.17
크롤링이 무엇인지도 이해가 잘 안되서 “크롤링을 왜 해야 하는지” 부터 GPT에 물어봤었습니다. csv 파일이란 것도 선구자분들 덕분에 알게 되었습니다. 감사합니다.
계속 헤매다가 결국 다른 분들 코드 참조하여 한번 성공했네요…😵💫
주제: “동탄 부동산”에 대한 기사 크롤링하고 csv 파일로 출력하기
import requests
from bs4 import BeautifulSoup
import pandas as pd
# URL for the Naver News search results
url = "https://search.naver.com/search.naver?where=news&ie=utf8&sm=nws_hty&query=%EB%8F%99%ED%83%84+%EB%B6%80%EB%8F%99%EC%82%B0"
# Send a GET request to the URL
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')
# Parsing the news articles
articles = soup.select('div.news_wrap.api_ani_send')
# List to hold the news data
news_data = []
for article in articles:
title = article.select_one('a.news_tit').text.strip()
link = article.select_one('a.news_tit')['href']
source = article.select_one('a.info.press').text.strip()
date = article.select_one('span.info').text.strip()
description = article.select_one('a.api_txt_lines.dsc_txt_wrap').text.strip()
news_data.append([title, link, source, date, description])
# Create a DataFrame
df = pd.DataFrame(news_data, columns=['Title', 'Link', 'Source', 'Date', 'Description'])
# Save the DataFrame to a CSV file with utf-8-sig encoding
csv_path = 'dongtan_real_estate_news.csv'
df.to_csv(csv_path, index=False, encoding='utf-8-sig')
print(f"CSV file saved at: {csv_path}")
블룸버그 뉴스사이트에 들어가서 시도해봤는데, 전혀 출력이 안되네요…
여기까지만 해보고 더 배우겠습니다😶

![[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F923a1463c757342f9ed1da51.png&w=3840&q=75)

![[문과생도 AI] 4주 만에 AI로 서비스 개발하기(10기) 사례발표 썸네일](/_next/image?url=https%3A%2F%2Fcdn.gpters.org%2Fexternal%2F0f4d6639207d9af6a8fd7049.jpg&w=3840&q=75)
안녕하세요 @Jinhyun Park 님!!
일단 네이버 기사 크롤링은 성공하셨네요!! 수고 너무 많으셨습니다.
동탄관련하여 부동산 뉴스 크롤링하시고 csv 파일까지 만드시는데 성공하셨어요!
블룸버그 뉴스사이트는 조금 더 난이도가 있을 수도 있어요👀
강의를 좀 더 듣다보면 아이디어가 떠오르실 수 있을겁니다!
수고 너무 많으셨습니다!!
“크롤링을 왜 해야 하는지” 부터 GPT에 물어봤었습니다. csv 파일이란 것도 선구자분들 덕분에 알게 되었습니다.
→ 지피터스의 장점이죠!! P2P 공부법입니다 (피어 투 피어)
잘 모르겠으면 동료가 어떻게 하는지 보고, 모르는건 또 GPT한테 물어보고!
소중한 사례감사드립니다! 😃