본문으로 건너뛰기

[문과생도 AI] 1주차 과제

윈셀

2024.06.14

[문과생도 AI] 1주차 과제 본문 이미지

우선 과제 관련 GPT와의 모든 대화입니다. :

ChatGPT


목표 : RSS피드를 Trafilatura와 Feedparser를 통해 크롤링

Step.1 묻지도 따지지도 않고 바로 GPT에게 물어보기


그러니 다음과 같은 코드를 작성해줬습니다.

import feedparser
import trafilatura

# RSS 피드 URL
rss_url = "https://www.mk.co.kr/rss/30000001/"

# RSS 피드 파싱
feed = feedparser.parse(rss_url)

# 피드에서 각 기사 정보 추출
for entry in feed.entries:
    title = entry.title  # 기사 제목
    link = entry.link    # 기사 링크

    # 기사 내용 크롤링
    downloaded = trafilatura.fetch_url(link)
    article_text = trafilatura.extract(downloaded)

    # 기사 정보 출력
    print(f"Title: {title}")
    print(f"Link: {link}")
    print(f"Content: {article_text}")
    print("\n" + "="*80 + "\n")


결과물 :



Step.2 수정 : 글이 너무 줄줄줄 있습니다.. 정리를 했으면 좋을 것 같습니다.
—> Pandas를 사용하여 정리하고 csv파일로 저장



결과물 : 표 형식으로 정리됨. 그러나 CSV 파일은 글자가 깨져서 나옴





Step.3 수정 2 : VS CODE에는 글자가 나오나, 파일이 글자가 깨집니다.
—> CSV 파일 변환 시 문제인 것으로 보이므로, 인코딩 cp949를 해달라고 합니다.

(utf-8 시도했는데 똑같이 깨져서 나왔습니다 ㅜㅜ)



결과물 : 이제는 파일에 글자가 잘 나옴




Step.4 추가 요구 사항 : 기사가 언제 발행되었는지도 알고 싶었습니다.



결과물 : 원하던 대로 구현되었으나, 오류 발생



Step.5 오류 수정(반복)



이후는 코드를 실행하고, 오류를 수정하는 것의 반복이었습니다.

그리하여 최종적으로는 아래와 같이 작성하였습니다.




최종 코드

import feedparser
import trafilatura
import pandas as pd

def remove_special_chars(text):
    """특수 문자를 제거하는 함수"""
    return text.encode('cp949', 'ignore').decode('cp949')

# RSS 피드 URL
rss_url = "https://www.mk.co.kr/rss/30000001/"

try:
    # RSS 피드 파싱
    feed = feedparser.parse(rss_url)

    # 기사 정보를 저장할 리스트
    articles = []

    # 피드에서 각 기사 정보 추출
    for entry in feed.entries:
        title = entry.title  # 기사 제목
        link = entry.link    # 기사 링크
        published = entry.published  # 게시 날짜

        # 기사 내용 크롤링
        downloaded = trafilatura.fetch_url(link)
        article_text = trafilatura.extract(downloaded)

        # 기사 정보를 딕셔너리로 저장
        article_info = {
            "Title": title,
            "Link": link,
            "Content": article_text,
            "Posted Date": published,
        }

        # 리스트에 추가
        articles.append(article_info)

    # pandas 데이터프레임으로 변환
    df = pd.DataFrame(articles)

    # 데이터프레임의 모든 문자열에 특수 문자 제거 적용
    df = df.apply(lambda col: col.map(remove_special_chars) if col.dtype == 'object' else col)

    # CSV 파일로 저장 (cp949 인코딩 사용)
    df.to_csv("articles5.csv", index=False, encoding='cp949')

    # 크롤링 완료 메시지
    print("[완료]")

except Exception as e:
    # 예외 발생 시 크롤링 실패 메시지와 오류 내용 출력
    print("[실패]")
    print(f"오류 내용: {e}")

#11기문과생도AI

1

함께 이야기해요 1

로그인하고 댓글을 남겨 주세요

박정기 프로필 이미지
박정기2024.06.14

@김태규 크롤링을 넘어서 pandas를 활용해서 csv까지 만드셨군요!

너무 잘하셨습니다. 이렇게 아는게 많아질 수록 (개발 용어) 해볼 수 있는게 많아지고,

하나씩 넓혀가시다보면, 원하시는 서비스를 계속 디벨롶 하실 수 있게 되실 겁니다.


태규님의 크롤링 하고 싶은 사이트를 하나 선정해보시는건 어떨까요!? 기대하고 있겠습니다!! 수고 많으셨습니다!!


그리고 에러 핸들링 했던거 아카이빙 잘 해놓으시면, 나중에 큰 도움이 되실 겁니다!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기