본문으로 건너뛰기

[문과생도 AI] 1주차 과제 2가지

서율파

2024.06.15

[문과생도 AI] 1주차 과제 2가지 본문 이미지

문과생도 할 수 있다면, 예체능도 가능하다는 믿음으로 이 과제를 합니다.

과제1. 코딩 문법 문제 풀기 (파이썬 복습 문제)

문제와 답을 적어야 하나…뭐 이런 것 까지… 이런 생각을 하다 남들이 올리고 있어서 따라 적어봅니다.

다행히, ‘코딩밸리’에서 파이썬 공부 중이라 어렵지 않았으나, 아직 진도가 나가지 않은 “pyautogui, f-string, try-except’는 chatGPT에게 물어봐서 정답을 맞췄습니다.

그리고, 이 포스팅을 하며 한번 더 눈으로 익히게 되었습니다. (이 커뮤니티의 글쓰기에 임시저장이 없어서 불편하네요.)


과제2. 매일경제 RSS를 활용한 뉴스 크롤링!

  • 대상: https://www.mk.co.kr/rss

  • 과제 목표

    • RSS 피드를 사용해 링크를 추출하고 각 기사의 내용을 크롤링하여 CSV 파일에 저장하세요!

  • 상세 요구사항


  • 과정

    • 저는 GPT에게 과제의 수행 내역 전체를 질의한 경우와 위 상세 요구사항의 라이브러리로 제한하여 과제 수행

    1. 라이브러리 설치

      1. VS Code 실행 및 ‘Task-01’ 파일 생성


      2. 라이브러리 설치

        jkjang@JKs-MacBook-Pro gpters % pip install feedparser trafilatura


    2. 매일경제 RSS 페이지 레이아웃 확인


    3. GPT에 질의/코드

      1. 질의 내용


      2. 답변 코드

        import trafilatura
        import pandas as pd
        import requests
        from bs4 import BeautifulSoup
        
        # RSS 피드 URL
        rss_url = '<https://www.mk.co.kr/rss>'
        
        # RSS 피드에서 기사 링크 추출
        response = requests.get(rss_url)
        soup = BeautifulSoup(response.content, 'xml')
        items = soup.find_all('item')
        
        # 기사 링크 목록 생성
        links = [item.find('link').text for item in items]
        
        # 크롤링 결과를 저장할 리스트
        articles = []
        
        # 각 링크를 크롤링
        for link in links:
            downloaded = trafilatura.fetch_url(link)
            if downloaded:
                result = trafilatura.extract(downloaded)
                if result:
                    print(f"크롤링 완료: {link}")
                    articles.append({'link': link, 'content': result})
                else:
                    print(f"크롤링 실패: {link}")
            else:
                print(f"크롤링 실패: {link}")
        
        # 크롤링 결과를 DataFrame으로 변환
        df = pd.DataFrame(articles)
        
        # 결과를 CSV 파일로 저장
        df.to_csv('articles.csv', index=False, encoding='utf-8')
        
        print("크롤링 결과가 articles.csv 파일로 저장되었습니다.")
        
    4. 코드 실행 및 파일 확인

      1. 이 코드를 복사하여 VC Code의 Task-01에 붙여 넣기

      2. 그러나, 실행 버튼을 찾지 못해서 친구에게 실행 버튼을 어떻게 보는지 물어봐서 “Task-01”의 확장자 “.py”를 추가

      3. Task-01.py 실행

        1. 그러나, “pandas, requests, bs4’가 없다는 결과가 나와서 이 라이브러리를 설치

      4. Task-01.py 다시 실행

        1. "크롤링 결과가 articles.csv 파일로 저장되었습니다." 문구가 터미널에 출력되고 폴더에 “articles.csv” 파일 생성

        2. 그러나, articles.csv에는 아무런 내용이 없음

      5. 그래서, 코드상 “https://www.mk.co.kr/rss”를 “https://www.mk.co.kr/rss/40300001/”로 변경하여 다시 실행

        1. 터미널 창에 "크롤링 완료: 링크 주소"가 여러 줄 출력


    5. 저장된 articles.csv를 텍스트 편집기에서 실행하여 내용을 확인 (엑셀에서 실행시는 인코딩 에러로 한글이 깨져. Numbers에서 정상적으로 확인)


    6. 요구사항의 라이브러리로 제한하여 다시 시도

      1. GPT에게 라이브러리를 제한하여 질의


      2. 답변 코드


        1. 이 박스 삭제가 안되군요. 이 포스팅 창, 뭔가 스타일 조정이 어렵네요.


        2. 그러나, 과제 정답지와 다른 코드를 생성함

      3. 코드 실행 및 파일 확인

        • VS Code에서 “Task-01-1.py”를 만들어 코드를 붙여넣고 실행

        • 하지만, “크롤링 완료: URL”이 출력되지 않고, "크롤링 결과가 articles-R.csv 파일로 저장되었습니다.”만 출력


        • 생성된 “articles-R.csv” 파일 확인시 내용이 없음

        • 그래서, “import csv”를 추가하여 실행을 하였으나 앞과 동일한 현상

  • 결과

    1. GPT에서 과제 정답지와 다른 코드를 받음

    2. 라이브러리 제한을 하지 않았을 때는 성공을 했으나, 과제 요구사항의 라이브러리로 제한한 경우는 파일 생성은 되나 크롤링이 안됨

  • 질문 드립니다. ”https://www.jobkorea.co.kr/Recruit/GI_Read/44775349?sc=225”는 크롤링 할 수 없나요? 이 주소로 크롤링을 테스트할 경우 내용을 가져오지 못하네요.


#11기문과생도AI

6

함께 이야기해요 6

로그인하고 댓글을 남겨 주세요

명상충만 프로필 이미지
명상충만2024.06.16

우와… 넘 잘하십니다….!!

박정기 프로필 이미지
박정기2024.06.17

@서율파 님 안녕하세요!!

과제 2개 모두 하시느라 정말 수고 많으셨습니다!!

코딩벨리에서도 파이썬 공부를 하고 계셨군요! 더 빠르게 배우실 수 있으실 거에요!!

그러나, 실행 버튼을 찾지 못해서 친구에게 실행 버튼을 어떻게 보는지 물어봐서 “Task-01”의 확장자 “.py”를 추가


→ 파이썬 파일이라는 명시를 해줘야 해서 .py를 꼭 붙여줘야 해요!

그래야 VSCODE가 아 이건 python 파일이구나! 라고 인지하게 되고, 그래서 실행버튼이 생기는 것입니다!


라이브러리 제한을 하지 않았을 때는 성공을 했으나, 과제 요구사항의 라이브러리로 제한한 경우는 파일 생성은 되나 크롤링이 안됨


→ 앗… 이게 라이브러리 제한을 해서 크롤링이 안된것 같아요.

트라필라투라의 한계로 bs4 (뷰티풀숩) 까지 써야 크롤링이 되더라구요


수고 많으셨습니다. 제가 과제를 트라필라투라만 쓰라고 오해하도록 작성한 부분이 있었던 것 같습니다..!!

정답 코드처럼 bs4도 함께 쓰시면 크롤링이 가능해집니다!

사례 감사드립니다!

박정기 프로필 이미지
박정기2024.06.17

아! 그리고

질문 드립니다. ”https://www.jobkorea.co.kr/Recruit/GI_Read/44775349?sc=225”는 크롤링 할 수 없나요? 이 주소로 크롤링을 테스트할 경우 내용을 가져오지 못하네요.

→ 이부분 가능합니다! 나중에 설명드릴게요!

서
서율파2024.06.17

@Doeun 이제 저도 시작이라 부끄럽지만, 더 열심히 하겠습니다. 감사합니다.

서
서율파2024.06.17

@박정기 네에. 감사합니다. 꼭 알고 싶어서요. 제가 이런 기업의 필요 직무 정보를 모아서 뚜쟁이용 AI 도구를 만들고 싶어서요.

서
서율파2024.06.17

@박정기 제가 아직 코딩 도구 사용법을 잘 몰라서 이렇게 알아가게 되네요. 자세한 답변 감사합니다.

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기