본문으로 건너뛰기

키워드100개 크롤링+Gradio UI

레오

2024.06.23

키워드100개 크롤링+Gradio UI 본문 이미지

2주차 과제 네이버서치에서 키워드를 입력하면 csv 파일로 저장하는 것을 과제로 했는데, 여기에 지난주 랭체인발표에서 김이언님의 설명중에 들었던 Gradio UI로 보여주면 좋겠다는 생각에 그부분을 추가해 보았다.

우선 ‘돼지용법’으로 질문을 던져보았다

이언님코딩을 보여주었더니 복잡한 설명이 나온다.

그래서 기존에 크롤링 코딩을 보여준후에 코딩을 하라고 했다.

결과물이 나왔다.


중간부분은 생략.. 추가된부분은 아래와 같다.

실행을 해보니 예상대로 에러가 나왔다.

지피티가 대답을 해준다

잘 동작된다. 그런데 결과물이 보기가 좋지 않아 url이 링크되도록 해달라고 요청했다.

최종 결과코딩이다.

import gradio as gr

from bs4 import BeautifulSoup

import requests

from datetime import datetime

def fetch_news(keyword):

base_url = "https://search.naver.com/search.naver?where=news&query="

search_url = base_url + keyword

news_list = []

page = 1

while len(news_list) < 100:

url = f"{search_url}&start={page}"

response = requests.get(url)

soup = BeautifulSoup(response.text, 'html.parser')

articles = soup.select("div.news_wrap.api_ani_send")

if not articles:

break

for article in articles:

date_info = article.select_one("span.info")

if date_info:

time_text = date_info.text

if "분 전" in time_text or "시간 전" in time_text or "오늘" in time_text or "1일전" in time_text or "2일전" in time_text:

title_element = article.select_one("a.news_tit")

title = title_element.get('title')

link = title_element['href']

# HTML 링크 형식으로 결과를 생성

news_list.append(f'<a href="{link}" target="_blank">{title}</a>')

if len(news_list) >= 100:

break

page += 10

# 리스트를 HTML 문자열로 변환

return "<br>".join(news_list)

iface = gr.Interface(

fn=fetch_news,

inputs=gr.Textbox(lines=2, placeholder="Enter Keywords for News Search..."),

outputs="html", # 출력 타입을 'html'로 설정

title="Naver News Search Engine",

description="Type keywords to search for news articles on Naver."

)

iface.launch()



Insight

  • 정기님 강의를 잘듣고 , 그 내용을 접목하면 좋은 결과가 나온다.

  • 다른 발표자들의 내용도 잘 활용해보자.

  • 성공은 Always는 아니지만 과정에 배우는 것이 많고, 노우하우가 축적이된다.



#문과생도AI#2주차과제

2

함께 이야기해요 2

로그인하고 댓글을 남겨 주세요

레
레오2024.06.23

@박정기 어유 이렇게가지 칭찬을 해주실정도는 아닌데.. 감사합니다. 이번주 랭체인 이언님 발표에서 새로운 Clue를 많이 얻게되었고, 경매쪽에 적용해볼 거리가 있을지 찾아보는 중입니다

박정기 프로필 이미지
박정기2024.06.23

@Leo 존경하는 레오님.. 응용력이 엄청 좋으세요!!

랭체인발표에서 김이언님의 설명중에 들었던 Gradio UI

→ 이래서 지피터스를 하나봅니다.

→ 1+1 = 3이되는 마법을 본것 같습니다.😮


돼지용법 이라는것도 있는걸 처음 알았구요!


일단 그라디오 코드가 어떻게 생긴지는 모르지만, 지피티는 잘짜주기 때문에 가능한 것 같고, 만약 그라디오 안에서 코드를 수정하거나, 약간의 변경이 필요한 겨우에도 티키타카를 통해 학습 + 수정을 진행하실 수 있어요!

결과물이 보기가 좋지 않아 url이 링크되도록 해달라고 요청했다

→ 이 부분도 너무 좋았습니다.


그라디오가 streamlit 보다 좀 가벼운 느낌이 있어요, 로딩 속도도 좀 빠른편이구요!


다양한 툴을 프로젝트에 접목시키는게 너무 좋았습니다!! 😄


수고 너무 많으셨고

너무 좋은 사례 남겨주셔서 대단히 감사드립니다!

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기