텔레그렘으로 키워드 크롤링결과 보내기
2024.06.23

문과생도 AI에서의 과제인 키워드를 크롤링한 결과물을 바로 텔레그램으로 받아보면 좋겠다는 생각으로 만들어보았다. 돈이 되는 경매, 부동산뉴스, 정책, 아파트실거래등 실시간으로 받아보면 좋을 것 같다. 이미 주식하는 사람들이 실시간 뉴스들 많이 이용하고 있으니…




챗봇이름를 정하면 주소와 API token이 나오고 , chat_id를 탐색하면 된다.

이거는 시키는대로 하면 되니, 어려움은 없다.

이미 키워드 크롤링하는 코딩이 있으니, 그것을 이용하고, 그 결과를 텔레그램에 보내면 된다.
아까 만든 Gradio UI에 텔레그램에 보내는 코딩을 접목한다.
최종 코딩결과는 다음과 같다.
import gradio as gr
from bs4 import BeautifulSoup
import requests
import json
# 텔레그램 봇 설정
bot_token = "ㅌㅌㅌㅌㅌ"
chat_id = "ㅌㅌㅌ"
def send_message(message):
url = f"https://api.telegram.org/bot{bot_token}/sendMessage"
data = {"chat_id": chat_id, "text": message}
try:
requests.post(url, data=data)
except requests.exceptions.RequestException as e:
print(f"Error sending message: {e}")
def fetch_and_send_news(keyword):
base_url = "https://search.naver.com/search.naver?where=news&query="
search_url = base_url + keyword
news_list = []
page = 1
while len(news_list) < 100:
url = f"{search_url}&start={page}"
response = requests.get(url)
soup = BeautifulSoup(response.text, 'html.parser')
articles = soup.select("div.news_wrap.api_ani_send")
if not articles:
break
for article in articles:
date_info = article.select_one("span.info")
if date_info:
time_text = date_info.text
if "분 전" in time_text or "시간 전" in time_text or "오늘" in time_text or "1일 전" in time_text or "2일 전" in time_text:
title_element = article.select_one("a.news_tit")
title = title_element.get('title')
link = title_element['href']
news_list.append(f"{title}\n{link}")
if len(news_list) >= 100:
break
page += 10
news_string = "\n\n".join(news_list)
send_message(news_string) # Send the news list to Telegram
return news_string # Return the news list to display in Gradio
# Gradio 인터페이스 설정
iface = gr.Interface(
fn=fetch_and_send_news,
inputs=gr.Textbox(lines=2, placeholder="Enter Keywords for News Search..."),
outputs=gr.TextArea(label="News Results"),
title="Naver News Search and Telegram Notification",
description="Type keywords to search for news articles on Naver and send results to Telegram."
)
iface.launch()
결과물은 다음과 같다.


Insight
입력, 출력을 다양한 모습으로 조절가능하다
키워드를 부동산, 부동산정책, 경매, 아파트등 다양하게 넣어서 텔레그램으로 받아보자.
이것으로 응용할 수 있는게 많겠다.
일정시간마다 결과를 업데이트하는 기능추가등…
카카오톡, 네이버블로그, 이메일등으로 확장
#문과생도AI#

![[문과생 AI] 2주차 과제(네이버 뉴스 크롤링 100개) + 웹 브라우저 키워드 입력하여 뉴스 100개 크롤링 하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F225fff2dee0f32384984c1ab.png&w=3840&q=75)
![[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F923a1463c757342f9ed1da51.png&w=3840&q=75)

@Leo 님 이번주 베스트 발표자 예약인가요…?
제가 사실 강의하고 싶은 부분이지만, 못했던 부분이
슬랙 or 텔레그램과 같이 채팅 자동화 였는데,
이 부분까지는 너무 양이 많아서 뺐었는데, 이 부분에 대한 좋은 사례를 남겨주셔서 대단히 감사드립니다
추가적으로 해볼만한것은 주기적으로 크롤링 → 주기적으로 텔레그램에 보내는 그런 시스템도 생각해볼 수 있을 것 같습니다!
너무 수고 많으셨고, 자세한 내용도 친절하게 게시글로 적어주셔서 감사드립니다!
레오님 쵝오!!!🫡