[문과생도 AI] gpters.org 메인 페이지 방문자수 확인하기(유사 사례글 없음)
2024.06.23
![[문과생도 AI] gpters.org 메인 페이지 방문자수 확인하기(유사 사례글 없음) 본문 이미지](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2Fef814f786e685915f6f143bf.png&w=3840&q=75)
@코딩의 1도 모른 상황에서 시작했으나…결과가 애매함.. 마지막 줄에 질문했습니다.
-목적: gpters 사용자가 일정기간 동안 gpters 어느 캠프(방)에 가장 많이 방문 또는 적게 방문했는지 확인해 전체 사용자의 선호 캠프 데이터 확인
-기간: 2024.6.10~2024.6.22
-분석 사이트: https://www.gpters.org/home
결과물
1.기간동안 총 방문자수
2. 1일 평균 방문자수
3.가장 많이 방문한 메뉴(번호, 한글표시)
=======================================================
데이터 수집 코드 작성하: 이제 코드를 작성해서 데이터를 모을 거예요. 코드는 웹 페이지에 접속해서 필요한 데이터를 가져오는 일을 해요. 아래 코드를 사용하면 gpters.org 사이트에서 데이터를 가져올 수 있어요.기
import requests
from bs4 import BeautifulSoup
from datetime import datetime, timedelta
# 웹사이트 주소
url = 'https://www.gpters.org/home'
# 날짜 범위 설정
start_date = datetime.strptime('2024-06-10', '%Y-%m-%d')
end_date = datetime.strptime('2024-06-22', '%Y-%m-%d')
# 데이터 저장할 리스트
visits_data = []
# 날짜 범위 내 데이터를 수집
for single_date in (start_date + timedelta(n) for n in range((end_date - start_date).days + 1)):
formatted_date = single_date.strftime('%Y-%m-%d')
response = requests.get(f'{url}/logs?date={formatted_date}')
soup = BeautifulSoup(response.text, 'html.parser')
# 방문자 데이터를 가져오는 코드 (예시)
# 여기에 실제 데이터가 어떻게 구조화되어 있는지에 따라 적절한 파싱 코드를 작성해야 합니다.
visits = soup.find_all('div', class_='visit-entry')
for visit in visits:
visit_info = {
'date': formatted_date,
'user': visit.find('span', class_='user-name').text,
'camp': visit.find('span', class_='camp-name').text
}
visits_data.append(visit_info)
# 데이터 출력
print(visits_data)
==========================================================
오류가 나서 오류수정 요청했더니 pandas 가 설치안됐다고해 설치수정


정상설치 확인
최종 에상 결과에 대한 예시출력을 답변해줌

===============================================================
기간(날짜) 오타가 있어 수정후 vscode 새롭게 넣고자 최종 결과를 출력할 수 있는 전체 코드 재요청함

(최종코드)
import pandas as pd
from datetime import datetime, timedelta
import random
# 예시 데이터 생성
data = {
'date': [],
'user': [],
'camp': []
}
# 예시 데이터를 생성합니다 (기간: 2024-06-10 ~ 2024-06-22)
dates = pd.date_range(start='2024-06-10', end='2024-06-22').to_list()
users = [f'user{i}' for i in range(1, 21)] # 20명의 사용자
camps = ['Camp1', 'Camp2', 'Camp3', 'Camp4', 'Camp5'] # 5개의 캠프
# 랜덤하게 데이터 생성
for date in dates:
daily_users = random.sample(users, k=random.randint(5, 15)) # 하루에 5명에서 15명이 방문
for user in daily_users:
camp = random.choice(camps)
data['date'].append(date.strftime('%Y-%m-%d'))
data['user'].append(user)
data['camp'].append(camp)
# 데이터프레임으로 변환
df = pd.DataFrame(data)
# 데이터프레임 출력
print("데이터프레임:")
print(df.head())
# 총 방문자 수 계산
total_visitors = df['user'].nunique()
print(f"총 방문자 수: {total_visitors}")
# 일일 평균 방문자 수 계산
daily_visits = df.groupby('date')['user'].nunique()
average_daily_visits = daily_visits.mean()
print(f"일일 평균 방문자 수: {average_daily_visits:.2f}")
# 가장 많이 방문한 캠프 확인
most_visited_camp = df['camp'].value_counts().idxmax()
print(f"가장 많이 방문한 캠프: {most_visited_camp}")
=========================================
최종결과는 나왔는데….
6월 10일 분석결과만 나왔다.
분석기간을 6/10~6/22까지 명확히 기재했으나
왜 6/10 방문결과만 나왔는지 의문??
또한 방문자수가 20명으로 나왔는데….11기외 더 많은 사용자가 방문했을텐데
왜 20명으로 나왔는지 정확한 이유는 모름.

date user camp
0 2024-06-10 user2 Camp3
1 2024-06-10 user14 Camp2
2 2024-06-10 user10 Camp2
3 2024-06-10 user7 Camp1
4 2024-06-10 user19 Camp2
총 방문자 수: 20
일일 평균 방문자 수: 11.15
가장 많이 방문한 캠프: Camp1
=======================================================
질문) 과정은 크게 문제가 없는 것으로 보이는데. 웹 데이터분석을 위해 파이썬으로 하는데 한계가 있나요?
#11기문과생도AI
로그인하고 댓글을 남겨 주세요
그죠..데이터 분석이란게. 파이썬 한개로 해결될 문제가 아니죠..
리뷰 감사합니다.
이 부분은 기업에겐 필요합니다. 왜냐면 온라인 사용자 데이터 분석을 위해 주로 구글 애널릭틱스를 사용하는데, 사실 그 툴 사용법이 그리 간단치 않죠. 주로 GA 대행사가 대산 분석결과를 제공하는 식으로 서비스하고 있습니다. 만약 자기회사 홈피—>GA연동 AI—>소비자 인사이트 등 다양한 분석결과 확인…이렇게 중간에서 GA의 결과를 빠르고 쉽게 확인할 수 있는 서비스가 있으면 가입할 것 같습니다..
-서비스 제공가치: 온라인에서 사용자(고객)의 행동 데이터를 쉽고 빠르게 확인해 빠르게 대응할 수 방법을 알려준다..(데이터분석을 통한 자동화 마케팅까지 연계되는 솔루션)

![[문과생도 AI] 돌봄서비스를 위한 대화형 음성 챗봇 구현하기 썸네일](/_next/image?url=https%3A%2F%2Fcdn-beta.gpters.org%2Fexternal%2F923a1463c757342f9ed1da51.png&w=3840&q=75)

![[문과생도 AI] 4주 만에 AI로 서비스 개발하기(10기) 사례발표 썸네일](/_next/image?url=https%3A%2F%2Fcdn.gpters.org%2Fexternal%2F0f4d6639207d9af6a8fd7049.jpg&w=3840&q=75)
@김병훈 안녕하세요 병훈님!
```
# 랜덤하게 데이터 생성
for date in dates:
daily_users = random.sample(users, k=random.randint(5, 15)) # 하루에 5명에서 15명이 방문
for user in daily_users:
camp = random.choice(camps)
data['date'].append(date.strftime('%Y-%m-%d'))
data['user'].append(user)
data['camp'].append(camp)
```
이 부분이
지금 코드 보니까 랜덤으로 방문자수를 만들어서 그냥 알려준 것 같아요
크롤링으로 방문자수 데이터를 가져오는것은 조금 어렵고, 다른 툴들을 써야 합니다!
https://chatgpt.com/share/bbc03f22-978f-4f87-9225-418d73c5bcd9
https://www.similarweb.com/website/gpters.org/#overview
저도 찾아봤는데, 지피터스 내에서 각 카테고리마다 방문자수를 찾으려면 더 많은 세팅을 하고 트레픽을 보는 설정을 해봐야할 것 같습니다!
좋은 시도, 해주셔서 대단히 감사드립니다!!!