[1. 크롤러 MCP 개발] 크롤링 & 데이터 분석 MCP 서버 개발 일지

import json
from urllib.parse import quote
import requests

kw = '광화문' # 사용자에게 입력 받을 예정
encoded_kw = quote(kw, safe='')
# print(encoded_kw)

data = {
    'theme_type': '',
    'keyword': kw, # 한글 그대로 사용
    # ... (중략)
}

cookies = {
    '_ga': 'GA1.1.1399544678.1746696521',
    # ... (중략)
}

headers = {
    'referer': f'https://33m2.co.kr/webpc/search/map?keyword={encoded_kw}&start_date=&end_date=&week=', # encoded_kw 사용
    # ... (중략)
}

def main():
    response = requests.post('https://33m2.co.kr/app/room/search', cookies=cookies, headers=headers, data=data)
    # print(json.dumps(response.json(), ensure_ascii=False, indent=2))
    with open('output.json', 'w', encoding='utf-8') as f:
        f.write(json.dumps(response.json(), ensure_ascii=False, indent=2))

if __name__ == "__main__":
    main()

kw = '광화문' # 사용자에게 입력 받을 예정
encoded_kw = quote(kw, safe='')

<Goal>
사용자가 첨부한 [ouput.json]에 있는 데이터와 [데이터 간단 설명], [개발 목표]에 쓴 글을 확인하고 어떤 MCP를 만들면 좋을지 아이데이션, 브레인스토밍 해줘.
</Goal>

<Role>
너는 Top-down 방식의 Python 개발자이자 MCP 서버 개발 전문가로서, 다음의 단계에 따라 사용자가 MCP 서버를 만들 수 있도록 돕는다. 각 단계를 넘어갈 때마다 수정해야 할 내용은 없는지 사용자에게 확인하고, 문제가 없으면 다음 단계로 넘어간다.
1. 사용자가 [ouput.json]과 [데이터 간단 설명], [개발 목표]를 전달해 줬는지 확인하고, 잘 전달해 줬다면 간단하게 요약한다.
2. 1단계의 데이터를 바탕으로 어떤 것들을 만들 수 있는지 markdown 표 형태로 기획한다. 
3. bulleted list를 이용해서 트리 형태로 MCP 아키텍처를 설계한다.
4. db, @mcp.tool(), @mcp.resource, @mcp.prompt()를 어떻게 만들지 스켈레톤 코드를 작성한다. (함수 이름, 매개변수, return type, docstring, 데코레이터 등 구성) 마지막에 사용자에게 [데이터 수집 코드]를 물어봐서 json 혹은 html 코드를 크롤링해오는 소스 코드를 입력받아서 5단계에 활용한다.
5. 사용자에게 입력받은 [데이터 수집 코드]와 지금까지 나눈 대화를 활용해 MCP server를 python 프로그램을 개발한다.
</Role>

<Context dump>
[ouput.json]
{
  "airbridge": {
    "event_name": "airbridge.ecommerce.searchResults.viewed",
    "action": "광화문",
    "label": ""
  },
  "bucket_name": "samsamm2",
  "error_code": 0,
  "list": [
    {
      "rid": 41785,
      "room_name": "광화문경복궁역/건조기",
      "state": "서울특별시",
      "province": "종로구",
      "town": "내수동",
      "pic_main": "room/210db99e-ce3e-460c-b4ba-080a6d2a746e.jpg",
      "addr_lot": "서울특별시 종로구 내수동 75 용비어천가",
      "addr_street": "서울특별시 종로구 새문안로3길 36",
      "using_fee": 400000,
      "pyeong_size": 11,
      "room_cnt": 1,
      "bathroom_cnt": 1,
      "cookroom_cnt": 1,
      "sittingroom_cnt": 1,
      "reco_type_1": false,
      "reco_type_2": false,
      "longterm_discount_per": 10,
      "early_discount_per": 0,
      "is_new": false,
      "is_super_host": true,
      "lat": 37.57343,
      "lng": 126.97327
    },
    {
      "rid": 39967,
      "room_name": "광화문 종각역 1.5룸",
      "state": "서울특별시",
      "province": "종로구",
      "town": "수송동",
      "pic_main": "room/dd40014c-0346-439a-a5d0-4a610a511bc4.jpg",
      "addr_lot": "서울특별시 종로구 수송동 58 두산위브파빌리온",
      "addr_street": "서울특별시 종로구 삼봉로 81",
      "using_fee": 420000,
      "pyeong_size": 11,
      "room_cnt": 1,
      "bathroom_cnt": 1,
      "cookroom_cnt": 1,
      "sittingroom_cnt": 1,
      "reco_type_1": false,
      "reco_type_2": false,
      "longterm_discount_per": 8,
      "early_discount_per": 2,
      "is_new": false,
      "is_super_host": true,
      "lat": 37.57256,
      "lng": 126.9815
    },
    {
      "rid": 39601,
      "room_name": "🎈서울역광화문/남산뻥뷰",
      "state": "서울특별시",
      "province": "서대문구",
      "town": "충정로2가",
      "pic_main": "room/5254800B-F5ED-4B22-AAA9-BA92AAFBC915.png",
      "addr_lot": "서울특별시 서대문구 충정로2가 192 서대문 디오빌 오피스텔",
      "addr_street": "서울특별시 서대문구 충정로 59",
      "using_fee": 340000,
      "pyeong_size": 8,
      "room_cnt": 1,
      "bathroom_cnt": 1,
      "cookroom_cnt": 1,
      "sittingroom_cnt": 1,
      "reco_type_1": false,
      "reco_type_2": false,
      "longterm_discount_per": 10,
      "early_discount_per": 2,
      "is_new": false,
      "is_super_host": true,
      "lat": 37.56407,
      "lng": 126.96488
    }, 
... (중략)

[데이터 간단 설명]
33m2라는 사이트에서 '광화문'이라는 키워드로 숙소를 검색해서, 검색된 99개의 숙소에 대한 정보가 고유한 rid 별로 저장되어 있음. 
- using_fee : 1주당 숙박비
- reco_type_1 : 33m2 추천 호스트
- longterm_discount_per : 4주 이상 숙박시 1주당 할인 비율(%)
- early_discount_per : 오늘부터 3일 이내 입주시 할인해주는 돈(만원 단위)

[개발 목표]
33m2에 숙소를 잘 운영하기 위해서 적절한 using_fee를 설정하는데 도움을 받고, 새로운 숙소를 오픈하기 위한 추천 시스템을 개발. 
</Context dump>