개인 연구비서 만들기! - 검색해서 데이터 긁어와...

import streamlit as st
import requests
import pandas as pd

# Define the API endpoint
API_URL = "http://db.itkc.or.kr/openapi/search"

# Dictionary mapping for search sections
sections = {
    "전체": "AA", "서지": "SJ", "저/편/필자": "AU", "권차/문체명": "KW",
    "기사명": "GS", "본문": "BD", "해제": "HJ", "형태서지": "H1", "문집저자": "H2",
    "행력": "H3", "가계": "H4", "편찬및간행": "H5", "구성과내용": "H6",
    "경서성독": "JA", "도설자료": "IL", "서지정보": "SJ_AA", "각주정보": "JS_AA",
    "시소러스": "TR_AA", "동양고전종합DB": "CS_AA", "세종한글고전": "SE_AA"
}

# Streamlit app layout
st.title('한국고전종합DB 검색기')
keyword = st.text_input('검색어를 입력하세요:', '')
search_section = st.selectbox('검색대상유형을 선택하세요:', list(sections.keys()))

# Perform search and display results
if st.button('검색'):
    secId = f"{search_section}_{sections[search_section]}"
    params = {'secId': secId, 'keyword': keyword, 'start': 0, 'rows': 10}
    response = requests.get(API_URL, params=params)
    data = response.json()['documents']

    # Convert data to DataFrame for display and CSV download
    df = pd.DataFrame(data)
    st.write(df)

    # Download link for CSV file
    csv = df.to_csv(index=False).encode('utf-8-sig')
    st.download_button(label="CSV로 다운로드", data=csv, file_name=f"{keyword}_search_results.csv", mime='text/csv')

# Instructions to run the app
st.sidebar.info('이 앱은 한국고전종합DB에서 데이터를 검색하고 결과를 CSV 파일로 다운로드합니다. 검색어와 검색대상유형을 선택한 후 검색 버튼을 클릭하세요.')

- 나는 검색한 모든 결과값을 가져오고 싶어. 그래서 start와 rows를 지정할 필요는 없을 것 같아.
- 검색유형 선택을 다음과 같이 두 단계로 나누어서 세분화 해줘:
"*"에 해당하는 걸 먼저 선택하게 해줘. 예를 들어, 고전번역서인지, 한국문집총간인지 등. 복수 선택도 가능하게 해줘.
그 다음에 (전체), (서지) 등의 사항을 선택하게 해줘. 복수 선택도 가능하게 해줘.
예를 들어, 내가 "고전번역서"를 선택하고 "전체"를 선택하면, 섹션 값은 "BT_AA"가 될거야.  

- 세부유형을 선택할 때, AA, SJ, AU 등은 내가 알아보기 힘들어. 이건 값으로 두고, 이 값들에 해당하는 지시어들 "전체", "서지", "저/편/필자" 등을 선택버튼으로 만들어줘. \
- rows가 몇개까지 나올지 검색 시점에서 나는 알 수가 없어. 몇개가 검색이 되든 검색되는 모든 데이터를 fetch해올 수 있게 코드를 짜줘. 

import streamlit as st
import requests
import pandas as pd

API_URL = "http://db.itkc.or.kr/openapi/search"

# Dictionary mapping for sections with user-friendly labels
section_labels = {
    "BT_AA": "전체", "BT_SJ": "서지", "BT_AU": "저/편/필자", "BT_KW": "권차/문체명", "BT_GS": "기사명", "BT_BD": "본문",
    "GO_AA": "전체", "GO_SJ": "서지", "GO_AU": "저/편/필자", "GO_KW": "권차/문체명", "GO_GS": "기사명", "GO_BD": "본문",
    "MO_AA": "전체", "MO_SJ": "서지", "MO_AU": "저/편/필자", "MO_KW": "권차/문체명", "MO_GS": "기사명", "MO_BD": "본문",
    # Add additional categories and sections as required
}

# Main categories and their possible sections
categories = {
    "고전번역서": ["BT_AA", "BT_SJ", "BT_AU", "BT_KW", "BT_GS", "BT_BD"],
    "고전원문": ["GO_AA", "GO_SJ", "GO_AU", "GO_KW", "GO_GS", "GO_BD"],
    "한국문집총간": ["MO_AA", "MO_SJ", "MO_AU", "MO_KW", "MO_GS", "MO_BD"],
    # Add more categories and sections as needed
}

def fetch_all_results(secId, keyword):
    all_documents = []
    start = 0
    rows = 100  # Initial batch size; adjust based on API performance
    while True:
        params = {'secId': secId, 'keyword': keyword, 'start': start, 'rows': rows}
        response = requests.get(API_URL, params=params)
        data = response.json().get('documents', [])
        if not data:  # Stop if no more data is returned
            break
        all_documents.extend(data)
        start += len(data)  # Update the starting point based on the number of data fetched
    return all_documents

# Streamlit application interface
st.title('한국고전종합DB 검색 인터페이스')

# User inputs for keyword and selections
keyword = st.text_input('검색어를 입력하세요:', '')
selected_categories = st.multiselect('대분류를 선택하세요:', list(categories.keys()))

# Section selection based on selected categories
selected_section_labels = []
if selected_categories:
    options = [section_labels[sec] for cat in selected_categories for sec in categories[cat]]
    selected_section_labels = st.multiselect('세부 유형을 선택하세요:', options)

# Perform the search and provide results
if st.button('검색'):
    if not selected_section_labels:
        st.error("선택된 세부 유형이 없습니다.")
    else:
        selected_sections = [key for key, value in section_labels.items() if value in selected_section_labels]
        combined_results = []
        for section in selected_sections:
            results = fetch_all_results(section, keyword)
            combined_results.extend(results)
        df = pd.DataFrame(combined_results)
        st.write(df)
        # Provide download option for CSV
        if not df.empty:
            csv = df.to_csv(index=False).encode('utf-8-sig')
            st.download_button(label="CSV로 다운로드", data=csv, file_name=f"{keyword}_search_results.csv", mime='text/csv')

st.sidebar.info('이 앱은 한국고전종합DB에서 데이터를 검색하고 결과를 CSV 파일로 다운로드합니다. 검색어와 검색대상유형을 선택한 후 검색 버튼을 클릭하세요.')

import requests
import streamlit as st
import pandas as pd
import xml.etree.ElementTree as ET

API_URL = "http://db.itkc.or.kr/openapi/search"

section_labels = {
    "BT_AA": "전체", "BT_SJ": "서지", "BT_AU": "저/편/필자", "BT_KW": "권차/문체명", "BT_GS": "기사명", "BT_BD": "본문",
    "GO_AA": "전체", "GO_SJ": "서지", "GO_AU": "저/편/필자", "GO_KW": "권차/문체명", "GO_GS": "기사명", "GO_BD": "본문",
    "MO_AA": "전체", "MO_SJ": "서지", "MO_AU": "저/편/필자", "MO_KW": "권차/문체명", "MO_GS": "기사명", "MO_BD": "본문",
    "KP_AA": "전체", "KP_SJ": "서지", "KP_AU": "저/편/필자", "KP_KW": "권차/문체명", "KP_GS": "기사명", "KP_BD": "본문",
    "JT_AA": "전체", "JT_SJ": "서지", "JT_GS": "기사명", "JT_BD": "본문",
    "JR_AA": "전체", "JR_SJ": "서지", "JR_GS": "기사명", "JR_BD": "본문",
    "ST_AA": "전체", "ST_SJ": "서지", "ST_GS": "기사명", "ST_BD": "본문",
    "IT_AA": "전체", "IT_SJ": "서지", "IT_GS": "기사명", "IT_BD": "본문"
}

# Main categories and their possible sections
categories = {
    "고전번역서": ["BT_AA", "BT_SJ", "BT_AU", "BT_KW", "BT_GS", "BT_BD"],
    "고전원문": ["GO_AA", "GO_SJ", "GO_AU", "GO_KW", "GO_GS", "GO_BD"],
    "한국문집총간": ["MO_AA", "MO_SJ", "MO_AU", "MO_KW", "MO_GS", "MO_BD"],
    "한국고전총간": ["KP_AA", "KP_SJ", "KP_AU", "KP_KW", "KP_GS", "KP_BD"],
    "조선왕조실록": ["JT_AA", "JT_SJ", "JT_GS", "JT_BD"],
    "신역조선왕조실록": ["JR_AA", "JR_SJ", "JR_GS", "JR_BD"],
    "승정원일기": ["ST_AA", "ST_SJ", "ST_GS", "ST_BD"],
    "일성록": ["IT_AA", "IT_SJ", "IT_GS", "IT_BD"]
}

def fetch_all_results(secId, keyword):
    all_documents = []
    start = 0
    rows = 100  # Adjust based on maximum allowed by the API or desired fetch size
    while True:
        params = {'secId': secId, 'keyword': keyword, 'start': start, 'rows': rows}
        response = requests.get(API_URL, params=params)

        if response.status_code != 200:
            st.error(f"Failed to fetch data: {response.status_code} - {response.text}")
            break

        try:
            # Parse the XML response
            root = ET.fromstring(response.content)
            for doc in root.findall('.//doc'):
                document = {field.get('name'): field.text for field in doc.findall('field')}
                all_documents.append(document)
            if len(all_documents) < rows:
                break  # Break if there are no more documents to fetch
            start += rows
        except ET.ParseError as e:
            st.error(f"XML parse error: {e}")
            break

    return all_documents


# Streamlit application setup and other functionalities remain the same
st.title('한국고전종합DB 검색 인터페이스')
keyword = st.text_input('검색어를 입력하세요:', '')
selected_categories = st.multiselect('대분류를 선택하세요:', list(categories.keys()))

selected_section_labels = []
if selected_categories:
    options = [section_labels[sec] for cat in selected_categories for sec in categories[cat]]
    selected_section_labels = st.multiselect('세부 유형을 선택하세요:', options)

if st.button('검색'):
    if not selected_section_labels:
        st.error("선택된 세부 유형이 없습니다.")
    else:
        selected_sections = [key for key, value in section_labels.items() if value in selected_section_labels]
        combined_results = []
        for section in selected_sections:
            results = fetch_all_results(section, keyword)
            combined_results.extend(results)
        df = pd.DataFrame(combined_results)
        st.write(df)
        if not df.empty:
            csv = df.to_csv(index=False).encode('utf-8-sig')
            st.download_button(label="CSV로 다운로드", data=csv, file_name=f"{keyword}_search_results.csv", mime='text/csv')

st.sidebar.info('이 앱은 한국고전종합DB에서 데이터를 검색하고 결과를 CSV 파일로 다운로드합니다. 검색어와 검색대상유형을 선택한 후 검색 버튼을 클릭하세요.')