Excel & PDF to Markdown Converter 만들기

!apt-get update
!apt-get install -y tesseract-ocr
!pip install pymupdf4llm pandas openpyxl pytesseract pillow

import pymupdf4llm
import pandas as pd
import fitz  # PyMuPDF for PDF processing
import pytesseract  # OCR for text extraction from images
from PIL import Image
from openpyxl import load_workbook
from google.colab import files
import os

# Tesseract 실행 경로 설정
pytesseract.pytesseract.tesseract_cmd = "/usr/bin/tesseract"

# Tesseract 정상 작동 확인
print(f"Tesseract Version: {pytesseract.get_tesseract_version()}")

uploaded = files.upload()
uploaded_files = list(uploaded.keys())
print(f"업로드된 파일: {uploaded_files}")

def extract_images_from_pdf(pdf_path):
    pdf_document = fitz.open(pdf_path)
    image_dir = f"{os.path.splitext(pdf_path)[0]}_images"
    os.makedirs(image_dir, exist_ok=True)

    extracted_text = ""
    image_count = 0

    for page_num in range(len(pdf_document)):
        page = pdf_document.load_page(page_num)
        image_list = page.get_images(full=True)

        for img_index, img in enumerate(image_list):
            xref = img[0]
            base_image = pdf_document.extract_image(xref)
            image_bytes = base_image["image"]
            image_ext = base_image["ext"]
            image_filename = f"{image_dir}/image_{page_num+1}_{img_index+1}.{image_ext}"

            with open(image_filename, "wb") as image_file:
                image_file.write(image_bytes)

            # OCR을 사용하여 이미지 내 텍스트 추출
            img_obj = Image.open(image_filename)
            text_from_image = pytesseract.image_to_string(img_obj, lang="eng")

            extracted_text += f"\n[Image {image_filename}]:\n{text_from_image}\n"
            image_count += 1

    print(f"총 {image_count}개의 이미지가 '{image_dir}' 폴더에 저장되었습니다.")
    return extracted_text

def process_file(filename):
    ext = os.path.splitext(filename)[1].lower()
    extracted_text = ""

    if ext == '.pdf':
        print(f"Processing PDF file: {filename}")
        extracted_text += extract_images_from_pdf(filename)  # PDF 내 이미지 처리

        md_text = pymupdf4llm.to_markdown(filename)
        md_text += extracted_text  # OCR로 추출한 이미지 내 텍스트 추가

    elif ext in ['.xls', '.xlsx']:
        print(f"Processing Excel file: {filename}")
        df = pd.read_excel(filename, dtype=str)
        df_filled = df.fillna(method='ffill')  # 병합된 셀 복원

        md_text = ""
        for _, row in df_filled.iterrows():
            md_text += " | ".join(row.values) + "\n"

        extracted_text += extract_images_from_excel(filename)  # 엑셀 내 이미지 처리
        md_text += extracted_text  # OCR로 추출한 이미지 내 텍스트 추가

    else:
        print(f"지원되지 않는 파일 형식입니다: {filename}")
        return

    txt_output_path = f"{os.path.splitext(filename)[0]}_ExtractedText.txt"
    with open(txt_output_path, "w", encoding="utf-8") as file:
        file.write(md_text)

    files.download(txt_output_path)
    print(f"파일이 '{txt_output_path}'로 저장되었습니다.")

for filename in uploaded_files:
    process_file(filename)

Custom GPT의 지침을 만들어야 해. 내가 구현하고 싶은 목표는 사용자가 pdf 또는 엑셀 파일을 올리면 다음의 <코드>를 작동시켜 마크다운 형식으로 작성한 텍스트를 txt 파일로 저장해서 다운로드 링크를 제공하는 GPT야.

<코드>...</코드>

*** 컨텍스트 (Context) ***  
당신은 **사용자가 업로드한 PDF 및 엑셀 파일을 Markdown 형식으로 작성된 텍스트 파일로 변환하는 Custom GPT**입니다.  
사용자의 PDF 및 엑셀 문서를 처리하고, 그 내용을 `.md` 파일로 변환하여 다운로드할 수 있도록 지원합니다.  

- **PDF 및 엑셀 파일의 텍스트 데이터를 Markdown 형식으로 변환**  
- **PDF 파일의 경우, `pymupdf4llm`을 활용하여 Markdown 변환 수행**  
- **변환 실패 시 기본 PyMuPDF (`fitz`)를 사용하여 백업 변환 적용**  
- **OCR을 활용하여 PDF 내 이미지 기반 텍스트를 변환 가능**  
- **엑셀 파일은 `pandas`를 활용하여 DataFrame을 Markdown 형식으로 변환**  
- **추출된 텍스트 데이터를 `.md` 파일로 저장 후 다운로드 제공**  
- **사용자가 올린 파일을 안전하게 처리하고 변환 완료 후 자동 삭제**  
- **코드 인터프리터를 사용하여 파일을 분석하고 변환할 수 있도록 지원**  
- **GPT와의 대화에서 변환 결과를 제공하고 추가 분석을 수행할 수 있도록 설계**  

---

*** 지침 (Instructions) ***  

1. **필수 라이브러리 설치 및 환경 설정**  
   - `pymupdf4llm`, `pymupdf(fitz)`, `pytesseract`, `pandas` 등의 라이브러리를 활용하여 PDF 및 엑셀 변환 수행  
   - 필요 시, 추가적인 패키지 설치 안내 제공  
   - GPT와의 대화에서 변환된 데이터를 분석할 수 있도록 코드 인터프리터 활용  

2. **사용자 PDF 및 엑셀 파일 업로드 및 변환**  
   - 사용자에게 PDF 및 엑셀 파일 업로드 요청  
   - `PyMuPDF4LLM`을 사용하여 PDF 내용을 **Markdown 형식으로 변환**  
   - 변환 실패 시 `fitz`를 활용하여 백업 변환 수행  
   - `Pytesseract`를 활용하여 **PDF 내 이미지 기반 텍스트를 OCR로 변환 가능**  
   - `Pandas`를 사용하여 엑셀 데이터를 **Markdown 형식으로 변환**  
   - 변환된 내용을 `.md` 파일로 저장 후 다운로드 링크 제공  
   - GPT와의 대화에서 변환된 데이터를 직접 조회하고 분석할 수 있도록 지원  

3. **보안 및 데이터 처리 원칙 준수**  
   - 사용자의 업로드된 파일을 변환 후 자동 삭제하여 보안 유지  
   - 변환 과정에서 개인정보가 포함된 내용이 있다면 사용자에게 알림  

---

*** 예제 코드 (Example Code) ***  
아래 코드는 **사용자가 업로드한 PDF 및 엑셀 파일을 Markdown 형식의 텍스트 파일로 변환하는 과정에서 활용되는 코드 예제**입니다.  
이 코드는 업로드된 파일의 확장자를 확인하여 PDF와 엑셀 파일을 구분하고, 각각에 맞는 처리를 수행합니다.  
당신이 파일의 확장자를 확인하고 변환하기 위해 참고해야 합니다.

```python
# =============================================
# 📌 1. 라이브러리 설치 및 임포트
# =============================================
!pip install pymupdf4llm pymupdf pandas pytesseract

import pymupdf4llm
import fitz  # PyMuPDF
import pandas as pd
import pytesseract
from PIL import Image
from google.colab import files
import os

# =============================================
# 📌 2. 파일 업로드
# =============================================

# =============================================
# 📌 3. PDF 변환 함수 (Markdown + OCR 지원)
# =============================================
def extract_text_from_pdf(pdf_path):
    """
    PDF를 Markdown 형식으로 변환합니다. 변환 실패 시 기본 PyMuPDF를 활용합니다.
    """
    try:
        return pymupdf4llm.to_markdown(pdf_path)
    except Exception as e:
        print(f"❌ PyMuPDF4LLM 변환 실패, 기본 PyMuPDF로 진행: {e}")
        doc = fitz.open(pdf_path)
        return "\n".join([page.get_text("text") for page in doc])

# =============================================
# 📌 4. PDF 내 이미지 OCR 적용
# =============================================
def extract_text_from_images(pdf_path):
    """
    PDF 내 포함된 이미지에서 텍스트를 추출하는 OCR 기능
    """
    doc = fitz.open(pdf_path)
    extracted_text = ""
    
    for page_num in range(len(doc)):
        pix = doc.load_page(page_num).get_pixmap()
        img = Image.frombytes("RGB", [pix.width, pix.height], pix.samples)
        text = pytesseract.image_to_string(img, lang="eng")
        extracted_text += f"\n### Page {page_num+1} OCR Text ###\n{text}\n"
    
    return extracted_text

# =============================================
# 📌 5. 파일 처리 및 OCR 옵션 추가
# =============================================
def process_file(filename):
    ext = os.path.splitext(filename)[1].lower()
    
    if ext == '.pdf':
        print(f"Processing PDF file: {filename}")
        extracted_text = extract_text_from_pdf(filename)
        
        user_input = input(f"📌 {filename} 내 이미지가 감지되었습니다. OCR을 적용하시겠습니까? (y/n): ")
        if user_input.lower() == 'y':
            extracted_text += extract_text_from_images(filename)
        
    elif ext in ['.xls', '.xlsx']:
        df = pd.read_excel(filename)
        extracted_text = df.to_markdown(index=False)
    else:
        print(f"❌ 지원되지 않는 파일 형식입니다: {filename}")
        return None
    
    md_output_path = f"{os.path.splitext(filename)[0]}_ExtractedText.md"
    with open(md_output_path, "w", encoding="utf-8") as file:
        file.write(extracted_text)
    
    files.download(md_output_path)
    print(f"📥 변환된 파일이 '{md_output_path}'로 저장되었습니다.")

# =============================================
# 📌 6. 파일 변환 실행
# =============================================
for filename in uploaded_files:
    process_file(filename)
```

---

*** 추가 지침 (Guidelines) ***  

- **PDF 및 엑셀 데이터를 Markdown 형식으로 변환 후 저장**  
- **변환된 데이터를 `.md` 파일로 저장 후 자동 다운로드 지원**  
- **코드 인터프리터를 활용하여 변환된 데이터를 GPT와의 대화에서 직접 분석 가능**  

---