현우봇 v2.0: 지피터스 사례글 자동 수집부터 이미지 OCR까지, 그리고 코드 리팩토링의 여정

python

# 처음 시도한 순진한 접근
async def crawl_gpters(url):
    response = requests.get(url)
    soup = BeautifulSoup(response.text, 'html.parser')
    # ... 이렇게 하면 될 줄 알았죠 😅

python

@classmethod
def calculate_study_date_range(cls, study_name: str) -> Tuple[date, date]:
    """스터디 일정 기반 날짜 범위 계산"""
    study_info = STUDY_INFO.get(study_name)
    today = cls.get_today()
    study_day = study_info["day_of_week"]
    
    # 오늘이 스터디날인지, 스터디 시간 전인지 확인
    # 지난 스터디 다음날부터 다음 스터디까지의 사례글 수집

python

async def get_dynamic_content_async(url: str) -> str:
    # 1단계: Firecrawl API (가장 빠름)
    if not bypass_methods or "firecrawl" in bypass_methods:
        try:
            content = await ContentExtractor._get_content_with_firecrawl_async(url)
            if content: return content
        except: pass
    
    # 2단계: ScrapingBee API (안정적)
    if not bypass_methods or "scrapingbee" in bypass_methods:
        try:
            content = await ContentExtractor._get_content_with_scrapingbee(url)
            if content: return content
        except: pass
    
    # 3단계: Playwright (최후의 수단)
    if PLAYWRIGHT_AVAILABLE:
        try:
            content = await ContentExtractor._get_content_with_playwright(url)
            if content: return content
        except: pass

python

# 리소스 로딩 차단 (이미지, 폰트, 비디오 등)
await page.route('**/*.{png,jpg,jpeg,gif,svg,pdf,woff,woff2,ttf,mp4,webm,ogg}', 
    lambda route: route.abort())

# 봇 감지 방지 스크립트
await page.add_init_script("""
    Object.defineProperty(navigator, 'webdriver', {
        get: () => undefined
    });
""")

javascript

// 메신저봇R 코드에서 이미지 감지
if (imageDB && imageDB.getImageBase64 && imageDB.getImageBase64()) {
    var base64Image = imageDB.getImageBase64();
    ImageSessions.saveImage(sender, base64Image);
    replier.reply("이미지가 수신되었습니다. 1분 이내에 '//'로 시작하는 메시지를 보내면 이미지와 함께 처리됩니다.");
}

# Before (v1.2)
main.py (3000+ lines)

# After (v1.3)
main.py (800 lines)
├── youtube_service.py     # YouTube 관련 기능
├── scraping_service.py    # 웹 스크래핑 기능
├── gpters_service.py      # GPTers API 기능
├── config/
│   ├── newspaper_configs.py
│   └── dynamic_sites.py
└── utils/
    └── api_status_checker.py

bash

GEMINI_API_KEY=your_api_key
PERPLEXITY_API_KEY=your_api_key
GPTERS_API_TOKEN=your_api_token
SCRAPINGBEE_API_KEY=your_api_key
FIRECRAWL_API_KEY=your_api_key