n8n으로 중소벤처기업부 신규 사업공고 텔레그램으로 받아보기

# HTML 태그와 특수 문자를 제거하는 함수
import re
import html

def clean_text(text):
    if not text or not isinstance(text, str):
        return ''
    
    # HTML 디코딩 (', " 등의 엔티티 변환)
    text = html.unescape(text)
    
    # HTML 공백 문자 변환
    text = text.replace(' ', ' ')
    
    # HTML 태그 제거 (정규표현식 사용)
    text = re.sub(r'<[^>]+>', ' ', text)
    
    # <br> 태그를 공백으로 변환
    text = re.sub(r'<br\s*/?>', ' ', text, flags=re.IGNORECASE)
    
    # 줄바꿈을 공백으로 변환
    text = text.replace('\n', ' ')
    
    # 캐리지 리턴 제거
    text = text.replace('\r', '')
    
    # 연속된 공백을 하나로 변환
    text = re.sub(r'\s+', ' ', text)
    
    # 앞뒤 공백 제거
    return text.strip()

# 모든 입력 항목을 순회하며 '내용' 필드 정리
for item in _input.all():
    # '내용' 필드가 있는 경우에만 처리
    if '내용' in item.json and item.json['내용'] is not None:
        item.json['내용'] = clean_text(item.json['내용'])
    
    # 다른 모든 문자열 필드도 정리 (옵션)
    for key in item.json:
        if isinstance(item.json[key], str):
            item.json[key] = clean_text(item.json[key])

# 처리된 항목들 반환
return _input.all()

new_items = []

# 공고번호 정규화 함수
def normalize_number(number):
    if not number or not isinstance(number, str):
        return ""
    # 숫자와 하이픈만 남김
    return ''.join(char for char in number if char.isdigit() or char == '-')

# 구글 시트의 기존 공고번호 추출 및 정규화
existing_numbers = []
for sheet_item in _('Google Sheets1').all():
    number = sheet_item.json.get('공고번호', '')
    normalized = normalize_number(number)
    if normalized:
        existing_numbers.append(normalized)

# Code 노드의 모든 아이템 추출
code_items = []
for code_item in _('Code').all():
    # 신청기간이 있는 아이템만 추가
    if code_item.json.get('신청기간'):
        code_items.append(code_item.json)

# Filter 노드의 모든 아이템 추출
filter_items = []
for filter_item in _('Filter').all():
    filter_items.append(filter_item.json)

# 필터링 로직 - 공고번호만 비교
for code_item in code_items:
    current_number = code_item.get('공고번호', '')
    normalized_current = normalize_number(current_number)
    
    # 공고번호가 있고, 기존 공고번호 목록에 없는 경우에만 추가
    if normalized_current and normalized_current not in existing_numbers:
        # 해당 공고번호와 일치하는 Filter 아이템 찾기
        matching_filter_item = None
        
        for filter_item in filter_items:
            # 여기서는 제목 비교 없이 바로 정보를 추가합니다
            matching_filter_item = filter_item
            break
        
        if matching_filter_item:
            # 추가 정보 포함
            new_item = {
                **code_item,
                'pubDate': matching_filter_item.get('pubDate', ''),
                'link': matching_filter_item.get('link', '')
            }
            new_items.append(new_item)
          

# 신규 사업공고 반환
return [{"json": item} for item in new_items] if new_items else []