[문과생도 AI] 연구비서 만들기 2탄: 텍스트 교감봇

import pandas as pd
import openpyxl
from openpyxl.styles import PatternFill, Font
import re

def clean_string(s):
    return ''.join(re.findall(r'\w', s))

def column_letter_to_index(col):
    col = col.upper()
    index = 0
    for char in col:
        index = index * 26 + (ord(char) - ord('A')) + 1
    return index - 1  # Convert to 0-based index

def highlight_differences(file_path, x_col, y_col, output_path):
    # Load the Excel file
    df = pd.read_excel(file_path)
    
    # Convert column names to indices if necessary
    if isinstance(x_col, str):
        x_col = column_letter_to_index(x_col)
    if isinstance(y_col, str):
        y_col = column_letter_to_index(y_col)
    
    # Load the workbook and the active worksheet
    wb = openpyxl.load_workbook(file_path)
    ws = wb.active
    
    # Iterate over the rows
    for index, row in df.iterrows():
        x_str = clean_string(str(row.iloc[x_col]))
        y_str = clean_string(str(row.iloc[y_col]))
        
        # Compare characters in the strings
        if x_str != y_str:
            # Highlight the row in y_col
            cell = ws.cell(row=index+2, column=y_col+1)
            cell.fill = PatternFill(start_color="FFFF00", end_color="FFFF00", fill_type="solid")
            
            # Highlight differences in red
            for i, (x_char, y_char) in enumerate(zip(x_str, y_str)):
                if x_char != y_char:
                    if i < len(cell.value):
                        new_value = list(cell.value)
                        new_value[i] = f"{y_char}"
                        cell.value = ''.join(new_value)
                    else:
                        cell.value += f"{y_char}"
                    cell.font = Font(color="FF0000")
                    
    # Save the modified workbook
    wb.save(output_path)

# Example usage
input_file_path = 'input.xlsx'  # Replace with your input file path
output_file_path = 'output.xlsx'  # Replace with your output file path
x_column = 'A'  # Replace with the index or letter of the x column
y_column = 'B'  # Replace with the index or letter of the y column

highlight_differences(input_file_path, x_column, y_column, output_file_path)

import streamlit as st
import pandas as pd
import openpyxl
from openpyxl.styles import PatternFill
import re
from io import BytesIO
from openpyxl.utils.dataframe import dataframe_to_rows
from copy import copy

def clean_string(s):
    return ''.join(re.findall(r'\w', s))

def column_letter_to_index(col):
    col = col.upper()
    index = 0
    for char in col:
        index = index * 26 + (ord(char) - ord('A')) + 1
    return index - 1  # Convert to 0-based index

def highlight_differences(df, x_col, y_col):
    # Convert column names to indices if necessary
    if isinstance(x_col, str):
        x_col = column_letter_to_index(x_col)
    if isinstance(y_col, str):
        y_col = column_letter_to_index(y_col)
    
    # Create a new worksheet
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.title = "Sheet1"
    
    # Copy dataframe to worksheet
    for r in dataframe_to_rows(df, index=False, header=True):
        ws.append(r)
    
    # Iterate over the rows
    for index, row in df.iterrows():
        x_str = clean_string(str(row.iloc[x_col]))
        y_str = clean_string(str(row.iloc[y_col]))
        
        # Compare characters in the strings
        if x_str != y_str:
            # Highlight the cell in y_col with yellow background
            cell = ws.cell(row=index+2, column=y_col+1)  # Excel rows are 1-based, pandas rows are 0-based
            cell.fill = PatternFill(start_color="FFFF00", end_color="FFFF00", fill_type="solid")
                    
    return ws

def process_all_sheets(file, x_column, y_column):
    wb = openpyxl.load_workbook(file)
    new_wb = openpyxl.Workbook()
    new_wb.remove(new_wb.active)  # Remove the default sheet

    for sheet_name in wb.sheetnames:
        df = pd.read_excel(file, sheet_name=sheet_name)
        ws = highlight_differences(df, x_column, y_column)
        new_ws = new_wb.create_sheet(title=sheet_name)

        for row in ws.iter_rows():
            for cell in row:
                new_cell = new_ws[cell.coordinate]
                new_cell.value = cell.value
                if cell.has_style:
                    new_cell.font = copy(cell.font)
                    new_cell.border = copy(cell.border)
                    new_cell.fill = copy(cell.fill)
                    new_cell.number_format = copy(cell.number_format)
                    new_cell.protection = copy(cell.protection)
                    new_cell.alignment = copy(cell.alignment)

    output = BytesIO()
    new_wb.save(output)
    output.seek(0)
    return output

# Streamlit UI
st.title("Excel Column Comparison Tool")

uploaded_file = st.file_uploader("Choose an Excel file", type="xlsx")
x_column = st.text_input("Enter the X column (number or letter)")
y_column = st.text_input("Enter the Y column (number or letter)")

if st.button("Process File"):
    if uploaded_file and x_column and y_column:
        # Process all sheets in the uploaded file
        output = process_all_sheets(uploaded_file, x_column, y_column)
        
        # Provide the download link
        st.download_button(
            label="Download Processed File",
            data=output,
            file_name="processed_output.xlsx",
            mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
        )

- x열과 y열의 특정 행을 비교할 때, 어느 한 쪽 셀이 완전히 비어 있으면 비교를 진행하지 말고, 비교를 안했으니 노란색 배경 처리나 [] 둘러싸는 처리도 안해도 돼. 그렇게 코드를 수정해줘.

- 여전히 특정 행을 처리할 때, x열과 y열 중 한 쪽의 행에 문자열이 없는 경우에도 비교가 진행되는데?

- 함수에서 x열과 y열의 특정 행이 비어 있는 경우 비교를 진행하지 않고, 노란색 배경 처리나 [ ] 둘러싸는 처리를 하지 않도록 수정하였습니다 -> 수정이 안되어 있어

- 계속 에러가 나. 이렇게 수정해보자. 일단 x열과 y열의 스트링을 다 만들어. clean_string을 사용해서. 그 다음에 각 스트링을 비교할 때, 어느 한 쪽의 스트링에 문자가 하나도 들어 있지 않은 공백 상태이면, 어떤 처리도 진행하지 말게 코드를 다시 짜 줘.

- 어느 한 셀이 비어 있는 경우는 clean_string 처리를 어떻게 하고 있는거야? 그 값은 어떻게 저장이 돼?

- 뭐가 안되는걸까. 이 코드에 주석을 상세히 달아서 줘봐

- 공백만 있는 경우에 'a' 나 'n'이라는 문자열로 혹시 처리되고 있니?

- clean_string 처리를 각 행에 한 상태에서 그 값을 프린트해서 반환해봐

- 비어있는 경우에 'nan'이라고 문자열이 정리되는데? : Row 125: x_str='行法至堅不以私欲亂所聞如是則可謂勁士矣', y_str='nan'

import streamlit as st
import pandas as pd
import openpyxl
from openpyxl.styles import PatternFill
import re
from io import BytesIO
from openpyxl.utils.dataframe import dataframe_to_rows
from copy import copy


def clean_string(s):
    # Remove all non-alphanumeric characters (excluding underscores)
    return ''.join(re.findall(r'\w', s))


def column_letter_to_index(col):
    # Convert Excel column letters to 0-based index
    col = col.upper()
    index = 0
    for char in col:
        index = index * 26 + (ord(char) - ord('A')) + 1
    return index - 1  # Convert to 0-based index


def highlight_differences(df, x_col, y_col, add_brackets):
    # Convert column names to indices if necessary
    if isinstance(x_col, str):
        x_col = column_letter_to_index(x_col)
    if isinstance(y_col, str):
        y_col = column_letter_to_index(y_col)

    # Create a new worksheet
    wb = openpyxl.Workbook()
    ws = wb.active
    ws.title = "Sheet1"

    # Copy dataframe to worksheet
    for r in dataframe_to_rows(df, index=False, header=True):
        ws.append(r)

    # Create a list to store the cleaned strings for debugging purposes
    cleaned_strings = []

    # Iterate over the rows
    for index, row in df.iterrows():
        x_cell = str(row.iloc[x_col]).strip() if pd.notna(row.iloc[x_col]) else ''  # Handle NaN
        y_cell = str(row.iloc[y_col]).strip() if pd.notna(row.iloc[y_col]) else ''  # Handle NaN

        x_str = clean_string(x_cell)  # Remove non-alphanumeric characters from x cell
        y_str = clean_string(y_cell)  # Remove non-alphanumeric characters from y cell

        # Add the cleaned strings to the list for debugging
        cleaned_strings.append((x_str, y_str))

        # Skip comparison if either cleaned string is empty
        if x_str == '' or y_str == '':
            continue

        # Compare characters in the strings
        if x_str != y_str:
            # Highlight the cell in y_col with yellow background
            cell = ws.cell(row=index + 2, column=y_col + 1)  # Excel rows are 1-based, pandas rows are 0-based
            cell.fill = PatternFill(start_color="FFFF00", end_color="FFFF00", fill_type="solid")

            if add_brackets:
                new_x_str = ""
                new_y_str = ""
                # Iterate through the characters of both strings
                for i in range(max(len(x_str), len(y_str))):
                    if i < len(x_str) and i < len(y_str) and x_str[i] != y_str[i]:
                        # If characters differ, add brackets around them
                        new_x_str += f'[{x_str[i]}]'
                        new_y_str += f'[{y_str[i]}]'
                    else:
                        # If characters are the same, add them without brackets
                        if i < len(x_str):
                            new_x_str += x_str[i]
                        if i < len(y_str):
                            new_y_str += y_str[i]

                # Update the worksheet with the new strings
                ws.cell(row=index + 2, column=x_col + 1).value = new_x_str
                ws.cell(row=index + 2, column=y_col + 1).value = new_y_str

    # Print cleaned strings for debugging
    for idx, (x_clean, y_clean) in enumerate(cleaned_strings):
        print(f"Row {idx + 1}: x_str='{x_clean}', y_str='{y_clean}'")

    return ws


def process_all_sheets(file, x_column, y_column, add_brackets):
    wb = openpyxl.load_workbook(file)  # Load the input workbook
    new_wb = openpyxl.Workbook()  # Create a new workbook
    new_wb.remove(new_wb.active)  # Remove the default sheet

    for sheet_name in wb.sheetnames:
        df = pd.read_excel(file, sheet_name=sheet_name)  # Load each sheet into a dataframe
        ws = highlight_differences(df, x_column, y_column, add_brackets)  # Process the dataframe
        new_ws = new_wb.create_sheet(title=sheet_name)  # Create a new sheet in the new workbook

        for row in ws.iter_rows():
            for cell in row:
                new_cell = new_ws[cell.coordinate]
                new_cell.value = cell.value
                if cell.has_style:
                    # Copy cell style
                    new_cell.font = copy(cell.font)
                    new_cell.border = copy(cell.border)
                    new_cell.fill = copy(cell.fill)
                    new_cell.number_format = copy(cell.number_format)
                    new_cell.protection = copy(cell.protection)
                    new_cell.alignment = copy(cell.alignment)

    output = BytesIO()  # Save the new workbook to a BytesIO object
    new_wb.save(output)
    output.seek(0)
    return output


# Streamlit UI
st.title("교감봇")

# Add an expandable section for the program description
with st.expander("교감봇이란?"):
    st.write("""
        - 교감봇은 Excel 파일의 모든 시트에서 두 열의 텍스트의 동일성을 검토할 수 있습니다.
        - 열은 문자 또는 숫자로 지정할 수 있습니다.
        - 지정된 열에 대해, 각 행마다 텍스트의 동일성을 검토하고, 차이가 있는 경우 해당 열을 노란색 배경으로 강조 표시합니다.
        - 띄어쓰기, 구두점 등의 차이는 검토하지 않습니다. 오직 문자의 모양과 순서의 차이만을 검토합니다.('_' 언더바의 경우에는 예외적으로 검토 대상에 포함) 
        - 원한다면, 서로 다른 문자를 대괄호를 통해 표시할 수 있습니다.
    """)

uploaded_file = st.file_uploader("엑셀 파일을 업로드하세요", type="xlsx")
x_column = st.text_input("비교할 첫번째 열을 입력하세요 (숫자 or 알파벳)")
y_column = st.text_input("비교할 두번째 열을 입력하세요 (숫자 or 알파벳)")
add_brackets = st.checkbox("서로 다른 글자를 대괄호로 표시")

if st.button("교감 진행"):
    if uploaded_file and x_column and y_column:
        # Process all sheets in the uploaded file
        output = process_all_sheets(uploaded_file, x_column, y_column, add_brackets)

        # Provide the download link
        st.download_button(
            label="교감된 파일 다운로드",
            data=output,
            file_name="processed_output.xlsx",
            mime="application/vnd.openxmlformats-officedocument.spreadsheetml.sheet"
        )