[고양이 행복 앱] Streamlit으로 POC하기

소개

안녕하세요. 고양이 행복 앱 개발팀의 김병철입니다.

저희 팀은 고양이의 행복도를 높이기 위한 서비스를 개발하고 있습니다.

프로젝트를 시작하기 전에 기술적으로 문제가 될 지점들을 빠르게 검증해 보기 위해 POC를 진행했습니다.

사용한 툴 : Streamlit, Cursor

사용한 모델 : Gemini 2.0 flash

진행 방법

일단 저희 프로젝트의 기술적으로 어려운 부분이라고 생각이 들었던 건 고양이 사진을 통해 메타 정보를 추출해내는 것이었습니다.

예전에는 메타 정보를 추출하기 위해 YoloV8의 object detection 이나 pose estimation 을 사용했었는데요. 모델 학습이 필수 아닌 필수였습니다. (2019년 기준)

이제는 멀티 모달 모델을 사용해서 별도 학습 없이 추출이 가능할거라고 생각했습니다.

빠른 검증을 위해 gemini 2.0 flash 모델을 사용해서 메타 정보를 추출해봤습니다.

생각보다 자세한 분석과 추출이 가능한거를 확인했습니다.

바로 한번 만들어보기로 했습니다.

가장 간단하게 앱을 구동하고 배포할 수 있는 streamlit을 사용해서 코드를 작성해봅니다.

from typing import Any, Dict, Optional

import streamlit as st
from PIL import Image
from streamlit.runtime.uploaded_file_manager import UploadedFile

from src.services.structure_gemini import GeminiService

st.set_page_config(page_title="고양이 분석", layout="wide")

# 메인 대시보드
st.title("고양이 분석")

gemini_service = GeminiService()
# 이미지 업로드
image_file: Optional[UploadedFile] = st.file_uploader(
    "이미지를 업로드하면 AI가 고양이를 분석합니다",
    type=["jpg", "jpeg", "png"],
    label_visibility="visible",
)
...

제미나이를 이용해서 이미지 분석을 했고 제미나이의 응답을 JsonSchema를 정의해서 코드에 응답 데이터를 그대로 쓸 수 있게 구현했습니다.

GENERATION_CONFIG = {
    "temperature": 1,
    "top_p": 0.95,
    "top_k": 40,
    "max_output_tokens": 8192,
    "response_schema": content.Schema(
        type=content.Type.OBJECT,
        enum=[],
        required=["is_cat"],
        properties={
            "is_cat": content.Schema(
                type=content.Type.BOOLEAN,
            ),
            "image_tags": content.Schema(
                type=content.Type.ARRAY,
                items=content.Schema(
                    type=content.Type.STRING,
                ),
            ),
            "color_codes": content.Schema(
                type=content.Type.ARRAY,
                items=content.Schema(
                    type=content.Type.STRING,
                ),
            ),
            "breed_type": content.Schema(
                type=content.Type.STRING,
            ),
            "age": content.Schema(
                type=content.Type.INTEGER,
            ),
        },
    ),
    "response_mime_type": "application/json",
}

OSError: cannot write mode RGBA as JPEG

2025-01-19 17:36:50.543 Uncaught app execution

Traceback (most recent call last):

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/JpegImagePlugin.py", line 665, in _save

    rawmode = RAWMODE[im.mode]

              ~~~~~~~^^^^^^^^^

KeyError: 'RGBA'


The above exception was the direct cause of the following exception:


Traceback (most recent call last):

  File "/home/adminuser/venv/lib/python3.12/site-packages/streamlit/runtime/scriptrunner/exec_code.py", line 88, in exec_func_with_error_handling

    result = func()

             ^^^^^^

  File "/home/adminuser/venv/lib/python3.12/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 579, in code_to_exec

    exec(code, module.__dict__)

  File "/mount/src/daily-nyang-status/streamlit_app.py", line 30, in <module>

    image.save("temp.jpg", "JPEG")

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/Image.py", line 2596, in save

    save_handler(self, fp, filename)

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/JpegImagePlugin.py", line 668, in _save

    raise OSError(msg) from e

OSError: cannot write mode RGBA as JPEG

~~streamlit을 많이 안 써봐서 개발 과정에서 몇가지 문제가 있었지만 기억이 안나는걸 보니 중요한 문제는 아니었던 거 같습니다.~~