본문으로 건너뛰기

[고양이 행복 앱] Streamlit으로 POC하기

김병철

2025.01.22

[고양이 행복 앱] Streamlit으로 POC하기 본문 이미지

소개

안녕하세요. 고양이 행복 앱 개발팀의 김병철입니다.

저희 팀은 고양이의 행복도를 높이기 위한 서비스를 개발하고 있습니다.

프로젝트를 시작하기 전에 기술적으로 문제가 될 지점들을 빠르게 검증해 보기 위해 POC를 진행했습니다.

사용한 툴 : Streamlit, Cursor

사용한 모델 : Gemini 2.0 flash

진행 방법

일단 저희 프로젝트의 기술적으로 어려운 부분이라고 생각이 들었던 건 고양이 사진을 통해 메타 정보를 추출해내는 것이었습니다.

예전에는 메타 정보를 추출하기 위해 YoloV8의 object detection 이나 pose estimation 을 사용했었는데요. 모델 학습이 필수 아닌 필수였습니다. (2019년 기준)

이제는 멀티 모달 모델을 사용해서 별도 학습 없이 추출이 가능할거라고 생각했습니다.

빠른 검증을 위해 gemini 2.0 flash 모델을 사용해서 메타 정보를 추출해봤습니다.

생각보다 자세한 분석과 추출이 가능한거를 확인했습니다.

바로 한번 만들어보기로 했습니다.

가장 간단하게 앱을 구동하고 배포할 수 있는 streamlit을 사용해서 코드를 작성해봅니다.

from typing import Any, Dict, Optional

import streamlit as st
from PIL import Image
from streamlit.runtime.uploaded_file_manager import UploadedFile

from src.services.structure_gemini import GeminiService

st.set_page_config(page_title="고양이 분석", layout="wide")

# 메인 대시보드
st.title("고양이 분석")

gemini_service = GeminiService()
# 이미지 업로드
image_file: Optional[UploadedFile] = st.file_uploader(
    "이미지를 업로드하면 AI가 고양이를 분석합니다",
    type=["jpg", "jpeg", "png"],
    label_visibility="visible",
)
...

제미나이를 이용해서 이미지 분석을 했고 제미나이의 응답을 JsonSchema를 정의해서 코드에 응답 데이터를 그대로 쓸 수 있게 구현했습니다.

GENERATION_CONFIG = {
    "temperature": 1,
    "top_p": 0.95,
    "top_k": 40,
    "max_output_tokens": 8192,
    "response_schema": content.Schema(
        type=content.Type.OBJECT,
        enum=[],
        required=["is_cat"],
        properties={
            "is_cat": content.Schema(
                type=content.Type.BOOLEAN,
            ),
            "image_tags": content.Schema(
                type=content.Type.ARRAY,
                items=content.Schema(
                    type=content.Type.STRING,
                ),
            ),
            "color_codes": content.Schema(
                type=content.Type.ARRAY,
                items=content.Schema(
                    type=content.Type.STRING,
                ),
            ),
            "breed_type": content.Schema(
                type=content.Type.STRING,
            ),
            "age": content.Schema(
                type=content.Type.INTEGER,
            ),
        },
    ),
    "response_mime_type": "application/json",
}

OSError: cannot write mode RGBA as JPEG

2025-01-19 17:36:50.543 Uncaught app execution

Traceback (most recent call last):

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/JpegImagePlugin.py", line 665, in _save

    rawmode = RAWMODE[im.mode]

              ~~~~~~~^^^^^^^^^

KeyError: 'RGBA'


The above exception was the direct cause of the following exception:


Traceback (most recent call last):

  File "/home/adminuser/venv/lib/python3.12/site-packages/streamlit/runtime/scriptrunner/exec_code.py", line 88, in exec_func_with_error_handling

    result = func()

             ^^^^^^

  File "/home/adminuser/venv/lib/python3.12/site-packages/streamlit/runtime/scriptrunner/script_runner.py", line 579, in code_to_exec

    exec(code, module.__dict__)

  File "/mount/src/daily-nyang-status/streamlit_app.py", line 30, in <module>

    image.save("temp.jpg", "JPEG")

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/Image.py", line 2596, in save

    save_handler(self, fp, filename)

  File "/home/adminuser/venv/lib/python3.12/site-packages/PIL/JpegImagePlugin.py", line 668, in _save

    raise OSError(msg) from e

OSError: cannot write mode RGBA as JPEG

streamlit을 많이 안 써봐서 개발 과정에서 몇가지 문제가 있었지만 기억이 안나는걸 보니 중요한 문제는 아니었던 거 같습니다.

아무튼 이렇게 동작하는 앱을 만들었습니다.(feat. Cursor)

작동하지 않으면 왜 작동하는지 말하는 만화?

뭔가 업로드 속도가 엄청 느리지만.. 그래도 공짜 서버에 동작하니깐 만족합니다.

바닥에 누워있는 고양이의 이미지

짠 이렇게 고양이를 분석해주는 앱이 완성되었습니다.

결과와 배운 점

- gemini는 프로덕트 레벨에서도 괜찮은 성능을 보이는 거 같다.

- 그러나 여전히 정확도를 높이는 작업은 필요하다.

- gemini에서 fine tuning도 할 수 있는데 이걸로 좀 더 고도화할 수 있겠다. (MVP 스펙에서는 포기)

- 색상 정보와 고양이 품종에 대한 정확도가 아쉬움. (나이는 애초에 포기)

한자가 새겨진 고양이 그림

(스코티시폴드는 아닌거 같음)

한국 캐릭터 프로필 페이지 스크린샷

(믹스는 맞는데 음... )

구현된 결과는 https://daily-nyang-status.streamlit.app/ 에서 동작 확인과 코드를 확인하실 수 있습니다. (토큰 비용이 소모되는 거라 스터디 끝나거나 비용이 너무 많이 나오면 내릴 예정입니다.)

앞으로 프로젝트를 진행하면서 poc 한 기술들을 적극적으로 도입해 보려구 합니다.

많은 관심 부탁드려요! 화이팅입니다.

12

함께 이야기해요 12

로그인하고 댓글을 남겨 주세요

홍
홍진경2025.02.04

It doesn't work. Why?

It works. Why?

공감 한 표 하고 갑니다. 화이팅!^^

oneshot 프로필 이미지
oneshot2025.02.03

결과물이 기대됩니다

김태현 프로필 이미지
김태현2025.01.23

너무 귀여워서 댓글 남기고 갑니다 ㅎㅎ 사례 공유 감사합니다!

살구 프로필 이미지
살구2025.01.22

안녕하세요. daycoach팀에서 놀러왔는데요. 멋지신데요? ㅎ gemini 프롬프트로 다 하신건가요? 행동 키워드, 색상표 등 모든 정보를 프롬프트로 받으신 건지 궁금해요^^

김병철 프로필 이미지
김병철2025.01.22

안녕하세요. 재밌게 봐주셔서 감사합니다. 넵 전부 프롬프트로 받아온 정보입니다.

참고) https://github.com/Byeongcheol-Kim/daily-nyang-status/blob/a08ef95fa0da7076373d8dad9ae6e84c14eb2f8f/src/services/structure_gemini.py#L56C1-L57C1

daycoach 팀도 흥미롭던데 좋은 사례글 부탁드려요!

살구 프로필 이미지
살구2025.01.22

@김병철

귀한 소스 공유해주셔서 감사합니다!!

강성준 프로필 이미지
강성준2025.01.22

허깅페이스에서 ViT model 써보시면 어떨까 추천드려봅니다!!!

Doggy - a Hugging Face Space by Kang-Seong-Jun

김병철 프로필 이미지
김병철2025.01.22

고도화를 위한 좋은 팁 감사합니다!

좀 더 수치화된 정확도 n%와 같은 정밀한 결과를 얻구 그거를 활용하려면 Vision Transfomer 모델을 쓰는게 좋을 것 같네요.

좋은 정보 감사합니다!

햄복지수 프로필 이미지
햄복지수2025.01.22

와 병철님 다방면으로 열쉼히 먼저 진행해주셔서 감사합니다!!!
저도 힘내서 곧 같이 화이링 하겠습니다.
고퀄의 좋은 글 너무 좋습니다^^

김병철 프로필 이미지
김병철2025.01.22

감사합니다! 저도 지수님만 믿고 가겠습니다! 같이 화이팅하시죠!

댕댕이멍멍 프로필 이미지
댕댕이멍멍2025.01.22

원래 하셨던 개인프로젝트와 연관성이 있어 보여서 기대가 큽네요.
마무리까지 잘 부탁드려요.

김병철 프로필 이미지
김병철2025.01.22

결국 또 이미지를 하게 됐네요ㅋㅋ 감사합니다!

좋은 프로덕트 한번 만들어보겠습니다~

필요한 AI 정보만
메일함에 쏙쏙 넣어드려요.

지금 핫한 AI 소식부터 직접 해 본 사례까지, 월요일마다 무료로 받아보세요

이런 사례도 있어요

사례 전체 보기