[8기 랭체인] 멀티모달로 고든램지가 되어보기

  import base64
import io
import os

import numpy as np
from IPython.display import HTML, display
from PIL import Image


def encode_image(image_path):
    """Getting the base64 string"""

    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")


def plt_img_base64(img_base64):
    """Display the base64 image"""

    # Create an HTML img tag with the base64 string as the source
    image_html = f'<img src="data:image/jpeg;base64,{img_base64}" />'

    # Display the image by rendering the HTML
    display(HTML(image_html))


# Image for QA
path = "/Users/kdb/RAG_langchain/meet.jpeg"
img_base64 = encode_image(path)
plt_img_base64(img_base64)

# 랭체인으로 Context를 저장해서 다시 한번 사용하기 위한 함수
def invoke_chat_with_image(text_message, img_base64):
    chat = ChatOpenAI(model="gpt-4-vision-preview", temperature=0, max_tokens=1024, api_key="your api key")

    msg = chat.invoke(
        [
            HumanMessage(
                content=[
                    {
                        "type": "text",
                        "text": text_message,
                    },
                    {
                        "type": "image_url",
                        "image_url": {"url": f"data:image/jpeg;base64,{img_base64}"},
                    },
                ]
            )
        ]
    )
    return msg
context = invoke_chat_with_image(meet_question, img_base64)

sub_question = """
- 너는 미국의 최고의 레스토랑 chief이다. 마치 Gorden ramsay같아.
- 너는 고기의 익힘을 판단해서 손님에게 설명을 해주어야 한다.
-{0} \n 를 참고해서 고기의 익힘을 설명해주면된다.
- 잘 설명하면 너에게 팁으로 200달러를 줄것이다.
[output]
- 고기의 익힘을 설명해준다.
- 곁들임 음료: ex) 맥주, 와인
- 곁들임 음료는 너가 어울릴만한걸 추천해주세요.
""".format(context.content)

path = "/Users/kdb/RAG_langchain/user_input.jpeg"
user_img_base64 = encode_image(path)
result = invoke_chat_with_image(sub_question,user_img_base64)