[8기 랭체인] 멀티모달로 고든램지가 되어보기 - 2

안녕하세요 미남홀란드 입니다.

저번에 GPT-4-Vision 을 활용한 멀티모달의 Task 를 통하여 고기의 익힘정도를 알려주는 코드에 대해설명을 해드렸는데요. 임베디드 쪽에 적용을 해본다고 했는데 한번 해보았습니다.

퀄리티가 똥같아 보일수 있지만 .. 양해 부탁드립니다.

Overview

1탄의 멀티모달 Task 를 적용하기 위해 라즈베리파이 4로 Streamlit 웹서버 , OpenAI api 통신 환경을 구축을 해두었습니다. 라즈베이 파이란 작은 컴퓨터라고 생각하면 편할 것 같습니다. 그리고 그보다 더작은 rp pico를 통해서 온도센서를 붙혀서 스테이크의 온도를 실시간으로 리딩해오고 짜여진 루프문에 따라 센서온도값에 따라 레어, 미디움, 미디움 레어, 웰던 등 if ~ else 문으로 처리하는 코드를 사용하였습니다.

결과입니다. 웹서버를 구축해둔 통신환경에서 WI-Fi 로 휴대폰을 접속해서 시연을 해보았습니다.

사실 온디바이스가 추론환경은 좋지만 edge device 모델 경량화의 문제도 중요하다고 보는데 이렇게 GPT-4vision 은 api 를 활용해서 비교적 쉽게 엣지단에서 활용을 할 수 있습니다. 무거운 비전 모델을 돌리지 않아도 충분히 활용이 가능하단 사실입니다.

이 프로젝트를 통해 여러분은 AI와 IoT 기술이 어떻게 실생활에 적용될 수 있는지를 볼 수 있습니다. 특히 요리를 좋아하는 분들에게는 더욱 흥미로울 겁니다. 다들 한번 집에 굴러다니는 아두이노를 꺼내서 해보시기를..

권장드립니다.

자세한 프로젝트링크

짧게나마 긴 글 읽어주셔서 감사합니다